CloudWatch Logs と S3 にかかる料金比較 | DevelopersIO
コーヒーが好きな emi です。 私は CloudWatch Logs というサービスが便利で好きなのですが、一般的に「S3 と比べてコストがかかる」という印象を持たれている方が多いと感じています。 何にどれくらいコストがかかっているのか どんな時に CloudWatch Logs への保存を考えたらいいのか コスト削減するにはどのようなアーキテクチャにしたらいいのか 等を調査しまとめました。 料金簡易比較表 ※ 2024/5/25 時点の東京リージョンでの料金で、$1 = 156円換算 ※ どちらも保存クラスがスタンダードの場合 ※ S3 の書き込み料金はリクエスト回数によって計算されるため、下記表では 1 GB のファイルを 1 回でアップロードすることを想定して計算している CloudWatch Logs S3 Standard
Athena で S3 と MySQL を JOIN する | DevelopersIO
CDK の中で DB を初期化する点についても後ほど触れます。 S3 にサンプルデータをアップロードする 続いて、以下のコマンドで S3 にサンプルのデータを入れます。 bucket_name=$(aws cloudformation describe-stacks --stack-name BlogAthenaJoinS3AndMysqlStack --output text --query 'Stacks[0].Outputs[?OutputKey==`BucketName`].OutputValue') aws s3 cp ./s3_test_data/data "s3://${bucket_name}/data" --recursive これで CloudFormation で作成した S3 バケット名を取得し、そのバケットに以下の CSV ファイルをアップロードしました。 ※4都
[速報]Amazon DocumentDBおよびAmazon DynamoDBのベクトルサーチ機能が一般提供開始に！ #AWSreInvent | DevelopersIO
データアナリティクス事業本部 機械学習チームの鈴木です。 re:Invent2023のキーノートのうち、現在開催中のDr Swami Sivasubramanian Keynoteで、Amazon DocumentDBおよびAmazon DynamoDBのベクトルサーチ機能の一般提供が発表されました！ AWS News Blogにも紹介記事が出ていました。 機能について ドキュメントデータベース内でミリ秒の応答時間で数百万のベクトルを保存し、インデックス付け、検索できる新しい組み込み機能とのことです。 AWS News BlogではAmazon DocumentDBでの例が紹介されていました。 LLMで埋め込みモデルを作成する。 insertMany( [{},...,{}] )でDocumentDBに生成されたベクトル埋め込みを追加する。 createIndexでベクトルインデックスを作
![[速報]Amazon DocumentDBおよびAmazon DynamoDBのベクトルサーチ機能が一般提供開始に！ #AWSreInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f099104aaa09df58f234f4f90b04b2f5cefbb675/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_reinvent-2023-newservice-update.png)
AuroraかRDSどちらを選ぶべきか比較する話をDevelopers.IO 2019 in OSAKAでしました #cmdevio | DevelopersIO
こんにちは、大阪オフィスのかずえです。10/11に、弊社は Developers.IO 2019 in Osakaを開催いたしました。お越し下さった皆様、ありがとうございました！ 私は今回、「AuroraかRDSどちらを選ぶべきか」というタイトルで登壇させていただきました。このエントリはその内容をブログ用にアレンジしたものになります。 ゴール AuroraとRDSの違いを理解して、 適切に使い分けることができるようになる もくじ RDSとは Auroraとは� RDSとAuroraの違い� アーキテクチャの違い� Auroraにしかない機能� RDSかAuroraどちらを選ぶべきか� Auroraを使えないケース� (Auroraも使えるけど)RDSを使うべきケース� まとめ� 登壇資料� 参考資料� RDSとは 皆さんご存知かと思いますが、RDSはAmazon Relational Da
WindowsマシンでDocker Desktopを使用せずにDocker CLI実行環境を整備する方法 | DevelopersIO
こんちには。 データアナリティクス事業本部 機械学習チームの中村です。 今回は、ローカルのWindowsマシンでDocker DesktopなしにDocker CLI実行環境を整備する方法をご紹介します。 はじめに 前提として本記事の内容を実施すると、以下のようになりますのでその点にご注意ください。 Windowsから直接dockerコマンドは実行できなくなり、WSL内からdockerコマンドを実行する必要がある。 dockerコマンド実行時に頭にsudoを付けないといけなくなる可能性がある。 本記事では発生しなかったため未検証ですが、sudo usermod -aG docker {ユーザ名}で対処可能なようです。 対処方法が記載されていた記事を、補足１に記述しています。 PC再起動時は、sudo service docker startを起動する必要がある。 ※こちらも対処方法が記載さ
Log4jの脆弱性対策としてAWS WAFのマネージドルールに「Log4JRCE」が追加されました | DevelopersIO
AWSチームのすずきです。 2021年12月11日、 AWS の Managed Ruleとして提供されている AWSManagedRulesKnownBadInputsRuleSetに新しい保護ルール「Log4JRCE」が追加されました。 Apache Log4j2 Issue (CVE-2021-44228) Log4j の脆弱性(CVE-2021-44228)対策として、AWS WAFの有効性を確かめる機会がありましたので、紹介させていただきます。 AWS Managed Rule Known bad inputs 新しいルール 「Log4JRCE」 が追加されました。 試してみた WAF(ACLs)設定 AWSManagedRulesKnownBadInputsRuleSet のみ設定した WebACLを用意しました。 BadInputsRuleSetのバージョンはデフォルト、検証
[アップデート] ついに AWS Chatbot が 200を超える Amazon EventBridge イベントに対応しました！ | DevelopersIO
ちゃだいん（@chazuke4649）です。 Slack & Chime ユーザー待望、ついに AWS Chatbot が 200を超える Amazon EventBridge がサポートする全AWSサービスのイベントに対応しました！ AWS Chatbot now expands coverage of AWS Services monitored through Amazon EventBridge Using AWS Chatbot with other AWS services - AWS Chatbot 何が嬉しいの？ 以前は、Chatbotのイベントサポートには、Config、GuardDuty、AWS Health、Security Hub、SSM しか含まれておらず、対象外のサービスは Lambdaを介する必要がありました。 それが本日より、Chatbotは、EventBr
![[アップデート] ついに AWS Chatbot が 200を超える Amazon EventBridge イベントに対応しました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/3cd8e20259a86e231ed6daa151fd1bc59fa63c4a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F11%2Faws-eyecatch.png)
Docker ComposeによるAmazon ECS対応がGAに！コンテナをローカル環境と同じノリでECS環境で起動できるぞ！！ | DevelopersIO
コンサル部のtobachi(@toda_kk)です。 先日、Docker ComposeによるAmazon ECS対応がGAになりました！ AWSによるアナウンス Dockerによるアナウンス 本ブログでも過去に記事がでていましたが、Dockerでは以前からAmazon ECS対応が進んでおりdocker ecsというコマンドがベータ版として提供されていました。 何ができるのか 今回は装いを新たにdocker composeというコマンドで、Amazon ECSでクラスターを作成しコンテナを実行できるようになったようです。 $ docker context create ecs ${context-name} $ docker context use ${context-name} $ docker compose up これだけです。もちろん事前にAWSアカウントの認証情報を用意しておく
Redisをグラフィカルに確認できるRedisInsightでElastiCache Redisのメモリ分析してみた | DevelopersIO
セキュリティグループはインバウンドで必要な「My IP」、ポートはをTCP 8001とSSH(TCP 22)を許可します。 また、ElastiCacheのセキュリティグループを修正し、RedisInsight用のEC2のセキュリティグループIDからElastiCacheへインバウンドのアクセスを許可します。 EC2(RedisInsight)で権限と接続確認 EC2 IAM Role確認 SSHでEC2にログインし、RedisInsight用のEC2 IAM Roleが設定できているか確認します。 [ec2-user@ip-10-1-12-165 ~]$ aws s3 ls S3バケットの一覧が表示されることを確認 ElastiCacheとの接続確認 nc (netcat コマンド)をインストール $ sudo yum install nc ElastiCacheへ接続テスト 「echo
RDS Proxyが無意味になる恐怖の現象「ピン留め」を回避するための基本的な設定値について | DevelopersIO
CX事業本部＠大阪の岩田です。 RDS Proxyを利用するとRDS ProxyにプールされたDB接続を複数のDBクライアントで使い回すことができ、限られたDB接続を効率的に利用することが可能になります。しかし複数のDBクライアントが安全にDB接続を共有できない場合、RDSProxyはコネクションプール内のDB接続を特定のDBクライアントに対して固定してしまいます。これが「ピン留め」と呼ばれる現象で、このピン留めが発生するとRDS Proxyを利用するメリットが失われてしまいます。 このブログでは「ピン留め」を回避するための基本的なパラメータ調整についてご紹介します。 環境 今回利用した環境です こちらのブログとほぼ同様の設定にしてクライアントからの同時接続数が実質1に制限されるようにしています。 RDS for PostgreSQL 11.8-R1 インスタンスクラス db.t3.mic
書評「Kubernetes on AWS ~アプリケーションエンジニア 本番環境へ備える」は Kubernetes を中心に AWS も学ぶことができる良書 | DevelopersIO
書評「Kubernetes on AWS ~アプリケーションエンジニア 本番環境へ備える」は Kubernetes を中心に AWS も学ぶことができる良書 そろそろ Kubernetes 入門しようかな。インフラは AWS がいいな。 そんなあなたに Kubernetes on AWS ~アプリケーションエンジニア 本番環境へ備える ということで本日は 2020/03/25 に出版されたKubernetes on AWS ~アプリケーションエンジニア 本番環境へ備えるを紹介したいと思います。 こんな方にお勧め コンテナベースの開発プロセスや Kubernetes の基本的な使い方を理解したいアプリケーションエンジニアの方 Kubernetes は避けては通れないと思っている AWS エンジニア（インフラエンジニア）の方 Kubernetes を本番運用するにあたり何をすべきなのか知りたい
[GitHub]ActionsのホストランナーをEC2でやってみた | DevelopersIO
Actionsの利用可能時間を気にせずに使えるセルフホスト設定をEC2で実際に試してみました。利用費的にも事前に超過することが判っている場合にはおすすめです、 はじめに GitHub ActionsのWorkflow利用可能時間枠は比較的多めだと思われますが、複数人で使う場合にはやはり上限が気になってきます。 利用枠を上限まで使い切ると動作が止まり、追加時間を購入することで再度動作可能となります。ただ、Workflow毎の実行ベース等読みにくい事も多々あり、足すべき枠の計算は困難だと思います。 Actionsはセルフホストの場合に利用可能時間枠の制限がありません。セルフホスト環境はクラウド環境でも可能です。利用時間が共有されないことと、使いすぎた分はAWS利用費で個々に跳ね返ってくるため分かりやすいこともあり、EC2でのセルフホスト設定を手順作成含めて試してみることにしました。 自分のラン
![[GitHub]ActionsのホストランナーをEC2でやってみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d1762eaf81b2855f2648b259156f5cb9c7592542/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F07%2Fgithub-eyecatch.png)
EKSは本当にECSより難しいのか？ | DevelopersIO
個人的な感触ですが、ECSとEKSを並べてみた場合、ものすごい単純に以下の感想でした。 「できることはEKSのほうが多い。けど、そのぶん習得がECSより難しい」 よく考えるとこの「難しい」という単語、簡単に使ってしまいがちなんですが使い方を間違えると非常に危険な言葉だとも思ってます。それは「誰にとっての難易度か？」という観点が抜け落ちがちだから。 AWSにおいてコンテナワークロードを展開しようと検討する人は様々いると思いますし、その組織や担当者の技術スタックも千差万別でしょう。kubernetesの経験は豊富だけれどAWSの経験はあんまりない、またはその逆、もしくはDockerは散々さわっているけれど、オーケストレーションツール自体が初めての人など。 自分の現場経験はECSのほうがEKSより圧倒的に多く、今でも「EKSってやっぱりなんか敷居高いなぁ」と感じてます。でも、よくよく思い出すと最
[激アツアップデート]ALBだけでカナリアリリース(重み付け)ができるようになりました！ | DevelopersIO
AWSエンジニアは朝5時に起きるらしいと聞いていましたが、まさか自分がそっち側に回るとは思ってもいなかったもこ@札幌オフィスです。 とうとうきてしまいました！ とうとう、ALB一つだけでターゲットグループの重み付けが出来るようになってしまいました！！！！ Application Load Balancer simplifies deployments with support for weighted target groups New – Application Load Balancer Simplifies Deployment with Weighted Target Groups 従来までのBlue/Green(カナリアリリース) デプロイ方法 重み付けをしてトラフィックの数パーセントを新しい環境に流すような場合は、複数のロードバランサーを用意した環境で、Route53にて重み付
![[激アツアップデート]ALBだけでカナリアリリース(重み付け)ができるようになりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/876809e40a16193d45c580a01a3f67fc9a50a044/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Felastic-load-balancing.png)
GitHub ActionでDockerコンテナをビルドしてAmazon ECRに保存する | DevelopersIO
はじめに おはようございます､加藤です｡下記のブログで､AWS認証情報の設定とAmazon ECRにログインするGitHub Actionが公開されている事を知りました｡ これらを使って､GitHubで管理しているDockerイメージをビルドして､ECRに保存する方法を紹介します｡タグが付けられて時にのみ動作し､そのタグをイメージに引き継ぐ仕様で作りました｡ Continuous delivery of container applications to AWS Fargate with GitHub Actions | AWS Open Source Blog AWS IAM ユーザーの作成 GitHub ActionからAmazon ECRへアクセスする為の､IAMユーザーを発行します｡マネジメントコンソールへのアクセスは必要無いので､アクセスの種類はプログラムによるアクセスのみを設定
運用中のLambdaのログに特定のワードが出現した時、Slackに通知させる仕組みをAWS CDKで作ってみました | DevelopersIO
運用中のLambdaのログに特定のワードが出現した時、Slackに通知させる仕組みをAWS CDKで作ってみました 1 はじめに CS事業本部の平内（SIN）です。 Lambdaファンクションでエラーなどがログに出力された時に、これを通知する仕組みは結構重要です。 CloudWatch Logsでサブスクリプションを追加してLambdaと連携すれば、Slackなど任意の宛先に通知することは簡単です。そして、作成当初から組み込んむ場合は特に問題ないでしょう。 しかし、既に運用されているLambdaにこれを仕掛けるとなると、ちょっと、一撃とは行きません。 今回は、AWS CDK(AWS Cloud Development Kit)を使用して、この作業を軽易に行うプロジェクトを作成してみました。 （注：CFnでも、同じ仕組みを作成可能です。AWS CDKでなければ出来ないという意味ではあ
[NEW] サービス制限を管理する AWS Service Quotas がリリースされました！ | DevelopersIO
こんにちは 園部です。 サービス制限を管理する AWS Service Quotas がリリースされました！ Introducing Service Quotas: View and manage your quotas for AWS services from one central location AWS では、特定サービス・リソースに対して制限を設けています。その制限を緩和するにはサポートチケットから依頼する必要があります。また利用状況を把握するには、Trusted Advisor から確認します。 サポートプランがビジネスプラン以上であれば、CloudWatchと連携してアラートを通知することも可能です。 Trusted Advisor のチェック結果をCloudWatch で通知する 今回、このサービス制限に関する新しいサービスがリリースされました！ AWS Service
VPC Lambdaのコールドスタートにお悩みの方へ捧ぐコールドスタート予防のハック Lambdaを定期実行するならメモリの割り当ては1600Mがオススメ？！ | DevelopersIO
2019/5/31追記 先日のBlack BeltでLambdaの内部構造について一部解説がありました。 ※スライド公開され次第更新します これまでWorkerというコンポーネントはMicroVMを指しているという理解だったのですが、実際にはMicroVMをホストするEC2インスタンスのレイヤーがWorkerに相当するようです。以後の「Worker」という表記は基本的に「MicroVM」に置き換えて読んで頂くようお願いします。 はじめに サーバーレス開発部＠大阪の岩田です。 先日のブログでLambdaのコールドスタートの裏側について考察しました。 これまでの常識は間違っていた？！Lambdaのコールドスタート対策にはメモリ割り当てを減らすという選択肢が有効に働く場面も 本ブログでは前回の考察をベースにLambdaのコールドスタート回避に関するテクニックについて深掘りしていきます。なお、以後
AWSアカウントを作ったら最初にやるべきこと ～令和元年版～ | DevelopersIO
はじめに 中山（順）です 4年ほど前にこの記事のタイトルと同じテーマで資料を作成したことがあるのですが、古い内容があったり新しいサービスのことが含まれていなかったりするので改めてまとめてみました。令和だし！ その時の資料はこちらです（クラスメソッドにジョインするくらい2年前です）。 AWSアカウントを作ったら最初にやるべきこと サインアップ （業務利用の場合）非個人メールアドレスでサインアップ サポートプランの確認 ID管理 / 権限管理 CloudTrailの有効化 ルートアカウントのMFA設定 IAM User / IAM Groupの作成 パスワードポリシーの設定 GuardDutyの有効化 Security Hubの有効化 請求 IAM Userによる請求情報へのアクセス許可 支払通貨の変更 Budgetの設定 Cost Explorerの有効化 Cost Usage Report
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AuroraとRDSの違いを一覧表でまとめてみた | DevelopersIO
