Best practices for using the Terraform AWS Provider - AWS Prescriptive Guidance
Michael Begin, Senior DevOps Consultant, Amazon Web Services (AWS) May 2024 (document history) Managing infrastructure as code (IaC) with Terraform on AWS offers important benefits such as improved consistency, security, and agility. However, as your Terraform configuration grows in size and complexity, it becomes critical to follow best practices to avoid pitfalls. This guide provides recommended
ALBアクセスログのフィールドとして「traceability_id」が追加されました | DevelopersIO
2024年5月、Application Load Balancer (ALB)のアップデートにより、 アクセスログと接続ログのフィールドとして「traceability_id」が追加されました。 アップデート後のALBのアクセスログ、接続ログを調査し、 新しく追加された「traceability_id」が、 アクセスログ、接続ログの突き合わせに利用できる事を確かめる機会がありましたので、紹介させていただきます。 ELB設定 ELBの設定画面 「属性を編集」を利用して、アクセスログ、接続ログをS3に出力する設定としました。 ※ログ出力先のS3バケット、バケットポリシーは事前にELBアクセスログ許可済みのものを利用しました。 ステップ 2: S3 バケットにポリシーをアタッチする ログ確認 アクセスログ、接続ログ、それぞれの最終フィールドに、「TID_」で始まる、 traceability_i
RubyKaigi 2024 のサイネージについて
今月中旬に沖縄県那覇市で RubyKaigi 2024 を開催した。COVID-19 対応をしていた RubyKaigi Takeout 2020, RubyKaigi Takeout 2021, RubyKaigi 2022, RubyKaigi 2023 とは異なり、今回は配信を伴わないオフラインのみの開催だった。 わたしは Organizer の一人として Sponsor Relations 業などをしつつ、Wi-Fi の支度をしたり、サイネージの支度をしたりしていた。Wi-Fi の話はこれまでもいくつか書いている のでまた今度として、今回はサイネージの話をかきます。 RubyKaigi ではいくつかのサイネージの映像を用意して会場のあちこちに表示している。各セッション会場の横に添えて字幕やチャット, LT タイマーを流すサブスクリーン、お知らせやセッション案内を廊下に設置したモニタ
2024/5/25 第34回 中国地方DB勉強会 in 広島
AWSコスト異常検知を導入したら、『人にお願いする』トイルが発生したのでSlackBotを作って解消した - KAYAC engineers' blog
SREチームの池田(@mashiike)です。SRE連載の５月号になります。 AWSのコストについては、多くの方がすごく気にしていると思います。 カヤックでもAWSのコストの変動に関しては敏感に気にしています。 そんな方々の心のお供になる機能が、 AWSコスト異常検知(AWS Cost Anomaly Detection) です。 今回は、このコスト異常検知にまつわるトイル削減の取り組みを紹介します。 背景 AWSコスト異常検知は、AWS マネジメントコンソールの中では『Billing and Cost Management』配下にある機能になります。 この機能を使うことでAWSで発生したコストに関して、通常とは異なるコストの発生を検知することができます。 コスト異常検知自体については、CureApp テックブログ様のZennの記事がわかりやすくまとまっているので、そちらを参照いただければ
公開日 2024/05/27更新日 2024/05/27注目のITサービスを支えるアーキテクチャ特集 技術選定のポイントと今後の展望 現代のITサービスは、ユーザーに高品質で安定した体験を提供するために、より効率的で柔軟な技術選定が不可欠です。 本特集では、注目企業のシステムアーキテクチャ設計に携わるエンジニアの方々より、それぞれの技術選定における工夫と、未来を見据えた展望についてご寄稿いただいています。 各企業がどのように課題を乗り越え、開発生産性や品質を向上させるためにどのようなアプローチを採用しているのか ー この記事を通じて、実際の現場で活用される最先端の技術や戦略を学び、皆さんのプロジェクトに役立つ洞察を得ていただければ幸いです。 ※ご紹介はサービス名のアルファベット順となっております airCloset - 株式会社エアークローゼット エアークローゼットは日本初・国内最大級、女
AWS Startup Community スタートアップがAWSパートナーになる理由 https://aws-startup-community.connpass.com/event/318044/
[書評] クラウド時代の負荷試験の基本が学べる一冊 – 「Amazon Web Services負荷試験入門」 | DevelopersIO
AWSなどクラウド上のシステム負荷試験について解説した書籍「Amazon Web Services負荷試験入門」のレビュー記事です。負荷試験の基本知識、ツール、PDCAサイクルを使った具体的な進め方が詳細に解説されています。 こんにちは、ゲームソリューション部の入井です。 今回は、AWS等のクラウド上に構築したシステムへの負荷試験について、具体的な手順や試験中に発生しがちな課題とその解決方法等について解説した書籍「Amazon Web Services負荷試験入門」を読んだ感想を書いていきます。 感想 Chapter 1 間違いだらけの負荷試験とWebシステムの失敗事例 タイトルの通り、負荷試験の進め方のよくあるアンチパターンが架空の事例を使って紹介されています。 打ち合わせ、試験準備、試験実施、試験レポートといった段階毎に登場人物同士の対話形式で進んでいくのですが、「お客様の意向で今回は
![[書評] クラウド時代の負荷試験の基本が学べる一冊 – 「Amazon Web Services負荷試験入門」 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b5997c5ab7fbf7036f0ffc815c02cb36935bfa1b/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F05%2F9784774192628.jpg)
2023年5月のGW明け、AWS日本法人のオフィスでは、8月末を退職日とするレイオフを伝える会議が、一斉に行われていた。その1年ほど前に営業職で中途入社したA氏（30代）も、その対象となった1人だった。「驚いたのが、2022年4月入社の新卒組までレイオフ対象になったこと。『それはねーよ』と、社内で話題になっていました」。東大生の就職先としてもランキング上位に入るアマゾン・ウェブ・サービス（2022年3月卒の院卒者で11人、19位＝東大新聞調べ）。だが、新卒でもわずか1年という中途半端なキャリアでレイオフされ市場に放り出されるのが、ドライな外資である。 Digest 出席必須〝レイオフ通告辞令〟会議への招待 「応じなければPIP」はなかった LINEグループ情報交換で分かったこと 1年以内が対象に…「それはねーよ」 「米国本社直轄部門所属」というガチャ レイオフ「数百人～500人規模だと思う
awslim - Goで実装された高速なAWS CLIの代替品を作った - 酒日記 はてな支店
最初に3行でまとめ AWS CLIは便利です。しかし起動が遅いので、Goで実装された高速な(ただし機能は少ない)代替品を作りました。awslim といいます リリースバイナリは無駄に大きいので、必要な機能だけを組み込んだビルドを簡単にできるようにしてあります。ビルドして使うのがお勧めです どうぞご利用下さい github.com 以下はこれに至るまでの経緯とか、実装や使い方の話とかです。長いです。 作成の経緯 AWSの各種サービスにアクセスするための AWS CLI は、スクリプトやコマンドラインから処理を自動化するために大変便利なツールです。AWSでサーバーサイドの開発、運用している人であれば、ほぼ全員がお世話になっているんじゃないかと思います。 しかし、AWS CLI (コマンド名aws) には「起動が重い」という問題があるなとずっと思っていました。具体的には、aws --versio
米Broadcom（ブロードコム）による米VMware（ヴイエムウェア）買収の影響が、パブリッククラウドに波及している。影響が出たのは「VMware Cloud on AWS」で、米Amazon Web Services（アマゾン・ウェブ・サービス、AWS）が同サービスを新規に販売できなくなった。 ブロードコムのホック・タン社長兼CEO（最高経営責任者）が2024年5月6日（米国時間）に同社の公式ブログで発表した。タン社長兼CEOはブログで「VMware Cloud on AWSが無くなるとの誤った報道がある」と主張した上で、「VMware Cloud on AWSを、AWSが直接販売したり、AWSのチャネルパートナーが販売したりできなくなるのが事実だ」と述べた。 VMware Cloud on AWSはブロードコムが販売 AWSと旧ヴイエムウェアが2016年に発表して2017年からサービ
S3上のオブジェクトを結合するnpmパッケージを公開した話(ESM, CJS対応) | DevelopersIO
はじめに S3上の細かいオブジェクト(ファイル)を1つのオブジェクトに連結したい要件がありましたが、色々調べると気にかける事が多く、挙動を理解する目的込みでnpmパッケージを作ることにしました。Pythonのs3-concatにInspireされ、Node.js(TS)で同じことを実現したいと思ったのもモチベーションの1つです。 ESModulesとCommonJSに対応しています。 S3にはMultipart upload機能があります。5GBを超えるファイルはCopyObjectで移動が出来ないため、Multipart uploadを使うケースが多いです。boto3のcopyメソッドは、Multipart upload機能を使っているようです。このMultipart upload機能は、ファイルの結合にも利用可能です。 この背景をベースに以下の理由から、npmパッケージ化することにしま
IAM ユーザーのログイン失敗を検知して複数回失敗すると権限を剥奪する仕組みを作ってみた | DevelopersIO
こんにちは、AWS 事業本部の平木です！ AWS における PCIDSS v3.2.1を見た時に要件 8 を参照するとアカウントロックに関する要件があります。 現状、執筆時点では IAM ユーザーで連続してログイン失敗してしまったとしてもアカウントをロックできる仕様はありません。 ただ、AWS 公式のコンプライアンスガイドを見ると以下のように記述されていました。 PCI DSS 審査の適用範囲内であると判断された IAM ユーザーには、8.1.6 および 8.1.7 のアカウントロックに関する要件を満たす追加の仕組みが必要です。お客様がこれを達成するには、AWS CloudTrail、Amazon DynamoDB、AWS Lambda、Amazon CloudWatch を組み合わせて連続したログイン失敗を追跡して、ログイン失敗がしきい値である 6 回連続で発生した場合に制限を強めた I
Lambda関数URLで、HTTPリクエストを介して直接Lambda関数を呼び出すことが可能になりました。 これまで、Lambda関数をAPI経由で実行するためにはAPI Gatewayを使用する必要がありました。しかし、Lambda関数URLの登場により、API Gatewayを使わずにLambda関数を直接実行できるようになりました。 Lambda関数URLを使うと、API Gatewayのセットアップや管理の手間を省けます。また、API Gatewayが引き起こす遅延やコストも削減できます。 ただし、API Gatewayには多くの利点もあります。 この記事では、Lambda関数URLの利用方法とその利点、注意点について詳しく解説します。Lambda関数とAPI Gatewayのどちらを選ぶか迷っている方は、ぜひ参考にしてください。 Lambda関数URLとは Lambda関数URL
本日、AWS は Amazon EKS クラスター向けの CoreDNS 自動スケーリング機能の一般提供を発表しました。この機能により、カスタムソリューションの管理によるオーバーヘッドなしに、絶えず変化するサービスの容量ニーズに合わせて DNS サーバーインスタンスの容量をスケーリングできます。 多くの組織が、スケーラブルでコンテナ化されたアプリケーションを構築するためのコンピューティングインフラストラクチャプラットフォームとして Kubernetes を標準化しています。CoreDNS ポッドのスケーリングは、クエリの負荷を複数のインスタンスに分散して信頼性の高い DNS 解決を実現し、アプリケーションとサービスに高可用性を提供するための鍵となります。今回のリリースにより、スケーリングパラメータを事前設定して各クラスターにクライアントをデプロイする必要なく、容量を監視し、それに応じてスケ
It's possible to cut EC2 boot time from 40 seconds to 5 seconds by combining several optimizations like root volume streaming, instance warm pools, and instance resizing. It is possible to increase the speed at which EC2 instances boot! This can be critical for certain types of workloads, where a fresh EC2 instance is needed to process some request or task. At Depot, we accelerate builds, so the E
Faster WhisperとAWS SageMakerを活用してGPUでの高速文字起こしエンドポイントを構築する
概要 最近の音声認識技術の進歩はすごいですね！ 特にOpenAIの最新モデルであるWhisper large-v3は、日本語の音声データでもかなりの高精度で文字起こしを行うことができ、APIも公開されています。 ただし簡単に使用でき汎用性も高い一方で、大量に使用する場合の高コストやプライバシーの懸念もあるため、ローカル環境で効率よく高精度な文字起こしを実現するモデルが多数開発されています。 今回は、その中でもGPUを使用した高速推論が可能な「Faster Whisper」を用いて、AWS SageMakerでカスタム文字起こしエンドポイントを構築してみたので、手順を解説していきたいと思います。 実装コードは以下のリポジトリにあります。 順番通りJupyterNotebookを実行すると問題なく動作するはずです。 Faster Whisperとは Faster WhisperはOpenAIの
2024 年 4 月の AWS Black Belt オンラインセミナー資料及び動画公開のご案内 | Amazon Web Services
Amazon Web Services ブログ 2024 年 4 月の AWS Black Belt オンラインセミナー資料及び動画公開のご案内 2024 年 4 月に公開された AWS Black Belt オンラインセミナーの資料及び動画についてご案内させて頂きます。 動画はオンデマンドでご視聴いただけます。 また、過去の AWS Black Belt オンラインセミナーの資料及び動画は「AWS サービス別資料集」に一覧がございます。 YouTube の再生リストは「AWS Black Belt Online Seminar の Playlist」をご覧ください。 Amazon QuickSight 埋め込みオプションとタイプのご紹介 Amazon QuickSight の埋め込み機能を使うことで、アプリケーションやウェブポータルに Amazon QuickSight のインタラクティ
Amazon Cognitoで実装するパスキー （Security-JAWS【第33回】 勉強会）
Security-JAWS【第33回】 勉強会 https://s-jaws.doorkeeper.jp/events/173294Read less
esbuild 最適化芸人
nagoya.ts #1 https://nagoyats.connpass.com/event/316967/
Amazon OpenSearch Service zero-ETL integration with Amazon S3 now available - AWS
Amazon OpenSearch Service zero-ETL integration with Amazon S3 now available Today, AWS announces the general availability of Amazon OpenSearch Service zero-ETL integration with Amazon S3, a new efficient way for customers to query operational logs in Amazon S3 data lakes eliminating the need to switch between tools to analyze data. Customers can quickly get started by installing out-of-the-box das
本記事は、アマゾン ウェブ サービス ジャパン合同会社の依頼を受けて、同社の広告として掲載しています。 生成AIブームは終わる気配がない。新たな基盤モデルやアプリケーションが続々とリリースされており、企業が活用を模索する動きも活発だ。 読者の中には、自社独自の情報やノウハウを取り込んだ業務効率化アプリを作りたい、あるいは生成AIの機能をプロダクトに実装したいと考えている人もいるだろう。しかし漠然としたイメージは抱いていても、何ができるか一歩踏み込んで考えるのはなかなか難しい。 さまざまな基盤モデルがある中でどれを選べばいいのか、期待通りに動作するのか、複数の機能を組み合わせるとどのようなアプリが作れるのかなど、確認したいことは山ほどある。実際に生成AIを触ることができればいいが、そんな環境を用意するのはエンジニアでもハードルが高い。 そんな企業にちょうどいいサービスが現れた。米Amazon
[アップデート] Amazon SES に新機能 Mail Manager が追加されました | DevelopersIO
いわさです。 先日 Amazon SES を眺めていたら何やら見たことのない機能が追加されていました。 なんか新しいの登場したな。Mail Manager pic.twitter.com/6wIyviNuiB — いわさ (@Tak1wa) May 22, 2024 そして、つい先程アップデートのアナウンスと公式ブログも公開されました。 どうやら受信メールゲートウェイを担う機能のようです。 今までも Amazon SES ではシンプルにメールを受信して SNS への通知や Lambda の実行などは出来ていましたが、公式ブログによると受信メール機能が強化されたようなイメージでしょうか。 Amazon SES currently offers a way to receive incoming emails from the internet using its SMTP interface
![[アップデート] Amazon SES に新機能 Mail Manager が追加されました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/dc7b169c31f578b497e4c85d122a88c24b6c46ba/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-ses.png)
AWS Infrastructure as Code の新機能を総まとめ！ 2023.1-2024.5
2023年1月から2024年5月までの AWS Infrastructure as Code 関連のアップデートを解説しています。JAWS-UG CDK支部 #14 でお話させていただきました。 https://jawsug-cdk.connpass.com/event/317935/
昨今は、さまざまな要因から、複数のクラウド（IaaS）プロバイダーを活用することが多くなりました。例えば、サービスのワークロードはAWSだが、データ分析はGoogle CloudのBigQueryを使うなどです。異なるプロバイダー間でのリソースにアクセスするには、認証が必要であり、シークレットを安全に発行・交換する必要があります。クラウドプロバイダーが動的に発行する等さまざまな方式がありますが、システムの制限や運用によっては安全なシークレットの取り扱いのために、慎重な技術設計が必要になる場合もあります。 今回は、LayerXにおける要件パターン、脅威モデリングに基づく判断と実装方法を紹介することで、「どこまで気をつけるべきか？」「何を想定すべきか？」といった実務に対して参考いただけると嬉しいです
当エントリは弊社AWS事業本部による『AWS 入門ブログリレー 2024』の50日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう！という方にとっては文字通りの入門記事として、またすでに AWS を活用されている方にとっても AWS サービスの再発見や 2024 年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。今回のテーマはワークフローを制御する『AWS Step Functions』です。 AWS Step Functionsの概要 AWS Step Functio
人気作家が語る、技術書の執筆教室！ 心躍る創作活動の秘訣とは？
なぜ技術書を執筆するのか？ 「不都合な真実」を超える喜びとは 講演は、「みなさん、本を書いてみたいですか？」という問いかけから始まった。多くの人が手を挙げたその場で、佐々木氏は技術書執筆にまつわる“不都合な真実”に触れた。 NRIネットコム クラウドテクニカルセンター長 佐々木拓郎氏 NRIネットコムでクラウドテクニカルセンター長を務め、AWS関連の資格を13冠持ち、多数の関連書籍を執筆してきた佐々木氏。そんな佐々木氏の考える、技術書執筆の背景にある「真実」とは一体何だろうか。 実は技術書を執筆しても、得られる印税と執筆にかかる時間を考慮すると、増刷がかからなければ時給が600～800円になることもあるそうだ。実際、日本には技術書の専業著者はほとんどいない。 我々はなぜ本を書くのか？ しかし、自身の磨いてきた知識が他の人に伝わること、そして自分のクリエイティブな活動で誰かに影響を与えられる
Amazon Web Services ブログ Amazon Aurora MySQL3におけるバイナリログの最適化 本記事は、2024年5月17日に公開された Binary logging optimizations in Amazon Aurora MySQL version 3 を翻訳したものです。 MySQLのバイナリログ(binlog)は、MySQLサーバ上のデータベースの変更を”イベント”と呼ばれる論理フォーマットでキャプチャするために使用されます。これらのデータベース変更には、DCL(CREATE USERやGRANTなど)、DDL(CREATE TABLE、ALTER TABLEなど)、DML(INSERT、UPDATE、DELETEなど)が含まれます。そのような変更がMySQLでコミットされると、サーバは 2-phase commit(2PC)を用いてトランザクションのバ
IAM Identity Centerでもaws-vaultでセキュアにAWS CLIを使う - Nealle Developer's Blog
こんにちはSREチームの宮後(@miya10kei)です。最近、トリュフナッツにハマりビール🍺の消費量が増えています。 AWS CLIを使用する時にaws-vaultは使っていますか？ AWSのユーザ管理をAWS IAM Identity Centerに移行した際にaws-vaultの設定でつまずいたので解決方法を紹介したいと思います。 AWS IAM Identity Centerとは？ 複数の AWSアカウントやアプリケーションへのワークフォースのアクセスを一元管理するためのサービスです。外部IDプロバイダーと接続しSSO（シングルサインオン）連携をすることができます。ニーリーではGoogle Workspaceと連携させGoogleアカウントでログインできるようにしています。 aws-vaultとは？ aws-vaultはAWS CLIを使用する際の認証情報を安全に保存し、アクセス
Amazon S3のコンテンツを配信したい場合、S3の静的ウェブサイトホスティングを使用したり、S3の前段にCloudFront(CDN)を配置して配信することが多いかと思います。今回は、3つ目の選択肢として、S3をALBから配信する構成について紹介します。 S3バケットをプライベートにしたまま、ALBレイヤーでHTPS通信化や認証やセキュリティグループのアクセス制限を行うことができます。アプリケーションで利用するALBにS3配信を集約させることも可能です。また、外部･内部どちらのALBでも採用できます。 オンプレミスからプライベート通信によるS3アクセス 認証付きURL/CookieでS3コンテンツを配信する代替案として、ALB認証でS3配信 などで有用です。 構成ポイント 本構成の肝はALBのターゲットにS3のインターフェース型VPCエンドポイントのIPを指定すること(昔からあるゲート
tl;dr はじめに DuckDB とは DuckDB では何が読めるのか 使ってみる S3 上のJSON を読んでみる リレーショナルデータベース 他ツールではなく DuckDB を使うメリット しくじりポイント （特にリリースされたばかりの）バージョンには気をつける S3 のオブジェクト数が多い場合不都合がありがち スレッドの調整が必要な場合も Redshift には未対応 終わりに 付録 MySQL のデータを読み込む例の MySQL 側の準備 tl;dr DuckDB 便利だよ。分析以外でも使えるよ 色々な場所のデータを閲覧・結合できるよ。標準SQLも使えるよ ただし、細かい落とし穴は色々あるので気をつけてね はじめに2023年4月にデータエンジニアとして入社したmin（@not_rogue）です。暖かくなるにつれ、YouTube で見た南伊豆ロングトレイル | 松崎町に行く機運が
Amazon S3の空のバケットに対してアクセスされると、たとえそれが第三者からの不正アクセスでエラーが返ったとしてもリクエスト料金が発生してしまうという現象について、AWSが修正を完了したと5月13日付けで明らかにしました。 これまでは空のバケットへのアクセス方法を知っている第三者が大量のリクエストを発行した場合、例えその結果「AccessDenied」（HTTP 403 Forbidden） エラーが返ったとしても、バケットの所有者には大量のリクエスト処理による利用料金が請求されてしまうという問題が発生していました。また、実質的にこれを防ぐ方法はないとされていました（AWSのドキュメント）。 4月30日にあるAWSユーザーのブログによってこの現象が明らかになった後、AWSのエンジニアは直ちに修正作業に入ったことが同社のチーフエバンジェリストであるJeff Barr氏によって示されました
AWS App Runner 振り返り 2023～決別・ECSを使うぞ～ - koudenpaのブログ
AWS Containers Advent Calendar 2023の4日目です。 qiita.com AWS App RunnerはAWSで手軽にコンテナを動かせるサービスで、2021年にGAしてから緩やかに使用しつつ所感を書いてきた。 AWS App Runner はおもちゃなのでそれ以上の用途には使ってはならない - koudenpaのブログ Laravel を AWS App Runner で動かしてみる - koudenpaのブログ AWS App Runner 振り返り 2022 - koudenpaのブログ 去年のAWS App Runnerのカレンダー | Advent Calendar 2022 - Qiitaではサービス内容の振り返りをしたのだが、今年は記事のタイトルにも書いた通りApp Runnerを自分の中でどう位置付けたのかの整理記事とした。正直サービス内容には
1. AWS Amplifyとは AWS Amplifyは、Amazon Web Services（AWS）が提供する一連のツールとサービスで、フロントエンドのウェブアプリケーションおよびモバイルアプリケーションの開発、デプロイ、ホスティングを簡素化することを目的とした「クラウドプラットフォームサービス」です。以下の主要なコンポーネントから構成されています。 Amplify CLI コマンドラインツールで、プロジェクトのセットアップ、リソースのプロビジョニング、アプリケーションのデプロイを行います。 Amplify Console 継続的デプロイメントとホスティングを提供するサービスで、Gitリポジトリと連携してコードの変更を自動的にデプロイします。 Amplify Libraries クライアントサイドライブラリで、認証、データストレージ、API呼び出し、分析などの機能を簡単に統合できま
【AWS SageMaker】SageMaker Ground Truthで手持ちの画像をラベリングしてみた - Qiita
背景 AWS SageMakerについて勉強していたところ、SageMaker Ground Truthは画像にラベリングを行うものとあったので、実際に触ってみました。 試した事(概要) 漫画家の矢吹健太郎先生の作品である「ToLoveる-ダークネス-」のヒロインキャラクター画像に対して、キャラクター名をラベリングしてみました。 例えば、 これは「ヤミ」のラベルを付けて、 これは「モモ」のラベルを付けてみる形です。 試した事(詳細) 1. S3にラベリングを行いたい画像をアップロード 今回は12枚の画像(pngファイル)をアップロードしました。 2. SageMaker Ground Truthにて、ラベリングジョブを作成 どこに保存されている画像に、どのようなラベリングを行うのか、作業者は誰か、等の設定をしたジョブを作成します。 まずは、マネジメントコンソールのSageMaker画面の左
AWS CLIの起動が重くてつらいので aws-sdk-client-go を書いた / kamakura.go#6
kamakura.go #6 でのLT資料です https://kamakurago.connpass.com/event/316438/ https://github.com/fujiwara/aws-sdk-client-go
AWSを使用したアプリケーションのローカルテスト
AWSを使用したアプリケーションのテスト方法 AWSを使用しているアプリケーションの開発時に問題となるのは、どのようにテストを実施するかという問題が発生します。 この時の選択肢は次の通りとなります。 単体テスト時にAWSのモックを作成してテストを行う AWS上にテスト用の環境を用意してテスト時に接続してテストを行う LocalStackを使用してローカルにAWSサービスのエミュレーターを動かしてテストする 単体テスト時にAWSのモックを作成してテストを行う 単体テスト時にモックアップする方法はテストに都合のいいデータを返せるため容易にテストが行えます。 モックの作成に手間がかかりますし、思い込みでモックを作成してバグを作成する場合もありますが、Motoなどを用いることでこれらの問題は軽減できるでしょう。 ただし、あくまで単体テストでしか使用できません。例えば複数プロセスを連携するようなテス
Amazon Aurora MySQL バージョン 2 (MySQL 5.7 互換) からバージョン 3 (MySQL 8.0 互換) へのアップグレードのチェックリスト、パート 1 | Amazon Web Services
Amazon Web Services ブログ Amazon Aurora MySQL バージョン 2 (MySQL 5.7 互換) からバージョン 3 (MySQL 8.0 互換) へのアップグレードのチェックリスト、パート 1 本記事は、Amazon Aurora MySQL version 2 (with MySQL 5.7 compatibility) to version 3 (with MySQL 8.0 compatibility) upgrade checklist, Part 1 を翻訳したものです。 Amazon Aurora MySQL 互換エディション バージョン 2 (MySQL 5.7 互換)は 2024 年 10 月 31 日に標準サポートの終了が予定されています。Amazon Aurora MySQL バージョン 2 の標準サポートの終了タイムラインについて
feature flag管理にAWS AppConfigを導入した - Cluster Tech Blog
昔のflag管理 AWS AppConfigの導入 feature flagの管理 feature flagの利用 まとめ ソフトウェアエンジニアの浦川です。 clusterではサービス開発にfeature flagが活用されており、常時10+個程度のflagが並行して使われています。 これまでflagはgoのコードとしてハードコードされていたのですが、AWS AppConfigを利用してコードを修正することなく動的に変更できるようにしました。 昔のflag管理 ハードコードされたflagは1つのstructにまとめて定義されていて // feature flagを集めたもの type FeatureFlag struct { IsAvatarXxx bool // アバターを良い感じにする IsEventXxx bool // イベントを良い感じにする // (大量のフラグ) } app
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon RDS / Amazon Aurora パフォーマンスチューニングとモニタリング
注目のITサービスを支えるアーキテクチャ特集 技術選定のポイントと今後の展望 - Findy Tools
スタートアップがAWSパートナーになって得られたこと
AWS、新卒2年目もレイオフ断行に「それはねーよ」――『入社1年以内』『米国直轄部門』中心にバッサリ指名解雇
ブロードコムのVMware買収の影響がパブリッククラウドに波及、AWSに異変
API Gateway不要!? Lambda関数URLでのAPI構築について考える
Amazon EKS が CoreDNS ポッドのオートスケーリングのネイティブサポートを発表
Making EC2 boot time 8x faster
え、これが全部無料？ 誰でも遊べるAWSの生成AIサービス「PartyRock」 文系記者が使い倒す
AWSだ! Google Cloudだ! Azureだ! 認証連携だ！
AWS入門ブログリレー2024 〜AWS Step Functions編〜 | DevelopersIO
Amazon Aurora MySQL3におけるバイナリログの最適化 | Amazon Web Services
ALBからS3コンテンツを配信してみた | DevelopersIO
AWS、一般提供開始した生成AIサービス「Amazon Q」、および「Bedrock」と今後の戦略を説明 選択肢の豊富さ、最適化手段の多様さで、顧客を「さまざまな角度から支援」
DuckDBでお手軽！データフェデレーション - Techtouch Developers Blog
Amazon S3が不正なリクエストでも利用料が加算される現象、AWSが修正を完了したと報告
2分で読める「AWS Amplify」について - Qiita