Glue + Athenaのローカル開発環境をOSSで構築（MinIO + Trino + HIVE） | moritalous blog
この環境をDocker Composeを使い構築します。 環境構築MinIOまずはS3を置き換えるMinIOからです。 ポイントは path-styleではなくvirtual-hosted styleを使用するため、MINIO_DOMAIN環境変数をセット他のコンテナから[バケット名].minioで名前解決できるようにhostnameを指定path-styleとvirtual-hosted styleの違いはこちらを参照ください。 version: '3' services: minio: image: quay.io/minio/minio hostname: bucket001.minio restart: always volumes: - ./minio/data:/data environment: - MINIO_DOMAIN=minio command: ["server
S3バケット内のファイル一覧(S3 Inventory)をAthenaを利用して分析する | DevelopersIO
数千万単位のオブジェクトを配置したS3バケット内に、特定の拡張子のオブジェクトが何点存在するかを簡単に確認する方法がないか調べる機会があり、S3 Inventory機能を利用してファイル一覧を取得し、その結果をAthenaを利用して解析してみたので、その方法をご紹介します。 西澤です。お客様よりお問い合わせをいただき、数千万単位のオブジェクトを配置したS3バケット内に、特定の拡張子のオブジェクトが何点存在するかを簡単に確認する方法がないか調べる機会がありました。aws s3 lsの結果をgrepするっていう気の遠くなるような方法は現実的ではないオブジェクト数だった為、S3 Inventory機能を利用してファイル一覧を取得し、その結果をAthenaを利用して解析してみることにしましたので、その方法をご紹介します。 【新機能】S3 Inventoryを試してみた #reinvent ｜ De
DeepARで複数系列の予測をする - ぱぐみの部屋
業務で時系列データの予測モデルを作る時、私は基本的にProphetを最初に選択します。なかなかの精度のモデルが、手早く簡単に作れるからです。 しかし、時系列データが数百系列あるような場合、いかにProphetといえどもモデルを数百個作成することになり、計算に時間がかかりますし、保守とか管理もめんどくさくなります。 (パラメータチューニングも考えるとなおさら) VARや状態空間モデルのような、多変量時系列の予測に使える手法もありはするんですが、さすがに数百系列のデータの適応するのには無理があります。 そこで、今回はDeepARという深層学習を使った時系列予測アプローチを使い、モデル1つで複数系列データを予測する方法をご紹介します。 DeepARとは？ DeepARは、Amazonが開発した時系列予測フレームワークです。論文はこちら。 ざっくり説明すると、目的値$z_{i,t}$そのものを予測
社外の開発メンバーをAWSアカウントに入れるときのIAM設定を考えている - kmiya_bbmのブログ
サービスを開発する際に、社外の業者さんに開発をお願いしたり、社外パートナーに開発に参加してもらう、ということがよくあります。 開発に使うAWS環境として、うちの会社で作成したAWSアカウントに入ってきてもらうこともあるのですが、このときにAWSアカウントの管理者として社外の開発メンバーにどのような権限を持たせるのが良いか、それをどう実現するのが良いか、いつも悩みます。 このエントリでは現時点での考えと実装方法をまとめておこうと思います。 課題 私が関わる案件で社外の開発メンバーに協力を仰ぐ場合、大抵はPoCから始まるような新規サービスの構築案件となるためAWSのどのサービスを使うか最初からすべて決まっていることは稀です。 最初は ALB + EC2 + RDS で作り始めたシステムにDynamoDBが導入され、AWS IoT coreが導入され、Kinesis Stream が導入され、、
IAM ユーザーのログイン失敗を検知して複数回失敗すると権限を剥奪する仕組みを作ってみた | DevelopersIO
こんにちは、AWS 事業本部の平木です！ AWS における PCIDSS v3.2.1を見た時に要件 8 を参照するとアカウントロックに関する要件があります。 現状、執筆時点では IAM ユーザーで連続してログイン失敗してしまったとしてもアカウントをロックできる仕様はありません。 ただ、AWS 公式のコンプライアンスガイドを見ると以下のように記述されていました。 PCI DSS 審査の適用範囲内であると判断された IAM ユーザーには、8.1.6 および 8.1.7 のアカウントロックに関する要件を満たす追加の仕組みが必要です。お客様がこれを達成するには、AWS CloudTrail、Amazon DynamoDB、AWS Lambda、Amazon CloudWatch を組み合わせて連続したログイン失敗を追跡して、ログイン失敗がしきい値である 6 回連続で発生した場合に制限を強めた I
Faster WhisperとAWS SageMakerを活用してGPUでの高速文字起こしエンドポイントを構築する
概要 最近の音声認識技術の進歩はすごいですね！ 特にOpenAIの最新モデルであるWhisper large-v3は、日本語の音声データでもかなりの高精度で文字起こしを行うことができ、APIも公開されています。 ただし簡単に使用でき汎用性も高い一方で、大量に使用する場合の高コストやプライバシーの懸念もあるため、ローカル環境で効率よく高精度な文字起こしを実現するモデルが多数開発されています。 今回は、その中でもGPUを使用した高速推論が可能な「Faster Whisper」を用いて、AWS SageMakerでカスタム文字起こしエンドポイントを構築してみたので、手順を解説していきたいと思います。 実装コードは以下のリポジトリにあります。 順番通りJupyterNotebookを実行すると問題なく動作するはずです。 Faster Whisperとは Faster WhisperはOpenAIの
Redshift Serverless RPUスケールの挙動 - Qiita
Redshift Serverlessを使用して気づいたポイントについて記す 思ったよりスケールしない Serverlessであり、負荷に応じて自動的にスケールするなら、Base RPUは8(最小値)で良いと考えて設定した。 しかし、実際にQueryを実行すると、非常に実行が遅く、実際に実行時のCloudwatchを見ると全くRPUがスケールしていないことがわかった。 この挙動が疑問に思えたため、以下の試行を行い、挙動を確認した。 (ちなみに試したのは2023年の3月なのでまた挙動は変わっている可能性もある) まず、十分な負荷のかかるようなデータとSQLを準備するのはそれ自体が工数がかかるので、AWSのブログで紹介されているTPC-DSベースのRedshift用のDWHベンチマークを使用することとした https://github.com/awslabs/amazon-redshift-u
AWS から OCI に移行してコストを約半額にした話 - Qiita
OCIについて知らない方向け AWSは知ってるがOCIを知らないという方は取り急ぎ以下のようなページを読むとイメージが掴みやすいかと思いますのでリンクを貼っておきます。 本件では細かい用語の違いなどの説明は省略します。 OCIへの移行理由 今回移行した理由はコスト削減が最大の理由でした。 オンプレからAWSに移行したのは3年前の2021年2月で当時のドル円相場は約106円でした。 2021年のAWS移行当時、RDSのReserved InstancesとEC2のSavings Plansを3年で購入していました。（通常は1年などで購入されるケースの方が多いと思いますが、歴史のあるサービスなので急激なリソースの増減はあまり無さそうではと考えたためとなります。結果としては円が強いタイミングで安く買えて助かりました） 移行を検討し始めたのはRI/SPが切れる1年前くらいで、その時点のドル円レート
IAM Identity Centerでもaws-vaultでセキュアにAWS CLIを使う - Nealle Developer's Blog
こんにちはSREチームの宮後(@miya10kei)です。最近、トリュフナッツにハマりビール🍺の消費量が増えています。 AWS CLIを使用する時にaws-vaultは使っていますか？ AWSのユーザ管理をAWS IAM Identity Centerに移行した際にaws-vaultの設定でつまずいたので解決方法を紹介したいと思います。 AWS IAM Identity Centerとは？ 複数の AWSアカウントやアプリケーションへのワークフォースのアクセスを一元管理するためのサービスです。外部IDプロバイダーと接続しSSO（シングルサインオン）連携をすることができます。ニーリーではGoogle Workspaceと連携させGoogleアカウントでログインできるようにしています。 aws-vaultとは？ aws-vaultはAWS CLIを使用する際の認証情報を安全に保存し、アクセス
【AWS SageMaker】SageMaker Ground Truthで手持ちの画像をラベリングしてみた - Qiita
背景 AWS SageMakerについて勉強していたところ、SageMaker Ground Truthは画像にラベリングを行うものとあったので、実際に触ってみました。 試した事(概要) 漫画家の矢吹健太郎先生の作品である「ToLoveる-ダークネス-」のヒロインキャラクター画像に対して、キャラクター名をラベリングしてみました。 例えば、 これは「ヤミ」のラベルを付けて、 これは「モモ」のラベルを付けてみる形です。 試した事(詳細) 1. S3にラベリングを行いたい画像をアップロード 今回は12枚の画像(pngファイル)をアップロードしました。 2. SageMaker Ground Truthにて、ラベリングジョブを作成 どこに保存されている画像に、どのようなラベリングを行うのか、作業者は誰か、等の設定をしたジョブを作成します。 まずは、マネジメントコンソールのSageMaker画面の左
Storage Transfer ServiceにAmazon S3からのデータ転送をより安くするオプションが追加されました | DevelopersIO
Google Cloudデータエンジニアのはんざわです。 2024年5月17日、Storage Transfer ServiceにGoogleが管理するマネージド・プライベート・ネットワーク経由でのデータ転送のオプションが追加されました。 May 17, 2024 この記事では、新しいオプションの概要や料金などを簡単に紹介したいと思います。 マネージド・プライベート・ネットワークとは？ マネージド・プライベート・ネットワークとは、Storage Transfer Serviceを利用して、Amazon S3からGoogle Cloud Storageへデータを転送するためのオプションの１つです。 このオプションを有効化するとGoogleが管理するCross-Cloud Interconnect経由でデータが転送されます。 これにより、Amazon S3のEgress料金がかからなくなり、代
Amazon Q DeveloperがGAされたのでVisual Studio Codeから使ってみる - TECHSTEP
今回は2024年4月の終わりにGAとなったAmazon Q Developerを使ってみました。 aws.amazon.com 背景 以前Amazon CodeWhispererからCloudFormationコードの開発を試しましたが、つい先日Amazon Q DeveloperがGAとなり、CodeWhispererもAmazon Q Developerの機能の一部として変更されました。 なお今回は触れませんが、GAになって以下のような機能が追加されています。 AWSアカウント上のリソース情報の提供: S3バケットやLambda関数といったリソースの個数などをチャットから質問できます。 AWSコスト情報の提供: アカウント上で利用料金の大きいリソース種別などを質問できます。 Software development: /dev コマンドと自然言語を組み合わせて、コードを生成します（Co
Redshiftのデータ共有で元DBに作成したテーブルを即時反映させる - Qiita
はじめに Redshiftのデータ共有、皆さん使われているでしょうか。 物理的なコピーをせず、Redshift間でデータの共有ができて便利ですよね。 さて、このデータ共有ですが、既に共有されているテーブルに対してデータの追加や更新（INSERTやUPDATE）をすると即時反映されますが、テーブルの作成（CREATE TABLE）はデフォルトでは即時反映されません。 テーブルの作成も即時反映させたい場合は、ALTER文で SET INCLUDENEW = TRUE SCHEMA schema を実施する必要があります。デフォルトではこれがFALSEになっており、かつGUI上ではこれをTRUEに設定できるところが見つかりませんでした。 今回はこれをクエリエディタv2で実施してみます。 前提条件 以下のRedshiftを、それぞれ別のアカウントで作成済み。 プロデューサーはRedshift Pr
X-RayはpytestとFlameGraphを組み合わせると便利 - Qiita
この記事を3行で AWS X-Rayをpytestで使うと便利 関数の通過や例外の発生をassertでテストできる X-Rayの可視化にFlameGraphを使えば、各関数の実行時間が分かりやすい この記事を書く理由 AWS X-Rayが便利なので、AWS環境へのデプロイの前でも使える使い方を紹介したい。 完成後の挙動 この記事で作成する単体テストを、Pytestで実行すると、 単体テストが吐き出したX-Rayのデータをもとに、下のようなグラフがローカルのPC上に作成されます。 FlameGraphと呼ばれているグラフです。炎のように下から上に伸びていくことが特徴です。 グラフの縦の方向は関数の呼び出しを表しています。 たとえばこのグラフなら、下から上に読んで、lambda_handler関数がnetwork_process関数を呼び出して、そこからgoogle.co.jpへのリクエストを
チーム立ち上げにAWSを活用したらClaudeさんに褒められた話
2024年5月11日 JAWS-UG DE&IでのLT資料。
社内 GameDay をやってみた - エムスリーテックブログ
こんにちは、エムスリーエンジニアリングGの榎田です。趣味は数学とゲームです。数学はここ半年ほど 微積分の勉強 をしていて、ぼちぼち微分形式の話ができそうです。ゲームは黎の軌跡（日本ファルコム軌跡シリーズ最新作）を遊んでいます。初週ナイトメアでも遊べるバランスなのがよいです。あとフェリちゃんがかわいい。 お仕事では Docpedia という医師向け Q&A サービス を開発するチームでの仕事が半分、チーム SRE としての仕事が半分、という立ち位置です。最近、その Docpedia チームで GameDay というものをやりました。その過程で色々なことが学べたので、今日はその話を書きます。 GameDay とは 出した問題 ぱっと見 裏で何を壊したか 結果 問題設計の意図 ひどく難しくしない できることを制限しない 引き継ぎ 感想や学び 一人でも文殊、三人でもっと文殊 権限があることと実際に
AWS Config Rulesを使用し、組織全体で一定期間利用の無いIAMユーザーにDenyポリシーをアタッチしてみた - サーバーワークスエンジニアブログ
エンタープライズクラウド部の山下(祐)です。 今回は、AWS Config Rules（以下、Configルール）で一定期間利用の無いIAMユーザーを検知し、修復アクションでAWSDenyAllポリシーをアタッチ＆管理者へのメール通知を行ってみたいと思います。 また、CloudFormation StackSets（以下、StackSets）とAWS Config Conformance Packs（以下、適合パック）を使用し、AWS Organizations（以下、Organizations）の組織全体で利用の無いIAMユーザーを管理できるようにしたいと思います。 適合パックとStackSetsの配布イメージ 修復の流れ StackSetsの委任 修復アクション用IAMロール SNSトピック Configルール 修復アクション ビジュアルツール ランブック属性 ① GetUsernam
Cloudflare AI Gatewayを利用して、Amazon Bedrockを使ったAPIの利用状況の可視化、分析、ロギングできるか試してみた | DevelopersIO
Cloudflare AI Gatewayを利用して、Amazon Bedrockを使ったAPIの利用状況の可視化、分析、ロギングできるか試してみた どうも！オペレーション部の西村祐二です。 以前、Hono + Cloudflare Workers + AWS SDK for JavaScript v3 + Amazon Bedrockの構成でAIモデルの動作確認用のAPIを作りました。 Hono + Cloudflare Workers + AWS SDK for JavaScript v3の構成でAmazon Bedrockが利用できるか試してみた | DevelopersIO 今回このAPIに対して、AIアプリケーションの利用状況を可視化、分析、キャッシュ、生成された回答のロギングなどの環境を提供するCloudflare AI Gatewayを試してみたいと思います。 Cloudfl
はじめてのre:Inventを振り返る - Qiita
はじめに 先日開催された、re:Invent2023に参加してきました。 各セッションで得られたことなどは順次まとめていきたいと思いますが、サマリ的な形で感想を書いていきたいと思います。 ※re:Invent初心者が”感じたこと”を語るので、技術的な要素はほぼ含まれませんのでご留意ください。 自己紹介 私は、某SIerで主に公共機関向けのクラウド移行を支援しているエンジニアです。昨年、今年AWS Top Engineerに選ばれており、AWSが大好きな人です。主に基盤系をやっているのであまりアプリよりのことは詳しくないです。 現地で参加したもの Keynote ・Monday Night Live ・CEO Keynote ・Data and AI Keynote ・Dr.Warner Keynote 上記のセッションに参加しました。 KeynoteはどうせYoutube公開されるからでな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Infrastructure as Code の新機能を総まとめ！ 2023.1-2024.5
