タグ

devopsとawsに関するsh19910711のブックマーク (50)

  • AWS Infrastructure as Code の新機能を総まとめ! 2023.1-2024.5

    2023年1月から2024年5月までの AWS Infrastructure as Code 関連のアップデートを解説しています。JAWS-UG CDK支部 #14 でお話させていただきました。 https://jawsug-cdk.connpass.com/event/317935/

    AWS Infrastructure as Code の新機能を総まとめ! 2023.1-2024.5
    sh19910711
    sh19910711 2024/05/23
    "Console-to-Code: マネジメントコンソールの操作からAWS CLIコマンド、CDKコード、CloudFormationテンプレートを生成 + 生成されたコードはAmazon Qを使用して改善 + us-east-1のEC2コンソールでプレビュー中"
  • なぜ「Infrastructure as Code」が必要なのか

    「July Tech Festa 2021 winter」で発表した資料です https://techfesta.connpass.com/event/193966/

    なぜ「Infrastructure as Code」が必要なのか
    sh19910711
    sh19910711 2024/05/09
    "手動管理はヒューマンエラーによるミス + IaCはその課題の一部を解決 / CloudFormation: 1システム1つのテンプレートだと大規模テンプレートになりメンテナンスが難しい + ライフサイクル別にテンプレートを分割" 2021
  • Observability はじめの一歩 CloudWatch Synthetics

    sh19910711
    sh19910711 2024/05/08
    "なるべく楽に始められる監視が良い + 現状動作しているアプリケーションになるべく手を加えたくない / CloudWatch Synthetics: WebアプリケーションとAPIを簡単に監視できるようにする / Canary: Lambda関数で6種類のBlueprintが用意"
  • AWS CodeBuildでビルド成功時にAmazon Bedrockを使用して褒めてくれる仕組みを作成してみた | DevelopersIO

    AWS CodeBuildのビルド終了時に通知することが可能なのですが、Amazon SNSでのメール通知を設定するだけだと無機質なJSONが送られてくるためAmazon Bedrockを使用してビルド成功時に褒めてくれるようにしてみました。 通知ルールの作成 通知に使用するAWSリソース Amazon SNSAWS CodeBuildのビルド成功通知をAWS Lambdaに行い、Lambda関数からAmazon Bedrockのinvoke_modelを実行してレスポンスのテキストをAmazon SNS経由でメール通知するシンプルな構成としています。 簡易的にはなりますが構成は以下の通りとなります。 作成したコード Lambda関数のコードはPythonで作成しています。 今回はAnthropic Claude 3 Sonnetを使用してメッセージ APIを実行するようにしています。

    AWS CodeBuildでビルド成功時にAmazon Bedrockを使用して褒めてくれる仕組みを作成してみた | DevelopersIO
    sh19910711
    sh19910711 2024/05/08
    "Amazon SNSでのメール通知を設定するだけだと無機質なJSONが送られてくるため / eventからbuild-statusを取得してFAILEDなら慰めてもらいSUCCEEDEDなら褒めてもらう / 失敗時に原因として考えられる部分を教えてくれるような仕組み"
  • IaCからAWSに入門した初心者が CloudFormationを通して考えた「AWS操作」の使い分け

    2024/05/05 JAWS-UG初心者支部#60 初心者向けLT大会 https://jawsug-bgnr.connpass.com/event/316727/

    IaCからAWSに入門した初心者が CloudFormationを通して考えた「AWS操作」の使い分け
    sh19910711
    sh19910711 2024/05/06
    "AWSの触り方: マネコンもCLIもIaCもいいね、という話 / マネジメントコンソール: 直感的で分かりやすい→「確認」に適している / IaC: サービスの理解は必要→程よい達成感をすぐに得られる・効率よく学べる"
  • AWS Cost and Usage Report(CUR)をTerraformで作成する

    AWS Cost and Usage ReportAWSのコストと使用状況レポート、以下CUR)は、AWSのコストやリソースの使用状況をS3やRedshiftにアップロードしてくれる機能です。EC2インスタンスIDなどのリソース単位を含めることができるため、コストの追跡が容易になります。 Cost Explorerと異なり、EC2以外のAWSサービスのリソースも含まれます。1日1回以上、S3にアップロードされるので、自分たちの使い慣れたBIツールなどで分析・可視化することができます。 AWSマネジメントコンソールからCURを設定することが多いのですが、今回はTerraform(一部CloudFormation)で作成する方法を紹介します。 プロバイダの設定 今回は、CURのデータを保存するS3バケットを東京リージョン(ap-northeast-1)に作成します。 後述しますが、CURを作

    AWS Cost and Usage Report(CUR)をTerraformで作成する
    sh19910711
    sh19910711 2024/05/02
    "aws_cur_report_definition: コストやリソースの使用状況をS3やRedshiftにアップロード + リソース単位を含めることができる / AthenaでCURデータをクエリできるようにするため、AWSから提供されているCloudFormationスタックを実行"
  • IaCジェネレーターとBedrockで詳細設計書を生成してみた

    ゼロから始めるVue.jsコミュニティ貢献 / first-vuejs-community-contribution-link-and-motivation

    IaCジェネレーターとBedrockで詳細設計書を生成してみた
    sh19910711
    sh19910711 2024/04/30
    "IaCジェネレーターを使用して既存AWS環境のCloudFormationテンプレートを生成 + Bedrock (Claude 3 Sonnet)のチャットに生成したテンプレートと指示 + テンプレートからエクセルの詳細設計書を作成"
  • [AWS CDK] ALBとCognitoを使ってOktaをIdPとするSAML認証をしてみた | DevelopersIO

    サクッとSAML認証を実装したい こんにちは、のんピ(@non____97)です。 皆さんサクッとSAML認証を実装したいなと思ったことはありますか? 私はあります。 自分でSAML認証のService Provider(SP)側の処理を実装するのは大変です。そのような場合はALBとCognitoを使うと簡単に行えます。 ということで実際にやってみました。今回はIdPとしてOktaを使用します。 「SAML認証ってなんやねん」や「OktaのSAMLアプリってどうやって作成すればいいんだ」、「CognitoでSAML認証ってどうやって行えばいいんだ」という方は以下ドキュメントをご覧ください。 初心者向けSAMLガイド SAMLアプリ統合を作成する | Okta ユーザープールへの SAML ID プロバイダーの追加 - Amazon Cognito また、せっかくなので以下アップデートで可能

    [AWS CDK] ALBとCognitoを使ってOktaをIdPとするSAML認証をしてみた | DevelopersIO
    sh19910711
    sh19910711 2024/04/29
    "サクッとSAML認証を実装したい / 自分でSAML認証のSP側の処理を実装するのは大変 + ALBとCognitoを使うと簡単 / Name ID formatをPersistentに設定 + Attribute Statements : Oktaのuser.emailをemailとして渡す"
  • Agents for Amazon Bedrock の "ユーザー入力" を CloudFromation で有効にする

    この内容は執筆時点の2024年4月26日ごろに確認した結果です。きっと、直ぐにもっとスマートな方法が公開されると思います。(してくれ。) HogeHogeAgent: Type: AWS::Bedrock::Agent Properties: AgentName: HogeHogeAgent AgentResourceRoleArn: !Ref AgentRoleArn FoundationModel: anthropic.claude-3-haiku-20240307-v1:0 Instruction: | あなたはユーザーからの質問や要望に対応するエージェントです。 質問には丁寧に回答してください。 AutoPrepare: true ActionGroups: - ActionGroupName: UserInputAction ActionGroupState: ENABLED P

    Agents for Amazon Bedrock の "ユーザー入力" を CloudFromation で有効にする
    sh19910711
    sh19910711 2024/04/27
    "情報が不足している場合、エージェント側からユーザーに質問することを許可するかどうかを指定するフラグ / ドキュメントには必須項目である AgentGroupName に何を設定すべきなのかの記載がありません"
  • AWS CodeBuildのGitHub Actions runnerサポートでLambdaが実行できるようになったので検証しました | CyberAgent Developers Blog

    AWS CodeBuildGitHub Actions runnerサポートでLambdaが実行できるようになったので検証しました CTO統括室の黒崎(@kuro_m88)です。日早朝に面白そうな発表を目にしました👀 AWS CodeBuild now supports managed GitHub Action runners AWS CodebuildGitHub Actionsに対応したという内容ですが、要するにAWSホストするGitHub Actions Runnerが出たということですね🎉 AWSがマネージしてくれることで、EC2(x64, arm)はもちろん、GPUとカスタムイメージも利用できるようです。 さらに注目したのはGitHub Actions RunnerとしてAWS Lambdaが使えるようです。Lambdaが使えると嬉しいポイントはActionsのjo

    AWS CodeBuildのGitHub Actions runnerサポートでLambdaが実行できるようになったので検証しました | CyberAgent Developers Blog
    sh19910711
    sh19910711 2024/04/25
    "CodeBuildがGitHub Actionsに対応 / GitHub Actions RunnerとしてAWS Lambdaが使える / Lambdaでいい感じにGitHub Actions Runnerを動かす方法がないものかと個人的に考えていたところ、公式で出た"
  • IaC ジェネレーターで検証用 ALB のバックアップと復元をしてみた | DevelopersIO

    頻繁に作成・削除する検証用の ALB は IaC ジェネレーターで CloudFormation テンプレート化しておくと便利です はじめに アノテーション テクニカルサポートのShimizuです。 日々のサポート業務において、検証用の ALB(Application Load Balancer)を作成することがよくあります。 しかしながら数日にまたがる検証では課金を抑えるため、いったん ALB を削除 → 翌日に再作成という作業を毎回行っており、これがなかなか大変です。 そこで今回は、手動で作成したリソースを簡単に CloudFormation(以下 CFn )のテンプレートに変換できる「IaC ジェネレーター」で、検証用 ALB のバックアップと復元を試してみました。以下に手順をご紹介します! ALB とリスナー設定を CFn テンプレートとしてバックアップする まず検証用の ALB

    IaC ジェネレーターで検証用 ALB のバックアップと復元をしてみた | DevelopersIO
    sh19910711
    sh19910711 2024/04/23
    "IaC ジェネレーター: 手動で作成したリソースを簡単に CloudFormationのテンプレートに変換できる / 「関連リソースを追加」では対象の ALB に関連したリソース(VPC、サブネット、ログ保存用の S3 バケット)が表示され"
  • Amazon CodeGuru Securityを用いて、TerraformのDevSecOpsを実現する | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ

    Amazon CodeGuru Securityを用いて、TerraformのDevSecOpsを実現する はじめに こんにちは、Shunです。 皆さん、Terraformのデプロイ時にセキュリティチェックは行っていますか? 多くの人は「terraform fmt」や「terraform validate」で基的な構文チェックを行った後、セキュリティの設定値の確認は目視で行っているのではないでしょうか。 今回は、CodeGuru Securityを使用してTerraformのコードに静的解析を施し、DevSecOpsを実現する方法を紹介します。 想定読者 AWSセキュリティに興味がある方 DevSecOpsに興味がある方 CodeGuru Securityに興味がある方 記事で取り扱う内容 CodeGuru Securityの導入方法 CodeGuru Securityの検出結果の確

    Amazon CodeGuru Securityを用いて、TerraformのDevSecOpsを実現する | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ
    sh19910711
    sh19910711 2024/04/20
    "CodeGuru Security: 統合開発環境やCI/CDプラットフォームに容易に統合可能で、リアルタイムでの脆弱性検出と自動修正が可能 / CodeGuru Reviewer: リポジトリをスキャンする + CodeGuru SecurityはAPIベースでスキャン"
  • ベストなCDK for Terraform(CDKTF)のディレクトリ構成を探る

    最近関わっているプロジェクトでは、大きなアプリケーションのリアーキテクチャを行っています。 そこではフルスクラッチでインフラの構成を書き直す機会がありました。 そのプロジェクトは社内では比較的複雑な構成になっていて、リアーキテクチャにあたっては、アプリケーション特有の事情により、考慮すべきポイントや難度が高いところがたくさんありました。 具体的には、複数のマイクロサービス間の協調性や独立性とそれに付随する認証/認可、クライアント証明書(mTLS認証)の管理、歴史的経緯による複雑性を正すためのawsアカウント移行などなど。 それらは別の機会で語る(or 同僚の誰かが語ってくれることに期待したい)として、この記事ではインフラをフルスクラッチで書き直すにあたって選択したCDKTFについて、紆余曲折を経つつも最終的に採用したディレクトリ構成について書きたいと思います。 タイトルには「ベストな」とあ

    ベストなCDK for Terraform(CDKTF)のディレクトリ構成を探る
    sh19910711
    sh19910711 2024/04/09
    "CDKTF: Terraformの見通しの良さ + プログラミング言語を記述できることによる再利用性 / AWS CDK: メリットは記述するコード量の少なさ + 一方でCloudFormationの内部で作られるリソースへの理解が求められ"
  • CodePipeline V2のQUEUEモードをCDKで作って検証してみた

    概要 CodePipeline V2が発表されて以降、色々な機能が追加されていっていますが、特にQUEUEモードというものが気になり、検証してみた、という記事になります。 検証してみようと思った日の夜にCDKでQUEUEモード(ExecutionMode)がリリースされてとても嬉しかったです。 CodePipeline V2とは 2023/10:CodePipeline V2が発表 この時点では主に以下の点がアナウンス 入力パラメータをパイプライン実行に動的に渡すことができる V1とV2では料金体系が異なる 2024/02:トリガーフィルターと新しいパイプライン実行モードをサポートすることを発表 トリガーフィルター 特定のディレクトに更新があった場合に実行する等の機能 新しいパイプライン実行モード Parallel Queued CDKでも光の速さで対応される AWS CDK v2.128

    CodePipeline V2のQUEUEモードをCDKで作って検証してみた
    sh19910711
    sh19910711 2024/03/13
    "CodePipeline V2: 入力パラメータをパイプライン実行に動的に渡すことができ / トリガーフィルター: 特定のディレクトリに更新があった場合に実行する等の機能 / Pull Requestトリガーの機能などについてもレビュー待ちの状態"
  • AWS CDKで作るCloudWatch Dashboard

    23/3/22 JAWS-UG CDK支部 #6にて登壇 https://jawsug-cdk.connpass.com/event/274879/

    AWS CDKで作るCloudWatch Dashboard
    sh19910711
    sh19910711 2023/03/29
    "適切なウィジェットに適切な説明文を添えた、「誰が見ても監視ポイントがわかるダッシュボード」の存在はとても重要 / サービスの成長とダッシュボードの保守管理は表裏一体"
  • AWS CDK Tips: スタックの分け方について - maybe daily dev notes

    AWS CDK TIpsシリーズの記事です。 AWS CDKのスタック、まとめてますか?分けてますか?分けている方はどういう基準で分けていますか? この議論は人によって割と意見の分かれることも多く、最高の飲み会ネタになるでしょう。今日は私見も交えながら、CDKのスタック分割法についてまとめてみたいと思います。 自己紹介 私見を語る上で自己紹介は必要だと思うので、私自身のCDK経験を簡潔に: CDKは2020年の頭に出会い、以下のようにかれこれ3年ほど使っています。 前職ではそれなり規模のmBaaSをCDKを使ってAWSに移行・運用していました 現職では大小様々な規模のプロトタイプ開発にCDKを使っています。数えるとこれまで15個くらいシステムのプロトタイプを作ったようです。 現職のサイドプロジェクトとして、グローバル規模の社内システムの開発運用もCDKでやってました (お手伝い程度)。AW

    AWS CDK Tips: スタックの分け方について - maybe daily dev notes
    sh19910711
    sh19910711 2022/12/16
    "個人的にベストと思うスタックの分け方: 必要がないなら分けない / スタックを分けると、大抵の場合スタック間に依存関係が生じ / この依存関係によって開発・運用上面倒が生じることが多い"
  • 秘密情報をGitLabに格納することなくGoogle Cloud / AWSに対して認証する - エムスリーテックブログ

    エムスリーエンジニアリンググループ AI機械学習チームの笹川です。 趣味はバスケと筋トレで、このところはNBAはオフシーズンですが、代わりにユーロバスケが盛り上がっていて、NBAに来ていない良いプレーヤーがたくさんいるんだなーと思いながら見ています。 夜ご飯を催促するためデスク横で待機する犬氏(かわいい) 今回は、パブリッククラウドへの認証に必要な秘密情報をGitLab自体に格納することなく、安全に認証する方法について紹介します。 CI/CDの実行時のパブリッククラウドに対する認証 ナイーブな手法とその問題点 OpenID Connectを用いた認証 Terraformでパブリッククラウド側の設定を記述する Google Cloudの場合 AWSの場合 GitLab CI/CDで認証する Google Cloudの場合 AWSの場合 認証ステップの共通化 まとめ We are hirin

    秘密情報をGitLabに格納することなくGoogle Cloud / AWSに対して認証する - エムスリーテックブログ
    sh19910711
    sh19910711 2022/09/23
    "この仕組みに利用するGitLabのpredefined variableである CI_JOB_JWT_V2 はalpha statusの機能 / Workload Identity Pool Provider: 属性のマッピングには Common Expression Language (CEL) が利用できる + これを用いてカスタム属性を作ることができます"
  • CodeBuild Local で CodeBuild の処理をローカル実行 | DevelopersIO

    こんにちは、かたいなかです。 CodeBuild はビルドを自動化するのにとても便利ですが、一度正しく処理を組み立てるまでに毎回 GitHub 等にコードをプッシュしながらトライアンドエラーを繰り返すのはなかなか大変です。 そこで今回は、CodeBuild での処理を手元で試せる CodeBuild Local の使い方をご紹介します。 実際にやってみる 今回は、Rails のアプリケーションを使用していきます。 また、今回のソースコードはこちらのリポジトリにあります。 今回のソースコード buildspec.yml を作成 まず、CodeBuild に実行させたい処理を記述する buildspec.yml を用意します。 version: 0.2 phases: install: commands: - bundle install build: commands: - bundle e

    CodeBuild Local で CodeBuild の処理をローカル実行 | DevelopersIO
    sh19910711
    sh19910711 2022/09/05
    2018 / "毎回 GitHub 等にコードをプッシュしながらトライアンドエラーを繰り返すのはなかなか大変 / 公式イメージのリポジトリに CodeBuild Local を実行するためのヘルパースクリプトがあります"
  • TerraformのAWS Providerのバージョンアップで S3の破壊的変更と向き合った話

    スターフェスティバル株式会社 の バックエンドエンジニアの @ikkitang です。 今回はタイトルの通り、Terraform のバージョンアップに伴って変更になった Terraform の新しい S3 の管理方法を既存のリポジトリに適用してみた話を書いてみたいと思います。意外と情報を集めるのに困ったりしたので、このドキュメントが誰かの役に立てば幸いです。 AWS Provider のバージョンアップと向き合う TerraformAWS のリソースを管理する際は AWS Providerを使用するかと思います。 弊社では執筆時現在、v3.x のバージョンが使われておりますが、AWS Provider のメジャーバージョンは v4.x がリリースされています。弊社のインフラチーム全体として v3.x の最新バージョンへの追従も中々実現出来ていなくて、バージョンアップの課題感を感じてい

    TerraformのAWS Providerのバージョンアップで S3の破壊的変更と向き合った話
    sh19910711
    sh19910711 2022/08/10
    "AWS Provider の v4 upgrade guide / これまで aws_s3_bucket の引数で設定できていた項目が aws_s3_bucket_*** という形 / 多数の API をコールする必要があり aws_s3_bucket の負担があがっていた / v3.75 を使うと段階的に移行できる"
  • CodeGuruによるレビューをCI/CDパイプラインに組み込む CodePipeline+CodeBuild編 - Qiita

    モチベーション DevOpsサイクルを素早く回し、柔軟で高速なフィードバック&リリースを進めるなかで、ときにセキュリティの観点が後回しになってしまうかもしれません。 そうなるとリリースまでにリスクを除去しきれない、リスクの発見が遅れるといったことが発生し、結果的に新機能のリリースが遅れてしまいます。 DevSecOps DevOpsサイクルにセキュリティの自動化を組み込んだDevSecOpsという考え方があります。 サイクルの中にセキュリティを組み込み、できるだけ早い段階で問題・リスクを発見し対応することで安定したリリースにつなげます。(セキュリティのシフトレフト) セキュリティについては専門知識も必要な部分がありますが、AWSでは様々なセキュリティ関連サービスが存在します。 参考:AWSクラウドセキュリティAWSアカウントのセキュリティ対策(iret.media) セキュリティも専門チ

    CodeGuruによるレビューをCI/CDパイプラインに組み込む CodePipeline+CodeBuild編 - Qiita
    sh19910711
    sh19910711 2022/06/15
    "CodeGuru Reviewer: コストのかかるコードに関する推奨事項だけでなくハードコーディングされたシークレットやログインジェクション脆弱性などの脆弱性についてもチェックしてくれます / フルスキャンは少し時間かかる"