タグ

awsに関するmigimigiのブックマーク (9)

  • AWS LambdaとDynamoDBがこんなにツライ時代ではない - めもおきば

    ありがたいことに、3年前に#ssmjp 2017/06で話したスライド AWS LambdaとDynamoDBがこんなにツライはずがない #ssmjp をTwitterで紹介して頂いた*1 ようで、当時から大幅に改善しているところを振り返りたいと思います。あと、ついでに最近やっているAzureに関しても少し触れていきます。 サーバーレスアーキテクチャ #とは 当時はこう説明したのですが、今でもそんなに悪くない表現かなと思います。 書籍は現在「Serverlessを支える技術 第3版」まで出ていますので、BOOTHからどうぞ(隙あらばダイマしていく方針)。 サーバーレス三種の神器 今このスライドを作るなら、認証認可の話を入れるかなと思います。システム内のAWS IAMとクライアント側のCognitoどちらも重要です。 ちなみにAzureを含めておさらいすると、こんな感じの対応になります。 勝

    AWS LambdaとDynamoDBがこんなにツライ時代ではない - めもおきば
    migimigi
    migimigi 2020/06/07
    紹介されていたLambda側の「Parallelization Factor」役立ちそう
  • DB負荷試験をやった話

    こんにちは!インフラチームの川田です。 業務では社内ネットワーク構築・運用やツールの検証などしています。 記事では、1月末から2月初頭にかけて行ったDB検証のベンチマーク結果をまとめたいと思います。 試験環境 今回は以下4つの環境を対象にMySQL 5.7互換のあるDBを構築し、ベンチマークを測りました。 Google Compute Engine (以下GCE) Google CloudSQL Amazon EC2 Amazon Aurora サービス概要 GCE及びEC2は、仮想マシンを構築することができるサービスです。 CloudSQLAuroraは、フルマネージド型DBサービスです。どちらも簡単なので、とりあえずDB構築してみたいという初心者にオススメです。 CloudSQLはチューニング項目はありませんが、AuroraではMySQLのmy.cnfで設定できる項目の一部を変更で

    DB負荷試験をやった話
    migimigi
    migimigi 2018/03/31
    GCEとEC2でディスク容量が大きく異なりますが、EC2も容量によってIOPSとスループットが向上するので容量は揃えたほうが良いのではと思います https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/EBSVolumeTypes.html#EBSVolumeTypes_gp2
  • AWS Database Migration Serviceを使って水平分割されたDBの縮退に挑戦した話 - Qiita

    概要 AWS Database Migration Service 略称DMSを使って、水平分割されたDBインスタンスを縮退しようと計画していましたが、検証中に不具合らしきものを見つけたので中断しました。この記事はDMSを検証中に引っかかったトラブルや対策について書いていたメモをまとめたものです。今回の記事中で説明する内容は実環境からぼかしている箇所がありますがご容赦ください。 ※ この文章での「メンテナンス」という単語は、ゲームシステムのメンテナンスを指しており、AWS側のメンテナンスとは異なります。 動機 通常DBは基的にはスペックが不足したらスケールアップを行い対応します。弊社では加えてより大規模な負荷でも耐えられるよう水平分割してスケールアウトも併用する構成になっております。規模の拡大時には問題無いのですが、必要とされる負荷が下がった場合や、サービスの使われ方が変わって別のサブシ

    AWS Database Migration Serviceを使って水平分割されたDBの縮退に挑戦した話 - Qiita
    migimigi
    migimigi 2018/03/21
    検証にかなり時間がかかりましたが結果は…また挑戦してみたいです。そもそもDMSが扱えるものが多すぎて検証も大変。
  • AWS Lambda(Python) の開発環境・テスト・デプロイ・CI 考察 | DevelopersIO

    作るもの ヒーローを管理する Lambda Function を書きます。ヒーロー情報は DynamoDB の ヒーローテーブルに格納するものとします。リポジトリは以下。 * Python Lambda SAM + SAM Local Project コーディング作業 すべてはコードを書くところから始めます。いきなりプロジェクトルートにファイルを置いて書き始めるのも良いですが、後々テストやデプロイも行うことになるので少し整理してみます。以下のようにしました。 . ├── buildspec.yml ├── deploy.sh ├── docker-compose.yml ├── environments │   ├── common.sh │   └── sam-local.json ├── integration_test.sh ├── requirements.txt ├── src

    AWS Lambda(Python) の開発環境・テスト・デプロイ・CI 考察 | DevelopersIO
  • プライベートなEC2に一時的にSSHする3つの方法 | DevelopersIO

    おはようございます、加藤です。東京は気温が高くて過ごしやすいですね。 はじめに プライベートなセグメントに一時的にSSH接続する方法をご紹介します。 下図の様な構成です。publicには色々インスタンスはあるが自分は触ることができない場合の対処方法です。 パターン1 EC2の踏み台 あるあるパターンです。自分用の踏み台を作ります。 public_subnetにインスタンスを立てる インターネットからのSSH許可 インスタンスprivateのセキュリティグループ変更 bastionからのSSH許可 接続コマンドはこんな感じです。 ssh -oProxyCommand='ssh -W %h:%p ec2-user@ec2-13-x-x-x.ap-northeast-1.compute.amazonaws.com' ec2-user@ip-10-x-x-x.ap-northeast-1.comp

    プライベートなEC2に一時的にSSHする3つの方法 | DevelopersIO
    migimigi
    migimigi 2018/03/03
    基本SSHさせないが、一時的にSSHが必要な環境でELBを作成して接続して作業が終わったらELBを消すのは良さそう。EIPは考えたことがあるが上限数もあるしやりたくない。
  • AWSのシステム構成情報を集めて構成図を自動生成してくれる「CloudMapper」、オープンソースで公開

    AWSのシステム構成情報を集めて構成図を自動生成してくれる「CloudMapper」、オープンソースで公開 CloudMapperを用いることで、AWS上のシステムについて以下のような状況をすぐに把握することができると説明されています。 どのリソースがインターネットに公開されているか? どのリソース同士がつながっているのか? アベイラビリティゾーンが落ちたときでも十分堅牢なアーキテクチャか? このアカウントはいくつのリージョンを利用しているか? どれだけ大きないシステムを運用しているか? CloudMapperを開発しているDUOは、セキュリティサービスを提供する企業。同社は自身もAWSユーザーで、さまざまなオープンソースのツールを試してみたものの満足できるようなものがなかったため、自社でCloudMapperを開発したとのこと。 CloudMapperの仕組みは、まずAWSコマンドライン

    AWSのシステム構成情報を集めて構成図を自動生成してくれる「CloudMapper」、オープンソースで公開
    migimigi
    migimigi 2018/03/01
    AWS CloudFormation デザイナーは図からシステムに出来るけど、粒度がAWS側に細かすぎて見ると凄い大変、これ凄いは
  • AWS で実現した Mackerel 時系列データ1分粒度長期保存の裏側 / Mackerel Meetup #11 Tokyo

    2018/02/05 https://mackerelio.connpass.com/event/76678/

    AWS で実現した Mackerel 時系列データ1分粒度長期保存の裏側 / Mackerel Meetup #11 Tokyo
    migimigi
    migimigi 2018/02/11
    時系列DBは作れる
  • Manage Kubernetes Clusters on AWS Using Kops | Amazon Web Services

    AWS Compute Blog Manage Kubernetes Clusters on AWS Using Kops Any containerized application typically consists of multiple containers. There are containers for the application itself, a database, possibly a web server, and so on. During development, it’s normal to build and test this multi-container application on a single host. This approach works fine during early dev and test cycles but becomes

    Manage Kubernetes Clusters on AWS Using Kops | Amazon Web Services
    migimigi
    migimigi 2017/08/16
    AWS上にKubernatesをインストールするAWS公式ブログ記事、「インストールは」そこまで難しくなさそうだが
  • RDSを短いダウンタイムでgp2へ移行する方法 | DevelopersIO

    はじめに ウィスキー、シガー、パイプをこよなく愛する大栗です。 先日RDSでGeneral Purpose (SSD) Storage、通称gp2が選択可能になったのでベンチマークをしましたが、ストレージの違いだけでMagneticの4倍程度のスループットが出ました。 既存のMagneticで構成しているRDSもgp2へ移行してスループットを向上するために、移行方法を検討してみました。 どんな移行方法があるか? 既存インスタンスをそのままディスク変更 これが、一番簡単な方法です。各RDSインスタンスのModifyでStorage Typeを変更するだけで実行できます。 しかし、注意点も有ります。Modify画面でStorage Typeをgp2へ変更すると以下の注意書きが表示されます。 つまり、Multi-AZだとフェイルオーバーを伴って変更するので60~120秒の間RDSへアクセスが出来

    RDSを短いダウンタイムでgp2へ移行する方法 | DevelopersIO
    migimigi
    migimigi 2014/11/13
    このやり方は自分も考えたのですが、ちょうどバージョンアップしたRDSのMySQLの5.6.21ではリードレプリカがクラッシュするという制限があって諦めました…http://goo.gl/CS9a9f
  • 1