AWSのVPCに大きなアップデートが！ 今週10/26、AWSにこんな機能アップデートが発表され大変話題になりました。 簡単に言うと 「EC2インスタンスから複数のVPCに対してENI（NIC）を足出しできるようになった」 という大きなアップデートでした。 みんな戦々恐々？ しかし、Twitterのオンプレミス経験者たちは口を揃えて懸念を漏らしています。 「これ、クラウド初心者がオンプレからの移行で "監視セグメントVPC" みたいなものを作ってしまうんじゃなかろうか…」 今回のアプデを見て「ウッ…😅」と感じた方も、改めて何が問題なの？と聞かれると意外としっかり言語化できないかも知れません。これを機にAWSの代表的なサービスであるマネージド論理ネットワーク「VPC」の基本をおさらいしてみましょう。 オンプレ時代の基本を振り返る パブリッククラウド普及前のオンプレミス時代では、企業のシステ

ワクワクしています。 内製したリアルタイムデータ処理基盤Atlasのソースコードを段階的に公開します。 まず最初に、日経電子版を継続的にご利用頂き支援くださっている読者の皆様と、Atlasの開発に参加した方々、Atlasを活用して日々業務を遂行している全ての利用者に、お礼を申し上げたいと思います。有り難うございます。 課題意識から生まれた Atlas 2年半前、日経ではデータについて大きな課題をいくつも抱えていました。 膨大な記事が流通する電子版で、その運営に必要不可欠なデータをいかに迅速に編集業務の現場で活用するか？ サービス開発やマーケティング施策において、全ての読者・全ての記事について正確な情報に基づく意思決定を下すためのデータはどうすれば得られるのか？ 読者が必要とするであろう情報を提案できる賢いレコメンデーションやプロアクティブなコミュニケーションを実現するには、どれくらいの速度

CI いちおうJenkinsが立ってました。失敗して赤くなってるジョブが大半で、かといって誰が治すわけでもなく、よくわからないけど失敗したり成功したり、とにかく不安定でした。 CloudWatchのメトリクスで眺めて、EBSのIOPSクレジットの枯渇から激遅になって、Jenkinsジョブのタイムアウト設定で失敗になる、まで明らかにしました。その時の対処は、IOPSクレジット上限サイズの1TBのSSDのEBSを付けることと、同時並行で動けるJenkinsジョブ数に上限を設けることで、落ち着くようになりました。 とはいえ「Jenkinsおじさん」問題があるので、CIをどうにか民主化する必要があります。SaaSから検討して、TravisCIとCircleCIが最終候補になって、トラブルシュートをSSHでできるのを決め手に、CircleCIを導入しました。 8月末にCircleCI1.0が死んだと

The PostgreSQL-compatible edition of Amazon Aurora is now available in 10 regions. With the addition of the AWS Asia Pacific (Tokyo) region, you have a new option for database placement, availability, and scalability. Amazon Aurora combines the performance and availability of high-end commercial databases with the simplicity and cost-effectiveness of open source databases. It provides up to three

AWS News Blog New – Per-Second Billing for EC2 Instances and EBS Volumes Back in the old days, you needed to buy or lease a server if you needed access to compute power. When we launched EC2 back in 2006, the ability to use an instance for an hour, and to pay only for that hour, was big news. The pay-as-you-go model inspired our customers to think about new ways to develop, test, and run applicati

Today we announced the general availability of AWS Glue, a new, fully managed extract, transform, and load (ETL) service that makes it easy for customers to prepare and load their data for analytics. With a few clicks in the AWS Management Console, customers can create and run an ETL job. You simply point AWS Glue to your data stored on AWS, and AWS Glue discovers your data and stores associated m

AWS News Blog Launch – AWS Glue Now Generally Available Today we’re excited to announce the general availability of AWS Glue. Glue is a fully managed, serverless, and cloud-optimized extract, transform and load (ETL) service. Glue is different from other ETL services and platforms in a few very important ways. First, Glue is “serverless” – you don’t need to provision or manage any resources and yo

AWS Batch enables developers, scientists, and engineers to easily and efficiently run hundreds of thousands of batch computing jobs on AWS. AWS Batch dynamically provisions the optimal quantity and type of compute resources (e.g., CPU or memory optimized instances) based on the volume and resource requirements of jobs submitted to job queues. With AWS Batch, there is no need to install and manage

［速報］顧客のデータセンターに大型トラックで乗り付け、100PBのデータを吸い上げる「AWS Snowmobile」発表。AWS re:Invent 2016 AWSは大容量のデータを顧客のデータセンターからAWSのクラウドへ物理ストレージを利用して効率よく転送するために「Amazon Snowball」を2015年に発表しました。 今回のAWS re:Invent 2016では、このAmazon Snowballの進化形として「AWS Snowball Edge」が発表されました。 Snowball Edgeは100TBの頑丈なストレージにコンピュート機能などを内蔵したことで、処理中のサーバに接続し、ストレージとして直接データを受け取るといったことが可能になります。 しかし「企業が保存しているデータがエクサバイトだったらどうだろう？」と、AWS CEOのAndy Jassy氏。「エクサバ

AWS News Blog Amazon Athena – Interactive SQL Queries for Data in Amazon S3 The amount of data that we all have to deal with grows every day (I still keep a floppy disk or two around in order to remind myself that 1.44 MB once seemed like a lot of storage). These days, many people routinely process and query data in structured or semi-structured files at petabyte scale. They want to do this at hig

20200218 AWS Black Belt Online Seminar Next Generation RedshiftAmazon Web Services Japan

サーバレスアーキテクチャ構成にしたときに 実際のところ、どれくらいの料金になるのか気になったので算出してみようと思います。 (あくまでシミュレーションしたものでAWS側で値段や計算方法が変わったりするため、責任は負いかねますので導入する際は自己責任でお願いします。) AWSのどこにどれくらいの料金がかかっているのか知ることは大事だと思ったのですが、トータルだとなかなかまとまってなかったのでまとめてみました。 間違ってたらご指摘いただけると助かります。 サーバレスアーキテクチャって何？って方はこちら参照してください 世界に先駆けてAWSサーバレスアーキテクチャでユーザ認証とAPI認可の実装をしてみた AWSサーバレスアーキテクチャでCloudFrontからWAFをかけてAPI Gatewayを呼ぶ Lambda+RDSはアンチパターン 全部教えます！ サーバレスアプリのアンチパターン とチュ

AWS Database Migration Service now supports Amazon Redshift as a migration target. This allows you to stream data to Amazon Redshift from any of the supported sources including Amazon Aurora, PostgreSQL, MySQL, MariaDB, Oracle, and SQL Server, enabling consolidation and easy analysis of data in the petabyte-scale data warehouse. To get started with AWS Database Migration Service, please visit the

今回、不倫で有名になった乙武さんの謝罪文はAWSのS3で構築してる。技術的にもプロの犯行だ。S3とは、ざっくり言うとAmazonさんが運営してるほぼ絶対落ちない静的サーバのことです。http://ototake.com をDNSで全部S3に降ってる。要するに謝罪文しか表示しないけど絶対落ちないサーバをAmazonさんから短期的に借りる。今後、芸能人の謝罪文はAWSのS3というソリューションが増える。 GMOさんは芸能人に強いのに営業しないのかな。CAと組んで謝罪文サーバとか売ればいいのに。これは、芸能人のサイトを運用している人には重要な事例だ。教科書にのるかもしれない。むしろ、今後の謝罪ページのセオリーになるかもしれない。昔に比べて、DNSの浸透は爆速になったので、こういうのが可能なんだろな。 今まで、ototake.comを無視して、短期的にS3にDNSを降ることで、以下のメリットが有る

AWS Directory Service now lets you run a Microsoft Active Directory (AD) as a managed service. AWS Directory Service for Microsoft Active Directory (Enterprise Edition), also referred to as Microsoft AD, is powered by Windows Server 2012 R2. When you select and launch this directory type, it is created as a highly available pair of domain controllers connected to your virtual private cloud (VPC).

前編（「ビッグデータは“リアルタイム”でこそ価値がある」）では、リアルタイムなビッグデータ解析プロジェクト「CET（Capture EveryThing）」が始まったきっかけから、いまのチームまで組織に焦点を当てました。 後編では、いよいよビッグデータ解析のシステムについて深掘りしていきます。 Amazonのクラウドサービスを活用して作り上げた現状のシステムを捨て、Googleで作る構成に変えようとしているそう。その意図とは。 クラウドサービスのコストパフォーマンスなど、エンジニアやアーキテクトには気になる情報が満載です。 「CET」で基盤構築や分析・集計アプリケーションの開発を行っている、吉田啓二さんに聞きました。 聞き手／構成／編集／写真：小川楓太（NEWPEACE Inc.） AWSで本格的に運用するのは厳しいかなという印象です ——　今回構築された基盤の具体的なシステム構成はどのよ

AWS EC2 Amazon Linuxインスタンス起動後、最初にやることまとめ（SysVinit編）AWSEC2AmazonLinux

AWS re:Invent 2015に、参加できなかった方向けに298のBreakout Sessionsをまとめてみました。セッションごとの日本語タイトル(超訳)、公式Webページ、スライド、動画と関連するブログ記事を1ページにまとめています。量が多いので、ページ内検索などでキーワード検索をかけていただくのがオススメです。SlideShare / YouTube / MP3とも徐々に公開されているので、順次追加していきます！ 2015/10/16 情報アップデート 公式Webページ(英語) AWS re:Invent 2015 公式現地レポート(日本語) 基調講演 AWS re:Invent 2015 Keynote | Andy Jassy - YouTube AWS re:Invent 2015 Keynote 1 リアルタイムレポート #reinvent AWS re:Invent

AWS News Blog AWS Config Rules – Dynamic Compliance Checking for Cloud Resources The flexible, dynamic nature of the AWS cloud gives developers and admins the flexibility to launch, configure, use, and terminate processing, storage, networking, and other resources as needed. In any fast-paced agile environment, security guidelines and policies can be overlooked in the race to get a new product to

AWS News Blog Amazon Inspector – Automated Security Assessment Service As systems, configurations, and applications become more and more complex, detecting potential security and compliance issues can be challenging. Agile development methodologies can shorten the time between “code complete” and “code tested and deployed,” but can occasionally allow vulnerabilities to be introduced by accident an