DMSを使って非暗号化RDS MySQLから暗号化Auroraに無停止で移行する - yoshidashingo
セクションナイン の 吉田真吾（@yoshidashingo）です。 DB無停止移行は人類の夢 利用する特徴 手順 移行元データベース(MySQL) 中間データベース(Aurora Read Replica) 移行先データベース(暗号化済みAurora) DMS ソース／ターゲットデータベースに接続する タスクを作成して実行する 継続レプリされているか確認する アプリ切替 移行元にデータを書き込む まとめ 参考 DB無停止移行は人類の夢 暗号化していないRDS MySQLから暗号化済みのAuroraに移行したいけど、スナップショットの復元でもAurora Read Replicaのマスター昇格でも一発ではリソース暗号化ができませんが、そんなときに便利なのがDatabase Migration Service(DMS)です。 DMSを使えばどちらかがリソース暗号化されたデータベースであっても
メルカリの今年1年間の機械学習の取り組みとこれから
これはMercari Advent Calendar 2017 の2日目の記事です。 昨日は @stanaka の分散ファイルシステムはブロックチェーンの夢を見るか でした。 今回は@Hmj_kd が、メルカリの機械学習の取り組みや機械学習エンジニアの今年行ってきた活動のいくつかをご紹介したいと思います。 以下、一部にて機械学習をMLと略します。 この1年間で機械学習で取り組んだこと 私が入社したのは2017/01で、社内では二人目の機械学習エンジニアでした。 その当時は speakerdeck.com にあるように、プロダクトにMLに関するものはありませんでした。 現在は、チーム全体でマネージャも含めて約10人ほどの組織になり、活発に実験や開発が行われています。 いくつかを列挙しますと - 商品出品時の価格推定とサジェスト - 一部カテゴリについて商品タグの推定 - 商品出品時のカテゴリ
Updates on Netflix’s Container Management Platform
We continue to share lessons learned from scheduling and executing containers in production at scale. This blog posts summarizes not only recent publications on our container management platform (Project Titus) but also future collaboration opportunities. TitusPublications We were honored when the Association for Computing Machinery (ACM) asked for us to write for their bimonthly ACM Queue publica
Light It ~てらし鬼~ 開発ヒストリー
Light It の開発している間、開発の状況をまあまあTwitterでつぶやいたりしましたが、 まだ忘れていないうちに、開発中に起こったことや考えていたことを、時系列でまとめて残しておこうと思いました。 Light It 公式サイトはこちら これが最終的なトレーラーです。画質は1080pで見てほしいです。そうじゃないと雰囲気が伝わらないので。 ゲームの内容は、「敵に光を当てると止まる」という特性を利用しながらのステルスゲームです。 これができるまでをまとめてみました。 2016/1/14 - ゲーム製作開始！ LightIt作り始めの日です。ゲームライブラリから作り始めました。protonic と名づけました。ゲームのプロトタイプ を作るためのライブラリだから。（これはもっと使いやすいように改造し、今後kurokoという名前で生まれ変わる予定です。） アイデアが降ってきたのでゲーム作ろう
Dockerとnode-easymockでモックAPIサーバを作る - たけぞう瀕死ブログ
ローカル開発環境でミドルウェアを動かすためにDockerを使っているのですが、チーム外で開発しているAPIのモックが欲しくなることがあります。様々な手段が考えられますが、今回は固定のJSONを返すだけのシンプルなモックサーバでよいという要件だったので、サイバーエージェントさんのnode-easymockというものを使ってみました。 github.com これはNode.jsで実装されたモックサーバで、特にプログラムを書かずともレスポンスとして返したいファイルをパス階層に応じたディレクトリに配置しておくだけでそのファイルの内容を返すAPIを提供してくれるというものです。 ファイルの内容は完全固定だけでなく、リクエストで受け取った内容を組み込むなど簡単なテンプレーティングが可能です。また、別途設定ファイルを作成することでより複雑なルーティングや、レスポンスにディレイをかけたりといったこともでき
Haskellerから見たElixir - てくのろじーたのしー
なぜこれを書いたか 誰かHaskellしか関数型を知らない僕にElixirの特徴(特にHaskellとどう違うか)を教えて欲しいです#elixir— Tatsuki@Vim (@ttk_vim) 2017年5月22日 テクノさん案件だ— Haskell (@aiya_000) 2017年5月22日 オッス！オラ、テクノ— techno_tanoC📕 (@techno_tanoC) 2017年5月22日 案件が回ってきたので書きます。時間がないので雑な説明になります。雑すぎて公開するか悩みましたが、せっかくなので公開しておきます。先に謝っておきますごめんなさい。 自己紹介 趣味でプログラミングをやっている(ruby, railsを2年ほど書いていたのは過去の話)人です。 現在の本業は薬学部生です。平日は実習で潰れるのでここ最近全くプログラミングをしていません。 関数型プログラミングが大好き
Lambda(Python3.6)でDynamoDBに登録された項目が日付型であるかチェックしてみる | DevelopersIO
どうも！大阪オフィスの西村祐二です。 DynamoDBで提供されている属性の型は大きく分けて スカラー型、ドキュメント型、セット型となっています。 DynamoDBの命名ルールおよびデータ型 そのため、下記画像のように日付と時刻を登録するときは文字列データ型(String型)を使用するのがほとんどだと思います。 ただ、こちらが想定するフォーマット以外でも登録することができてしまい、 登録された時刻をみて、ある処理を実行するときなど 処理が失敗してしまう可能性があります。 今回はLambdaを使って登録されている項目のフォーマットが正しいかチェックしてみたいと思います。 DynamoDBのテーブル作成 今回はCloudFormationを使ってDynamoDBのテーブルを作成します。 テンプレートファイルを作成します。 今回作成するテーブルはプライマリーキー「Date」、ソートキー「Time
ECSのオートスケール戦略 - Carpe Diem
概要 ECSはコンテナのスケールアウトとインスタンスのスケールアウトのタイミングが重要です。 よく起きる問題としては インスタンスのスケールアウトが遅くてコンテナのスケールアウトも遅くなってしまう しきい値が不適切でインスタンスがスケールアウトせず、コンテナがスケールアウトしたくてもできない で、こういった事が起きないようにしないといけません。 スケールアウトの方針 対象 方針 インスタンス インスタンスの空きリソースがコンテナ１台分だけの状態がｎ分間続いたら コンテナ コンテナの使用率がｎ%を超えたら インスタンスはもう１台もコンテナを追加するリソースがない状況になったら早めにスケールアウトします。 コンテナは一般的なやり方で使用率が高くなったらスケールアウトすればOKです。 スケールインの方針 対象 方針 インスタンス コンテナがｎ分間ずっと１台を下回ったら コンテナ コンテナの使用率
Vue.js でかんばんライクなタスク管理アプリを作ってみました。 | 株式会社ヌーラボ(Nulab inc.)
Backlog 開発チームの saki です。仕事は Scala と Java ですが、Ruby や JavaScript などのいわゆる動的型付け言語も好きです。最近はフロントエンドに興味がありプライベートで Vue.js を触っています。 Vue はプログレッシブフレームワークを謳っており、その名の通り最初は小さく導入でき、ソフトウェアの成長に合わせて他のライブラリを組み合わせることで規模の大きい開発にも利用できる柔軟さが気に入りました。ドキュメントも充実しており学びやすいと思います。どのライブラリも自分が一番と宣伝する中で、他のフレームワークとの比較 のページには誠意を感じました。 今回はそんな Vue を使って、かんばんライクなタスク管理アプリの簡単な作り方を紹介します。アウトラインは以下です。 基礎の作成 状態別にタスクを抽出する処理を作成 task-card コンポーネントの作
はてなブログへの接続をすべてHTTPSにできる機能の実装予定と、利用を検討するユーザー様に準備いただきたいこと - はてなブログ開発ブログ
はてなブログでは、ユーザーの皆様により安全にご利用いただくため、それぞれのブログをHTTPSで配信できる機能のリリースを予定しています。お問合わせも多数いただいておりますが、実施のめどが立ったことから、対応内容とスケジュールをお知らせいたします。 対応内容とスケジュール 第一段階：はてなブログのダッシュボード・管理画面をHTTPS化します 第二段階：はてなが提供するドメインのブログをHTTPSで配信できるようにします 第三段階：独自ドメインのHTTPS化に対応します 混在コンテンツ（Mixed Content）について 編集サイドバーなどはてなブログの機能における対応について ブログ全体のHTTPS化について より安全に「はてなブログ」をご利用いただくため 新たなWeb技術に対応するため 付記・Webブラウザによる警告について 追記・対応状況について [2017/11/7] はてなブログ6
[新機能] VPCのCIDRが拡張可能になりました！IPアドレス範囲を追加可能です！ | DevelopersIO
こんにちは、菊池です。 衝撃の新機能です。VPCに割り当てるCIDRが拡張可能になりました！ Amazon Virtual Private Cloud (VPC) now allows customers to expand their existing VPCs 「一度作成したVPCのCIDRは変更できない」という常識は過去のものになりました。この新機能によりVPCがスケール可能になりますので、EC2、RDS、ELBといったVPC内リソースが想定以上に拡張していくケースにも対応できます。また、あらかじめ作成時に巨大なCIDRを確保する、といったことも必要なくなることでしょう。 VPC CIDRの拡張 VPC作成時に割り当てるCIDRブロックがプライマリCIDRとなり、あとからセカンダリCIDRを追加可能になりました。 Associating a Secondary IPv4 CIDR B
![[新機能] VPCのCIDRが拡張可能になりました！IPアドレス範囲を追加可能です！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/026481057cd247fef939d3239aad6803635d4324/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_VPC.png)
米グーグルの設定ミス、なぜ日本の大規模ネット障害を引き起こしたのか？ | 日経 xTECH（クロステック）
「ネットワークの誤設定により、インターネットサービスにアクセスしづらくなる障害が発生した。ご不便、ご心配をおかけしたことをお詫びする」――。2017年8月25日昼ごろ日本国内で発生した大規模な通信障害。これについて米グーグルが、原因となる誤設定があったと、謝罪の意を8月26日に表明した。 当初より識者の間では、「グーグルから送られてきた大量の経路情報が引き金になったのではないか」との見方が強かった。実際にその通りだったわけだ。 とりわけ大きな影響を受けたのが、NTTコミュニケーションズとKDDI、そしてこの両社の通信サービスを利用していた法人・個人だ。インターネットの接続から各種ネットサービス、金融取引、モバイルSuicaのような決済サービスにまで影響が及んだ。 ただグーグルは、同社がいう「ネットワーク誤設定」が、人為的ミスなのか、ソフトや機器の不具合によるものなのかまでは明らかにしていな
マイクロチームでの高速な新規開発を支える開発・分析基盤
マイクロチームでの高速な新規開発を支える開発・分析基盤 by @__timakin__ Builderscon2017でのプレゼン内容です。
Lambda (Python) をローカル環境で実行できる python-lambda-local を試した - kakakakakku blog
Lambda (Python) のローカル環境を整えるため，python-lambda-local を試した．python-lambda-local を使うと，Python コードを Lambda にデプロイすることなく動作確認ができるようになる．Apex を使っていれば apex invoke でお手軽に実行することもできるけど，やはり Lambda に依存せず，単独で実行したいという要件はある．Lambda のローカル環境は誰に聞いても困っている印象がある． github.com 前提 インストールは pip を実行するだけで良い．また，今回紹介するディレクトリ構成は Apex で Lambda をデプロイする前提にしている． $ pip install python-lambda-local BluePrint : hello-world-python まずは AWS に依存せず，P
Python パッケージ管理技術まとめ (pip, setuptools, easy_install, etc) | yunabe.jp
Python パッケージ管理技術まとめ (pip, setuptools, easy_install, etc) Python のパッケージ管理関係の情報がオフィシャルには整理されてなく、 またパッケージ管理まわりででてくるキーワードもいくつもあって分かり難いので完結にまとめてみました。 このドキュメント自体は少し長いですが、結論としては2015年1月時点では 原則 pip を使ってパッケージの管理を行う setuptools も広く使われているので入れておくとよい。そもそも pip のインストール時に自動的ににインストールされる distribute は 2013年に setuptools にマージされたので不要 という方針でよいと思います。 ただ少し古い情報ソースやパッケージのドキュメントを読んでいると distribute の利用が勧められていたり、 site-packages, e
Rust言語による新しいDockerコンテナランタイム実装「Railcar」、オラクルがオープンソースで公開。なぜRustでコンテナランタイムを実装したのか？ － Publickey
Rust言語による新しいDockerコンテナランタイム実装「Railcar」、オラクルがオープンソースで公開。なぜRustでコンテナランタイムを実装したのか？ Rust言語で実装したコンテナランタイムの「Railcar」を、オラクルがオープンソースとしてGitHubで公開しました。 Railcarはコンテナランタイム標準であるOCI（Open Container Initiative）に準拠してているため、Dockerのバックエンドとしても利用可能と説明されています。 なぜDockerをRust言語で実装するのか Railcarの公開を明らかにしたOracle Developers Blogに投稿された記事「Building a Container Runtime in Rust」によると、Rust言語でコンテナランタイムを実装した理由が次のように説明されています。少し長いのですが、引用し
Introducing Dockercast – the Docker Podcast | Docker Blog
Livecycle’s Docker Extension makes it easy to share your work in progress and collaborate with your team. We provide step-by-step instructions for getting started with the Livecycle Docker Extension. For companies like JW Player, whose core business revolves around streaming, content, and infrastructure, security must be a priority without slowing down delivery or affecting operations. Learn how J
AWS ECSのサービスをslack botでデプロイする - クラウドワークス エンジニアブログ
みなさんさようなら．インフラ部の@h3_potetoです． CrowdWorksは大きなRailsアプリケーションですが，最近ではこの大きさで管理していくのもう無理な気がしてきて，マイクロサービスっぽくしていこうという動きがあります（が，まだ全然マイクロサービスではないです）． それでも一部を切り出すことには成功していて，多少なりともマイクロサービスの運用っぽいことも必要になってきました． で，今回は僕の趣味のデプロイの話です． サービスはDockerに載せたいよ CrowdWorks本体は，Docker化まで程遠い感じがしているんですが，切り出したマイクロサービスなら，最初からDocker前提で作ることが出来ます． これなら楽にDockerで本番運用まで行けそうな気がしていました． 他のサービスを色々AWS上に構築していることから，Dockerでアプリケーションを動かすのもAWSでなんと
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
アクターモデルの話
分散ユニークID採番機 katsubushi と Web アプリケーションへの応用例 / katsubushi
