Digdag x Dockerでモダンなバッチ処理環境を構築
「DigDag」はTreasure Data製のワークフローエンジンのOSSです。ワークフローエンジンを使うことでバッチ処理の依存関係を明確に定義できたり、ジョブの管理をしやすくなります。また、Dockerと組み合わせることで、言語や環境を自由に選ぶことができます。 🤔 紹介スライド2017/6/9に発表したDigdagの紹介LTのスライドです。Web画面からタスクの実行状況がわかったり、再実行ができたりするのは便利です！ 🚕 Digdagの特徴 手動で行っている操作をYAML(.dig) で「ワークフロー」に書いて定義できます 依存関係のある複数のタスクを管理・実行しやすくするためのしくみです タスクが失敗した場合、時間内にワークフローが終了しない場合の通知を行うことができます PostgreSQLだけを維持すればDigdagサーバはいつでも立てたり落としたりできる本番環境に優しい設
docker-lambdaで簡単なLambda開発環境を構築 - ブログを書くまでが
使ってみた時に調べたことをメモ。 前提 Mac Docker version 17.03.1-ce, build c6d412e aws-cli/1.11.82 Python/3.6.1 Darwin/16.6.0 botocore/1.5.45 こちらの記事を参考にデプロイパッケージ作成用のImageをmylambdaという名前で準備済み Python3.6のLambda環境を作るよ 手順 1. 新規作成Directory内に以下のファイルを作成する lambda_function.py def lambda_handler(event, context):がhandlerになる requirements.txt # こんな感じ requests input.json # こんな感じ { "key3": "value3", "key2": "value2", "key1": "value
ブログをGKEでの運用に移行した | tsub's blog
このブログはGitHub pagesを使って公開していたが、GKEに移行することにした。 はてなブログからHugo on Github Pagesに移行しました これを聞いて、99%の人が、HugoでHTMLファイルを生成して公開しているならわざわざサーバーなんて必要ないんじゃないか？金の無駄じゃないか？と思うかもしれない。 自分もそう思う。 今回GKEを使ったのはGKEとk8sでのコンテナ運用を経験したかったことが非常に大きい。 会社ではECSを本番運用しているが、ECSに比べてk8sの方が良さそうな雰囲気しかないのでGKEの方も触っておこうかと思って移行した。 また、今のところブログ以外に個人で運用しているWebサービス等はないため、ブログがちょうどいい題材だった。 GKEとは GCP(Google Cloud Platform)で提供されている、k8s(kubernetes)のフルマ
自作コマンド配布ツールとしてDockerを使う - Qiita
Unable to find image 'greymd/cureutils:latest' locally # Dockerhubからイメージの取得が始まる latest: Pulling from greymd/cureutils efd26ecc9548: Pull complete a3ed95caeb02: Pull complete d1784d73276e: Pull complete 72e581645fc3: Pull complete 9709ddcc4d24: Pull complete 7013ecfd652c: Pull complete 66373b9c2e12: Pull complete 2a6578ab609c: Pull complete 4356bd31ea9f: Pull complete 34ea4e1d4a33: Pull complete Di
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
docker コンテナ上で Go のアプリケーションを開発しはじめるときの自分のやり方 - Qiita
Docker を使ったサービス構築速習会
