グループを作れば、無料で誰でもイベントページが作成できます。情報発信や交流のためのイベントをTECH PLAY で公開してみませんか？
イベント資料｜Embulk & Digdag Online Meetup 2020 - TECH PLAY［テックプレイ］
グループを作れば、無料で誰でもイベントページが作成できます。情報発信や交流のためのイベントをTECH PLAY で公開してみませんか？
DockerでDigdagサーバを動かす（クライアントの簡単な動作確認用、PostgreSQL不使用） - memo486
digdag コマンドやクライアントライブラリなどの動作確認のため、 手軽にリセットしたり捨てられたりする Digdag サーバがあると便利かも？ と思って雑に用意してみた。 Dockerfile FROM ubuntu:18.04 RUN apt update \ && apt install -y --no-install-recommends \ curl \ openjdk-8-jre-headless \ && curl -o ${HOME}/bin/digdag --create-dirs -L \ "https://dl.digdag.io/digdag-0.9.39" \ && mkdir ${HOME}/tasklog 適当なシェルスクリプト #!/bin/bash ENDPOINT=localhost:65432 CONTAINER_NAME=digdag_server
In Praise of Digag, an Alternative to Airflow
At Culture Amp, we’ve been customers of Treasure Data for about a year. We’ve been able to get some great momentum around product analytics with their stack of tools, which includes solutions for data ingestion, data querying, workflow management, and data export. Treasure Data are very good open-source citizens, and many of the tools that power their stack are open-sourced. Their most popular is
Jenkinsをエンジニアでない人も使えるDigdagのWeb UIとして使う - エムスリーテックブログ
こんにちは、エンジニアリンググループの福林 (@fukubaya) です。 現在、弊社では長年運用され続けているレポート基盤のリニューアルを昨年から続けています。 その一環で、エンジニアでない人も使えるレポート生成UIを実現するため、 DigdagとJenkinsを利用した仕組みを検討しました。 本記事ではその一例をご紹介します。 横浜赤レンガ倉庫は横浜港にある歴史的建築物。本文には特に関係ありません。 レポート生成UIとしてのJenkins 弊社では、客観的なデータに基づき意志決定することがエンジニアに限らず基本となっているため、 あらゆるサービスでデータの蓄積、分析、活用が日常的に行われています。 レポート生成処理は基本的にはスクリプト実行なので、実行もコマンド実行になりますが、 エンジニアでない人にコマンド実行でレポートを生成してもらうのは難しいです。 そこで、弊社ではJenkins
Digdag の Plugin をたくさん作ったので紹介するよ - Gunosy Tech Blog
こちらは Gunosy Advent Calendar 2018、7日目の記事です。なお、昨日の記事は @yutanim さんの RxSwiftにおける孫からの祖父母孝行 でした。 qiita.com はじめに こんにちは、広告技術部の ｷｳﾞｨﾀｽﾎﾟ(人工知能) (@Civitaspo) / Twitter です。 Gunosy に入社してから早いもので1年が経ちました。昨年の Gunosy Advent Calendar では僕は読む専門だったのですが、『Gunosyのパーソナライズを支える技術 -ワークフロー編-』を読んで非常に感銘を受けたのを覚えています。 tech.gunosy.io ここではそのとき感銘を受けた言葉を紹介しておきます。 ワークフローは、いわばシステム上における兵站といってもいいでしょう。「戦争のプロは兵站を語り、戦争の素人は戦略を語る」という名言もあるくらいで
DigdagでRubyのBundlerを使う - Qiita
JRubyじゃないよ Digdagのコードを追っていくとRbOperatorFactory.RbOperator#runTask()でRubyスクリプトを実行しています. 具体的にはProcessBuilderを使っています. システムの環境変数を見てrubyコマンドを実行しています. Tokyo Ruby会議#11 ワークフローエンジンDigdagのまとめ - Qiitaのビデオを見たときRuby使えると聞いて勝手にJRubyだろうなとか思ってました. Digdagのワークフローの仕組み digdag pushをすると アーカイブが作成されてそれがDigdag serverに送られる ワークフローを実行するとき テンポラリディレクトリに展開される ワークフロー実行されます では本題のBundlerを使う方法です. Digdagの仕組みをある程度知った上でBundlerを使う方法は幾つかあ
digdag run (local mode) で並列実行数を制御する - Islands in the byte stream
とある分散バッチシステムでdigdagを導入してみています。 www.digdag.io スケジューラ機能などは使っておらず、タスクを良い感じに並列実行するためのmakeよりちょっと便利なツール、くらいの感じで使ってます。 digdagは下記のようにloopなどを _parallel: true を指定するだけで並列実行できるのがいいですね。 timezone: UTC +repeat: loop>: 3 _parallel: true _do: +run: sh>: "echo ${i}" +teardown: echo>: finish ${session_time} ところで、このこの並列実行数を制御する方法がわからなかったのでコマンドラインオプションで渡せるようにpull-requestしました。 digdag v0.9.13 からたぶん使えます。 add --max-task-t
Digdagのアーキテクチャとコンセプトを理解する #digdag | DevelopersIO
Treasure Data社によってOSSワークフローエンジン『Digdag』はその発表以後多くの反響を呼び、社内外を含め良く利用されるようになってきていますが個人的には下記の『試してみた』エントリ以降、あまり触って来ていませんでした。ちょっと個人的にも腰を据えて取り掛かってみようかという感じになってきましたので、仕組みや使い方を把握するという意味で一番参考になるであろう公式ドキュメントの一部を読み進めてみた記録をブログエントリとして残しておきたいと思います。 Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag ｜ Developers.IO Digdagのアーキテクチャ Digdagによるワークフローの自動化 ワークフローを使って、手動で行なっているあらゆる操作を自動化出来ます。一連のタスクを『ワークフロー』として定義し、Digdagを使
Digdagへ日次バッチを移行して幸せになるお話
DMM.comラボではビッグデータ基盤の日次バッチ（ETL処理）のワークフローエンジンとしてDigdagを採用しました。 ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。 Digdag選定理由や設計の勘所（サーバ構成・ワークフローの設計方針）、Digdag Plugin実装、他チーム連携のためのClient実装など、課題解決のために取り組んだ内容について紹介させていただきました！
マルチクラウドでワークフロー管理、米Treasure DataのOSS「Digdag」
ビッグデータ分析のクラウドサービスを提供する米Treasure Dataが、複数のクラウドを連携して一つのデータ処理を実現する「ワークフロー管理」のサービス「Treasure Workflow」を開始した。同社が開発するOSS（オープンソースソフトウエア）「Digdag」を使用する。 「Microsoft Azure」で稼働するアプリケーションのログや「Facebook Ads」の広告閲覧データを「Amazon S3」に蓄積して、「Amazon Machine Learning」で機械学習し、分析結果を「Treasure Data」や「Google BigQuery」で集計する――。Treasure WorkflowやDigdagが実現する複数クラウド（マルチクラウド）にまたがるワークフロー管理とは、このようなものだ。 Treasure Dataは2016年11月29日に、DigdagをO
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
digdag-3tips
Add Graal JavaScript engine in addition to Nashorn by frsyuki · Pull Request #1256 · treasure-data/digdag
digdag の rb オペレータで bundle exec を使う３つの方法 - Qiita
https://docs.digdag.io/api/
GitHub - saicologic/digdag_client: Unofficial Digdag WebAPI Client Library for Digdag Server.
GitHub - szyn/mog: mog is the CLI for Digdag (Unofficial) (https://www.digdag.io).
【基調講演】分散ワークフローエンジン『Digdag』の実装 古橋 貞之氏
DigdagはなぜYAMLなのか？