AWSのEMRでembulkのmapreduce executorを実行するメモ - Qiita
EMRでembulkのmapreduce executorを動かすまでに割と苦労したのでメモっておく。 そもそもあんまHadoopエコシステムに詳しくないし、Javaにも詳しくない。 そして、余り情報源が無いので、本当に合ってるのかどうかはちょっと怪しい。 とりあえず、EMRでHadoopクラスタを作る。 使ったのは、emr-4.2.0で、Hadoopのバージョンは2.6.0。 最新じゃないのだが、この理由は後で書く。 HadoopとYARNさえあれば動くので、他のコンポーネントは要らない。 構築時にカスタムブートストラップを使って、embulk、その他必要なjar等をインストールする。 適当な例は以下。 set -e sudo wget http://dl.embulk.org/embulk-latest.jar -O /usr/bin/embulk sudo chmod 755 /us
Embulk Output Couchbase プラグインを Scala で書く | ザネリは列車を見送った
これはScala Advent Calendar 2015, Embulk Advent Calendar 2015, Couchbase Advent Calendar 2015の14日目の記事です。 昨日はOE_uiaさんの「Scala標準のPromiseがAndroidで便利だという話」(Scala), daichikeさんの「N1QLがJSONデータモデルの柔軟さを引き出す」(Couchbase)でした。 Couchbaseへの書き込みを行うEmbulkのOutputプラグインをScalaで書いてみたのでその紹介と手探り感を記事にした。 EmbulkプラグインはJavaまたはRubyで書くことができるが、すでにJavaプラグインをScalaで書く試みをされている方はいるようで、 embulkのpluginをScalaで作ってみようと思った時の備忘録や、 実際にScalaで書かれてい
全文検索エンジンGroongaを使ったEmbulk導入事例 - Qiita
この記事はembulk advent calendarの6日目の記事です。 Qiitaでembulkのまとめを作っている佐藤(@hiroysato)です。 毎年11月29日のいいにくの日にに開催される全文検索エンジンGroongaの勉強会にて、全文検索エンジンGroongaにデータを投入するembulk-output-groongaの紹介をしてきました。 Groonga導入事例 Groongaについて Groongaは国産の全文検索エンジンです。全文検索機能を単体で使うだけではなく、MySQL(Mroonga)やPostgreSQL(PGroonga)に全文検索の機能を提供することができます。さらにPGroongaはJSONで格納したデータ内のすべてのテキスト値に関しても全文検索機能をサポートしています。 国産の全文検索エンジンだけあって、日本語特有の全角文字と半角文字の正規化などの機能も
Embulkではてなブログの記事をparseしてElasticsearchに入れてみる - 絶品ゆどうふのタレ
Embulk良さそうだね、と言いつついじったことなかったので。 先日ちょっと近所で話題に上がったので、仕事中に息抜きでやってみた。on mac 先にまとめ input / parser / execute / outputと、細かく分けてpluginになっており、一般的な形式ならほぼ組み合わせていける 異常に楽 一旦input側を作ってstdoutに出す -> outputを作る(もしくは逆順)、とステップを分割して作っていけるので、普通に作るよりハマりにくそう sampleのinputデータも自動生成してくれるので、outputを先に作っても楽だったと思う(今回はやらなかったけど) pluginを取り扱うのにembulk gemコマンドとか用意されてて地味に便利 関係ないけどbrewすげぇ Embulkのinstall 手元のMacでの実験なのでこんな感じ % brew cask ins
EmbulkのfilterプラグインをRubyで開発する話 - 無印吉澤
Embulkにはfilterプラグインという仕組みがあり、これを自作することで、Embulkで入力およびパースした結果を色々と加工することができます。例えば、「すべてのログにホスト名を追加する」といった、ログの種類によらない共通処理を定義するのに向いた仕組みです。 ただ、いろいろ試してみた結果、以前の記事で取り上げたような特殊なログを処理する場合でも、 パース処理の中で、一度完成したらほとんど直す必要がない基本的な部分 → parserプラグイン 試行錯誤しながら、何度か直す必要がある部分 → filterプラグイン と使い分けた方が、コードの見通しが良くなりました。個人的には、parserプラグインと同じくらいfilterプラグインも自作することが多そうなので、作り方をメモしておきます。 特定カラムに含まれる文字列を置換するfilterプラグイン 一例として、以下のようなCSVファイルを
『Embulk』に見るモダンJavaの実践的テクニック ～並列分散処理システムの実装手法～
Embulk, an open-source plugin-based parallel bulk data loaderSadayuki Furuhashi
Embulk: Docs
Built-in Plugins Configuration Embulk configuration file format Local file input plugin CSV parser plugin JSON parser plugin Gzip decoder plugin BZip2 decoder plugin File output plugin CSV formatter plugin Gzip encoder plugin BZip2 encoder plugin Rename filter plugin Remove columns filter plugin Local executor plugin Guess executor Preview executor Logo Images Logo Square Horizontal Icon Customiza
Java で Embulk Output Plugin を書く - Qiita
はじめに すでに Ruby で書かれた Embulk plugins が登場しており、Embulk の利用シーンも段々と増えていると感じます。その一方で、Java で書かれた plugins はまだまだ少ないのではないかと思います。ちょうど、Embulk から Elasticsearch へデータを書き出す output plugin を書く機会があったので、その plugin の書き方をメモとして残します。 まずは Plugin Template を利用 Ruby であれ Java であれ plugins を作成するには、まず Embulk に用意されている new コマンドを実行するのがよいかと思います。New コマンドは、Plugin 開発に必要な gradle スクリプトや Embulk 本体が plugins を登録するために必要なスクリプトなどを自動で生成します。Embulk
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The overview of Server-ide Bulk Loader
Embulk: Plugins