Esper primer
Esper primer by Dhruba Bandopadhyay on September 2, 2009 Recently, feeling the need for more complex (no pun intended) event processing than what a simple enterprise integration patterns implementation such as Spring Integration provides, I started looking at Esper for more insight into CEP and ESP but from an open source perspective. Here I reproduce an example that I followed from the Esper docu
究極のリアルタイムを追求するCEP製品
メモリー上でリアルタイムにデータを処理 「クレジットカードの決済情報を監視し、遠く離れた2 つの店舗で同時に利用された場合は不正利用の疑いを警告する」「株価情報をモニタリングして、ある銘柄の株価が閾値を超えたら売却するように指示を出す」。大量のデータの中に隠された様々な兆候を拾い集め、それらを組み合わせることによって、人間では検知できない変化を察知し、リアルタイムな対応を可能にする技術がCEP（Complex Event Processing：複合イベント処理）だ。2005年頃から、実証実験を終えた各ベンダーが本格的に製品化を開始しており、現在は日本IBMや日本オラクル、サイベース、日立製作所、日本プログレスなど、各社が製品の提供を行っている。 まずは、簡単に製品の仕組みをおさらいしておこう。CEPの処理は外部ソースのデータを取り込むところから始まる。RDBMSのレコードのように構造化され
CEPを用いた大規模リアルタイム・データ分析実証実験が成功
株式会社NTTデータは2010年10月～2011年5月、橋梁モニタリングシステム「BRIMOS®」において、CEP（Complex Event Processing）を活用した大規模リアルタイム・データ分析に基づくプロアクティブ型BIサービスの実証実験を行い、CEPが十分な処理性能を発揮できることと、複数センサーの分析に基づく総合的な橋梁異常検知が可能であることを確認しました。 今回の実証実験では、橋梁に設置された多数のセンサーから発生するデータを対象として、傾斜、振動、ひずみなどを算出する定型的な変換処理を行うとともに、リアルタイム・データと過去の蓄積データも含めた複数の要素の分析に基づく橋梁の異常検知処理を対象に検証を行いました。 NTTデータではこの検証実験の成功を機に、大量のデータが発生するさまざまな分野において、プロアクティブ型BIに代表される次世代ビジネスインテリジェンス（BI
CEP（複合イベント処理）
情報システムが分析処理をする場合、いったんデータをデータベースに格納してから、再度必要に応じて命令（クエリー）で参照して抽出する内部処理を行うのが一般的です。1回の処理は0.1秒で済むとしても、多数の人が繰り返し利用する状況では、数秒単位で処理が遅延します。 これに対して、刻々と収集される市場データをより短時間で処理できる方式として注目されつつあるのがCEP（複合イベント処理）です。例えば株のアルゴリズム売買を行うシステムのように、「直前の5分間で株式Aの価格が1％上昇し、株式Bの価格が0.5％下落した時、すぐに株式Cを買う」といった処理に適した手法です。この場合にCEPでは、直前5分間の値動きのデータをメモリー上に保持しておいて、すぐに簡易な処理を実行します。データベースにいったん格納するやり方に比べて数十～数百倍のスピードで情報をさばきます。データをいったん格納・抽出せずに、逐次処理す
直近のリアルをつかむ「CEP」
出典：日経コンピュータ 2012年2月16日号 pp.94-95 （記事は執筆時の情報に基づいており、現在では異なる場合があります） ビッグデータの一種に、時系列に次々と発生するデータがある。これをリアルタイムに分析するのが「CEP（Complex Event Processing、複合イベント処理）」だ。センサーが絶え間なく生み出すデータを軽々とさばくアーキテクチャーは、スマートシティやM2M（マシン・ツー・マシン）など次世代の基盤技術としても注目が集まる。 従来の分析は、ディスクに格納した過去のデータが相手だった。CEPは、メモリー上に取り込んだ時系列データをすぐに処理し、ディスクには格納しない。こうしたリアルタイムの処理形態は、ストリームデータ処理とも呼ばれる。 時系列データの代表的な発生源が、各種センサーだ。CEPの適用例を一つ示そう。 多数の自動車にGPS（全地球測位システム）を
Getting started with Esper in 5 minutes.
In a previous post I mentioned my recent enthusiasm for Complex Event Processing (CEP). In short, Complex Event Processors take as an input a stream of data and either redirect parts of it to listeners according to a set of predefined rules, or trigger events whenever a pattern is found in the data. This is particularly useful in situations where massive amounts of data generated need to be analyz
OSS CEP Server 'Norikra' v0.0.1 released! - たごもりすメモ
みんな大好きFluentdはプラグインも自由に書けて好き放題にリアルタイム集計を行うことが可能なわけですが、やりたい処理にあわせて無限にプラグインを書き続けてるとプラグインの数が爆発し何がどんな処理をしているのかもよくわからず混乱の海に呑まれて消えるという未来がみなさんの脳裏にもおそらく想像されていることと思います。 で、世の中にはCEPエンジンというものがあってストリーム状に流れてくるイベントデータに対して処理を行う仕組みがあるわけですね。これ使いたい！ しかもあれだ、簡単に処理が書けるものがいい！ 何が言いたいかと言うとWE NEEEED xQL!!!!!!!!!!!!!!! そんなようなことをこちらのエントリを書いたときに思ったわけです。 http://tagomoris.hatenablog.com/entry/2013/02/19/142017 で、RubyKaigiにも通っちゃ
なぜか数学者にはワイン好きが多い
以前，sbtでfat-jarを作る時に，毎回全ファイルのjarを作るのを止めて作業を効率化する方法を紹介したのですが， ScalaでSparkのプログラムを作る作業を高速化する． - なぜか数学者にはワイン好きが多い こんなエラーが出ることがあります． [error] 426 errors were encountered during merge [error] stack trace is suppressed; run 'last assemblyPackageDependency' for the full output [error] (assemblyPackageDependency) deduplicate: different file contents found in the following: [error] \null\Coursier\cache\v1\htt
Esper で簡単なイベントを処理する - なんとなくな Developer のメモ
オープンソースの CEP(Complex Event Processing = 複合イベント処理) ツールである Esper の Java 実装を使って簡単なイベント処理を試してみる。 使用した環境は以下の通り。 Esper 2.3.0 事前準備として、Web サイトから Esper for Java 2.3.0 のアーカイブをダウンロードし、適当なディレクトリに解凍しておく。 Esper 概要 まだ、リファレンスをあまり詳しく見てないのだが。 Esper は BPM/BAM(Business Activity Monitoring) やネットワーク/アプリケーションモニタリングからセンサーネットワークまで、幅広い用途で使われている事を想定されており、大量のイベントストリームを分析・処理するためのツール。 SQL によく似た EPL(Event Proccesing Language) と
fluent-plugin-esper構想概略 - たごもりすメモ
Fluentd Casual Talks #2 で聞いた fluentd + esper によるCEP実現の話が非常に素敵な感じで、自分の手元でもああいう感じで書きやすく投入しやすいストリームクエリがやりたくてしょうがないお年頃なので、以下のようなものを作ろうかと考えている。勢いあまって(まだ1バイトも書いてないのに) the RubyKaigi 2013 のCFPにsubmitしてしまった。通ったら何がなんでも2ヶ月くらいで書いて動かさないといけない。 ということで以下のようなものを作ろうかと考えている。この内容は Fluentd Casual Talks #2 の懇親会でFluentdコミッタ陣と @angostura11 さんとで頭をつきあわせてゴニョゴニョ話していた内容で、100%自分で考えたものでないことは最初に記しておく。だいたいそもそものアイデアは @angostura11
Esper
Where Complex Event Processing meets Open Source: Esper & NEsper Make no compromise on enterprise readiness: discover EsperHA, EsperJDBC and our support services. Embed mainstream CEP in your products and deployments: Learn about our licensing options. Event Stream Intelligence with Esper and NEsper Esper is a component for CEP and ESP applications, available for Java as Esper, and for .NET as
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Quick Start CEP with Esper - Stock Trading
Chapter 19. Examples, Tutorials, Case Studies
EsperTech Esper EPL Online
http://www.meti.go.jp/policy/mono_info_service/joho/cloud/2010/02.pdf
CEP with Esper
Esperに迫る：イベントストリームプロセッシングフレームワーク