リアルタイム分散処理Stormの耐障害性は？ - Tech-Sketch
リアルタイム分散処理とは 「ビッグデータ」処理のためにHadoopを用いますと、「複数のマシンに大量データ処理を分散して飛躍的に性能を向上する」ことが容易に可能となります。 ところがHadoopの弱点としまして、ビッグデータをいったん蓄積し、バッチで一括処理する形態で処理が行われますので、処理データが発生してからそれに対する処理結果が得られるまで必ずタイムラグが発生します。このため、クレジットカードの不正アクセス検知、センサーデータなどでの異常値検出のようなリアルタイムなレスポンス(低レイテンシー)が要求されるビッグデータ分野へのHadoopの適用は向いておりません。 このような随時発生する大量データ（ストリーミングデータ）を、蓄積せずにリアルタイムに処理する「リアルタイム分散処理」が求められています。 今回は、リアルタイム分散処理のソリューションとしてTwitter社より公開された
とりあえずStormをローカルモードで動かしてみた。 - wyukawa's diary
身近なところでStormがちょっとブームなので話題についていくためにも軽く素振りしたいと思います。 日本語の資料でざっくり中身をつかむには下記がいいんじゃないでしょうか。 Twitterのリアルタイム分散処理システム「Storm」入門 from AdvancedTechNight StormにはNimbus, Supervisor, Worker, Spout, Bolt, Topologyと用語が出てきますが、 ざっくりHadoop用語に当てはめるとそれぞれJobTracker, TaskTracker, task, map, reduce, jobって感じでしょうか。 上記スライド資料もそうですが、日本だとAcroquest TechnologyさんがいろいろとStormの調査資料をアウトプットしてくれているので見てみるといいんじゃないでしょうか。下記ブログのStorm関連記事もそうで
Tutorial
In this tutorial, you'll learn how to create Storm topologies and deploy them to a Storm cluster. Java will be the main language used, but a few examples will use Python to illustrate Storm's multi-language capabilities. Preliminaries This tutorial uses examples from the storm-starter project. It's recommended that you clone the project and follow along with the examples. Read Setting up a develop
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
