HBaseを触ってみよう
HBaseは、Googleの基盤ソフトウェアである「Bigtable」のオープンソースクローンであり、大量データに対応した分散ストレージシステムです。HBaseを用いることで、スケーラブルで信頼性のあるデータベースを構築することができます。また、MapReduceを標準でサポートしており、HBaseに保存したデータに対してバッチ処理を行うことも可能です。しかし、SQLで扱えないことや、RDBとのスキーマ設計の考え方の違いなど、とっつきにくい部分が多々あり、戸惑う方が多いように思います。本連載では、そういう方々を対象にできるだけ分かりやすく実例を交えながら解説していきたいと思います。 はじめに 近年、「NoSQL」の技術が注目を集めています。NoSQLとは、"Not Only SQL"の略で、SQLを用いないデータベースの総称です。NoSQLというとCassandra、Redis、Mongo
GoogleのDatastoreでキーバリュー型DBを体験
これからは、Google App Engine（以下、App Engine）の環境でデータベースを操作してみましょう。App Engineで使用できるデータベース管理システムは「Datastore（データストア）」と呼ばれます。リレーショナルデータベース管理システム（RDBMS、Relational Database Management System）とは違う、キーバリュー型（Key Value Store、KVS）」のデータベース管理システムです。 Datastoreは、これまで一般的だったRDBMSとは異なる設計思想を持っています。RDBMSのような複雑なフィルタで条件を指定できませんし、トランザクション処理も限定した範囲でしか使用できません。さらにRDBMSでは、一つのレコードに複数のフィールドがありましたが、Datastoreでは基本的に一つのレコードに「Key（キー）」と「Va
ノード数3倍で性能が2.3倍に
KVS（Key-Value Store）は、既存のRDBと比べてシンプルな機能しかない代わりに、データを分割して多数のサーバーで分散処理できるスケーラビリティーの高さが特徴である。その代表例として、米Facebookが開発し、オープンソースソフトウエアとして公開されている「Cassandra」がある。 KVSは従来にはなかった膨大なアクセスをさばくため、大手のWebサービス事業者などが続々と開発している。米Googleの「Bigtable」と米Amazon.comの「Dynamo」がその先駆であり、Cassandraは両者の設計思想を受け継いだものだ。 Facebookは同社のSNS（Social Networking Service）において、ユーザー間で交換するメッセージの保存や検索などを行うデータベースとしてCassandraを開発し、最大150台程度のサーバーで運用した実績がある。
大量データの高速処理に向く
大量データのリアルタイム処理などで、リレーショナルデータベース（RDB）以外に「Not OnlySQL（NoSQL）」と総称される用途特化型のデータベースが普及してきた。RDBは、分散処理やPaaS（プラットフォーム・アズ・ア・サービス）対応が進む ここにきて、利用事例も増えてきた。「会員の購買履歴の分析にかかる時間が1日では話にならない。最新の購買履歴を5分でサービスに反映できなければ、販売機会のロスにつながる」。自社開発のNoSQL「ROMA」を、商品のレコメンド（推薦）機能などに展開している楽天の森正弥執行役員兼技術研究所長はこう言い切る。 楽天が処理時間にこだわるのは、会員の購買履歴を解析してレコメンド商品を提示するのに1日かかると、ユーザーが購入した商品と同じものがレコメンドされかねないからだ。楽天の会員数は、2010年9月時点で約6700万人。楽天トラベルの「最近見た宿」をはじ
Googleの巨大分散データストアBigtableとDatastoreを理解する
今回は、米Googleのクラウド環境に存在するデータベースBigtableとDatastoreサービスを紹介します。「巨大分散」という新たなデータベースの地平を切り開くためにどのような工夫をしているか、じっくり見ていきましょう。 「Bigtable」は、Googleの主要なサービスを支える独自の巨大分散データストアです＊1。Bigtableは、2005年4月から本格的な運用（プロダクション利用）が開始されたもので、Googleの検索サービスをはじめ、Gmail、YouTube、Google Maps、Google日本語入力、そしてApp Engineなど、70以上のプロジェクトで利用されています。その規模は、数P（ペタ）バイト～数十Pバイトに達しているでしょう。 Bigtableは、Google検索サービスにおける膨大なコンテンツやインデックスを保持し、高速に検索するための専用データストア
NoSQLをRDBの代わりに使うと、どういう恐ろしいことが起こるか。PARTAKEの作者が語る
データベースの世界でいま注目されているのがNoSQL。特にキーバリュー型データストアは、グーグルのBigTable、FacebookやTwitterが内部で利用しているCassandraやAmazonクラウドが提供しているSimpleDBなど、すでに実際に使われ始めています。 ではそのNoSQLをリレーショナルデータベースの代わりに使ってシステムを構築するとどうなるのか？ 身をもって体験したことを記したShinya Kawanaka氏によるプレゼンテーション「間違った方向にCassandraを使ってみた」が公開されています。 NoSQLを用いたシステム構築は、リレーショナルデータベースによる構築どう違うのか？ とても分かりやすくまとめられています。ご本人の承諾もいただいたので、その内容を紹介しましょう。 NoSQLを使ったときに起こる恐ろしい事例 プレゼンテーションのテーマは「NoSQLを
［次世代DB編］異なる分散KVS間でデータ移行してはいけない
分散型のキーバリューストア（分散KVS）には、オープンソースソフトや商用のもの、サービスとして提供されるものなど、さまざまな種類がある。これらをすべて同じだと思ってはいけない。その構造や特徴はバラバラであり、ある分散KVSのデータは別の分散KVSに移行するのは困難だ。 既存のRDBMSの資産を分散KVSに移行するのが容易ではないことはよく知られている。同様に分散KVS間の移行もかなり難しい。安易に移行できると考えていると、苦労することになる。 大きく異なるテーブル構造 現在、分散KVSと呼ばれるデータベースには、以下のようなものがある。 ・Amazon SimpleDB（Amazon） ・Apache Cassandra（Apache） ・BigTable（Google） ・Flare（GREE） ・kumofs（えとらぼ） ・memcached（Danga Interactive） ・R
［次世代DB編］分散KVSで正規化をしてはいけない
クラウド上のデータベースとして、分散型のキーバリューストア（分散KVS）を用いることが多くなった。分散KVSは、スケーラビリティーに優れており、特にユーザー数が多いシステムでは利用価値が高い。 ただし、分散KVSにはいくつかの制約があり、システム開発に利用する際には、これまでの“RDBMS脳”をいったんリセットする必要がある。中でも、RDBMSでは真っ先に考慮していた「正規化」については、分散KVSでは原則として行ってはいけない。 分散KVSの四つの特徴 なぜ分散KVSでは正規化をしてはいけないのか。これを理解するには分散KVSの特徴を押さえる必要がある。分散KVSには、大きく四つの特徴がある（図1）。 一つは、分散KVSでは問い合わせにキーを使って、バリュー（値）を取得することだ。データ構造が単純なので、データの取り出し時間が短くて済む。PerlやPHPの連想配列や、JavaのMap、C
キューを使用したWindows Azureストレージプログラミング
はじめに 前回は、Windows Azureに含まれるストレージサービスである、Windows Azureストレージについて解説しました。さらに、ブロブとテーブルの2つのストレージを使用したサンプルを作成しました。今回は、残るストレージであるキューを用いて、Windows AzureのWebロールとWorkerロールを連携させるサンプルを作成してみます。 対象読者 クラウド技術に興味がある方 Windows Azureに興味がある方 Windows Azureストレージに興味がある方 Windows Azureストレージを使用したアプリケーション開発に興味がある方 Windows Azureストレージの簡単なおさらい まずはWindows Azureストレージについて、簡単に振り返っておきましょう。 Windows Azureストレージは、次の表1にあるように、3種類のストレージをサポート
mixiアプリとデータの永続化
はじめに 本連載ではここまで、ソーシャルデータの取得とアクティビティの作成について説明してきました。OpenSocialアプリケーションに欠かせないもう一つの機能が、今回扱うデータの永続化です。一般的なアプリケーションでユーザーが入力したデータなどをファイルやデータベースに保存するように、OpenSocialアプリケーション内で扱うデータについても、この永続化機能を使ってOpenSocialコンテナ上に保存することができます。OpenSocial JavaScript APIでは、このアプリケーションデータの永続化機能をPersistence APIと呼んでいます。 Persistence APIは、ただアプリケーションの利用者のデータの保存、取得を行うだけでなく、他のユーザーのデータを取得することもできます。他のユーザーのデータの取得が可能になることから、Persistence APIは
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Windows Azureだとアプリケーションの実行速度は上がるのか？