Multitable insertとhive.exec.parallel - wyukawa's diary
またHiveのチューニングネタです。 以下のような単一のテーブルを入力として集計キーごとにそれぞれ個別に集計したいというケースがあります。 カラム1 カラム2 カラム3 ... 集計キー1 集計キー2 集計キー3 ... ええと具体例が無いとわからないですよね（汗 ここで例としてまたまた郵便番号データを使ってみます。 テーブル定義はこんな感じ。 CREATE TABLE IF NOT EXISTS postdata ( chihou_code string, post_code string, choiki_name string, choson_name string, todoufuken_name string, flag1 int, flag2 int, flag3 int, flag4 int, flag5 int, flag6 int ) postdataテーブルを入力としてc
Facebook has the world's largest Hadoop cluster!
It is not a secret anymore! The Datawarehouse Hadoop cluster at Facebook has become the largest known Hadoop storage cluster in the world. Here are some of the details about this single HDFS cluster:21 PB of storage in a single HDFS cluster2000 machines12 TB per machine (a few machines have 24 TB each)1200 machines with 8 cores each + 800 machines with 16 cores each32 GB of RAM per machine15 map-r
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hive functions. version trunk(rev.1293519)