データを信頼し、AI を信頼する 信頼できるデータ、信頼できるモデル、信頼できる AI を実現するために、これほど多くのクラウドのさまざまなデータタイプを管理でき、オープンデータのイノベーションと大規模展開に対応できるプラットフォームは他にありません。
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 (オープンソースカンファレンス 2015 Tokyo/Spring 講演資料)
Outline HadoopのYARN上で色々なアプリを動かすことになったのでテスト環境を作ってみた。 今回はYARN上でSparkのjarを走らせてみる。 走らせるjarは、sparkパッケージに入ってるexampleと、自分で作ったやつ。 環境 メインマシン 実際に動かしているハード。 WebUIなどの動作確認に使う。 Client OS: Ubuntu14.04 (AWS EC2) Hadoop: 2.5.2 Java: 8 Hadoopクラスタ 別記事を参照。 擬似分散モード:http://qiita.com/uryyyyyyy/items/a7ac8dc088b6fc2d115d 完全分散モード:http://qiita.com/uryyyyyyy/items/ebd732d3935ee404f4e7 ここではResourceManagerとnameNodeは同じhostにあると
Outline HadoopのYARN上で色々なアプリを動かすことになったのでテスト環境を作ってみた。 基本的な動作確認は擬似分散モードでいいはずだが、nodeを増やしたり別ホストにnodeを置いた状態でのテストをするために構築してみた。 環境 共通設定 OS: Ubuntu14.04 (AWS EC2) ユーザー: ubuntu VPC: 全マシンは同一subnetに配置 IP: PublicIPとPrivateIPのどちらも使用。 Hadoop 2.5.2 port: 全開放(22, 80, 8020, 8032, 8088, 50070が開いてればたぶん大丈夫) マシン・役割 client 自分のメインマシン。 主にsshで各ノードを操作したり、PublicIP経由で接続を確認したりする。 master Namenode/ResourceManager用 node1 datanode
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く