タグ

大規模システムに関するmoromoroのブックマーク (38)

  • ターゲットは国内製造業のビッグデータ!? Treasure Dataがトレジャーデータとなって日本市場で本格展開 | gihyo.jp

    ターゲットは国内製造業のビッグデータ!? Treasure Dataがトレジャーデータとなって日市場で格展開 5月20日、米Treasure Dataの芳川裕誠CEOが来日会見を行い、同社のクラウド型ビッグデータプラットフォーム「Treasure Data Platform」のグローバルおよび日市場における事業戦略を発表しました。 会見には日法人トレジャーデータ株式会社の実質的責任者であるジェネラルマネージャの堀内健后氏も同席し、日でのビジネスを格的に開始する旨を明らかにしています。米国で順調にビジネスを展開しているTreasure Dataが"トレジャーデータ"として日企業に対しどんなサービスを提供しようとしているのか、その動向にさまざまな方面から注目が集まっています。 gihyo.jpの読者であればご存知の方も多いでしょうが、Treasure Dataは2011年12月に

    ターゲットは国内製造業のビッグデータ!? Treasure Dataがトレジャーデータとなって日本市場で本格展開 | gihyo.jp
    moromoro
    moromoro 2013/05/26
    ちょいとお金の流れが不透明なとこなんだよねー。非上場だから良いんだろうけど。
  • Pinterestはいかにスケーラビリティと格闘してきたのか(前編)。QCon Tokyo 2013

    4月23日に都内で開催されたエンジニア向けのイベント「QCon Tokyo 2013」。急速に人気サイトへと成長したPinterestが、その裏でいかにスケーラビリティと格闘してきたのかをPinterestエンジニア自身が紹介するセッション「Scaling Pinterest」が行われました。 この記事では、その内容をダイジェストで紹介しましょう。 つねにシステムのどこかが壊れている Pinterest、Marty Weiner氏。 Pinterestはオンラインのピンボードで、ユーザーが「ボード」を作成して、そこに画像など好きなものをアップロードしてシェアできるというもの。「ピン」ひとつひとつが画像やリンクになっている。 ユーザーやボードをフォローすることもできるし、再ピンしたりイイネしたり、コメントの入力もできる。

    Pinterestはいかにスケーラビリティと格闘してきたのか(前編)。QCon Tokyo 2013
  • Pinterestはいかにスケーラビリティと格闘してきたのか(後編)。QCon Tokyo 2013

    4月23日に都内で開催されたエンジニア向けのイベント「QCon Tokyo 2013」。急速に人気サイトへと成長したPinterestが、その裏でいかにスケーラビリティと格闘してきたのかをPinterestエンジニア自身が紹介するセッション「Scaling Pinterest」が行われました。 この記事は「Pinterestはいかにスケーラビリティと格闘してきたのか(前編)。QCon Tokyo 2013」の続きです。 クラスタリングは怖い スケーラブルなシステムで問題なのは、データベースがひとつのサーバに収まらなくなったときにどうするのか、ということだ。 例えば、Cassandraは自動的にスケーリングしてくれて設定も簡単。可用性も高く単一障害点はない。しかし障害はそれでも起こるもので、クラスタリングの技術はまだ枯れておらず基的に複雑なものだ。コミュニティもまだ十分ではない。 私たち

    Pinterestはいかにスケーラビリティと格闘してきたのか(後編)。QCon Tokyo 2013
    moromoro
    moromoro 2013/05/15
    シャーディングしらなんだ
  • 第5回 Fair Schedulerによる複数ジョブの同時実行 | gihyo.jp

    今回のテーマは、Fair Schedulerを使った複数ジョブの同時実行です。1つのHadoopクラスタを使って複数のジョブを実行する際、どのようにクラスタのリソースを割り振るかが重要になります。複数のMapReduceジョブを同時に実行した際に、デフォルトの設定とFair Schedulerを使った場合で、どのような挙動の違いが生じるか、見ていきましょう。 HadoopのSchedulerとは? MapReduceジョブを実行する際、Hadoopクラスタ上では、予め指定されたslot数だけ、同時にMapタスクやReduceタスクが実行されます。デフォルトでは、1つのTaskTrackerあたり、Mapのslot数がとReduceのslot数がそれぞれ2に設定されています。そのため、ノードが10台ある環境では、MapとReduceのタスクがそれぞれ20ずつ同時に動くことができます。通常、1

    第5回 Fair Schedulerによる複数ジョブの同時実行 | gihyo.jp
  • democrats/voter-registration · GitHub

    README.md Voter Registration About We need more Americans to have a say in their government, not just the special interests. That's why we should be taking down roadblocks to voting. We believe in an America where everybody can make their voices heard. That is why the Democratic National Committee created this open source application to provide more opportunities to register to vote in November!

    moromoro
    moromoro 2013/03/20
    オバマシステムruby版
  • 「Obama For America」の開発チームが作り上げた大規模な選挙キャンペーンシステムの舞台裏(後編)

    でも選挙活動にインターネットを利用するという議論が始まっていますが、世界でもっとも大規模にインターネットを利用して選挙活動が行われたのが、昨年の米大統領選挙です。 その選挙戦を勝ち抜いたオバマ大統領のチーム「Obama for America」が、どのような選挙キャンペーンシステムを構築したのか。3月15日に都内で行われたAmazonクラウドのイベント「JAWS DAYS 2013」で、語られました。 (記事は「「Obama For America」の開発チームが作り上げた大規模な選挙キャンペーンシステムの舞台裏(前編)」の続きです) アプリケーション開発を優先した開発環境に Amazon Web Services、Solution Architect ManagerのMiles Ward氏。 チームはボランティアのデベロッパーで構成されています。私たちがもしも会社であり、社内でRu

    「Obama For America」の開発チームが作り上げた大規模な選挙キャンペーンシステムの舞台裏(後編)
    moromoro
    moromoro 2013/03/20
    >当日に失敗しないよう、事前に「ゲームデイ」というのをやるべきです。 /なる
  • 「Obama For America」の開発チームが作り上げた大規模な選挙キャンペーンシステムの舞台裏(前編)

    でも選挙活動にインターネットを利用するという議論が始まっていますが、世界でもっとも大規模にインターネットを利用して選挙活動が行われたのが、昨年の米大統領選挙です。 その選挙戦を勝ち抜いたオバマ大統領のチーム「Obama for America」が、どのような選挙キャンペーンシステムを構築したのか。3月15日に都内で行われたAmazonクラウドのイベント「JAWS DAYS 2013」で、語られました。 そこでは、過去の選挙データやソーシャルメディアなどを元に有権者の動向を徹底的に分析し、テレビCMの打ち方からボランティアの働き方まであらゆるものを最適化する大規模なシステムをいかに構築したのか。そして、大規模システムでクラウドを活用するとはどういうことか、ということを学ぶ絶好のサンプルになっています。 国内でこのシステムの舞台裏がこれほど詳しく紹介されることは初めてのはずです。講演の内容

    「Obama For America」の開発チームが作り上げた大規模な選挙キャンペーンシステムの舞台裏(前編)
    moromoro
    moromoro 2013/03/20
    >重要なことは疎結合にしたということです。バックエンドとフロントエンドを分離したうえでSQSで接続し、障害が起きてもほかに影響を与えないようにしました
  • ホームページだけじゃない!管理システムとしてのWordPress #wacja2012 | H.I. Art Works Web Technorogy

    WordPress』と聞くと、ブログや企業などのウェブサイト、ポータルサイトなど、いわゆる日で「ホームページ」と呼ばれるモノを連想される方が多いと思いますが、WordPressは非常に柔軟に設計されていますので、カスタマイズによって様々な事が出来ます。 今回、実案件でちょっとした管理システムを制作させていただいたのですが、これが自分としては、なかなかの出来で、クライアントさんにとってかなり業務効率の改善に繋がったと思うので、 “どやぁ!( ゚д゚)” “WordPressってこんな事も出来るんですよ” って感じでご紹介したいと思います。 ちなみに今回の記事はWordPress Advent Calendar 2012に参加しています。 「クリスマスまでの間、みんなで順番にWordPressの記事を書こう」っていうイベントです。 WordPress Advent Calendar 201

    ホームページだけじゃない!管理システムとしてのWordPress #wacja2012 | H.I. Art Works Web Technorogy
  • 全日空、10万超の座席指定を取り消し、原因は担当者の操作ミス

    全日空輸は2012年11月28日、予約システムの誤設定により、2013年2月の国内線を予約した顧客の座席指定を取り消したと発表した。11月26日午後6時までに購入された2013年2月搭乗分の国内線航空券の約10万6000席が取り消し対象となる。航空券の予約は無効になっていないが、座席指定の予約だけが取り消されたという。 原因は営業担当者の操作ミス。営業担当者が11月26日に時刻表の情報を予約システムへ更新する際に発生した。営業担当者が誤って座席指定の予約情報を消去してしまったという。「担当者が操作手順を守らなかったことが原因」(広報)としている。営業担当者2人によるWチェックを行ったが防げなかった。「今後管理職も加わって確認する手順に変える。担当者に対しても手順の遵守を徹底する」(同)としている。 対象者は同社のWebサイトや特設のコールセンターで改めて座席を指定する必要があるという。

    全日空、10万超の座席指定を取り消し、原因は担当者の操作ミス
    moromoro
    moromoro 2012/11/29
    何間違えたか詳細は出んだろうなー。変数(orテーブル)名が似てるとかそこら辺の落ちだと普通だでなんかすごいっぽいのはよ。
  • 業務用製品 > インフォメーションディスプレイ:シャープ

    ドット・バイ・ドット表示と素直な色表現が可能なカラーマネジメントディスプレイが8K映像制作現場で活躍! 2024年1月24日 新製品 サイネージコントローラーを内蔵し、パソコンレスでサイネージを実現。 PN-ME652/ PN-ME552/ PN-ME502/ PN-ME432の新製品情報を公開しました。 2023年1月31日 新製品 24時間連続稼働で、鮮やかな映像を発信。小型店舗にも柔軟に設置できるコンパクトモデル。PN-Y326Bの新製品情報を公開しました。 2022年2月1日 新製品 大型・高精細の高輝度ディスプレイを採用。明るい場所でも迫力のある情報発信を実現。PN-HS751/PN-HS651の新製品情報を公開しました。 2022年2月1日 新製品 質感までもリアルに再現した、迫力のある情報発信。大型・高精細サイネージのスタンダードモデル。PN-HY861/PN-HY751/P

    業務用製品 > インフォメーションディスプレイ:シャープ
    moromoro
    moromoro 2012/09/16
    複数者可の広告ディスプレイ管理。大阪駅で試供期限がきれたやつ。
  • Amazon EC2上のサーバー開発と運用方法をARMORED CORE Vのインフラで学ぶ

    CEDEC2012でフロム・ソフトウェアの恵良和隆さんが「ARMORED CORE Vのオンラインサービスにおけるクラウドサーバー活用事例」というタイトルで、Amazon EC2上でゲームサーバーを運用する場合に解決しなければならない問題点と具体的な解決方法について講演しました。 恵良和隆: 「ARMORED CORE Vのオンラインサービスにおけるクラウドサーバー活用事例」というタイトルで行いますので、よろしくお願いします。 まず簡単に自己紹介をさせて頂きます。2002年にフロム・ソフトウェアに入社しまして、基的にはライブラリの開発だったりとか、開発環境の構築とかバックエンドのサポートの仕事をしていたんですが、2007年のmeet-meぐらいから、オンライサービスの開発に携わって、そこから大体5年ぐらいオンラインゲームに関することをやっていました。今回お話する「ARMORED CORE

    Amazon EC2上のサーバー開発と運用方法をARMORED CORE Vのインフラで学ぶ
    moromoro
    moromoro 2012/09/01
    日本のアクティブユーザ数激しすぎィ
  • 【大惨事】レンタルサービス「ファーストサーバ」で大規模な障害発生 データ全消去 : 暇人\(^o^)/速報

    【大惨事】レンタルサービス「ファーストサーバ」で大規模な障害発生 データ全消去 Tweet 1:ムーンマーガレットφ ★:2012/06/22(金) 02:35:46.91 ID:??? レンタルサーバーサービスの「ファーストサーバ」において、20日17時30分頃から大規模な障害が発生。WEBやメールなどのデータが消失する事態となっている。障害が発生しているサービスは、ビズ/ビズ2/エントリービズ/エンタープライズ3/EC-CUBEクラウドサーバ マネージドクラウド。 消失したデータは下記の通り ●サーバー上にアップロードされたデータ(FTP、ファイルマネージャ等) ●コンフィグレータ設定を含むデータ ●メールボックス内のデータ…障害発生時に受信していなかったメールは消失。 障害発生後のメールについては受信できておらず、送信者側でエラーとなっている。 ファーストサーバでは、一部ユーザーにつ

    【大惨事】レンタルサービス「ファーストサーバ」で大規模な障害発生 データ全消去 : 暇人\(^o^)/速報
    moromoro
    moromoro 2012/06/22
    ワロタwww早く詳細をw
  • リリース1年弱で登録ユーザー数3,500万人突破した無料通話・メールアプリ「LINE」を支えるインフラ開発 - sanonosa システム管理コラム集

    先日リクナビNEXTさんから取材を受けました。写真入りで恥ずかしいですが。(笑) リリース1年弱で登録ユーザー数3,500万人突破した無料通話・メールアプリ「LINE」を支えるインフラ開発 (記事掲載の2012年5月23日時点では3500万ダウンロードでしたが、この記事を書いている2012年6月13日時点では4100万ダウンロードを超えているようです。当に凄い勢いですよね) 最近大ヒットしているLINEですが、あまりにも成長スピードが速すぎてインフラ構築は当にきついです。企業秘密に触れない範囲でちょっとだけ舞台裏を暴露してしまうと、以前はサーバ納品速度がボトルネックでした(今は違います。それは内緒)。 いくらサーバを増設してもすぐに追加増設を求められる状況で、サーバ発注から納品までの期間をいかに縮めるか大変苦労しました。特にタイ洪水のときはHDDがなかなか確保できず、HDD確保後生産し

    リリース1年弱で登録ユーザー数3,500万人突破した無料通話・メールアプリ「LINE」を支えるインフラ開発 - sanonosa システム管理コラム集
    moromoro
    moromoro 2012/06/14
    >以前はサーバ納品速度がボトルネック /ワロタ
  • VPSでクラウド基幹システムを作ってみた - 設計者の発言

    商用のVPS(仮想専用サーバ)にXEAD Driverを導入した。Linux(CentOS)を触るのは初めてだったので、友人やテクニカルサポートに助けられながらの作業だった。こんなに面倒なものとは思わなかったが、OSの再インストールから何度も繰り返すうちに俄然面白くなった。おかげさまで、アプリサーバ用(Tomcat)とDB用(MySQL)の2つのサーバが連係しつつ、卸売業向け販売管理システムが機嫌よく動いている。 月千円程度で高性能な専用サーバを使える――そんなコストパフォーマンスの良さで人気のVPSだが、サービス内容はプロバイダ毎にけっこう違っている。OSだけのスッピン状態からユーザ自身が必要なソフトウエアをインストールするIaaSタイプから、JavaやApacheやDBといった基的な組み合わせを選べるPaaSタイプまで幅がある。必要がなくなったらサーバインスタンスを削除するだけで課金

    VPSでクラウド基幹システムを作ってみた - 設計者の発言
    moromoro
    moromoro 2012/05/29
    こりゃよさげ、規定値とルールセット覚えさせればカスタム可能とかウマー
  • Linking Open Government Data

    This document provides a summary of Linked Open Government Data. It discusses how government data is often separated into silos and how linking data using semantic web technologies can help remove these silos. It provides examples of government agencies that are starting to publish linked open data and the growth of the Linked Open Data cloud over time. It argues that linked open data can help gov

    Linking Open Government Data
    moromoro
    moromoro 2012/03/20
    RDFタグ付けによる政府データリンク
  • ソーシャルゲームスケールアウトの歴史

    Unityネットワーク通信の基盤である「RPC」について、意外と知られていないボトルネックと、その対策法

    ソーシャルゲームスケールアウトの歴史
    moromoro
    moromoro 2012/02/20
    PVドMの世界
  • IT news, careers, business technology, reviews

    The AI data-poisoning cat-and-mouse game — this time, IT will win The IT community is freaking out about AI data poisoning. For some, it’s a sneaky backdoor into enterprise systems as it surreptitiously infects the data LLM systems train on — which then get sucked into enterprise systems. Digital work apps arrive for Apple’s Vision Pro Though AR/VR devices have yet to catch on for general work tas

    IT news, careers, business technology, reviews
  • Improving Security with Domain Isolation: Microsoft IT implements IP Security (IPsec)

    This browser is no longer supported. Upgrade to Microsoft Edge to take advantage of the latest features, security updates, and technical support.

    Improving Security with Domain Isolation: Microsoft IT implements IP Security (IPsec)
    moromoro
    moromoro 2011/11/16
    グループポリシー適用による私物PC対策
  • サバクラ両方で動く JavaScript の大規模開発を行うために

    サバクラ両方で動く JavaScript の大規模開発を行うために 原文:Scaling Isomorphic Javascript Code (This is just for study, please contact me at tily05 atmark gmail.com if any problem.) 考えてみれば Model-View-Controller とか MVC ってよく聞くよね。実際どんなものか知ってる? 抽象的に言うなら「オブジェクト情報の保持されるグラフィック・システム (つまり、ラスターではないグラフィック。ゲームとか) 上に構築された、表示系を中心としたアプリケーションにおいて、主要な機能どうしの関わりをうまく分離すること」とでも言おうか。もう少し深く考えを押し進めてみれば、これは当然、他のさまざまなアプリケーションにもあてはまる言葉 (bucket te

    サバクラ両方で動く JavaScript の大規模開発を行うために
  • CPUの廃熱を用いた冷却技術を開発 : 富士通

    English PRESS RELEASE(技術) 2011年11月7日 株式会社富士通研究所 CPUの廃熱を用いた冷却技術を開発 データセンターの空調電力を20%削減可能 株式会社富士通研究所(注1)は、CPUから発生する廃熱を利用して、サーバルームの冷却に使用する冷水を製造する技術を開発しました。 工場施設の冷却に使われる低い温度の冷水を製造するには、高いエネルギーが必要です。現在、電気あるいはボイラーなどの熱エネルギーで冷水は製造されていますが、熱源として高温の廃水に含まれる熱を利用する試みも始まっています。今回、これまで冷水の製造には利用できなかった低い温度の熱からも冷水を製造することができるようになりました。水冷式のCPUより排出される廃水は、55℃と温度が低く、負荷によって温度も変動しますが、この廃水からも連続的に冷水を製造することが可能になります。 技術により、これまで利用

    CPUの廃熱を用いた冷却技術を開発 : 富士通