次世代データベース TiDB の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering
※こちらは先日実施された DeNA インフラエンジニア / SRE MEETUP で話した内容を Blog 記事化したものです！ こんにちは！IT基盤部の熊谷です。IT基盤部にて大規模ゲームのインフラを見ている 新卒２年目のインフラエンジニアです。この記事では “DeNA でのデータベース運用とそのツラミ” と、“TiDB導入への検証・検討” をご紹介させていただきます。 データベースの最適解 DeNA のデータベース構成は最適解を求めて改良を積み重ねてきました。最初期の構成、(便宜上、第１世代と呼びます) では VM Instance 上に MySQL を構築し管理する MySQL on EC2 構成。続く第２世代では、マネージドサービスを駆使した Aurora MySQL 構成。この２世代の中で生じた “ツラミ” を解消する次の世代、言わば 第３世代に該当する新しいデータベース構成を現
![次世代データベース TiDB の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/a7a9ef2e383cbfc8885ee9e5572b0b143267e771/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2022%2F01%2Finfra-meetup-tidb%2Fcover.png)
DeNA 本社移転でネットワーク構築・移行作業を実施しました | BLOG - DeNA Engineering
はじめに こんにちは、IT 基盤部ネットワークグループの片桐です。 DeNA グループ全体のネットワークの管理、運用等を行っています。 今年8月、DeNAは本社拠点を渋谷ヒカリエから、WeWork渋谷スクランブルスクエアに移転しました。 この移転は我々としても、大きなプロジェクトでした。せっかくなので、オフィスネットワークにおける移転の裏側を紹介致します。 DeNAオフィス移転におけるネットワーク WeWorkへの移転であれば、ネットワークもWeWorkの設備を使うのでは、と考えられた読者もおられるのではないかと思います。 最初に移転プロジェクトメンバーと新オフィスのネットワークについて議論しましたが、 渋谷ヒカリエで運用していたネットワークと同じレベルの帯域・ネットワークの安定性・クラウドとの内部通信・ネットワークセキュリティ・ネットワーク運用体制の維持、 これら全てが必須要件でした。
大きなGitリポジトリをクローンするときの工夫を図解します - DeNA Testing Blog
こんにちは、SWETでCI/CDチームの前田（ @mad_p ）です。 SWETではCI/CDチームの一員として、Jenkins運用のサポートや、CI/CD回りのノウハウ蓄積・研究をしています。 はじめに Gitリポジトリをクローンすると、ローカルフォルダにはそのリポジトリの全体がダウンロードされ .git というフォルダに格納されます。ブランチをチェックアウトすると、ブランチ内のファイルがワーキングツリーとして展開されます。この様子を図にするとこのようになります。 この .git とワーキングツリーの使うディスク容量を節約しようというのが今回のお話です。特にJenkinsにおいて、大きめのGitリポジトリをクローンしてくる場合に課題があり、いろいろ工夫してみたので、その結果を紹介します。同じCI/CDチームの加瀬による記事「大規模リポジトリで高速にgit cloneするテクニック」と内容
経営と技術の両面でクラウド移行を語るDeNA南場会長の説得力
2021年5月11日、AWSジャパンは年次イベント「AWS Summit Online」を開催した。昨年に続いてオンライン開催となったイベントの基調講演では、約3000台規模のオンプレシステムを3年かけてクラウドに移行したDeNAの南場智子取締役会長が登壇。経営と技術の両面で大規模な移行プロジェクトを振り返った講演は、なぜクラウドに移行するのかという疑問に対する圧倒的な説得力を感じられた。 決め手は「インフラエンジニアが創造的な仕事にシフトできる」こと AWS Summit Onlineの基調講演に登壇した南場氏は冒頭、「DeNA migrate」というスライドを高らかに掲げ、オンプレミスからAWSクラウドへの移行完了を宣言。対象となったシステムは大小合わせて300あまりで、毎秒数十万、1日で50億リクエストを受ける規模だ。もちろんデータはペタバイト級で、サーバー台数は約3000台となる。
10 年前に JavaScript で Flash Player を開発し買収された話
この記事は、JavaScript で Flash Player の実現を頑張った（もしくは現在進行系で頑張っている）人たちの集う Flash Advent Calendar 2020 に参加しております。 私は過去に自分が設立した会社で ExGame という HTML5 実装の Flash Player（正確には Flash Runtime Engine）を開発し、その会社ごと DeNA に買収（M&A）されました。あまり出来ない体験であるのは間違いないので、Flash が終了を迎える今、改めて振り返ってみようと思います。 Flash Player の開発 今から 10 年前の 2010 年、ちょうど iPhone が普及し始めてきてガラケーのシェアが 8 割から 6 割くらいに落ちようとしていた時期に、私は Flash Player を JavaScript で実装していました。以前この
分析基盤と組織のあり方 - DeNAの事例
今回のテーマは「分析基盤をうまく組織に浸透させる方法」です。 「分析基盤を浸透させていく上で、分析基盤を担う組織(分析基盤組織)がどのように形を変えていったか」という内容です。組織設計の参考になれば幸いです。
DeNA南場智子さんの講演「ことに向かう力」がいい話だった｜narumi
もう7年前になりますが、DeNA創業者の南場智子さんが講演で話された内容がとても良くて、いまでもたまにそのときのメモを読み返します。 2013年7月に日経新聞主催で開催された「グローバル・ウーマン・リーダーズ・サミット」での特別講演。「他人とか自分のことをあまり意識せず、コトに向かうように」というメッセージでした。 聞きながら取ったメモから、ここに再構成してみます。 南場：南場です。私あの、今日すごいアウェイ感を感じてまして。女性であるとか、男と女という枠組みで物事を捉えることが、すごく苦手というか、好きではなくて。 それで会社を起業したものですから、我が社の知名度が上がると、よく海外から「もすとぱわふるうーまんず、なんとか」に出てくれとかですね。そういう言葉を聞いただけで、クラクラと目眩がする感じです。 それで今日なんでここにいるのかなっていうと、日経さんで本を出しまして、お世話になっち
DeNAがデータプラットフォームで直面した課題と克服の取り組み
はじめにこんにちは。この記事はDeNAの小口（Rikiya Oguchi）と長谷川（Ryoji Hasegawa）がお届けします。 小口はゲーム事業部の分析部データエンジニアリンググループの所属で、長谷川は全社共通部門である分析推進部の所属です。ゲーム事業部と全社部門で所属は違いますが、近しいミッションのもと、普段から密に連携して仕事をしています。 DeNAでは現在、データプラットフォームの刷新を進めています。この記事では、そのプロジェクトについて、以下の流れでご紹介します。 現行データプラットフォームの背景と概要データプラットフォーム構築後の環境変化現行データプラットフォームが抱える課題現行組織が抱える課題データプラットフォームの刷新刷新後のシステム構成組織体制の刷新我々と同じようにデータプラットフォームの構築・運用に携わっている方々や、データプラットフォームを利用されている方々、特に、
AWS スポットインスタンスを用いたサービスの平均故障間隔(MTBF)を定量的に評価する | BLOG - DeNA Engineering
はじめに こんにちは、IT基盤部の天野です。AWSやGCPを用いたゲームインフラを担当しています。 DeNAが運用している大型ゲームでは、ステートレスなサーバにスポットインスタンスを使用しています。 スポットインスタンスはAWSに中断(=shutdown)されることがある代わりに、コストを大幅に抑えることができるインスタンスです。 AWSのイベントで見かける資料では、定常的な負荷はリザーブドインスタンスや Savings Plans を利用し、さらに負荷が増える部分で万が一落とされても問題ない範囲をスポットインスタンスで運用することが推奨されていたりします。 しかし、DeNA では web、memcached、worker等のサーバにおいて、ほとんどのリソースをスポットインスタンスで運用し、それでいてサービスは絶対に落ちない自信を持っています。 実際に DeNA でスポットインスタンスを本
【ノーカット掲載】オンプレミスかクラウドか。社内を二分する論争にDeNA南場智子が出した"答え" | フルスイング by DeNA
コスト・品質ともに最高レベルを実現していた、DeNAのオンプレミス。しかし2018年6月、DeNAは全社方針としてそのオンプレミスを捨て、3年の移行期間をかけクラウドに全面移行することを決定しました。 なぜDeNAは経営の意思決定として、当初「3倍のコストになる」と言われたクラウド全面移行に踏み切ったのか？ 本記事では「クラウドシフト決定の判断」に至る経営者の思いを語った『Google Cloud Next ’19 in Tokyo』でのDeNA代表取締役会長 南場 智子（なんば ともこ）講演内容をノーカット掲載します！ 「経営の言語」と「技術の言語」両方話せる人材を信頼する 私がDeNAを立ち上げたのは、1999年。今からちょうど20年前です。もともと、経営コンサルタントをしていました。得意なのは戦略や提携。それからマーケティングや分析などですね。一緒に起業した仲間も、同じファームから連
デブサミ2017「DeNAの機械学習基盤と分析基盤」講演メモ #devsumi - 元RX-7乗りの適当な日々
sonots先生の話を聞きに行ってきたので、そのメモを残しておきます。 瀬尾 直利 氏 DeNA Co., Ltd. AIシステム部 リードエンジニア DeNAの機械学習基盤 ディープラーニングの基盤 => GPU基盤 という認識 GPUすごくて、CPU使って30日のところ、GPUを使うと4日くらいのオーダー GPUの特徴 並列処理が得意 CPUだと24coreとかのオーダー GPUでは3000〜4000core 分岐処理は苦手 行列演算に向いている GPU製品 NVIDIA Tesla HPC向けにGPUシリーズ NVIDIA GeForce GRID クラウドゲーミング向け AMD FirePro NVIDIA Tesla API CUDA OpenCL DirectCompute CUDAのアーキテクチャ CPU(ホスト)からGPU(デバイス)にデータを転送 GPUで処理 GPUから
DeNAがベアメタルSDN「Big Cloud Fabric」を導入した背景を聞く (1/2)
モバイルゲームの「Mobage」からオンラインショッピング、オークション、キュレーションメディア、最近ではヘルスケア（遺伝子検査）やオートモーティブ（カーシェア、無人運転バス）といった新規事業まで、幅広いインターネットサービスを展開するDeNA（ディー・エヌ・エー）。そのサービスインフラを支えるエンジニア集団が、同社のIT基盤部だ。 DeNAでは今年、OpenStackを中心としてSDN（Software-Defined Network）、SDS（Software-Defined Storage）、LBaaS（Load Balanccer-as-a-Service）などの機能を統合した、新しいITインフラ／プライベートクラウドの利用を開始した。SDN基盤には、ビッグスイッチネットワークス（Big Switch Networks）の「Big Cloud Fabric（BCF）」を採用している
DeNAの大規模データマイニング活用したサービス開発
「DeNAの大規模データマイニング活用したサービス開発」 慶應義塾大学大学院 理工学研究科 2014年度下期 「ビックデータ実践論」 特別講義 の講義資料です。 実際の大規模データマイニング活用したサービス開発での各種挑戦、心がけていること、分散処理基盤、等、話しています。興味ある方はぜひ。
大きな構想を持つこと - Kentaro Kuribayashi's blog
DeNAのZIGOROuさんによる技術選択とアーキテクトの役割というスライドを拝見して、大いに感じるところがあったので、少し書く。といっても、技術的な話というよりは、もうちょっと違うレイヤの話(技術選択についても思うところはあるのだけど、それはそれについて述べたスライド*1を参照していただきたい)。 経験曲線効果 経験曲線効果という言葉がある。元は、ボストン・コンサルティング・グループ(BCG)のコンサルタントによって提唱されたものだ*2。このような図*3を見たことがあるだろう。 Wikipedia*4には以下のように説明されている。 経験曲線効果(けいけんきょくせんこうか、experience curve effect)とは、経験と効率との間の関係を示す経験則である。単に経験効果とも呼ばれる。一般に個人や組織が特定の課題について経験を蓄積するにつれて、より効率的にその課題をこなせるように
技術選択とアーキテクトの役割
特定のプロジェクトがあり、要件定義をし概要設計をする。 それがアーキテクトの仕事だと思われがちですが、大きな視点を持ち様々な課題を自らリードして解決していく立場としても絶好のポジションです。 このセッションでは、Mobage オープンプラットフォームの立ち上げから、 グローバルプラットフォーム展開、さらには mixi 社との共同プラットフォーム構築、 JavaScript SDK と認証技術の組み合わせによる新しい HTML5 プラットフォーム構築をアーキテクトという立場でリードし続けた立場から、技術選択のみならず実現したい事に対する俯瞰的な捉え方を、これまでの実例と共に紹介し、アーキテクトという役割について、お話します。
DeNAを退職してAWSにJoinしました - As a Futurist...
タイトルの通りですが、12 月末で 6 年弱勤めた DeNA を退職して、1 月から AWS に Join してます。日本の Solution Architect です。初めての B2B のお仕事なので新卒新入社員の気持ちです。新卒入社時の予定ではもうアメリカに留学してるはずだったのに、どうしてこうなったのやら。。。 さて、DeNA にはエンジニア未経験の状態からここまで力を付けさせてもらって大変感謝しています。売上に直接貢献するような仕事はほとんどできなかったですが、起こらなかった問題に対する貢献は少しは出来たかなと思っています。そういえばここではちゃんと書いてなかったですが、最後の１年間は MYCODE という遺伝子解析サービスの開発をゼロから行っていて、何もないところからリリースまで辿り着くという産みの苦しみを味わうことができて非常にエキサイティングでした。ちょっとだけですが Sec
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DeNA TechCon 2017 と Developers Summit 2017 でDeNAの機械学習基盤と分析基盤の講演をしました - sonots:blog
DeNAにおける機械学習・深層学習活用
FINAL FANTASY Record Keeper の作り方
Mobage を支える Ruby の技術 ~ 複数DB編 ~
