よくわかるNVIDIAネットワーキング InfiniBand編IT技術を活用したビジネスの変革が求められる中、人工知能（AI）は必要不可欠な技術となり、幅広く利用されています。また、IoTの進展によるデータ量の増加や計算技術の発展により、AIに求められる計算はますます大規模化しています。
AI/ML基盤の400G DCネットワークを構築した話 - JANOG52 Meeting in Nagasaki
JANOGプログラム内田 泰広(株式会社サイバーエージェント) 小障子 尚太朗(株式会社サイバーエージェント) |10:15|10:45 English information here 概要 サイバーエージェントではCycloudという社内向けのプライベートクラウドを構築・運用しています。 ML Platformとして独自の機械学習基盤を提供しており、今回初めてGPU間を高速接続するためのロスレス・低遅延な400Gインターコネクトを構築しました。 本発表では、国内外で事例の少ない400G DCネットワークを導入するにあたって工夫したことと苦労したことを共有し、 これからのネットワークとコンピューティングに求められる技術や課題などについて議論できればと思っています。 場所 2F コンベンションホール 日時 Day3 2023年7月7日(金) 10:15～10:45(30分) 発表者
インテルの最新パッケージング技術でCPUが100×100mmに拡大 インテル CPUロードマップ (3/3)
Foveros Directの第2世代は Bump Pitchが9μmになる 次が(4)のFoveros Directについて。連載第682回では「9μmピッチかどうかは将来公開する」という話だったが、今回ついにこれが9μmであることが明示された。 ちなみにこの先に関して言えば、Foverosは微妙だがFoveros Directは5μm未満のBump Pitchを目指していることも今回示された格好だ。 ガラスベースのSubstrateと Co-Package Opticsが提供予定 最後が(5)の次世代インターコネクト向け。これは要するに、より高速な信号を通すための仕組みである。現在ではPCIeやUCIeでもだいたい32Gbpsあたりが信号速度のピークであり、GDDRも20Gbpsくらいであるが、すでにイーサネットの世界ではレーンあたり100Gbps(56G PAM-4)を超えて200G
光トランシーバーのForm Factorの新動向（3） ～FacebookやMicrosoftが主導するCPO
図2にCo-packaged Opticsを使用したPCBの概念図を示す。 光トランシーバーに接続する電気配線を1本当たり100Gbit/s以上に高速化しようとすると、伝送損失の少ない基板を使用しなければならない。一般的にそのような基板は高価であるため、必要最小限の面積の基板上にASICと光トランシーバーを搭載・高速接続し、それをPCBに固定する方式が考えられている。IC実装におけるMulti-chip Module (MCM)と同じ概念である。このような構造を実現するのが本稿で扱うCo-packaged Opticsだ。ちなみに電源や低速の制御信号などは、PCBと高速基板の間を電気コネクターで接続する。 しかし、図2のような絵は描けても、まだ、データセンターオペレーター、システムベンダー、ICベンダーや光部品サプライヤーにおいては、実現の指針や開発技術の明確化は始まったばかりである。 例
光トランシーバーのForm Factor規格（その2）
10G光トランシーバーでは、MSA（Multi-Source Agreement）がシステムベンダーとサプライヤー双方に有益であり、市場拡大やビジネス戦略として重要であることが認識された。 だが、次世代40Gは期待したほど大きな市場規模とはならなかった（筆者も現場にいたので、なぜそうなったかについてはいろいろ意見もあるのだが、また別の機会に執筆したい）。一方で、市場規模こそ、10Gほどではなかったが、40Gによってハイパースケールデータセンターが生まれたことは確かである。 40Gは巨大なファイバーインフラを有するテレコムで必要とされ、伝送システムやルーターで300-pin MSAトランシーバーが採用された。 データコム光トランシーバーではVCSEL（Vertical Cavity Surface Emitting Laser）や回路基板は高速化が困難であったため10G×4でリンクを定義した
電気通信と光通信の境界
電気通信と光通信の境界：福田昭のデバイス通信（142） imecが語る最新のシリコンフォトニクス技術（2）（1/3 ページ） データセンターで信号伝送を担うのは、銅ケーブル（電気通信）と光ファイバーケーブル（光ファイバー通信）だ。今回は、この2つにおける通信速度と通信距離の関係や、光ネットワークの帯域を向上する上で鍵となる技術を解説する。 光ファイバー伝送がデータセンターの超高速通信を担う 半導体デバイス技術に関する国際会議「IEDM」では、カンファレンスの前々日に「チュートリアル（Tutorial）」と呼ぶ技術セミナーを開催している。2017年12月に開催されたIEDMでは、6件のチュートリアルが開催された。 その中から、シリコンフォトニクスに関する講座「Silicon Photonics for Next-Generation Optical Interconnects（次世代光接続に
imec、FinFET/シリコンフォトニクス混成の光トランシーバを開発
ベルギーimecは、Semicon Westに併せて開催した「imec Technology Forum USA 2018」において、FinFET CMOSロジック集積回路とシリコン・フォトニクスを混成して集積することで低消費電力と高帯域幅を両立させた光トランシーバを発表した。 動的電力消費が230fJ/bitで、フットプリントが0.025mm2と小型かつ低消費電力な40Gbps非ゼロ復帰(non-return-to-zero:NRZ)の光トランシーバで、imecでは次世代高性能コンピュータに必要な超高密度、マルチTbpsオプティカルI/Oを実現するための重要な第一歩となると説明している。 FinFET CMOS-シリコンフォト二クス・チップの全体写真(左上)と部分写真(右上/左下)、およびチップ実装後の写真(右下) (出所:imec) データセンタスイッチや高性能コンピューティング(HP
高速インタフェースで使用されるSerDes ～ 種類と特長、その歴史
【3】8B10B SerDes 1983年にIBMのAl Widmer氏とPeter Franaszek氏により8B10Bのシリアルコーディング方式が発表されました。8ビットの信号をKコードと呼ばれるコントロールコードの追加とDCバランスを取るために1つのデータに対して2種類のコード（RD＋/－）を割り当て、計10ビットに変換する仕様です（図12） 特長としてはランレングス（1や0の同一符号の連続数）を最大5として低周波帯域を制限していることと、データ中の1と0の数の差が常に＋/－1以内となるようにDCバランスを取っており、シグナルインティグリティを向上させています。データ中の1と0の数の差が必ず＋/－1以内が条件のため、この差を逸脱するとコーディングだけでデータエラーが判定できるようにもなっています。 この8B10Bコーディングは、古くからハイパフォーマンスコンピューティング（HPC）や
超高速ネットワークが越えられない「400Gbpsの壁」 (3/3)
前のページへ 1|2|3 越えられない「400Gbpsの壁」 100GbEはこうして普及期に入ったわけだが、これに先んじてIEEEは次のイーサネットの規格策定を始めていた。テラビットイーサネット（TbE）と呼ばれる次世代イーサネットは、2012年ころからGoogleやFacebookといった大手事業者からそのニーズが上がっており、これに応える形でIEEEもまず「IEEE 802.3 Industry Connections Ethernet Bandwidth Assessment Ad Hoc」という名称のインダストリーコネクション（業界連携委員会）で、ニーズを吸い上げるとともに簡単なケーススタディーを開始した。2013年3月にIEEEは、このニーズ調査やケーススタディーを基に400Gb/s Ethernet Study Groupというスタディーグループ（研究委員会）を立ち上げた（40
NTT、小型で低損失の光変調器を開発
NTTは、シリコンフォトニクス技術を用いた光変換器に、インジウムリン（InP）系化合物半導体を融合した、小型、低消費電力で低損失の光変調器を開発した。 InP系とシリコンの異種材料を融合 NTTは2017年7月、シリコンフォトニクス技術を用いた光変換器にインジウムリン（InP）系化合物半導体を融合した、小型、低消費電力で低損失の光変調器を開発したと発表した。 光通信用ICの材料は、主にInP系化合物半導体などが用いられている。最近では、生産性などの観点から、シリコンフォトニクス技術を用いたマッハツェンダー光変調器（MZM）の開発や量産が検討されているという。ところが、シリコンはInP系化合物半導体などに比べて光変調には不向きで、「変調効率を高くすると吸収損失が増加する」という課題があった。
CPU間データ通信速度で32Gbpsを達成、富士通研が新たな送受信回路を開発
なお、富士通は、サーバ向け製品である「SPARCプロセッサ」やASSP、ASICといったシステムLSI事業は、パナソニックのシステムLSI事業と統合し、マーケティング・設計・開発機能に特化した「ファブレスSoC新会社」として分離独立させる計画である。しかし、今回発表した送受信回路のような、次世代サーバ向けCPUなどに搭載する基盤技術については、富士通研究所をはじめとした富士通グループで研究開発を続ける方針だ（関連記事）。 次世代サーバのボトルネック 現在、CPUに搭載するプロセッサコアの性能向上と同時に、1つのCPUに多数のプロセッサコアを搭載して並列処理させるメニーコア技術の導入などにより、システムレベルのデータ処理性能は大幅に向上している。こうした中で、さらなるデータ処理性能の向上を目指すために複数のCPUを搭載するサーバのような機器の場合、CPU間におけるデータ通信速度がボトルネック
25Gbpsの高速光伝送を、5mW/1Gbpsの低消費電力で実現
25Gbpsの高速光伝送を、5mW/1Gbpsの低消費電力で実現：新技術 CPU間光伝送（1/2 ページ） 富士通らは、CPU間の光伝送について、25Gbpsの高速伝送を1Gbps当たり5mWで実現する技術を開発した。従来は3V以上の電源電圧で光素子を駆動していたが、0.8Vで駆動できるようになり、低消費電力化も図れているという。 富士通、富士通研究所、Fujitsu Laboratories of America（FLA）、技術研究組合 光電子融合基盤技術研究所（PETRA）、新エネルギー・産業技術総合開発機構（NEDO）は2015年2月23日、サーバやスーパーコンピュータ（以下、スパコン）のCPU間高速データ通信を、1ギガビット/秒（Gbps）当たり5mWで実現するシリコンフォトニクス技術を用いた光送受信回路を共同開発したと発表した。同技術は、2015年2月22～26日に米国で開催され
いよいよスマホ搭載か!? 電磁界結合による非接触コネクタで開発成果
いよいよスマホ搭載か!? 電磁界結合による非接触コネクタで開発成果：新技術 非接触コネクタ（1/3 ページ） 慶応大の黒田忠広氏らのグループは、米国で開催されている国際学会「ISSCC 2015」で電磁界結合を用いた非接触コネクタに関する2件の研究論文を発表する。同コネクタをスマホに搭載した場合でも、他の無線機と干渉しないことなどを実証した内容も含まれ、非接触コネクタの実用化加速が期待される。 慶應義塾大学 理工学部教授の黒田忠広氏らの研究グループは電磁界結合を用いた非接触コネクタの伝送路結合器（TLC：Transmission Line Coupler）を従来の1/8.3に小型化する技術を開発した他、同非接触コネクタをスマートフォンや人工衛星に実装可能なことを実証した。これらの研究開発成果に関する論文は2015年2月22～26日に米国で開催されている国際学会「ISSCC（IEEE Int
IoT時代のサーバを助ける56Gbps送受信回路
富士通研究所とソシオネクストは、サーバ間の光通信向けに、56Gビット／秒の通信速度を実現する送受信回路を発表した。ソシオネクストは今回、オプティカルネットワーク分野で培ってきたノウハウを活用することで、消費電力を削減できる新しいタイミング誤差検出方式を開発。これにより、現行と同じ消費電力で2倍高速となる56Gbps送受信回路を実現している。 「2020年、IoTの普及で全てのデバイス／センサーはデータセンターやクラウドにつながる時代を迎える。つながるデバイスの数は500億台。2015年の150億台から3倍以上に増える見込みだ」――インテルは、2015年6月に行ったカンファレンスでこう語った。 IoTの普及に伴って懸念されるのは、膨大な量のデータ処理である。膨大な量のIoTデータをリアルタイムで処理するためには、データセンターの処理能力向上が解決の要因の1つとして挙げられる。しかし、同時に考
Facebookが開発したオープンなスイッチ「Wedge」仕様書が公開、ネットワーク機器もオープン化へ。100ギガイーサ対応スイッチの「Wedge 100」も開発表明
Facebookが開発したオープンなスイッチ「Wedge」仕様書が公開、ネットワーク機器もオープン化へ。100ギガイーサ対応スイッチの「Wedge 100」も開発表明 Facebookは、同社が発足したデータセンター向けのオープンなハードウェアを推進する「Open Compute Project」に、スイッチのハードウェア仕様となる「Wedge」が正式に採択されたと発表。Wedgeの詳細な仕様書も公開され、誰でも入手可能になりました。 Wedgeは、いわゆるマーチャントシリコンと呼ばれるチップベンダが市販しているネットワーク機器用のチップと、それを制御するx86ベースのサーバで基本的には構成されています。 その設計図が公開され、誰でも利用可能になったことで、台湾などのODMベンダにWedgeをベースにカスタマイズしたスイッチを発注することができるようになりますし、また今後はWedgeをベー
いかにしてGoogleは他の企業では成し得ないような驚くべきデータセンターネットワークを作り上げたか | POSTD
Googleは最近、正当に築き上げてきた誇りを抱きつつ、次のような 発表をしました 。 Googleは、先日開催された2015 Open Network Summitで、5世代の社内ネットワーク テクノロジーの詳細を初めて公開しました。初の社内データセンターネットワークである10年前のFirehoseから最新世代のJupiterネットワークに至るまで、Googleは1つのデータセンターネットワークの能力を100倍以上に増強してきました。実際、現在のJupiterファブリックは二分割帯域幅で1ペタビット/秒を超えています。これだけの能力があれば、10万台のサーバがそれぞれ10Gb/秒で情報を交換でき、アメリカ国会図書館所蔵図書のスキャンしたコンテンツ全体を1/10秒未満の時間で読み込むことができるでしょう。 Googleのデータセンターネットワークは、目に見えるGoogleのほとんどの仕事を
40Gbps Ethernet(Mellanoxさん) + 100~200万IOPS Storage(Violin Memoryさん) + Windows Server というストレージOSとHyper-V ～Interopで私を本気にさせた2つのシナリオ② | Blogs - 高添はここにいます - Site Home - TechNet Blo
InteropのMellanoxさんのブースにて15分のミニセッションを担当させていただきました。 そして、ちょうど私の後にお話をされていた Violin Memoryさんと共にこれからの3社の可能性について考えることができました。 シナリオとして簡単に解説しておきましょう。 ーーーーーー データセンター基盤としての Windows Server あれっと思われるかもしれませんが、Windows Server は Azure のために進化したクラウド用のプラットフォームとなりました Windows Server も Hyper-V も、データセンター利用に十分な機能と性能を発揮します Microsoft の Datacenter の規模感を知りたい方はこちらをご覧ください。 https://www.youtube.com/watch?v=8Kyoj3bKepY 操作性も、ドライバー入手の容
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
国立情報学研究所ら、日米間の長距離通信で世界最速の150Gbpsを達成 ～1TBを約55秒、10TBを約9分で転送完了
東大、100Gbit回線でTCP通信速度世界最高値の73Gbit/secを達成 ～従来の理論限界を超える成果
NICT、TCP互換で10Gbps環境に最適化した通信プロトコル「HpFP」開発、遅延・パケットロス環境下でも高速通信 
