マルチノードGPU通信をやってみた | IIJ Engineers Blog
はじめに はじめまして。IIJクラウドサービスの基盤チームに所属しているshimada-kです。昨今の生成AI/LLM（大規模言語モデル）の盛り上がりはすさまじいものがありますが、遅ればせながら、私たちのチームでも様々な角度から検証を始めております。先日、同僚のt-moriyamaが、GPUサーバに関する記事（https://eng-blog.iij.ad.jp/archives/24836）を投稿しましたが、こちらはその環境を使用した後続の記事の一つとなります。私はこれまでインフラに関する仕事に携わってきたこともあり、最初のテーマとして「Ethernet上でマルチノードGPUによるDeep Learning環境を構築、動作させてみた」という内容で記事を書いてみたいと思います。 今回のゴール さて、テーマとしては上述のとおりなのですが、そもそも検証用のGPUサーバは1台しかありません（ただ
【AI】進化的マージモデルを手軽に作れる「mergekit」というツール | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 進化的マージモデルとは？ これは、Sakana.aiさんが2024年3月21日発表した、「進化的アルゴリズムによる基盤モデルの構築」で述べられた手法を用いて作られたLLMを指しています。 引用すると、「多様な能力を持つ幅広いオープンソースモデルを融合して、新たな基盤モデルを構築するための方法を、進化的アルゴリズムを用いて発見する手法」であるとのことで、その中でも生成されたLLMの一つである EvoLLM-JP は融合元に指定したモデルはベンチマーク成績があまり芳しくないにもかかわらず
私の仕事紹介：クラウド基盤のSRE（Site Reliability Engineering） | IIJ Engineers Blog
私の仕事紹介：クラウド基盤のSRE（Site Reliability Engineering） 2024年05月21日 火曜日 こんにちは。クラウドサービス1部基盤サービスデザイン課の田中です。 現在私達のチームは、いわゆるインフラチームとして「IIJ GIOインフラストラクチャーP2 Gen.2」のクラウド基盤の設計、構築および運用業務を担当しております。 本稿では、特にSRE（Site Reliability Engineering）の領域に焦点を当て、「私の仕事紹介」として業務の概要をお伝えさせていただきます。 「クラウド基盤のSREってどんな仕事なのだろう」とご興味を抱かれている方の一助となれば幸いです。 SREのコンセプトや用語に関する説明は本稿には含まれておりませんので、必要に応じて各種ネットや書籍の資料をご参照いただければと思います。 要約 SREの適用において、クラウド基盤
1つの大きなLLM（大規模言語モデル）を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代 昨今、ローカルGPUで駆動できるようなLLM（大規模言語モデル）もかなり増えてきて、キャッチコピー的に「ついに我が家にもGPT-4が！」とか言われるようになってまいりました。パラメータ規模で言えば70億～130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。 大きなモデルをGPU寄せ集めしつつ遊びたい！ しかしながら、コンシュマー向けのGPUにおいては、7B
最近よく聞く「データセンター」ってなに？ | IIJ Engineers Blog
IIJ 技術担当部長 最近はインターネットの技術を紹介するのがお仕事です。元々プログラマ、サーバ・データセンター・ネットワーク・セキュリティ・モバイルといろいろやってきました。 最近ニュースなどで「データセンター」がよく取上げられます。実は、この記事を書いている私自身も、TV番組に出演してデータセンターの解説をしていました。 千葉・印西市に世界が注目 データセンター集結の理由は【Bizスクエア】 2024年3月28日放送(TBS) 池上彰のニュースそうだったのか!! 2024年5月4日放送【1時間9分あたり～】 (テレビ朝日/TVer) この番組で取材を受けたのは「IIJ白井データセンターキャンパス」(千葉県白井市※)です。 ※印西市・白井市にまたがる千葉ニュータウンの一角に立地 番組中でもいろいろご説明しているのですが、この記事では基本に立ち戻って「そもそもデータセンターって何なの？」
HTTPSレコードがRFCになりました | IIJ Engineers Blog
RFC9460が出ました 昨年、このエンジニアブログでHTTPSレコードについてとりあげました。これを書いたときはHTTPSレコードはまだインターネットドラフトだったのですが、2023年11月、ついにRFC9460として標準化されました。 RFCにはなったけど日本語の詳しい記事はまだ少ないし需要あるかなーと思って改めて解説を書きはじめたんですが、だらだらとクソ長くなって書いた本人が読んでも眠くて退屈な内容になってしまいました。ので、書いたものはばっさり捨てました。 そういえばいまから3年前、DNS Summer Day 2021で発表したプレゼン資料がありました。これをRFCになった現在の内容にあわせてアップデートしたほうがてっとりばやいしわかりやすそうです。 ということで、加筆修正した資料を置いておきます。DNS屋さんはとりあえず全部読んでおいてください。Web屋さんは前半だけ理解してお
Starlink(スターリンク) 対応ルータをSEIL/x86 Ayameで自作する | IIJ Engineers Blog
結構長くゲーム業界に出向していましたが、2022年秋に戻ってきました。 ゲーム業界での経験も生かしながらIIJのエンジニアとしてちょっと面白いことを提供できていければいいなぁと思っています。 格闘ゲームの世界チャンピオン(Evo2017)になった従兄弟がいますが彼にゲームを教えたのは僕ではありません。2023年は4位でしたね、おめでとうというべきか残念というべきか。 どうぞよろしくお願いします。 SEIL/x86をStarlinkルータとして考える Starlink付属のWi-Fiルータはカスタマイズできる範囲がとても狭く、面白くありません。 そこで多機能なIIJルータに置き換える話をしたいわけですが、機器として提供しているのはいずれも法人向けの製品で、MPCと呼ばれるクラウド型のマネジメントサービスとセットになっています。 そこで今回は個人でもAmazonから購入できるソフトウェアルータ
別れ話をBGPに載せて | IIJ Engineers Blog
社長室兼基盤エンジニアリング本部所属。これだけ見るとフルスタックエンジニアを超越しているが、実態はネットワークを中心にしたインフラ全般の企画が主なお仕事。AS2497 / The Internet / BGP / SRv6 【IIJ 2023 TECHアドベントカレンダー 12/22の記事です】 警告: タイトルから推測できるとおり、人によってはメンタルに来る可能性があります。at your own riskでお読みください。 私のXタイムラインにシスコシステムズさんのこんな記事が流れてきた。 引用元：愛の告白をBGPに載せて 本題 show ip bgpを実行するのに、こんなに緊張するのは初めてだ。流宇太（るうた）はターミナルソフト画面に表示されているshow ip bgpコマンドを凝視しながらこう思った。 まだ若手エンジニアとは言えるが、幾つかの難関ネットワーク案件を完遂してきた実績を
一般のご家庭に1PB(1000TB)のHDD | IIJ Engineers Blog
九州支社技術部(九州・中四国事業部)所属。自作パソコン好きで、ハードウェア選定の仕事を与えると喜ぶ。最近は何でもコンテナにしたい教に入信し、コンテナ化の機会を虎視眈々と狙っている。 【IIJ 2023 TECHアドベントカレンダー 12/11の記事です】 こんにちは、九州支社技術部(九州・中四国事業部)所属のy-morimotoです。 ふとしたことから、自宅に大容量の記憶媒体が欲しくなる時があるかと思います。 最近では、単体で22TBなHDDや、30.72TBなSSDなど、ラックマウントサーバ的な物を使わなくても、大容量が準備しやすい時代になりました。 ただ、1PB(1000TB)を目指した際に、意外とつまずきポイントがあったので、今回ご紹介させて頂きます。 今後、ご自宅に1PB(1000TB)を置かれる際の参考になれば幸いです。 １．USB接続の限界 簡単にHDDを接続する方法、まず思い
Noribenでマルウェアの動的解析を効率化しよう | IIJ Engineers Blog
SOCのインフラ運用から分析ルール管理までやってた自称何でも屋。 最近マルウェア解析に手を出し始めた。家ではニャンサムウェアの被害に度々あっている。 【IIJ 2023 TECHアドベントカレンダー 12/6の記事です】 はじめに こんにちは。SOCでマルウェア解析をしているtomoya-fです。 本記事ではマルウェアの動的解析ツールであるNoriben（ノリベン）を紹介します。 こういう機会にならないとドキュメント化しない体たらくさよ・・・ マルウェア解析の種類 Noribenの紹介をする前にマルウェアの解析種別について触れておきます。 マルウェア解析は解析の目的により、解析の手法や利用するツールが異なります。 代表的な解析として以下の3つが挙げられます。 ※ 解析種別は文献や個人によって定義や粒度が異なります 表層解析 動的解析 静的解析 表層解析とはマルウェアのメタデータなどを解析す
IIJ Bootcampの教材に「ずんだもん」を使ってみた | IIJ Engineers Blog
2019年新卒入社。基盤エンジニアリング本部兼クラウド本部所属のKubernetes大好きエンジニア。自宅ラックマウントサーバ勢。休日はコスプレしたり、バイクに乗ったり、絵を描いたり、サーバメンテしたり、激渋旅館を巡ったりしてます。 こんにちは、IIJの韮塚(にらづか)です。 基盤エンジニアリング本部とクラウド本部に所属しており、普段は趣味全開デスクで「サービス基盤運用の自動化」や「社内ツールの管理人」をしています。 今回はIIJ Bootcampで合成音声VOICEVOXのずんだもんを使った解説動画を流すという暴挙試みをしたので、本記事にて紹介します。 【補足1】VOICEVOXとは ヒホ（ヒロシバ）氏が制作した、無料で使えるテキスト読み上げソフトウェア https://voicevox.hiroshiba.jp/product/zundamon/ 【補足2】ずんだもんとは ずんだアロー
ハードウェアのタイムスタンプを使用してネットワークの待ち時間を測定する方法 | IIJ Engineers Blog
I'm a researcher at IIJ Research Laboratory working on the performance, security and reliability of distributed systems. 今回は、IIJの技術研究所にインターンシップとしてドイツから来日していたフォーゲル アーネさんの研究を紹介します。彼は博士号候補者で一緒に働いていました。研究内容は、ネットワークカードのハードウェアタイムスタンプについてです。それではご覧ください。 （以下フォーゲルさんの記事） この投稿では、ハードウェアのタイムスタンプを使用して、単純なpingコマンドよりもきめ細かくネットワークの待ち時間を測定する方法を探ります。 動機 2つのノード間のネットワークレイテンシを調べたい場合どうすればよいでしょうか？ シンプルな方法はpingを使うことでしょう： $
DNS over HTTPS/TLS (DoH/DoT)の設定方法 | IIJ Engineers Blog
はじめに DNS over HTTPS/TLS (DoH/DoT)の設定の話をします。何言ってやがんだ、設定なんて画面からポチポチいじるだけやろ読むまでもない、と思ったあなた、甘いです。 DoH/DoTの前に、まずDoH/DoTではない、通常のDNSってどうやって設定しますか？ 何言ってやがんだ、設定画面からポチポチいじるだけやろ、と思ったあなた、甘いです。そうやってする設定は、あくまで「デフォルトと異なるDNSサーバを利用するための設定」です。そんなことしなくてもデフォルトのDNSサーバは設定されていて使えるのです。じゃあデフォルトのDNSサーバはどうやって設定されているんでしょうか? こたえは、「DHCPやIPv6 RAやPPPなど、IPアドレスを自動設定するプロトコルでDNSサーバの情報もいっしょに配布されるのでそれを設定している」です(※1)。 話を戻しましょう。DoH/DoTって
マルチステークホルダーって何だ (Internet Governance Forum ～ IGF Kyoto 2023) | IIJ Engineers Blog
IIJ副社長でもある谷脇 康彦が9月に上梓した書籍「教養としてのインターネット論」第4章「デジタル民主主義を巡る対立」にて、ここで取り上げたインターネットのガバナンスを巡る対立が論じられています。(紙の書籍、および電子書籍で読むことができます) 教養としてのインターネット論 世界の最先端を知る「10の論点」 | 日経BOOKプラス https://bookplus.nikkei.com/atcl/catalog/23/09/02/00979/ インターネットのことを考えてみる機会 この記事では、インターネットがどのように管理されているのか、インターネットガバナンスについて、そのさわりを紹介しました。 こんな記事を書いてはいますが、私もインターネットガバナンスについて日常的に考えているわけではありませんでした。しかし、2023年は、IETF 116 Yokohama (3月)、G7群馬高崎デ
一足お先に“CA10”を触ってみた ～ IIJの最新高機能ルータ SEILアプライアンスシリーズ | IIJ Engineers Blog
IIJ プロフェッショナルサービス第一本部所属のエンジニア、自社ルータのSEILちゃんとともに、IIJのサービスをあれこれ組み合わせてお客さまへ届ける日々を送る。カラオケが大好きでPerfumeとラブライブ！、東池袋52が得意。動画はウェザーニュースLiVEがお気に入り。 ついにやってきた！ IIJエンジニアの想いがつまりにつまったSEILシリーズ、1998年のリリース当時から「ISPとして使いたい機能を搭載していく」というスタンスを大切にしてまいりました。 時代は移り変わり、すべてのものがインターネット上に存在するいま、ルータに対しても広帯域を扱う需要が高まっています。 そんななか、ついに今日、10GのSEILルータがめでたく9月28日にリリースされることが発表されました。 名前は「SEILアプライアンスシリーズ CA10（シーエーテン）」です！ちょっと長いですが、ぜひ名前だけでも覚えて
30周年記念グッズ配布システムを作ってみたけど、失敗と学びの連続だった | IIJ Engineers Blog
30周年記念グッズ配布システムを作ってみたけど、失敗と学びの連続だった 2023年07月31日 月曜日 IIJ は2022年12月3日に30周年を迎えました。 この時、広報部が主導して約2,000人の社員に数種類のグッズを配布することになったのですが、社員それぞれに対しどのグッズを何個渡すかで複数のパターンがあるため、配布の効率化が課題となりました。 この課題を解決した時のことを、ITmedia さんが記事にしてくださっています。 今回は、その中でも技術的な側面にフォーカスし、どのように解決したかを書いていこうと思います。 プロトタイプができるまで 発端 IIJ には、技術工作室という課題を持つ人と技術者をマッチングさせる取り組みがあります。 新たな技術を試しながらプロダクトを作りたい技術者と、社内の業務課題をマッチングする取り組みです。課題解決のアイデアを練るだけでなく、協力する従業員と
国際学会 USENIX ATC 2023 で最優秀論文賞を受賞しました | IIJ Engineers Blog
技術研究所の研究チームが、システムソフトウェア分野の国際学会 USENIX Annual Technical Conference 2023 (ATC’23) にて、論文を発表するとともに、最優秀論文賞 Best Paper Award を受賞しました。 USENIX ATC は論文が採択されるだけでも非常に難易度が高いとされている学会で、その中で最優秀論文賞を頂けたのは、運の要素が多分にある上でも快挙だと思っております。 今回の論文は Full Paper と呼ばれる 11 ページではなく、 Short Paper という 5 ページでの投稿だったのですが、それにも関わらず最優秀論文賞をいただけたことについて、学会運営委員会の懐の深さを感じています。 発表した論文の内容については、システムコールをフックする機構についてのもので 2021 年のアドベントカレンダーに投稿したものと基本的に
IIJで学ぶ “命を守るシステムを持続させるために” | IIJ Engineers Blog
IIJ プロフェッショナルサービス第一本部所属の消防士。(？) IIJに来る前日まで災害現場の最前線で活動していました。皆様の生命・身体・財産を守るシステムに磨きをかけるため、IIJで修行中です。 ※救急車ひっ迫アラート運用開始しました。救急車の適正利用にご協力をお願いいたします。 皆さんこんにちは。東京消防庁からIIJに委託研修という形で派遣された目山と申します。つい昨年度までは消防隊員として災害現場の最前線にいました。 突然ですが皆さんは119番通報をしたことはありますか？ システム構成的にはコールセンターのように感じるかもしれませんが似て非なるもので、実は絶対に止まる事が許されないシステムなんです。 言い換えると「人の命を預かるシステム」 これを持続させるための知識を習得することこそがIIJで学ぶ必要性です。その内容の一部について、皆様に紹介出来たらと思います。 IIJと東京消防庁
CISA (Certified Information Systems Auditor)【エンジニアに役立つ資格】 | IIJ Engineers Blog
現在、セキュリティ本部で公開系システムを保護するサービス（IPS、WAF、FW、DDoS対策など）のカスタマーエンジニアで管理職もやっています。 趣味は、美味しい料理を食べること、作ることです。特にイタリアンが好きです。 はじめに 本記事では、CISA（Certified Information Systems Auditor）と呼ばれISACAが主催する国際資格を紹介します。前のブログに書いたCISSPと名前は似てますが、異なる組織が主催しており全く関係のないものです。CISSPは、自らの組織を動かし情報セキュリティを維持運用していくのに重点が置かれますが、CISAは相手の組織に対してシステム監査することになります。私が資格を取得したのは、2019年4月10日 ということで、すでに4年もの時間が経過しているので本資格試験を志す方は、最新の情報をご確認ください。 CISAとは CISAとは
データセンターと電気主任技術者（電験）【エンジニアに役立つ資格】 | IIJ Engineers Blog
データセンター規模で大雑把に分けると、大規模で電験2種、中小規模で電験3種が必要となります。IIJのデータセンターでは、白井データセンターキャンパスが受電電圧66,000ボルトのため電験2種、松江データセンターパークが受電電圧6,600ボルトのため電験3種が求められます。電気主任技術者は、電気設備の工事、維持及び運用に関する保安の監督をします。電気設備は事故が発生すると生命や財産に影響を与えるおそれがあるため、安全に運用していく責務があります。 電験について詳しくは、電気技術者試験センターのページをご覧ください。 エンジニアが電験に挑んだ5年間 立ちはだかる電験の高い壁 松江データセンターパークに配属されると、データセンターでは電気の資格が必要ということを知りました。どうやら電験3種というらしく、調べてみると、マークシートの5択問題、合格率は10%程度。電気を専門で学んだことはなかったもの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
