【特集】 CPUやGPUの発熱や電力をカットする方法
生成AIでGPUがいらなくなる？ 業界を揺るがす「1ビットLLM」とは何か、識者に聞いた
ではそもそも“1bit”とは何が1bitなのか、どうして1bitになるとGPUが不要になるのか。LLMでGPUが不要になるとどんな世界が訪れるのか。オーダーメイドによるAIソリューション「カスタムAI」の開発・提供を行うLaboro.AIの椎橋徹夫CEOに聞いた。 プロフィール：椎橋徹夫 米国州立テキサス大学理学部卒業後、ボストンコンサルティンググループに参画。消費財や流通など多数のプロジェクトに参画した後、社内のデジタル部門の立ち上げに従事。その後、東大発AI系のスタートアップ企業に創業4人目のメンバーとして参画。AI事業部の立ち上げをリード。東京大学工学系研究科松尾豊研究室にて「産学連携の取り組み」「データサイエンス領域の教育」「企業連携の仕組みづくり」に従事。同時に東大発AIスタートアップの創業に参画。2016年にLaboro.AIを創業し、代表取締役CEOに就任。 ──まず、1bi
名声を得る人にはある「特性」と「行動」がある
AIの研究開発が急激に進む中、「AI用GPU」を開発するNVIDIAにも大きな注目が集まっています。しかし、「AIの研究開発や運用にGPUが使われている」ということは知っていても、どんなGPUがどんな規模で使われているのかはイメージしにくいものです。そこで、NVIDIAのAI特化GPUやプラットフォームについてまとめてみました。 H100 Tensor コア GPU - NVIDIA https://www.nvidia.com/ja-jp/data-center/h100/ DGX H100: 企業向け AI | NVIDIA https://www.nvidia.com/ja-jp/data-center/dgx-h100/ AIサービスを提供するには、必要なデータを収集してモデルデータを構築する「学習」と、モデルデータにプロンプトを入力して出力を生成する「推論」という2種類の計算処理
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
機械学習に最適とされる「NVIDIA H100」の代替になり得る「NVIDIA L40S」の性能とは？
1台当たり数百万円以上で販売されているNVIDIA H100は機械学習に最適ということで人気があり、Facebookのマーク・ザッカーバーグ氏の慈善団体はNVIDIA H100を1000個以上積んだ高性能医学研究用コンピューティングシステムの構築をスタートしています。ブロガーのパトリック・ケネディ氏は、「NVIDIA L40S」という製品が「NVIDIA H100」の代替となり得るとして、その性能について解説しています。 NVIDIA L40S is the NVIDIA H100 AI Alternative with a Big Benefit https://www.servethehome.com/nvidia-l40s-is-the-nvidia-h100-ai-alternative-with-a-big-benefit-supermicro/ NVIDIA H100はハイエン
VRChatの推奨スペックを実際に検証してみた【グラボ別ベンチマーク】 | ちもろぐ
VRChatの必要動作スペックVRChatの公式推奨スペックは以下の通りです（https://help.vrchat.com/hc/en-us/articles/1500002378722-System-Requirementsより引用）。 CPU：Core i5（4コア） / Ryzen 5（6コア）以上メモリ：8 GB以上グラボ：GTX 1060 / RX 580以上ストレージ：21.5 GB以上の空き容量VRChatのヘルプデスクが2023年8月に更新した推奨スペックですが、ウワサに聞いているよりも軽い要求スペックに見えます。 CPUやメモリの要求度が低く、代わりにグラフィックボードの要求度がやや高いです。といってもGTX 1060やRX 580は2023年時点でローエンドグラボに分類されます。 しかし、上記のヘルプデスクが示したスペックはあくまでも動作をサポートできる最低限度のスペ
画像生成AIを始めたいけどグラボが高価で諦めている人に朗報、安価なAPUでも大容量なVRAMを割り当てて画像生成可能
Stable Diffusionなどの画像生成AIは自身の所有するマシンにインストールしてローカルで実行することが可能です。しかし、快適な画像生成に必要な「大容量のVRAMを備えたグラフィックボード」はPCパーツの中でも高価な部類に入るため、予算の都合から画像生成を諦めている人も多いはず。新たに、安価なAPUでも実用的な速度で画像を生成できたという検証結果がAI関連YouTubeチャンネル「Tech-Practice」によって報告されています。 Democratize AI: turn a $95 chip into a 16GB VRAM GPU! Beats most of the discrete GPUs! | by Ttiotech | Aug, 2023 | Medium https://medium.com/@ttio2tech_28094/51a8636a4719 Demo
生成AI向けでNVIDIAを追撃、AMDが超高性能GPGPU
米Advanced Micro Devices（AMD） Chair and CEOのLisa Su氏は、データセンターやAI（人工知能）に焦点を合わせたプライベートイベント「Data Center and AI Technology Premiere」（2023年6月13日に米国で開催）の基調講演において、GPGPU（General Purpose Graphics Processing Unit）「Instinct」の新製品「AMD Instinct MI300X」（以下、MI300X）を発表した。「MI300Xは生成AI向けに開発した」（同氏）という（図1）。 同じイベントでAMDはサーバー用マイクロプロセッサー（MPU）「EPYC」の新製品も発表しており、その際は競合製品として米Intel（インテル）の「Xeon Scalable Processor（SP）」を挙げていた。今回のG
シングルGPUで動作するTransformer相当のRNNモデル RWKV-Raven-14Bを試してみた | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回はシングルGPUで動作するTransformer相当のRNNモデル、という噂のRWKVについて試してみたいと思います。 RWKVとは TransformerベースのLLMと同等の性能を持つ、並列化可能なRNNモデルであり、Attentionフリー(Attention構造を持たない)なモデルです。 ライセンス形態がApache License 2.0かつ、シングルGPUでも動作する点が凄いところとなっています。 GitHub https://github.com/BlinkDL/RWKV-LM Huggin Face https://huggingface.co/BlinkDL Hugging Face側にモデルがいくつか公開されており、rwkv-4が付くものが最近よく話題で使用されているもので
期待のミドルハイクラスGPU「GeForce RTX 4070」を検証。RTX 3080並みの性能で消費電力を大幅に低減
RTX 3080並みの性能で消費電力を大幅に低減 NVIDIA GeForce RTX 4070 Founders Edition Text by 宮崎真一 2023年4月12日22：00，NVIDIAの新型GPU「GeForce RTX 4070」（以下，RTX 4070）のレビューが解禁となった。このRTX 4070は，「Ada Lovelace」世代のGPUで，型番から分かるとおり「GeForce RTX 4070 Ti」（以下，RTX 4070 Ti）の下位となるミドルハイクラスのモデルとなる。 GeForce RTX 4070 Founders Edition メーカー：NVIDIA メーカー想定売価：599ドル（約8万円，税別，国内未発売） 本稿で扱うNVIDIA純正の「GeForce RTX 4070 Founders Edition」は，価格が599ドル（税別）となっており
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NVIDIA、1パッケージに2ダイの新型GPU「Blackwell」。AI性能は学習4倍、推論30倍に
【笠原一輝のユビキタス情報局】 AI=NVIDIAの牙城を崩すAMDの新GPU「Instinct MI300X」
GPUの性能比較がひと目で行えるヒエラルキー図公開―Nvidia「RTX 4090」全条件でTOPという結果に | Game*Spark - 国内・海外ゲーム情報サイト
【特集】 同じ「4060」と「4090」だけど……GeForceのデスクトップとノートはどのぐらい違う？
【西川和久の不定期コラム】 VRAM倍増の24GB計画！……その結果！？
そのGPU、仕事してる？Intelが「GPU Busy」を計測できる監視ツール公開
伝説のCPUアーキテクトJim Keller氏が示すAIの未来
自宅PCで「rinna」の日本語言語モデルを試用、メモリ32GBあればCPUだけでも動くぞ！【イニシャルB】
【やじうまPC Watch】 GeForce RTX 3070を16GBに魔改造。VRAM消費タイトルでfps安定化
【西川善司のグラフィックスMANIAC】 ためになる3Dグラフィックスの歴史(6)。AI技術の進化にGPGPUがもてはやされる背景
