1bit LLM の時代は来るのか，来ないのか，どっちなんだい？｜情報処理学会・学会誌「情報処理」
徳永拓之（LeapMind（株）） 1bit LLMの時代が来る？ 2024 年2 月，The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits¹⁾ というタイトルの論文がarXiv上で公開され，にわかに話題となりました．“1.58 Bits” という表現はあまりなじみがありませんが，log₂(3) = 1.58 . . . ということで，パラメーターを三値にした場合の情報量を示しているようです．この論文（以下b1.58 論文とする）は，同じ著者グループによる文献2）を少し拡張したもので，大規模言語モデル（LLM）の効率化についての研究です． 本稿の前半ではこれらの論文の主張を解説し，後半ではその主張の妥当性について検討します． なお，これらの2本の論文は，本稿執筆時点では，査読を経たものではありませんのでご注意くだ
3Dモデルの配信サーバーでRustとZstandardを採用して数倍のパフォーマンス向上を実現した - pixiv inside
はじめに こんにちは、VRoid部所属のエンジニアのyueです。 この度VRoid Hubで3Dモデルの配信サーバーの見直しを行い、技術選定から始めRustとZstandard (zstd)を採用した実装に切り替えました。 結論から見るに従来のNode.js製サーバーと比べて以下のことを実現しました。 最大のレスポンス時間が 1.5 ~ 2.5s から 300 ~ 400msまで低下 平均のレスポンス時間が 700 ~ 800ms から 150 ~ 200msまで低下 サーバーのCPU使用率が ~ 50% から ~ 10%まで低下 docker image のサイズが ~ 346mb から ~ 21mb程度まで削減 配信されるファイルサイズが平均 10 ~ 20% 軽量化されました レスポンス時間 CPU使用量 (上からAVG(MAX), AVG, AVG(MIN)) メモリー使用量に関し
GPSが1.5秒刻みで時刻をカウントする理由 | コラム | GPS/GNSSチップ&モジュール | フルノ製品情報
江戸時代の日本では、日の出と日の入りを境に１日を昼夜に分かち、昼と夜をそれぞれ６等分して「一刻」を定めていました。これは不定時法と呼ばれ、夏と冬では一刻の長さが最大50分も違っていました。時計が広く行き渡ってはおらず、暮らしのサイクルに刻時を合わせる、当時ならではの作法だったかもしれません。さて今回は、GPSに存在する、独自の時間のカウントの作法を話題にしたいと思います。 週番号ロールオーバーという「ほころび」の理由は GNSS衛星が送信する航法メッセージには測位演算に必要な情報がすべて含まれています。中でも時刻情報はとりわけ重要度の高い情報です。 先のコラムで、最初のGNSSであるGPSを例に、航法メッセージの構造についてご紹介しました。限られたbit数に必要な情報をみっちりと詰め込まれながらも基本的には問題なく機能していますが、20年に一度ぐらい「ほころび」が顔を出すこともあります。み
高速逆平方根(fast inverse square root)のアルゴリズム解説 - 滴了庵日録
高速逆平方根とは？ C言語のコード 検証 アルゴリズムの要点 [1] 逆平方根の計算を対数・指数の計算に置き換える [2] 浮動小数点型の内部表現を利用した対数・指数の近似計算 [2.1] 対数の近似 [2.2] σの最適値 [2.3] 整数型での解釈 [2.4] 逆平方根の計算とマジックナンバー0x5F3759DF [3] ニュートン法による収束で精度アップ 感想 高速逆平方根とは？ 高速逆平方根(fast inverse square root)とは、平方根の逆数 を高速に計算するアルゴリズムです。平方根の逆数は逆平方根とも呼ばれます。逆平方根はベクトルの正規化などに用いられるので、これを高速に計算できるアルゴリズムには大きなご利益があります。 参照： Fast inverse square root - Wikipedia C言語のコード 高速逆平方根の関数を示します。0x5F375
ディープマインドがAIで高速アルゴリズムを発見、C++に採用
ディープマインドはAI「アルファデブ」を使って、人間が考案したアルゴリズムよりも高速にソートを実行するアルゴリズムを発見した。アルゴリズムはすでにC++に取り入れられ、使用されているという。 by Will Douglas Heaven2023.06.13 16 12 ディープマインド（DeepMind）は、基礎コンピューター科学における発見を続けている。昨年、同社はゲームをプレイする人工知能（AI）「アルファゼロ（AlphaZero）」を使って、さまざまなコードの核となる重要な数式の計算を高速化する新たな手法を発見し、50年前の記録を更新した。 そして今、同社（2023年4月に姉妹会社のAI研究所と統合し、グーグル・ディープマインドと改名）は同じ偉業を再度達成した。それも二度もだ。英国を拠点とする同社はアルファゼロの新バージョンである「アルファデブ（AlphaDev）」を使用し、それまで
ChatGPTでstep by stepもロールプレイもやめたらプロダクト開発で使える精度になったよ｜MRYY
プロダクトマネジメントのコーチをしています。プロダクト開発の中でもGPT4を使うケースが増え、相談されることが増えてきました。 ChatGPTのGPT4を用いた際の、専門家として信用できる精度で推論させるための工夫の一部を紹介します。精度が必要な専門職かつ中級者向けになると思います。「機密情報の入力をどうさけるか」といった運用の話は今回はしません。 やったことと起きたこと一通り論文を読んで試したり、試行錯誤しました。 その結果、専門家として業務レベルで使える程度のものができるようになってきました。 クライアントのプロンプトを添削する仕事も増えつつあります。副作用として、日本語なのに日本語と感じられない自然言語に目覚めてきました。この片鱗についてお話しします。 分かったこと分かったこととして、精度を業務レベルで用いるためにまずはじめにとりくむことは下記です。 ・接待モードを切る ・指示の質が
オープンAIが巨大言語モデルGPT-4の重要情報を公開せず、AIの性能向上に深まる謎
米OpenAI（オープンAI）が2023年3月中旬にリリースした最新の巨大言語モデルGPT-4については、大きな「謎」がある。機械学習モデルの規模（パラメーター数）や学習させたデータ量が明らかにされていないのだ。 2020年発表の「スケーリング則」がここにきて話題に オープンAIが2022年11月にリリースしたAI（人工知能）チャットボットChatGPTの能力があまりに高いことから、日本でもここにきて巨大言語モデルのスケーリング則（Scaling Law）が改めて注目されている。 スケーリング則とは、オープンAIが2020年10月に発表した論文「Scaling Laws for Autoregressive Generative Modeling」で示した法則だ。オープンAIは2020年6月に発表した巨大言語モデルGPT-3の経験に基づき、自己注意機構（SA、Self Attention）
大規模言語モデルの驚異と脅威
2022年11月にOpen AIが公開したChatGPTが世界で注目を集めている。一般ドメインかつ多言語で、従来のチャットボットとはレベルの異なる高品質の対話をリアルタイムに実現するサービスを（Research Preview版ではあるが）無料で提供し、検索、金融、広告、教育、法務などの広範囲な分野の転換点となり得ることは、驚異的なことである。本講演では、ChatGPTがベースにしているInstructGPTを中心に、大規模言語モデルやプロンプト、人間のフィードバックによる強化学習などの技術を概観する。また、ChatGPTのような生成型の人工知能が社会やビジネス、学術にもたらす脅威について述べる。 https://aip.riken.jp/sympo/sympo202303/
数式を使わないTransformerの解説（前編） - conceptualization
2023/3/23 追記： こちら半年以上前に執筆したもので、その後私の理解も進んで内容的に更新したいところが結構あるため、近日中に非公開とさせていただき,更新後に再公開させていただくつもりです。現時点での本記事の内容は、大きく間違ってはいないけどちらほら微妙なところがあるという感じです。 （ざっくり理解するだけでも良いという人にはそれでも良いかもしれませんが、そういう方向けには 今執筆中のこちらの記事 をおすすめします。） −−−− 最近話題のmidjourneyやDALL-E、凄いですよね。中身はディープラーニング（DNN）のようです。DNNといっても色んな技術がありますが、それらにはTransformerという手法が使われています。本記事は、その手法がどんなものであるかを数式を使わずに説明してみよう、という主旨になります。 ※なお本記事は機械学習のプロの研究者ではない私の独自の解釈が
「みんな、ChatGPTの扱いがもったいない…」ほとんどの日本人がチャットAIを使いこなせていない“決定的要因” | 文春オンライン
◆◆◆ 「確率的に確からしい」という言葉を続けるロボット ――最近、ChatGPTという言葉をよくインターネットで目にします。なんとなく「こんなことができるのかな……？」というイメージは湧いているのですが、具体的なサービス内容を簡単に教えてもらえるでしょうか。 深津貴之氏（以下、深津） 一言で言えば「人間の言葉で質問すると、人間の言葉で答えてくれるロボット」です。 例えば、質問に答えてくれたり、相談に乗ってくれたり、長文を要約してくれたり……。これまでの“検索”とは違って、人間的な知性があるかのように“文章で返答をしてくれる”のが大きな特徴というサービスですね。 お昼ごはんについて質問したときの回答。これまでの“検索”とは良くも悪くも勝手が違うことがよくわかる これはAIに大量の単語を学習させることで、「直前の単語に対して、最も可能性が高い次の単語を予測している」んです。例えば「むかしむか
最新対話型AI「ChatGPT」の衝撃…！ ついに人工知能と本当に話せる時代が到来した（小林 雅一） @gendai_biz
多彩な頭脳労働をこなしてくれる 「これぞ本物の人工知能」と呼べそうなものがついに登場した ―― 米国の研究機関OpenAIが最近公開した言語生成AI「ChatGPT」が今、世間の注目を浴びている。 すでにツイッターなどで大きな話題になっている他、つい先日ノーベル経済学賞受賞者のポール・クルーグマン氏がニューヨークタイムズのコラムでも紹介した程だから、いわゆる技術系オタクのみならず一般の人たちの間でも相当知られているはずだ。 このシステムはユーザーとの対話形式で、政治・経済・文化をはじめ、あらゆる分野における質問に丁寧に答えてくれる。また、こちらのリクエストに応じて、何らかのテーマに関する小論文や短編小説を書いたり、ソフトウエア・コードのデバッグ（誤り訂正）などもしてくれる。 他にも多彩な頭脳労働をこなしてくれるので、ひところ取り沙汰された「人間の仕事（特に頭脳労働）がAIに奪われる」という
それ、非再帰で書けます - Qiita
この記事は再帰自体を全否定する趣旨ではありません。 両方の良さを理解した上で非再帰で書きたいと思ったときの参考にしていただければと思います。 まだ再帰関数書いてるの？ 再帰関数はプログラミング言語の有用な機能で、深さ優先探索をベースとする様々なアルゴリズムの実装として有用です。 その一方で、関数呼び出しはオーバーヘッドが大きく、定数倍が弱くなります。また、JavaやPythonなどのスタック領域の制限が厳し目の言語では深すぎる再帰のせいでRuntime Errorが発生する場合があります。 C++などのコンパイル言語ではインライン展開によって関数呼び出しのオーバーヘッド解消されることもありますが、再帰関数は中でもインライン展開の難易度が高く、深い再帰ではそのまま実行せざるを得ない状況になります。 ところが、再帰関数は生のスタックを自分で用意するなどして非再帰に書き直すことができます。（「停
テキストエディタで使われがちなデータ構造 Piece Table の概要と実装 - A Memorandum
テキストエディタのデータ構造 Gap method Piece Table method Piece Table の構造 Piece Table の実装 Piece Table のメソッド まとめ テキストエディタのデータ構造 テキストエディタで採用されているデータ構造にはいろいろあります。 こちらの論文 Data Structures for Text Sequences では各種データ構造について比較検討されています。 多くは、Gap method や Piece table method をベースにしたものが多いのではないでしょうか(図で言う最下部の中心の丸印に当たります)。最近では Rope なども有名ですね。 Gap method Gap method では、現在のカーソル位置で、テキストバッファを2つに分割し Gap を間に挟み、カーソル位置に対する編集(テキスト追加/削除)を
フォローフォロワー時代の終焉｜えとみほ
これはフォロー / フォロワー時代の終焉の途中経過だと思っていて、、 TikTokやYouTubeのように「アルゴリズムでプラットフォームが見せたいものを見せる」ほうが、プラットフォームにとって有利なんですよね。 個人に力を持たせるよりも、プラットフォームが力を持たないといけないからです。 https://t.co/3LtEfi0Lzh — けんすう (@kensuu) August 2, 2022 たとえば、個人に力がある状態だと「他のプラットフォームに移りますー」というと、お客さんが逃げちゃうわけです。プラットフォームが個人の取り合いになってしまい、競走が生まれ個人ユーザーが得をする世界になる。 — けんすう (@kensuu) August 2, 2022 個人の力を削いで、アルゴリズムの力で閲覧させるようにすると、個人が他のプラットフォームにいくと、数字が目に見えて落ちるので、他の
リアルタイム共同編集のアルゴリズム (Operational Transformation; OT) を理解する試み – RORO
Google Docsのように文書を複数人でリアルタイムに共同編集できるアプリケーションがあります。あのような機能は、多かれ少なかれ、Operational Transformation (OT; 操作変換) という考え方を使って実現されているようです。興味があったので、このOTについて調べてみました。 (追記: これからは OT でなく CRDT だという話 → I was wrong. CRDTs are the future) なおGoogle Docsではいわゆる「リッチテキスト」を共同編集できますが、ここでは話を簡単にするために「プレーンテキスト」を共同編集することを想定します。 リアルタイム共同編集の流れ 共同編集システムの登場人物は次の通りです： サーバ x 1（各クライアントから届く編集操作をもとに、最新の文書を保持します） クライアント x N（文書を編集する側です） そ
みんな、とにかくオセロAIを作るんだ - Qiita
オセロAIってなんか難しそう？そんなことはありません。むしろゲームAIを学ぶ様々なレベルの人にこれ以上ないくらい最適です。この記事ではオセロAIを作ると何が良いのかをひたすら語っていきます。そしてオセロAIをこれから作る人のために参考になりそうな記事をいっぱい貼り付けていきます。 私自身はもうかれこれ1年以上オセロAIにどっぷりハマっています。詳細は以前書いた記事で。 オセロAIをおすすめする3つの理由 1. 原始的なゲーム木探索を学べる オセロは「二人零和有限確定完全情報ゲーム」と呼ばれる種類のゲームです。この名称を説明すると、 二人: 二人で行われる、 零和: どちらかが得をすればもう片方が同じだけ損をする、 有限: 探索すべき範囲(ゲーム木)が有限で、 確定: 手番が一意に定まり、 完全情報: ランダム要素などの予期せぬ情報がない、 ゲーム: ゲームである という意味です。チェスとか
量子コンピューティングに対するMicrosoftのアプローチ - ISC 2021
ISC 2021において、MicrosoftのMatthias Troyer博士が「Quantum Computing: From Academic Research to Real-World Applications」と題する基調講演を行った。 Troyer博士は 約20年間スイスのETH ZurichのComputational Physicsの教授を務めていたが、Leave of Absenceで休暇を取り、2017年にDistinguished Scientistという肩書でMicrosoftに移っている。 なお、ETH Zurichは2021年のTimes Higher Educationでは世界で14位にランキングされている名門大学である。ちなみに、東大は36位である。 図1 ISC 2021において“Quantum Computing: From Academic Rese
数独を全探索で解くプログラムとその速度向上 - Qiita
はじめに 数独は楽しいパズルなんですが、難しい問題だと全然解けなくてつらい思いをするので、コンピュータの力を借りて解くことにしました。 最初は解くのに17分以上かかっていたのが、アルゴリズム改善によって最終的に3秒で解くことができた(もちろん環境は同じ)のでその過程をアウトプットします。 使用環境：Google Colaboratory (Python 3.7.10) 数独のルールは以下の通りです。9×9のマトリックスに数字を入れるパズルです。 ・まだ数字の入っていないマスに１から９までの数字のどれかを１つずつ入れましょう。０(ゼロ)は使いません。 ・タテ列（９列あります)､ヨコ列（９列あります)､太線で囲まれた３×３のブロック（９つあります）のどれにも、１から９までの数字が１つずつ入るようにします。 画像、文章はニコリHPより引用 基本的な解き方(アルゴリズム) 全探索を行います。 具体
2のべき乗サイズの配列は危ないという話 via 行列積 - elkurin’s blog
こんにちは。労働者です。とあるプログラムで学生さんの課題を添削していたら面白い話に出会いました。 僕は今、主に学部生向けのインターン研修的なプログラムでメンターなるものをやっています。メンターとしての仕事は、学生さんの課題へフィードバックを返し、Office Hourというセッションを毎週設けて質問受けやCSに関するトークを行うといった内容になっています。今回話題に取り上げるのはその中の課題の1つ、「行列積のプログラムを書いて時間を計測せよ」という何気ない話で、続く課題たちのいわば前座のようなものです。こういったところに沼は隠されているものですね。 担当している学生さんたちが細かい実験を行ってくれて以下のような疑問が提示されました。 「行列積の計算が N = 1024のときだけ N = 1023, 1025のときに比べて3倍遅いのはなぜ？」 配列のサイズが2のべき乗になるのは避けるべきとい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
化学系のためのPID制御パラメータの調整方法
