筆者の環境で、LM StudioでCommand R+を動作させている様子。会話相手は自作キャラクターの「明日来子（あすきこ）さん」 PCローカル環境で動作する大規模言語モデル（LLM）「Command R+」を使っていますが、相当優秀ですね。体感ではChatGPT（GPT-4）と変わらないレベル。さらに、ChatGPTが回答を拒絶するような会話もできてしまいます。これが体験できるようになったのは、LM Studioに代表されるローカルLLMを動かすためのアプリ環境が整ってきたためです。今年に入り、Command R+を始めとしたローカルLLMが高性能化してきたことと並行し、手軽に使える派生モデルも増えはじめ、一気にあわただしくなってきました。 導入が難しかったローカルLLM、「LM Studio」で簡単に Command R+を試すのに使っているのが、LLMの主要モデルを実行するための統

すっかりおじさんになってしまった身としては近年の日本のミュージックシーンに極めて疎くなって久しいのですが、最近になってAdoさん*1の楽曲に『過学習』というタイトルのものがあるということを知ったのでした。 一体どこで「過学習」なんてマニアックなテクニカルタームが存在することを知って、あまつさえ楽曲のタイトルにしようと考えたのか、というのが不思議で仕方ないのですが、機械学習や統計学を初めとするデータサイエンス領域の人々ぐらいにしか馴染みのなかった語がこうして人口に膾炙しているのかと思うとなかなかに感慨深いものがあります。 ということで、「過学習」とはどういうものであり、どのような場面で生じ、それをどうすれば避けられるか、という点について簡単にまとめてみることにしました。このテーマでは過去に何度もブログ記事を書いており、もはや何周目の話題なんだという感もありますが、温故知新ということでご容赦い

最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力

今のLLMを取り巻く状況について紹介します。

第1章　理論編 ・深層学習とは (p.13-) ・ニューラルネットワークとは (p.31-) ・どうやって学習するか: 勾配降下法 (p.57-) ・深層学習の注意点 (p.91-) 第2章　応用編 ・分類問題 (p.110-) ・画像認識 (p.120-) ・音声認識／自然言語処理 (p.151-) ・講演のまとめ (p.167-)

昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装

1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース

はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張っていきたいと思います。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、次世代データ基盤であるデ

I saw the work performed by intelligence; smart was no longer a property, but an engine. 私は知性による仕事を目の当たりにした。賢さはもはや財産ではなく、エンジンだった。 (Eliezer Yudkowsky) My Naturalistic Awakening本記事は以下私が公開した「AIのもたらす深刻なリスクとその歴史的背景」の概要とAI存亡リスクに対する深層防護的な対策、QA（AIが何故存亡リスクを導くか等）、関連資料を抜き出したものです。 詳細は以下のGoogle Docsから参照ください。 概要私たちが今いる21世紀は過去人類が体験したことのないような技術の発展の最中にあるかもしれず、特に近いうちに高度なAIが開発され、様々な意味で劇的に世界が変わる可能性があります。 その一方で今世紀に人類が

2024年1月25日に発表された、OpenAIの 新モデルの追加 と APIの更新 についてまとめました。 1. OpenAIの 新モデルの追加 と APIの更新2024年1月25日、OpenAIの 新モデルの追加 と APIの更新 が発表されました。 ・新しいEmbeddingモデルの追加 ・GPT-4 Turbo Previewの更新 ・GPT-3.5 Turboの更新 ・モデレーションモデルの更新 ・APIキーの管理方法の改善 2. 新しいEmbeddingモデルの追加2-1. 新しいEmbeddingモデル2つの新しい「Embeddingモデル」を追加します。 ・text-embedding-3-small : 小型で高効率 ・text-embedding-3-large : 大規模で高性能 「Embedding」は、自然言語やコードなどのコンテンツ内の概念を表す一連の数字です。「

2023年の流行語大賞にも選ばれた「生成AI」。 ChatGPTだけでなく、Google BardやClaude2など似たようなAIチャットボットも登場し、性能も日に日に上がっている感覚がありますね。 しかし、結局どれが一番賢いんだろう？と思いつつひとまずChatGPTを使っている方も多いはず。 そこで、今どのチャットAIが一番頭良いのか白黒つけてしまおう！ということで、ちょうど週末に行われた大学入試共通テスト2024を使って学力テストを行いました！ 参加する学生は、 ①GPT-4くん ②Google Bardちゃん ③Claude2さん の三名です 果たして誰が学力王の座に輝くのか・・・？ 選手入場①GPT-4くん一人目は、皆さんご存じChatGPTです。Open AI予備校に月額＄20の課金して学力武装しています。 特徴としては、プロンプトの研究が進んでおり、画像やPDFファイルの読み

米Google傘下のGoogle DeepMindは12月14日（現地時間）、LLM（大規模言語モデル）とLLMによる幻覚（ハルシネーション）を防止する“評価器”を組み合わせた新たなシステム「FunSearch」を発表した。長年解決不可能な数学問題とされてきた「Cap set問題」を解き、実社会でも役立つ「ビンパッキング問題」のための効果的なアルゴリズムを発見したという。 FunSearch（funは「楽しい」ではなく、「関数」に由来する）は、GoogleのLLM「PaLM 2」をコンピュータコードで微調整したバージョンの「Codey」を使っている。LLMは不正確な情報を幻覚させることが分かっているため、LLMの出力から不正確だったり無意味だったりする部分を拒否する“評価器”アルゴリズムを組み合わせているという。 FunSearchはLLMと評価器による出力と評価を反復させていくことで、自

米Googleは12月13日（現地時間）、医療業界向けの新しい大規模言語モデル（LLM）、「MedLM」を発表した。このLLMは医療関連の膨大なデータセットでトレーニングされており、医療研究、医療診断、医療文書作成など、多様な医療用途に使用できるとしている。まずは米国で、Google CloudのAI統合プラットフォームである「Vertex AI」を介して提供を開始した。 MedLMは、「PaLM 2」をベースにしており、医療文書の理解と生成に特化した複雑なタスク向けの大容量モデルと、医療データの分析と予測に特化した、タスク間のスケーリングに適した中程度のサイズで微調整が可能なモデルが用意されている。 向こう数カ月中に、GeminiベースのモデルをMedLMスイートに導入する計画だ。 米医療サービス大手のHCA Healthcareは、医師がハンズフリーデバイスで患者との会話から正確でタイ

「AIとビジネス」をテーマに、業種業態、部署の垣根を超え、産業を活性化するヒントを得るためのビジネスカンファレンス「Gen AI EXPO」（主催：弁護士ドットコム株式会社）。今回は、生成AIのエヴァンジェリストとして活躍し、「深津式プロンプト」を編み出し世に広めた深津貴之氏が登壇した特別セッション「ChatGPT活用術」の模様をお伝えします。深津式プロンプトの誕生や、自分を成長させるためのChatGPTの使い方などが語られました。 「ChatGPT」と言えばの深津貴之氏が登壇 田上嘉一氏（以下、田上）：本セッションをご視聴のみなさん、こんにちは。弁護士ドットコムの田上と申します。今日は深津さんをお招きしてAIアシスタントの活用方法というテーマでお話ししていきたいと思います。 深津さんに関してはもうご紹介する必要もないかなと思いますが、クリエイター集団THE GUILDの代表とnoteのC

Stability AIが画像生成AI「Stable Diffusion」を公開したのは2022年8月のこと。すさまじい勢いで発展してきた画像生成AIの1年を振り返ってみようと思います。 初めに見てもらいたいのは「これが無料でいいのか!? “爆速生成AI”がペイントソフトに革命を起こした」で紹介した、KritaとGenerative AI for Kritaを組み合わせて作成した設定資料的な画像です。 キャラクターの3面図のサンプル。Vroidで簡単な3Dで当たり（左）として、右の画像を作成する。それを元に、プロンプトや画像に描き込んだりして、最終画像を作成していく。2枚目には前面図の頭部のカチューシャや、胸部分のフリルがなかったりするが、そこに色を加筆して、プロンプトで指示すると、最終画像にそれが追加されるのをリアルタイムに確認しながら修正できる（筆者作成） Stable Diffusi