ローコードLLMアプリ開発環境「Dify」を使って、SynologyのNAS上で動くAIチャットを作る【イニシャルB】
既存の LLM コード生成の問題 LLM は行カウントやワードカウントが苦手。 例えば自分は SourceMap を扱うコードのテストを書かせようとしたが、モックデータの line:column がガバガバな位置を指してまともにテストにならない。行カウント/ワードカウントができないのはつまり diff がうまく生成できない。 これらの問題があって、コードを生成するパイプラインを組む場合、 全文出力が主流になっている。 ここで何が問題になるかというと、コードが膨らんで来た時に、(書き変える対象が一部だとしても)生成が顕著に遅くなる。うまく生成できなかった時にリトライを繰り返すと、問題がさらに悪化する。 改善手法の提案: 明示的な Line Number の付与 最近の LLM は入力ウィンドウがある程度大きくても、そこそこの速度で応答する。(お金はかかるが...) 問題は生成速度にある。特に
はじめに GMO NIKKOの吉岡です。 みなさん、生成AIは活用してますか？ ChatGPTに始まり、Claude3やGeminiなど、実用的なAIがどんどん出てきてますね。 自分も使ってはきましたが、課金が気になってしまいます。 これではサービスに組み込むことは難しいですよね。 そのためローカルで動くLLMを追ってきましたが、今年に入って実用的な日本語を返すことができるモデルがいくつか出てきているので、サーバー構成からインストール方法、LLMの起動まで紹介しようと思います。 ローカルLLMを動かす上で一番重要なのはGPUのVRAMです。 LLMは7B、13B、70Bモデルが多いですが、量子化しない場合、必要なVRAM容量は動かすモデルの大体2倍なので、13Bモデルでは26GのVRAMが必要です。 NVIDIAのGPUを使ったCUDAが前提になっているのですが、一般向けでは24Gモデルが
LLMにまつわる"評価"を整理する
「LLMの評価」というフレーズを見て、どんなことを思い浮かべるでしょうか？ おそらく大半はLLMモデル自体の評価のことを思い浮かべると思います。新しいモデルが出てきた時に𝕏で見かける「GPT-4o のMMLUベンチマークは89%!」みたいなアレ。 ですが、プロダクト開発にLLMを使っている人の間では、プロンプト等が十分な品質を出しているかの確認などにも評価という言葉を使っていることは多いのではないかと思います。 うまい具合に後者を区別するためにいい感じの呼び名を付与したい気持ちがあるのですが、英語圏での例を見てみるとシンプルに"Evals"と呼んでることもあれば Evaluating LLM System Evaluating LLM-based Applications などなど表現の仕方は様々になっています。 そしてそのプロダクト開発文脈での評価も、実態としてはオフライン評価やオンラ
LLM-as-a-Judgeとは LLMをアプリケーションに組み込んでいると、LLMの出力を評価する必要が出てきます。 LLMの「出力は確率的である（毎回異なる）」ためです。 また、LLMの出力はハルシネーションを含む可能性がありますし、間違いではないにしてもサービス提供者の意図とは違った出力をエンドユーザーに提示してしまうかもしれません。 LLMの出力を評価して、出力が適切でないことを判定できれば、ユーザーには表示しない、出力を再度行わせる（出力をLLMに修正させるのもよいでしょう）というようなことができるようになります。 ただし、LLMのすべての出力を人が評価していたのでは、手が回りません。 そこで、注目されているのが、LLM-as-a-Judgeと呼ばれるLLMにLLMの出力を評価させる手法（以後、単に評価と呼ぶ）です。 評価にLLMを使えば、出力をすぐに評価し、評価結果をアプリケー
中国AIが加速。Soraに匹敵する中国の動画生成AI「KLING」、中国アリババの最新オープンLLM「Qwen 2」登場など生成AI関連技術5つを紹介（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第50回目は、生成AI最新技術の概要5つを紹介します。 生成AI論文ピックアップ Soraに匹敵する動画生成AI「KLING」登場。中国のショート動画アプリ開発チーム「快手」が手がける アリババグルーブが開発するオープンソースな大規模言語モデルの新バージョン「Qwen 2」登場 ラベルなし静止画の学習だけ、ビデオ内の動く物体を検出・追跡できるモデル「MASA」 相手が話している適切なタイミングで同時翻訳するAIモデル「StreamSpeech」 OpenAIが大規模言語モデルの中身を理解するモデルを発表。GPT-4の中身は1600万の特徴を持つ Soraに匹敵する動画
はじめに Chrome 126からローカルで使えるLLM Gemini Nanoが使えるようになりました。 本記事では実際に使ってみようと思います。 前準備 まずはChrome Release ChannelsにてDev channelのChromeをインストールします。 インストールできたら下記機能を有効にします。 Enables optimization guide on device: Enabled BypassPerfRequirement Prompt API for Gemini Nano: Enabled 次に、LLMのダウンロードが必要のため、 chrome://components/にアクセスし、Optimization Guide On Device Modelのアップデート状況を確認します。 まだダウンロードされていない場合は、アップデートを確認ボタンでダウンロード
AppleはAI機能をオプトインサービスとして提供する予定でLLMを搭載した2つのロボットデバイスに取り組んでいるとの報道
AppleはOpenAIとパートナーシップを結んだと伝えられていて、2024年6月10日から開催されるイベント「WWDC 2024」でチャットAIを統合した「iOS 18」を発表するものと期待されています。新たに、AppleはAI機能をオプトイン(同意して初めて利用できるもの)とし、さらに2つの消費者向けロボットプロジェクトに大規模言語モデル(LLM)を統合する計画も浮上していると報じられました。 Why Is Apple (AAPL) Teaming Up With OpenAI? Both Companies Need Each Other - Bloomberg https://www.bloomberg.com/news/articles/2024-06-05/why-is-apple-aapl-teaming-up-with-openai-both-companies-need-
因果推論とは、ある出来事が別の出来事にどのように影響するかを理解しようとする分析手法です。要するに「これをしたらあれが起きる」を予測するものです。そのような原因と結果の分析におけるLLMの有効性が日本国内における複数の大学からの研究グループにより研究されています。 参照論文情報 タイトル：Integrating Large Language Models in Causal Discovery: A Statistical Causal Approach 著者：Masayuki Takayama, Tadahisa Okuda, Thong Pham, Tatsuyoshi Ikenoue, Shingo Fukuma, Shohei Shimizu, Akiyoshi Sannai 所属：Shiga University, Tokyo Medical University, Kyoto
市場で注目を浴びているトレンドを深掘りする連載「マネ部的トレンドワード」。今回のテーマは、「現代用語の基礎知識選 2023ユーキャン新語・流行語大賞」のトップ10に入った「生成AI」。 生成AIと聞いて「ChatGPT」をイメージする人は多いだろう。「ChatGPT」は、大量のテキストデータを処理し、自然言語（人間が扱う日本語や英語などの言語）を理解・生成する「大規模言語モデル（LLM）」の一種だ。 電機メーカーのNEC（日本電気）は、2023年7月に独自のLLMを開発。そして、同年12月にはそのLLMと映像認識AIを掛け合わせ、長時間の動画からユーザーの目的に応じた短縮動画と説明文を自動生成する技術を開発したことを発表し、2024年3月には試用版の提供を開始している。 「映像認識AI×LLM」の技術は、社会のなかでどのように活用されるのだろうか。NECビジュアルインテリジェンス研究所の劉
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LLM にコードを「差分」で書き換えさせるためのアイデア
【Phi-3-Medium】GPU2台構成でローカルLLMを動かす【Ubuntu24】
LLMによるLLMの評価（LLM as a judge）の精度改善のための試行錯誤〜評価分割・モデル間比較
Chrome内蔵LLM Gemini Nanoを使ってみた
LLMで因果推論を行うためのプロンプト手法 | AIDB
NEC発「映像認識AI×LLM」が業務効率化・DX化推進の起爆剤に！ | 東証マネ部！
電通総研、企業向けChatGPTソリューション「Know Narrator」で最新LLMモデル「GPT-4o」を適用開始
Kenn Ejima on X: "Apple Intelligenceは圧巻。生成AIの扱い方についての正解を一発で出してきた感じだ。 個人的にはGPT-4oが無料で組み込まれることよりもインパクト大きかった。 結局、LLMはシームレスなUXの実現が至上命題。"