OpenAI、Google、Anthropicの3つのAIに同じ質問をして、その結果を集約する「MAGI」システムを作る #役に立たないLLM｜松xRのnote
OpenAI、Google、Anthropicの3つのAIに同じ質問をして、その結果を集約する「MAGI」システムを作る #役に立たないLLM 新世紀エヴァンゲリオンという名作アニメに、MAGIというシステムが出てきます。主人公たちが属する組織の中枢システムを担っており、3つの独立した思考回路を持っていて決議する仕組みです。 オタクとしてはMAGIに憧れがあります。 最近、Google CloudのPaLM2、AnthropicのClaudeがそれぞれ日本でも使えるようになり、API経由で利用することが出来るようになりました。AnthropicのClaudeのAPIはAWSのBedrockから利用します。ここにOpenAIのGPT-3.5-Turbo、GPT-4を合わせれば、「それぞれ独立したAI」によるMAGIを作れそうだと思ったので、さっそくやってみることにしました。 準備私はWind
「GPT-4」を上回る性能で、グラフィカルな文書を読解するLLM技術：NTTの「tsuzumi」にも採用 NTTは2024年4月12日、大規模言語モデル（LLM）の活用により、文書に含まれる図表やグラフなども含めて理解し、自然言語での指示に従って読解／応答する「視覚読解技術」を実現したと発表した。 NTTは2024年4月12日、大規模言語モデル（LLM）の活用により、文書に含まれる図表やグラフなども含めて理解し、自然言語での指示に従って読解／応答する「視覚読解技術」を実現したと発表した。今後、カスタマーサポート業務の補助や自然言語指示による作業の自動化など、オフィスDX（デジタルトランスフォーメーション）の推進への貢献が期待できる。 視覚読解技術とは、実世界の文書を視覚的に（画像として）理解し読解する技術だ。今日では、図表やグラフ、文字の見た目、レイアウトなどの視覚情報を用いた文書が多く扱
大規模言語モデル（LLM）を、実際にプロダクトや実務に役立つかたちで利用している各社が見た使いどころや、実践の上での工夫について学び合うためのイベント第二弾。今回のテーマは「大規模言語モデルがつくる新しい顧客体験」。ここで登壇したのは、株式会社グッドパッチの高橋椋一氏。LLM Agentの仕組みを使った取り組みについて発表しました。 グッドパッチ社でFintechや機械学習系プロジェクトを統括する高橋椋一氏 高橋椋一氏（以下、高橋）：よろしくお願いします。高橋と申します。私は、グッドパッチというデザイン会社に所属している者です。今日は、「AIエージェントがもたらす新たな顧客体験」というタイトルでお話できればなと思っています。 （スライドを示して）私が今日お伝えしたいのは、こちらだけです。LLMを使ったAIエージェントはめっちゃ楽しいので、「おもしろそうだから作るか」という方が、この後1人で
米Googleは3月14日（現地時間）、大規模言語モデル（LLM）「PaLM」のAPIを発表した。開発者はこれにより、生成AIを使って次世代アプリを構築できるようになる。また、PaLMのトレーニングに使えるツール「MakerSuite」も発表した。プライベートプレビューで一部の開発者に提供を開始する予定だ。 PaLMはGoogleが2022年に発表したLLM。最大規模のモデルはパラメータ数が5400億と、米OpenAIのLLM「GPT-3」の1750億よりはるかに大きい（OpenAIが同日発表した「GPT-4」のパラメータ数は非公表）。 APIで利用できるのは「サイズと機能の面で効率的なモデル」としているので、5400億パラメータのモデルではないようだ。「他のモデルとサイズも近日中に追加する」という。 MakerSuiteを使うと、プロンプトを反復処理し、合成データでデータセットを拡張し、
NTTは3月25日、独自の大規模言語モデル（LLM）「tsuzumi」の商用提供を始めた。さまざまな業種・業界の企業に提供し、2027年度までに1000億円の売り上げ創出を目指す。同日に開催した記者発表会には、その名の由来である楽器“鼓”の奏者も駆け付け、祝言の演奏を披露した。 tsuzumiはNTTが独自開発したLLMで、まずは70億パラメータのモデルの商用提供を始める。日本語LLMの性能を図るベンチマーク「Rakuda」において、tsuzumiは「GPT-3.5」を上回る性能を持つという。他にも、企業・業界特化へのカスタマイズを低コストで行える点や、図表読解などが可能なマルチモーダル性を持つことも特徴だ。
DeepMindの研究者らが有効性を検証した、LLMに自ら高品質な訓練データを生成させる「自己学習」 | AIDB
DeepMindの研究チームは、現在の大規模言語モデル（LLM）は人間によって生成されたデータに過度に依存しており、LLMの発展にとって望ましい状況ではないと考えました。 この問題に対処するために、彼らはLLMが自律的に高品質な訓練データを生成し、データセットを自ら拡充する「自己学習」アプローチの有効性を検証しました。 実施された実験では、自己生成データによって、数学やコード生成の分野におけるLLMの能力が顕著に向上したことが確認されました。 本記事では、研究内容を詳しく見ていきます。 参照論文情報 タイトル：Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models 著者：Avi Singh et al.（多数） 所属：Google DeepMind URL：https://doi.o
[ GitHub | Notebook | Anyscale Endpoints | Ray Docs] · 55 min read Note: Check out the new evaluation reports and cost analysis with mixtral-8x7b-instruct-v0.1 and our data flywheel workflow to continuously improve our RAG applications. In this guide, we will learn how to: 💻 Develop a retrieval augmented generation (RAG) based LLM application from scratch. 🚀 Scale the major workloads (load, ch
「AIとビジネス」をテーマに、業種業態、部署の垣根を超え、産業を活性化するヒントを得るためのビジネスカンファレンス「Gen AI EXPO」（主催：弁護士ドットコム株式会社）。今回は、千葉工大・伊藤穰一学長と東大・松尾豊教授が登壇した特別セッション「生成AIが切り拓く日本の未来」の模様をお伝えします。松尾氏が2020年の「GPT-3」リリース時点で受けた衝撃や、日本国内でも進む企業によるLLM開発について語られました。 ChatGPTは何が革命的なのか？ 元榮太一郎氏（以下、元榮）：よろしくお願いします。今日は、ビジネスパーソンのみなさんが視聴されていると思いますが、さっそく生成AIの歴史と今後について明らかにしていきたいと思います。まずは伊藤さんにうかがっていきたいのですが、「ChatGPT」の何が革命的なんでしょうか？ 伊藤穰一氏（以下、伊藤）：自然言語でコミュニケーションがとれて、今
TL;DR 3.6Bパラメータの日本語LLMに対し全パラメータをSupervised Fine Tuning (SFT)をした さらにLoRAを使用してProximal Policy Optimization (PPO)を行った 精度を定量評価できるようなタスクでSFT, PPOを行い、PPOにより確かに精度が向上することを確かめた 学習はすべてGoogle ColabのA100 GPU1枚を用いて行った はじめに GPT-3.5などのLLMの学習は以下の３段階で行われています。 Pre-traininig: 大規模なコーパスを用いた言語モデルの事前学習 Supervised Fine Tuning (SFT): 対話形式や指示・応答形式のデータセットを用いたファインチューニング Policy Optimization: 人間にとって好ましい応答をさせるためのファインチューニング（ポリシー
どうも、株式会社ナレッジワークのざわきんといいます。 最近よく mermaid というテキストベースの図作成ツールを使っていて、ChatGPTやGitHub CopilotのようなLLMを活用したツールとめちゃくちゃ親和性が高いなと思い、居ても立っても居られないので記事にしました。 TL;DR LLM(Large Language Model)の普及により、テキストベースの図作成ツール（例：mermaid）はますます普及していくと思うので、ガンガン使っていこうぜ！という記事です。 はじめに 言葉によるコミュニケーションの難しさ 突然ですが、言葉によるコミュニケーションって難しいですよね。 頭の中にある構造を言葉だけで相手に正確に伝えることって、なかなか難しいです。 例えば、インフラ構成を説明する場合 例えば、インフラ構成を他の人に説明する場合を考えてみましょう。 ChatGPT に出力して
GPT-4などLLMのコード生成能力にデバッグ機能を追加する『SELF-DEBUGGING（セルフデバッギング）』と実行プロンプト | AIDB
GPT-4などの大規模言語モデル（LLM）はコード生成においても驚異的な成果を上げています。しかし、モデルが生成するコードは必ずしも完璧ではありません。そこで、DeepMindとUCバークレーの研究者らは新たなフレームワーク『SELF-DEBUGGING（セルフデバッギング）』を開発しました。 追加訓練なしでも、複数のベンチマークにおいて高いパフォーマンスを達成できる手法です。実行プロンプト（の例）は比較的シンプルで、多くのプログラミングタスクで容易に適用できます。 参照論文情報 ・タイトル：Teaching Large Language Models to Self-Debug ・著者：Xinyun Chen, Maxwell Lin, Nathanael Schärli, Denny Zhou ・所属：Google DeepMind, UC Berkeley ・URL：https://
2月7日、Google Cloudがブログで紹介したところによると、大規模言語モデル（LLM）をGPUなしでローカル実行できる新しいツール「localllm」を発表した。localllmはCPUとメモリでLLMを実行可能にし、特にGPUの不足が課題となる開発者に新たな選択肢を提供する。 このアプローチでは、Google Cloudの完全管理型開発環境であるCloud Workstations内で、GPUなしでLLMを実行できる。具体的には、HuggingFaceの「TheBloke」リポジトリのLLMモデルを使用し、CPUや低消費電力GPUで動作できるように最適化された量子化手法を採用している。 量子化モデルは、制限された計算リソースを持つローカルデバイスで効率的に動作するように最適化されたAIモデルだ。例えば、以下の利点が挙げられる： パフォーマンスの向上: 低精度データ型を使用すること
AmazonがOpenAIのライバルの人工知能スタートアップHugging Faceとの提携を強化、AWSで次世代LLMを構築して提供へ
機械学習アプリケーション構築ツールを手がけるHugging FaceとAmazon Web Services(AWS)が2023年2月21日に、両社のパートナーシップを拡大することを発表しました。Amazonはこの提携により、Hugging Faceが開発を進めるChatGPTのライバルをAWSで提供するとしています。 Hugging Face and AWS partner to make AI more accessible https://huggingface.co/blog/aws-partnership AWS and Hugging Face collaborate to make generative AI more accessible and cost efficient | AWS Machine Learning Blog https://aws.amazon.co
オープンソースLLMの日本語評価結果 - W&Bローンチで誰でも再現可能に｜Weights & Biases Japan
Weights & Biases のnoteをフォローしてください LLMの日本語性能ChatGPTが発表されて半年あまりが経ち、世の中は激変しました。少し冷め始めていたAIへの注目は突然急騰し、この新しい技術の可能性を探究すべく、日本では世界的にも突出した数の方々がその動向に関心を持っているようです。 ChatGPTは幅広い言語で高い性能を示している一方で、モデルは公開されておらず、またAPIの利用においてプライバシーや機密性の高いデータを送信することはできないため、オープンソースのモデルにも注目が集まっています。 オープンソースのモデルにもいくつかの系譜があります。 LLaMA：Meta社が公開したアカデミック向けのLLM (商用利用不可) GPT-NeoX：Eleuther AIの開発した完全にオープンソースな技術スタックで開発されたモデル Bloom：BigScienceプロジェク
DMM.comの亀山敬司会長は4月1日、生成系AIのサービス開発に20億円を投じると、自身のTwitterアカウントで発表した。「日本最速・最大規模で同時多発的にサービス作っていく」（亀山会長）という。 同時に事業責任者やCTOも募集。関心のある人は、DMM傘下でクラウドサービスや研究開発事業を手掛けるAlgoage（東京都文京区）の大野峻典CEOに連絡するよう呼び掛けている。大野CEOは自身のTwitterで「やりたい事業アイデアの持ち込みも歓迎」「国産大規模言語モデルも作りたい」などと展望を説明している。 大規模言語モデル（LLM）とは、大量のテキストデータを使ってトレーニングした自然言語処理モデル。ファインチューニングなどにより、テキストの生成や要約などといった分野に応用できる。昨今では米OpenAIの最新LLM「GPT-4」が注目を集めている一方、SNSなどでは技術の独占などを防ぐ
※つくよみちゃんイラスト素材：花兎*さん 概要（忙しい人向け） 手軽にローカル LLM (音声・立ち絵付き) と会話できるソフトウェア ez-chat-llm を開発しました。動作の様子は動画 (https://www.nicovideo.jp/watch/sm43196446) からご覧いただけます。 ez-chat-llm は、GitHub のリポジトリ (https://github.com/offtoung/ez-chat-llm) から利用できます。また、Google Colab Pro をお使いの方は、ノートブックから簡単に試せます。 副産物として、Pythonから簡単に利用できる音声合成ライブラリ eztts ができました。なんと、このために音声合成モデルをフルスクラッチで学習するという手の込みようです。 上記の GitHubリポジトリをクローンしたディレクトリに入り、次のよ
ELYZAが公開した日本語LLM「ELYZA-japanese-Llama-2-7b」についての解説 : (2) 評価編
はじめに こんにちは。ELYZA の研究開発チームの中村 (@tyo_yo_)、佐々木 (@hikomimo)、堀江 (@eemon18)、平川 (@h__must__) です。 先日弊社株式会社 ELYZAでは以下のようなリリースをさせていただきました。 Meta の「Llama 2」をベースとした商用利用可能な日本語 LLM「ELYZA-japanese-Llama-2-7b」を公開しました ELYZA では複雑な指示に従い、ユーザーの役に立つ回答ができるモデルを作成しようとしています。例えば、次のように適切な言い換え表現を探しているユーザーがいるとします。
LLMによるLLMの評価とその評価の評価について
LLMをプロダクトに活用していく上でプロンプトの出力結果を評価していかなければいけない訳ですが、可能な限り自動で定量評価できると改善もしていきやすくなり大変助かります。 そこで所謂LLM-as-a-Judgeと呼ばれるLLMに評価してもらう手法を取るわけですが、やはり「このスコアはどれくらい信じられるのか...?」という疑問が湧いてきて"評価の評価"がしたくなってきます。 というところで、本記事では使いそうなLLM-as-a-Judgeの手法について調べた後、"評価の評価"の仕方を調べてみた結果をまとめていきます。 LLM-as-a-Judgeの手法 まず初めに、LLM-as-a-Judgeにも様々な手法が存在するので、それらを確認していきます。 スコアベース 一番ベーシックなものはスコアをつけてもらうやり方です。 次のように実際のインプット、それに対するLLMの回答をプロンプトに加えて、
ChatGPTの新たな応用先が登場！LLMマルチエージェントは何ができるのか - AITC - ISID | AI トランスフォーメンションセンター コラム
こんにちは、AI製品開発グループの太田です。 この記事では巨大言語モデルに基づくマルチエージェント技術についてご紹介します。 近年、人工知能（AI）の進化は目覚ましいものであり、その中でも巨大言語モデル（Large Language Models、LLM）は注目を浴びています。 その中でもChatGPTは、その優れた自然言語処理能力により、様々な応用分野で高い評価を受けています。 本記事では、ChatGPTを基にした新たな応用技術である「LLMマルチエージェント」に焦点を当て、その可能性や機能についてご紹介いたします。 LLMエージェントとは？ まず初めに、「LLMエージェント」について簡単に説明します。 LLMエージェントは、巨大言語モデルをベースに構築されたAIエージェントです。 このエージェントは、自然言語でのコミュニケーションを通じてユーザーと対話し、自ら自身がすべきタスクを考える
AIのトレーニングを大幅に安く高速化できるLLM「phi-1.5」が登場 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
Image credit: HuggingFace 「ChatGPT」「LLaMA 2」「Claude 2」「Bard」「Falcon 180B」など、現在エンタープライズソフトウェア市場で話題になっているような AI の大規模言語モデル（LLM）のトレーニングには、大規模で専門的な計算能力が必要だ。そのため、OpenAI、Meta、Cohere、Google、Abu Dhabi の Technology Innovation Institute など、資金力のある大規模な組織がその役割を担っているのは不思議ではない。 しかし、Microsoft Research 機械学習基盤（Machine Learning Foundation）チームのリーダー Sebastien Bubeck 氏は、彼らの新しい非商用の「phi-1.5」のようなオープンソースでリソース効率の良いモデルの研究のおかげ
TypeScriptでもLLMアプリケーション開発 / LLM Application In Typescript
GPTsをMVPに使うアジャイルな社内LLMツール開発 / Agile in-house LLM tool development using GPTs as MVPs
MM1は、画像とテキストのペア、画像とテキストの混合データ、テキストのみのデータの混合でトレーニングされている。Mixture-of-Experts（MoE）や教師あり微調整でパラメータを300億までスケールアップすることで、比較的コンパクトなサイズでも競合するMLLMに匹敵する結果をベンチマークで達成したとしている。 視覚タスクでは、米OpenAIの「GPT-4V」や米Googleの「Gemini」に匹敵している。 MM1のアーキテクチャなどは公開されていない。Appleの研究者らは論文の結論を「ここで得られた知見が、コミュニティが特定の単一モデルアーキテクチャやデータ戦略を超えて、強力なモデルを構築するのに役立つことを願っている」と結んだ。 Appleの研究者らは、昨年12月ごろから複数のLLM関連の論文を発表してきた。 Appleのティム・クックCEOは2月の業績発表で、年内にAI分
こんにちは。 LLM事業部のUTです。 概要 promptfoo の紹介 起動 CI での評価 GitHub Action まとめ 概要 OpenAI による ChatGPT 登場の衝撃から1年ほど経ちましたが、 LLM を活用する企業はものすごく増えました。 OpenAI だけでなく、大手クラウドや Hugging Face などを通して各企業も提供しています。 遊びで使う分にはどの LLM を使うかは適当で良いかと思いますが、プロダクトとして提供する場合利用を想定しているシーンに対して、最適なモデルを選びたいと思うのは必然でしょう。 また LLM を利用してレスポンスを受けるに当たり、最も重要なのがプロンプトです。 様々な研究結果にもある通り、プロンプトの書き方一つで出力結果が大きく変わります。 欲しいアウトプットを出すプロンプトを探すには、プロンプトを複数作り比較する必要があります。
20230425 PRIVACY TECH NIGHT #02 「統計化すれば安全」の罠 ──差分プライバシーの背景
大規模言語モデル（LLM）とは何か？ その仕組みと実用化まで 登壇したのは、グーグル・クラウド・ジャパン合同会社 ソリューションズアーキテクトの中井悦司氏と、同社のAI/ML 事業開発部長である下田 倫大氏の2人。まず中井氏がセッションのテーマである大規模言語モデル（LLM）の基礎知識を解説した。 グーグル・クラウド・ジャパン合同会社 Solutions Architect 中井悦司氏 ウィキペディアで「言語モデル」を調べると、「単語列に対する確率分布を表わすもの」とある。中井氏は、世の中に存在する大量の自然言語で書かれたテキスト文書に対し、その文書がどれほど「ありそう」なものなのかを確率で表現するものが言語モデルであると説明した。 言語モデルの利用例として、文章の次に来る単語の予測が挙げられる。例えば、"This is a ……"とあると、多くの日本人は"pen"と想像することが多い。そ
[LinkedIn discussion, Twitter thread] Never before in my life had I seen so many smart people working on the same goal: making LLMs better. After talking to many people working in both industry and academia, I noticed the 10 major research directions that emerged. The first two directions, hallucinations and context learning, are probably the most talked about today. I’m the most excited about num
Large Language Models（LLM）のメリットとデメリット: 深い洞察と具体例 - なにメモ
イントロダクション メリット デメリット 具体例 まとめ イントロダクション 大規模な言語モデル（Large Language Models、LLM）は、近年AI分野で急速に注目を集めており、多くの業界で様々な応用が期待されています。しかし、その強力な機能とともに、一定のデメリットも存在します。この記事では、LLMのメリットとデメリットに焦点を当て、具体例を通じてそれらの特徴を理解していきましょう。 メリット 1. 高い精度の自然言語処理 LLMは、大量のテキストデータを学習することで、文章生成やテキスト分析などのタスクで高い精度を達成します。これにより、機械翻訳やチャットボットなどのアプリケーションで優れた性能が発揮されます。 2. ゼロショット学習 一部のLLMは、特定のタスクに対する訓練なしに、そのタスクを高い精度で実行できます。これにより、新しいタスクに対応するための学習コストが大
GitHub - mpoon/gpt-repository-loader: Convert code repos into an LLM prompt-friendly format. Mostly built by GPT-4.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
LLMエージェントの研究動向を調査しました。 国内のエージェント開発の取り組みが増え、議論が活性化すると嬉しいです。 連絡はota.m@dentsusoken.com まで
iOS・Android の ローカルLLMの実行環境をまとめました。 1. iOS1-1. Llama.cpp (gguf)「Llama.cpp」の「example/llama.swiftui」で、iOSでggufを実行するプロジェクトが提供されています。モデルはHuggingFaceの「TheBloke」「mmnga」などで数多く提供されています。ただし、メモリ制限のため小サイズのモデルに限られます。 1-2. MLX「mlx-swift-examples」の「LLMEval」に、iOSでMLXを実行するプロジェクトが含まれています。モデルはHuggingFaceの「MLX Community」などで数多く提供されています。ただし、メモリ制限のため小サイズのモデルに限られます。 1-3. TensorFlow Lite (tflite)「MediaPipe」の「LLM Inference
「研究開発が一部の組織の寡占状態にあることは健全とは思えない」――。 米OpenAI（オープンAI）の「ChatGPT」など大規模言語モデル（LLM）が注目を集める中で、国立情報学研究所所長で京都大学特定教授の黒橋禎夫氏が2023年9月27日、「日経クロステックNEXT 東京 2023」（主催：日経BP、東京国際フォーラム）に登壇し、「OpenAIはもはやオープンではない」とLLM研究の課題を指摘。その上で日本の取り組みを紹介した。 自然言語処理研究は、一貫して機械翻訳向け 黒橋氏は「生成AIの仕組みと社会へのインパクト、データ基盤から知識基盤の時代へ」と題して基調講演を行った。まず自然言語処理の研究の歴史から、ChatGPTをはじめとしたLLMの影響について語った。 自然言語処理の研究はコンピューターの利用が始まった1940年代半ばから始まり、「一貫して機械翻訳がキラーアプリだった」と黒
Generative Recommendation : LLMを活用した推薦システム | Wantedly Engineer Blog
この記事はWantedly Advent Calendar 2023 兼 情報検索・検索技術 Advent Calendar 2023の3日目の記事です。 ウォンテッドリーでデータサイエンティストをしている角川(＠nogawanogawa)です。ウォンテッドリーのデータサイエンスチームは、9/18〜9/23にシンガポールにて開催されたRecSys2023に聴講参加しました。 RecSys 2023 (Singapore) - RecSys RecSys 2023, the seventeenth conference in this series, will be held in Singapore. It will bring together researchers and practitioners from academia and industry to present thei
大規模言語モデル（LLM）に国家試験「ITパスポート試験」を解かせてみた──そんな研究成果をGMOグループのGMOメディア（東京都渋谷区）が発表した。LLMが持つ推論能力や問題解決能力の特徴を分析するため、IT分野での能力差を検証。GPT-4など、6種類のLLMで比較した。 比較に使ったLLMは、米OpenAIの「GPT-3.5」（gpt-3.5-turbo-1106）、「GPT-4」（gpt-4-1106-preview）、Stability AI Japanの「Japanese StableLM Alpha」（Japanese Stable LM Instruct Alpha 7B v2）、東工大と産業技術総合研究所の「Swallow」（Swallow-7B-instruct-hf）、rinnaの「Nekomata」（nekomata-7b-instruction）、ELYZAの「EL
国内外問わず盛り上がるLLM（大規模言語モデル）開発。LINEやNECなどがすでに成果を発表し、新たなビジネスチャンスにつなげようとしている。一方、“ゴールドラッシュのつるはし”さながらに、LLM開発に必要なリソースの提供によって存在感を示そうとする企業も見られる。 その中でも大きな影響力を持つのは、クラウドサービス大手の米AWSだろう。同社は6月、140億円の投資を発表。日本法人のAWSジャパンも、LLMの開発支援プログラムを立ち上げ、サイバーエージェントやリコー、リクルートなど17社を対象に、総額600万ドルの利用料補助や技術支援を提供していく方針を示している。 つまり日本だけでも、日本円にして最低8億8000万円（9月5日時点）程度の投資をするわけだ。技術支援にかかる人的リソースなども加味すれば、実質的にはさらにコストがかかっているはずだ。 AWSジャパンが、それだけのコストをかけて
AWSジャパンは1月31日、大規模言語モデル（LLM）の開発支援プログラム「AWS LLM開発支援プログラム」の成果報告会を開催した。これまでは非公開だったが、NTTがプログラムに参加していたことも明らかになった。 AWS LLM開発支援プログラムは、2023年9月にスタート。対象企業17社に総額600万ドル規模の利用料補助や、技術支援などを提供するもので、サイバーエージェント、rinna、Preferred Networksなどが採択されていた。 NTTは当初、プログラムへの参加を発表していなかった。当時は「発表の準備が間に合っていなかった」（NTT人間情報研究所 西田京介上席特別研究員）といい、今回の成果発表会に合わせて公表した。対象企業の一覧は以下の通り。 カラクリ マネーフォワード サイバーエージェント ユビタス ストックマーク Lightblue Sparticle リクルート
2017年にGoogleの研究者が提唱した深層学習モデルで、チャットAI「Chat GPT」などに使われる。「どこに注目するか」を重視したことで、自然言語処理での精度や処理速度を大幅に高めた。 米OpenAIの「ChatGPT」は2022年に公開されるやいなや、その精度の高さに世界が衝撃を受けた。このChatGPTは、同社の大規模言語モデル（LLM）「GPT（Chat Generative Pre-trained Transformer）」をベースにしている。Transformerこそ、LLMの根幹である。 Transformerはエンコーダー（符号器）とデコーダー（復号器）で構成し、「どこに注目するか」を重視するアテンション機構を中心としている。大規模並列処理に向いたモデルで、GPUでの処理を想定して設計した。 Transformerは米Google Brain（現在の米Google D
LLMを活用したサービスを社内外でリリース・運用した経験のある3社のエンジニアが登壇し、実運用を経たからこそ見えた課題やその解決策、運用を見据えた設計・実装の知見などについて語る「LLM in Practice -3社の実例から見るLLM活用サービスを運用した課題と学び -」。ここで株式会社LayerXの白井氏が登壇。「セキュリティチェックシート」をLLMに回答させる取り組みについて紹介します。 白井氏の自己紹介 白井仁美氏（以下、白井）：「LayerX Biz Boost 〜セキュリティチェックシート一次回答の取り組み〜」と題して、LayerXの白井から発表します。 自己紹介です。ハンドルネームは「yakipudding」で活動しています。2023年3月にLayerXに転職してきて、機械学習エンジニアをやっています。 LayerXは法人向け支出管理サービス「バクラク」シリーズを提供してい
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「GPT-4」を上回る性能で、グラフィカルな文書を読解するLLM技術
放置している間に分析レポートが完成 「LLM Agent」の仕組みを使って「全自動データ分析エージェント」を開発
Google、GPT競合のLLM「PaLM」のAPIを提供へ 生成系AIアプリ開発を支援
NTT、大規模言語モデル「tsuzumi」を提供開始 “鼓”奏者も演奏で祝福 LLM開発競争をどう戦う？
Building RAG-based LLM Applications for Production
ChatGPTがウソをつく理由は、“ゴミ”も含めて全部食べるから 伊藤穰一氏と松尾豊氏が語る、性能の高いLLMを作るポイント
日本語LLMをPPOでファインチューニングする - Qiita
図解力を高める！LLMとmermaidで楽しむテキストベースの図作成術
Google、GPU不要でLLMの実行を可能にするツール「localllm」を公開
DMM会長「生成AIのサービス開発に20億円投資するよ～」 国産LLM構想も？
ローカル環境で音声・立ち絵付きのAIと会話できるソフトウェア ez-chat-llm を作りました。
長谷敏司 on Twitter: "昨年末に撮って消化していなかった『ご長寿早押しクイズ』を見ていて、介護経験とLLMを仕事で使いだしている影響で、「ご長寿回答者の次の回答をそれなりに予測できる」ようになっていることに気づいた。 人間は認知能力が落ちると、言語のつながりをもとに、次の発言を作るのではないだろうか。(1/3)"
Appleの研究者、マルチモーダルLLM「MM1」の論文発表 視覚タスクではGPT-4Vに匹敵
"テスラ超え"目指すTURING、自社工場を公開 LLMで完全自動運転
LLMのプロンプトをCI/CDで評価する。promptfooを使って - Gunosy Tech Blog
20240125 開発側・ビジネス側という壁を作らない LLMアプリ開発 @生成AI Conf
大規模言語モデル（LLM）をアプリケーション開発で活用するには？ グーグル・クラウドが基礎から解説
Open challenges in LLM research
ICLR2024 LLMエージェントの研究動向
iOS・Android の ローカルLLM実行環境まとめ｜npaka
「OpenAIはもはやオープンではない」国立情報学研究所・黒橋所長がLLM研究語る
AIに「ITパスポート試験」を解かせてみると…… 最もIT分野に詳しいLLMは？ GMO子会社が検証
国産LLMに約8.8億円投資 AWSジャパンに狙いを聞いた
東工大スパコン「TSUBAME4.0」稼働開始！Webブラウザから利用可、創薬からLLMまで幅広く活用
NTTがAWSのLLM開発支援プログラムに参加 「H100」96基の提供受ける
LLMの根幹「Transformer」とは？並列処理に最適なワケ
セキュリティチェックシートに回答する“つらみ”はLLMで解消 セキュリティ担当者に「本格運用できるんじゃない？」と言わせた仕組み