松尾研 LLM講座 講義コンテンツ | 東京大学松尾研究室 - Matsuo Lab
松尾研究室が2023年9~10月に東京大学サマースクールで開催した LLM 大規模言語モデル講座のコンテンツを無償公開しています。 本講座は約2,000名の受講者が参加し、全7回の講義を実施しました。 最終課題としてGPUを使ったコンペティションでは約800名が参加し熱戦を繰り広げました。 現在、講義のスライドのみ公開しております。 ダウンロードは利用規約を確認の上、下記からダウンロードをお願いいたします。 最終更新: 2024年2月10日 問題・フィードバック報告フォームはこちら 第1回：Overview of Language Models LLMの概要、今後の各回の講義の概要、および日本のLLM開発状況について 第2回：Prompting and Augmented Language Model 事前学習済みLLMを追加学習せずに活用する技術（プロンプティング、⽂脈内学習、Augme
［速報］GitHub、組織のコードやドキュメントを学習しカスタマイズやファインチューニングが可能な「Copilot Enterprise」発表。GitHub Universe 2023
［速報］GitHub、組織のコードやドキュメントを学習しカスタマイズやファインチューニングが可能な「Copilot Enterprise」発表。GitHub Universe 2023 GitHubの年次イベント「GitHub Universe 2023」が米サンフランシスコで開幕しました。 1日目の基調講演で、Copilotが組織のコードやドキュメントを学習することで、カスタマイズやファインチューニングが可能になる「GitHub Enterprise」が発表されました。 Copilot Enterpriseは、外部に公開されていない組織内のコードやドキュメント、プルリクエストなどを追加でCopilotに学習させることで、組織内のコードベースに基づいたCopilotによるコードの生成や、Copilot Chatでの質問に対する回答が可能になるというものです。 さらに言語モデルそのものを組織
SmartHR初のAIを利用した機能を開発した話 - SmartHR Tech Blog
こんにちは、従業員サーベイ機能を開発しているiguchです。 今回は7月にリリースした、SmartHRで初めてAIを利用した機能となるサーベイの回答要約機能について、開発に関するあれこれを紹介します。 サーベイの回答要約機能の紹介 まずサーベイの回答要約機能について簡単に紹介します。 従業員サーベイ機能では自由記述（テキスト）形式で回答可能な質問を作成できます。 数人の回答であれば短時間で全ての回答を読み回答を把握することが可能ですが、数百人、数千人になってくると、全ての意見を読んでを把握するのには多くの時間を要します。 上記の理由から、実際にお客様からも要約が見れるようにならないかといった要望をいただいていました。 今回開発した回答要約機能を使うと、自由記述形式の回答を部署ごとに要約し、さらにポジティブな意見とネガティブな意見に分類された状態で閲覧でき、意見の方向性の把握が短時間で行える
Googleが「Project IDX」発表。生成的AIが支援するマルチプラットフォーム、フルスタックアプリ開発対応のWebIDE
Googleが「Project IDX」発表。生成的AIが支援するマルチプラットフォーム、フルスタックアプリ開発対応のWebIDE Googleは、Webブラウザベースの新しい統合開発環境「Project IDX」を発表しました。 Project IDXは、モバイルやデスクトップなどのマルチプラットフォームに対応したフルスタックのWebアプリケーションを、さまざまなフレームワークや生成的AIの支援などを活用して効率的に開発するための、Webブラウザから利用可能な統合開発環境です。 Googleは長年にわたってマルチプラットフォーム対応のアプリケーション開発に取り組んでおり、それがAngularやFlutter、Firebase、そしてGoogle Cloudなどに反映されてきました。 Project IDXは、そうした同社のマルチプラットフォームアプリ開発をさらに前進させるために実験的に始
GitHub - microsoft/TypeChat: TypeChat is a library that makes it easy to build natural language interfaces using types.
TypeChat is a library that makes it easy to build natural language interfaces using types. Building natural language interfaces has traditionally been difficult. These apps often relied on complex decision trees to determine intent and collect the required inputs to take action. Large language models (LLMs) have made this easier by enabling us to take natural language input from a user and match t
Function calling is now available in Azure OpenAI Service
Over the last couple of years, we’ve learned just how powerful language models can be. With the advent of gpt-35-turbo and gpt-4, these models can accomplish more than ever before and we're seeing customers be successful with an array of new scenarios. While these models are incredibly useful on their own, you can accomplish even more by integrating them with other systems and tools. Function cal
OpenAI、LLMの「GPT-4」および「GPT-3.5」ファミリーの最新モデルをリリース 関数呼び出しなど可能に
OpenAI、LLMの「GPT-4」および「GPT-3.5」ファミリーの最新モデルをリリース 関数呼び出しなど可能に：最新スナップショット「gpt-4-32k-0613」もリリース OpenAIは、大規模言語モデル（LLM）の「GPT-4」および「GPT-3.5」ファミリーの最新モデルをリリースし、「Chat Completions API」への関数呼び出し機能の追加などのアップデートを紹介した。 OpenAIは2023年6月13日（米国時間）、自然言語やコードを理解し、生成できる大規模言語モデル（LLM）の「GPT-4」および「GPT-3.5」ファミリーの最新スナップショットモデルをリリースし「Chat Completions API」への関数呼び出し機能の追加などのアップデートを紹介した。 現在、限定β版であるGPT-4は、GPT-3.5よりも高性能で、より複雑なタスクをこなせる。チャ
CSSを持たない Headless な UI ライブラリと ChatGPT によるマークアップ生成を試してみる
いまさら気づいたけど Headless 系のUIライブラリが一番 AI と相性いいのではないか。 ロジックはプログラマで書けて自由度高いし、コンポーネントのネスト構造から意図を読み取れるだろうし、class 名は自由に書けるから意図を表明しやすい。 それをプロンプトとして ChatGPT or Codex にそのまま投げて書かせる、ができる。 というわけで vite + react + radix-ui + vanilla-extract で実験してみた。 プロンプト あなたは凄腕のマークアップエンジニアです。 radix-ui は Headless UI ライブラリで、UIとしてのセマンティクスのみを持っています。 次のコードは React + radix-ui + vanilla-extract で書かれた React コンポーネントです。 // Popover.tsx import
エンジニアのためのChatGPTプラグイン3選+1 - きしだのHatena
前のブログでも紹介したのだけど、ChatGPTプラグインのローリングアウトが始まって使えるようになっていて、結局みんな使うのはこの3つくらいかなーとなったので、まとめておきます。 前のブログはこれ。 Bardも世の中のサービスぜんぶGoogle製と思ってるらしい - きしだのHatena 同時に使えるのは3つまでのようだけど、他のプラグインはアメリカの不動産情報など日本からは使いづらかったり、作ってみたレベルだったりなので、結局この３つに落ち着くかなーという気がします。 WebPilot これは手放せなくなります。Web記事を読み込んでくれるプラグイン。 ChatGPTには「この記事を要約して」しか入力しなくなりそう。 このエントリを要約してもらっています。 大規模言語モデルの「脳波」が反応してる部分を壊すとどうなるか試した - きしだのHatena ※ 追記 15:21 ぼくのところには
LLMがなぜ大事なのか?経営者の視点で考える波の待ち受け方｜福島良典 | LayerX
はじめにLayerXの代表をしています福島と申します。本日はLLM(Large Language Model, 大規模言語モデル)について、なぜ大事なのか?経営者の視点でどうこの波を考えればいいのかについてです。 LLMが今非常に話題になっています。ChatGPTの裏側もこのLLMからできていると言えばわかりやすいでしょうか。 私は現在、LayerXという会社を経営しております。LayerXでも多分に漏れず、LLMに対するものすごいワクワクと、この波に対応しないと会社が消えてなくなるという強い危機感を抱いています。 私自身が元機械学習エンジニア、現在現役の経営者というキャリアを歩んできました。その立場から、なるべくわかりやすく、LLMの波というものを経営者がどう捉えるべきか、どう波を乗りこなすべきかの一助となればと思い筆を取っています。(機械学習のプロの方からすると、おいおいそれは単純化し
Bard が日本語に対応
Bard は、ジェネレーティブ AI を活用してユーザーをサポートする Google の試験運用中のサービスです。旅行プランの案を出したり、ブログ記事の構成案を作成したりと、英語での公開から 2 か月弱の間に、すでに多くのユーザーに様々な方法でお使いいただいています。 そして、本日より Bard が日本語でも利用できるようになりました。「おいしい卵焼きを作るためのコツを教えて」や「夏休みの自由研究のアイデアを出して」など、 創造性と生産性を高めるパートナーとして、 bard.google.com から、Bard をぜひお試しください。 Bard とは Bard は、Google の大規模言語モデル（ LLM : Large Language Model ）である PaLM 2 を利用しています。LLM は言語のパターンを拾い上げること、それを使って文章の中で次に来る確率の高い単語を予測する
ChatGPT Prompt Engineering for Developersまとめ｜mah_lab / 西見 公宏
めちゃくちゃ分かりやすい機械学習の講義で有名なAndrew NgさんとOpenAIのIsa Fulfordさんが無料で提供しているChatGPT Prompt Engineering for Developersというコンテンツが面白かったので、内容をまとめてみました。 （注）大規模言語モデル（LLM）を利用したアプリケーションを開発する開発者向けのコンテンツなので、ChatGPTのUIで扱うようなゴールシークプロンプトといったようなプロンプトテクニックを扱うものではないことをご承知置きください。 最も重要なポイント自身の開発するアプリケーションに適したプロンプトを開発するためのプロセスを持つこと。 インターネット上にあるような「完璧なプロンプト30選」のようなコンテンツをアテにして、1回で成功させようなんて思わないこと。もし1回目でうまくいかなくても、例えば指示が十分に明確でなかった、あ
AWS で生成系 AI を使用した構築のための新ツールを発表 | Amazon Web Services
Amazon Web Services ブログ AWS で生成系 AI を使用した構築のための新ツールを発表 ※本お知らせは、米国西海岸時間4/13, 5:30AM（日本時間4/13, 9:30PM）に公開されたAWS Machine Learning Blogの日本語翻訳版です。 機械学習のパラダイムシフトは数十年前から続いていますが、スケーラブルなコンピューティングリソースが容易に入手できるようになったこと、データの急増、機械学習技術の急速な進化により、さまざまな業界のお客様がビジネスの変革を進めています。最近、ChatGPT をはじめとしたGenerative AI（以下、生成系AI）が広く注目を集め、人々の想像力をかき立てています。機械学習の活用が広がるなか、刺激的な転換点が訪れていることは間違いありません。お客様の体験とアプリケーションのほとんどが、生成系AI によって新たに作り
Prompt injection: What’s the worst that can happen?
Prompt injection: What’s the worst that can happen? 14th April 2023 Activity around building sophisticated applications on top of LLMs (Large Language Models) such as GPT-3/4/ChatGPT/etc is growing like wildfire right now. Many of these applications are potentially vulnerable to prompt injection. It’s not clear to me that this risk is being taken as seriously as it should. To quickly review: promp
大規模言語モデルと外部リソースとを融合させたアプリケーションを作ろう－langchainのご紹介－ - Qiita
はじめに 近年、深層学習を用いた自然言語処理技術の進展が目覚ましいです。 その中でも、GPT-3をはじめとする大規模言語モデル（LLM）には大きな可能性を感じています。 最近ですと、AI技術者以外にも大きなインパクトを与えたChatGPTが記憶に新しいでしょう。 今後もLLMの進化は止まらないと予想されており、私たちもどうやって活用するかを具体的に検討すべきフェーズに入ったのではないでしょうか。 しかし、LLMを実業務に適用するとなると、越えなければならない課題がいくつも出てきます。 今回は、以下にあげた第2・第3のハードルを越えるために役立つlangchainというライブラリをご紹介します。 第1のハードル：機密データの扱い LLMはOpenAPIのGPT-3等、モデル自体は公開されておらずWebAPIだけが提供されているというパターンが多いです。 そのため、機密データを社外に送信すると
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Gemini - Google DeepMind
OpenAI がまたやった！OpenAI DevDay 総まとめ｜ChatGPT研究所
SQL Chat
大規模言語モデル (LLM) の進化: GPT 以降の最新動向 / AWS Dev Day 2023 - Evolution of LLM since GPT
生成AI周回遅れキャッチアップ勉強会！
