Chrome拡張で、閲覧中のページの情報をOpenAIのGPT-3.5やGPT-4に送って要約したり分析してもらったら便利だなと思いました。Chrome拡張は中身はJavaScriptだし、fetchでOpenAI APIのエンドポイントにポイすればすぐだろうと思ったら、そうも行かずに割とハマったのでメモです。 要約Chrome拡張はManifest v3になって権限とかbackgroundとかちゃんと設定しないといけなくなった fetchはbackgroudで処理する必要がある manifest.jsonのpermissionsでhttps://ai.openai.com を指定する必要がある とはいえ、私も完全に理解しているわけではなく、ChatGPTやMDNとの深夜のコピペ連撃でなんとかした感じですので、ソースをペッと貼っておきます。 もっともシンプルなサンプルとして、閲覧中のページ

OpenAI GPT-4VのAPIが利用可能になったとのことなので早速使ってみた。 2023/11/10 : Google colabを利用した動作方法を追記しました 2023/11/10 : requestsのinstallをしていない場合のエラー対応について追記しました 2023/11/07 : 最初の記事を投稿しました 入力画像の準備 今回は、ChatGPTのDALLE-3で作成した以下のねこの画像を使用した。 ファイル名: cat.png ソースコード ソースコード等は、GitHubにあげました。 フォルダ構成等はこれを参考にしてください!! コード全容 import argparse import base64 import requests from settings.setting import API_KEY def parse_args(): parser = argpa

この記事は NTTコムウェア AdventCalendar 2023 20日目の記事です。 はじめに NTT コムウェア株式会社の佐々木です。 みなさ～ん、Azure OpenAI、使ってますか～？ 私は業務でほぼ毎日のように使っているのですが、最近、生成 AI 系のプロダクトにはフィルタリング機能が必要不可欠だな～だと考えることが多くなりました。もし自分のプロダクトが社会倫理に反するような文章を出力してしまったら、最悪の場合、顧客からの信頼を失ってしまうといった結果も招きかねません。 そういった経緯で、今回は Azure OpenAI で不適切な表現や特定の語句、話題をフィルタリングする簡単な実装方法を実装例とともに３つ紹介していこうと思います。 方法１. Azure OpenAI Service の Content filters を利用する Azure OpenAI には、デフォルト

はじめに こんにちは、LLM Advent Calendar 2023 4日目の記事を担当する_mkazutakaです。よろしくお願いします。 LLM Advent CalendarといってもRAGの話になりますが、ご容赦ください。 企業独自のデータを使ってLLMからの出力を制御する際には、検索拡張生成(いわゆるRAG)が使われます。 RAGの実装方法としては、「PDFからドキュメント情報を読み取り検索エンジンに保存」「ユーザの入力する質問文から関連するドキュメントを検索エンジンから取得」「取得したものをコンテキストとしてプロンプトに含める」という流れが一般的だと思います。 この際、RAGの課題の一つでもあるのですが、検索結果から取得するドキュメントのサイズ(いわゆるチャンクサイズ)をどれぐらいのものにするかというものがあります。チャンクサイズが小さすぎるとLLMは関連するコンテキストから

この記事はNTTコムウェア Advent Calendar 2023の4日目の記事です。 こんにちは、NTTコムウェアの平塚です。今月は2023冬 Chill Seasonで手に馴染むブキを探しているところです。 大規模言語モデルが持っていない最新情報や企業内情報を補うためのRAG(Retrieval Augmented Generation、検索拡張生成)というアーキテクチャーがあります。ごく簡単に説明すると、外部データベースを用意してそこで検索した結果を大規模言語モデルに説明させるというものです。以下はRAGのイメージ図です。 現在多くの企業さまがRAGの検証に取り組んでいるところかと思います。今回RAGを用いてPostgreSQLに詳しいアシスタントAIを試作したので、気づいたところをいくつ か共有いたします。 まとめ PostgreSQLアシスタントAIはある程度使えるものになりそ

OpenAIの大規模言語モデル（LLM）プログラムの次期バージョン、通称「GPT-5」は、非常に困難な科学的課題に直面しているため、リリース時期について明確なスケジュールを設定するのは難しいという。同社の最高経営責任者（CEO）Sam Altman氏が米国時間11月6日に明らかにした。 サンフランシスコで開催された同社初の開発者会議「OpenAI DevDay」後の記者会見で、同氏は「GPT-5と呼ぶモデルを開発する前に、われわれが解決しなければならないことはまだたくさんある」と述べた。 この発言は、同技術の今後の方向性について出された多くの質問に対し、同氏と最高技術責任者（CTO）のMira Murati氏が回答する中で出たものだ。やり取りの中には、OpenAIが独自の消費者向けハードウェアデバイスを開発する可能性に関する話題もあった。 Altman氏はGPT-5までの道のりについて、「

GPT-4 Turbo with 128K context and lower prices, the new Assistants API, GPT-4 Turbo with Vision, DALL·E 3 API, and more. Today, we shared dozens of new additions and improvements, and reduced pricing across many parts of our platform. These include: New GPT-4 Turbo model that is more capable, cheaper and supports a 128K context windowNew Assistants API that makes it easier for developers to build

キーワードベースで情報収集をしているという下記の記事を読みました。私も似たようなことをしているのですがキーワードは使わない方法でニュースの収集をしていて、そのほうがLLMを活用できていると思うのでその方法を紹介します。 forest.watch.impress.co.jp キーワードではなく自分の目的や関心を伝える 以前私が手動でやっていたのはRSSリーダーにサイトを登録して、記事のタイトルと概要を読んで気になる記事を開いて読むということでした。こういうときに人間はキーワード検索をしていません。何をしているかというと自分の目的や関心があって、それに関連する記事をピックアップするということです。それと同じようなことをさせようというのが今回紹介する方法です。 ポイントは今回の場合は私の所属する会社について情報をプロンプトで与え、それに関連するニュースが何かをLLMに考えさせることです。 今回の

やり方は簡単。 Web Browsing付きのGPT-4に「〇〇のゲームの画面の特徴を教えてください」と聞く。 次に「DALL-E 3で〇〇のゲーム画面を作成するための、英語のプロンプトを作成してください」と聞く。 DALL·E 3を選んで、2.で出てきたプロンプトを入れる。 こうすることで、本来のゲーム画面とは似ても似つかない、別のゲームの画面が作れるぞ。 作例をいくつか。 ディグダグっぽいゲーム ディグダグ。画面中央に巨大なホリ・タイゾウがいるので、そこからモリを上下左右に自由に伸ばして敵をポンプで膨らませて倒すゲーム、かなあ。 トイポップっぽいゲーム トイポップ。クォータービューになっちゃった。立体の迷路の中をジャンプで動き回り、敵を避けながらハートを回収するゲームだよ、たぶん。 スイカゲームっぽいゲーム スイカゲーム。落ちてくるフルーツが下の枠に埋まっていくので、同じフルーツを集め

どんな人向けの記事？ レビューによって心理的なダメージを受けやすい方 非エンジニアだが、エンジニアチームがどんな機能を作っているか知りたい方 業務が溜まっていて、レビューに割く時間を捻出するのに苦労している方 コピペできるコードも公開します 初回レビューをAIに任せると、いろんなロールの人の役に立つ レビューは得意ですか？ 優秀なエンジニアしかいないチームであれば、PRは1トピックに絞って小さく明確なコミットによって作成され、適切な要約とともに提供されることでしょう。 しかし、実際にはいろいろな制約から、PRが想定よりずっと大きくなってしまったり、関連トピックと異なるコードが混じってしまうこともあります。 実際のところ、大きなPRを適切にレビューするのは難しいことです。また、自分が詳しくない領域のレビューを行わなければいけない機会もあります。 今回の記事は、レビューを作成してくれるAI C

本記事は日本オラクルが運営する下記Meetupで発表予定の内容になります。発表までに今後、内容は予告なく変更される可能性があることをあらかじめご了承ください。下記セッションでは、本記事の内容以外にデモンストレーションも実施する予定です。 ※セミナー実施済の動画に関しては以下をご参照ください。 はじめに 2022年暮れ、ChatGPTの登場以降、あらゆる企業がDXの在り方を問われはじめ、大規模言語モデルの仕組みをどのように業務に取り入れるかを検討されていると思います。 その検討の一つとして、「GPT(LLM)が学習していない企業内のデータや最新のデータも有効活用すべき」 という点は非常に大きな論点なのではないでしょうか。 ご存じの通り、LLMとはインターネット上に存在するドキュメントデータをクローリングにより大量に収集し、それを学習データとして機械学習にかけたモデルです。 従って、至極当たり

はじめに 新規事業部 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい情報に関して回答

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

上記の他にも、別の生成的AIサービスを利用する場合の設定や、Mattermost AI Pluginの機能に関する設定項目等がありますが、とりあえず上記のみ設定すれば一通りの機能は使えるはずです。 Mattermost AI Pluginの機能 ここからは、Mattermost AI Pluginの機能について紹介していきます。 AIとのチャット (Chat anywhere) AIに対して質問をして、AIから回答を得るというChatGPTなどでお馴染みの機能です。 Mattermost上のチャンネル、DM、グループメッセージなど、どこででも @ai にメンションすることで、AIとのチャットを開始することができますです。また、スレッド内で @ai によるメンションを行うと、スレッドの会話に基づいたやり取りを行うことができます。 上記の例では、一つ目の回答内容について、箇条書きの項番のみを指

はじめに この記事は、現在（2023年8月4日時点）パブリックプレビュー中のCognitive Searchのベクトル検索機能について、ベクトルDBの構築手順を解説する記事です。公式ドキュメントにはクイックスタート記事も公開されており、こちらのブログで日本語で丁寧に解説してくれています。 公式ドキュメントのクイックスタートを読んでいると、下記の課題に遭遇します。 PDFなどのドキュメントはどのように扱えばいいか？ チャンク分割やベクトル生成は具体的にどのように行えばよいか？ 言語アナライザーを日本にするにはどこを変えればよいか？ インデックスを自動更新するにはどうすれば良いか？ このような課題に対して、Azure公式のGitHubリポジトリにあるcognitive-search-vector-prにあるインデックス作成ツール(azure-search-vector-ingestion-py

埋め込みは、機械学習モデルとアルゴリズムで簡単に利用できる特別な形式のデータ表現です。 埋め込みは、テキストの意味論的意味の情報密度の高い表現です。 各埋め込みは浮動小数点数のベクトルであり、ベクトル空間内の 2 つの埋め込み間の距離は、元の形式の 2 つの入力間のセマンティック類似性と相関します。 たとえば、2 つのテキストが似ている場合、それらのベクトル表現も似ているはずです。 Azure Cosmos DB for MongoDB vCore または Azure Database for PostgreSQL - フレキシブル サーバーなど、Azure データベースにパワー ベクターの類似性検索を埋め込みます。 埋め込みを取得する方法 テキストの埋め込みベクトルを取得するには、次のコード スニペットに示すように、埋め込みエンドポイントに対して要求を行います。 console Open