初めに watsonx.ai においても、他のLLMと同様に、Tokenの制限があり、長い文章だとToken不足で正常に要約できない場合がある。 そこで、LangChainのSummarization(Map-Reduce)機能を使用して、長めの文章の要約をためしてみました。 ※LangChian:ChatGPT等のLLMを用いたアプリケーション開発を効率的に行うためのライブラリ https://www.langchain.com ※Map-Reduceによる要約 文章をいくつかに分割して、分割した単位で、LLMで要約を実行。分割してできた要約結果を結合し、 再度LLMで要約を実施。最終的なアウトプットとなる。 https://python.langchain.com/docs/use_cases/summarization 実行例 要約に使用する文章は、WikipediaでIBMの項目を
初めに、Agentは与えられたツールによって、どのようなタスクでも実行可能になります。つまり、Agent アプリケーションの開発のキーポイントはツールの開発と言えるでしょう。そこで、ツールの開発に挑戦しました。 公式ドキュメントを参考に最もシンプルなカスタムツールを作成しました。これはBaseToolを継承し、ツール名(name)とツールの説明(description)を定義しています。run関数への引数の受け渡しは、descriptionで指定します。 from langchain.tools.base import BaseTool class HelloTool(BaseTool): """Tool that generates a personalized hello message.""" name = "HelloTool" description = ( "A tool th
前回 概要 前回のLangChainを用いてReActフレームワークの理解からバージョンの更新が進み、 LangChain Expression Languageという記法が導入されました。 記法の導入に伴い前回(v0.0.198)からLangChainの中身が大きく変わっていましたので、中身について改めて確認したものとなります。 Agentを改造する際にどの部分を見ればよいかの手助けとすることが目的です。 確認した今回のLangChainのバージョン langchain 0.1.4 langchain-community 0.0.16 langchain-core 0.1.17 langchain-openai 0.0.5 langchainhub 0.1.14 LCELによるReActの実装の説明 LCELを用いたReActの実装については以下のページをベースとして考えます。 http
またまた、Langchainの新機能「citation_fuzzy_match_chain」 が公開されていました。OpenAI APIの 「Function Calling機能」を利用して、回答に加えて裏付けとなるエビデンスを引用で示すことが出来るもののようです。 ❓Question Answering with citations❓ Ahead of our webinar on Wednesday, more `functions` goodness from @jxnlco: Answer a question (with citations) from a piece of context. Uses `functions` to specify the return schema of the answer + supporting factshttps://t.co/rO6q
Quick start 出力パーサは以下のメソッドを持つ。 get_format_instructions: 言語モデルの出力がどのようにフォーマットされるべきかの命令を含む文字列を返すメソッド。 parse: 文字列(言語モデルからのレスポンスを想定)を受け取り、それを何らかの構造にパースするメソッド。 parse_with_prompt: [オプション] 文字列(言語モデルからのレスポンスを想定)とプロンプト(そのレスポンスを生成したプロンプトを想定)を取り込み、それを何らかの構造に解析するメソッド。プロンプトは、OutputParserが何らかの方法で出力を再試行または修正したい場合に、そのためにプロンプトからの情報を必要とする場合に提供される。 以下はPydandicOutputParserの例 !pip install --upgrade --quiet langchain la
こんにちは。AWS CLIが好きな福島です。 はじめに LangChain Expression Language (LCEL)とは 具体例 解説 イメージ図 コンポーネントとは コンポーネントの種類 インターフェース 同期メソッド 非同期メソッド LCELのメリット 終わりに はじめに 今回は今更かも知れませんが、LangChainで推奨されているLCEL記法に関する概要をまとめます。 LangChain Expression Language (LCEL)とは LangChain Expression Language(LCEL)とは、 LangChain固有のChainを簡単に構築するための宣言型の記法となります。 特徴的なのが、Unixのパイプ演算子のイメージで「|」を使える点です。 https://python.langchain.com/docs/expression_lang
LangChain Advent Calendar 2023 の 2 日目の記事です。 LangChain Expression Language (LCEL) とは LangChain Expression Language (LCEL) は、LangChain でのコードの新しい記述方法です。 公式ドキュメント: https://python.langchain.com/docs/expression_language/ LCEL ではプロンプトや LLM を | で繋げて書き、処理の連鎖 (Chain) を実装します。 2023 年 10 月後半頃から、LangChain では LCEL を使う実装が標準的となっています。 この記事では LCEL の基本的な使い方を紹介していきます。
平日、ちょっと触れていない間にLangchain のバージョンが 0.0.101 から 0.0.104 に上がっていました。Langchain への ChatGPT(GTP-3.5)の API の影響も大きいみたいですね(そりゃそうか)。 詳細は分からないですが、GPT-3.5-turbo API に投げられるメッセージが、101以前は単一のテキストメッセージだったのがリスト化できるようになったみたいです。前回苦労した辺りですね。 ChatGPT に Google の検索結果を使って回答してもらおう ということはもしかしたら、同じく前回解決できなかった {llm_output} エラーが解消できるかもしれません。 参考: https://langchain.readthedocs.io/en/latest/modules/chat/getting_started.html新しい Langc
最近はLangChain Templates[1]を使って、LangChainベースのアプリケーションを簡単に作れるようになっていますが、テンプレートのリストを何気なく見ていたら、GPT Researcher[2]を基にした研究アシスタント[3]のテンプレートがありました。仕事で似たような機能を作っていたこともあり、興味深い内容だったので、この記事ではLangChain Templatesを活用し、研究アシスタントを作成する方法を紹介します。 研究アシスタントの例。リサーチクエスチョンを入力すると、文書を検索し、レポートにまとめてくれる。 研究アシスタントのアーキテクチャは以下のとおりです。大きくは、ユーザーが入力したリサーチクエスチョンから検索クエリを生成し、各クエリで検索した情報を要約してから結合し、レポートを生成しています。要約を結合してからLLMに入力しているため、それなりに長いコ
Learn LangChain directly from the creator of the framework, Harrison Chase Apply LLMs to your proprietary data to build personal assistants and specialized chatbots In LangChain for LLM Application Development, you will gain essential skills in expanding the use cases and capabilities of language models in application development using the LangChain framework. In this course you will learn and get
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く