Stable Diffusionをいらすとやでファインチューニングする
巷で話題のStable Diffusion（以下SD）をファインチューニングする方法が公開されたので、早速やります。
タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
巷で話題のStable Diffusion（以下SD）をファインチューニングする方法が公開されたので、早速やります。
LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。 ファインチューニングは、プロンプトに収まるよりも多くの例で学習することで、Few-Shot学習を改善します。一度モデルをファインチューニングすれば、プロンプトにそれほど多くの例を提供する必要がなくなります。これにより、コストを削減し、低レイテンシのリクエストを可能にします。 しかし実際には、それよりもかなり複雑です。 LLMには「大量のデータを投げれば自動的に解決する」ような創発的な特性があるため、ファインチューニングもそのように機能すると人々は考えていますが、必ずしもそうではありませ
以下の記事を元に、「OpenAI API」のファインチューニングの学習データのガイドラインをまとめました。 1. 学習データの書式ファインチューニングするには、単一の入力「プロンプト」とそれに関連する出力 「コンプリーション」 のペアで構成される学習データが必要です。これは、１回のプロンプトで詳細な手順や複数の例を入力するような、ベースモデルの使用方法とは大きく異なります。 「学習データの書式」のガイドラインは、次のとおりです。 ・プロンプトが終了してコンプリーションが開始することをモデルに知らせるため、区切り記号 ("\n\n###\n\n"など) でプロンプトを終了する必要があります。区切り記号は、プロンプトの他の場所で使用されない文字列を指定します。 ・コンプリーションが終了することをモデルに知らせるため、停止記号 ("\n"、"###"など)でコンプリーションを終了する必要がありま
［速報］GitHub、組織のコードやドキュメントを学習しカスタマイズやファインチューニングが可能な「Copilot Enterprise」発表。GitHub Universe 2023
［速報］GitHub、組織のコードやドキュメントを学習しカスタマイズやファインチューニングが可能な「Copilot Enterprise」発表。GitHub Universe 2023 GitHubの年次イベント「GitHub Universe 2023」が米サンフランシスコで開幕しました。 1日目の基調講演で、Copilotが組織のコードやドキュメントを学習することで、カスタマイズやファインチューニングが可能になる「GitHub Enterprise」が発表されました。 Copilot Enterpriseは、外部に公開されていない組織内のコードやドキュメント、プルリクエストなどを追加でCopilotに学習させることで、組織内のコードベースに基づいたCopilotによるコードの生成や、Copilot Chatでの質問に対する回答が可能になるというものです。 さらに言語モデルそのものを組織
手元で動く軽量の大規模言語モデルを日本語でファインチューニングしてみました(Alpaca-LoRA)｜masa_kazama
イントロ最近、ChatGPTやGPT-4などの大規模言語モデル(LLM)が急速に注目を集めています。要約タスクや質疑応答タスクなど様々なタスクで高い性能を発揮しています。これらのモデルはビジネス分野での応用が非常に期待されており、GoogleやMicrosoftが自社サービスとの連携を進めているという報道も相次いでいます。 今回は、手元で動作する軽量な大規模言語モデル「Alpaca-LoRA」を日本語にファインチューニングしてみました。この記事では、そのファインチューニングのプロセスや応用例について簡単に解説していきます。ChatGPTやGPT-4は、モデルがブラックボックスでありAPI経由でしか入力を与えて出力を得ることができません。さらに、現時点（2023年3月20日）では、独自のデータを用いてファインチューニングを行うこともできません。 しかし、Alpaca-LoRAというモデルを用
OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試したのでまとめました。 1. GPT-4 から GPT-3.5 への蒸留「LlamaIndex」で、OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留のColabが提供されてたので、それをベースに独自データで試してみました。 具体的には、「GPT-4」で学習データを生成し、「GPT-3.5」でファインチューニングすることで、「GPT-3.5」に「GPT-4」相当の知識を習得させます。 We successfully made gpt-3.5-turbo output GPT-4 quality responses in an e2e RAG system 🔥 Stack: automated training dataset creation in @ll
「LLM」の「LoRA」「RLHF」によるファインチューニング用のツールキットをまとめました。 1. PEFT「PEFT」は、モデルの全体のファインチューニングなしに、事前学習済みの言語モデルをさまざまな下流タスクに適応させることができるパッケージです。 現在サポートしている手法は、次の4つです。 ・LoRA ・Prefix Tuning ・P-Tuning ・Prompt Tuning ◎ LLaMA + LoRA 「Alpaca-LoRA」は、「LLaMA」に「LoRA」を適用して「Alpaca」の結果を再現するためのコードが含まれているリポジトリです。「finetune.py」がLoRAの参考になります。 ・tloen/alpaca-lora ◎ RedPajama-INCITE + LoRA 「INCITE-LoRA」は、「RedPajama-INCITE」に「LoRA」を適用する
GPTで「できること」を増やすための3つのアプローチを非エンジニア向けにまとめてみた 〜プラグインとAPIとファインチューニング｜遠藤太一郎
GPTで「できること」を増やすための3つのアプローチを非エンジニア向けにまとめてみた 〜プラグインとAPIとファインチューニング 最近、とにかく話題が尽きないChatGPTやLLM（大規模言語モデル）。 毎日のように“できること”の情報がどんどんと更新されているので、追いかけるだけで精一杯！という方も多いのではないでしょうか。かくいう自分も相当インプットしているつもりですが、いまだに全容を掴みきれていません。 そこで今回は、自分自身の整理も兼ねながら、ChatGPTでプロンプト開発をする際の全体像をまとめてみました。 ※プロンプト：GPT等のLLMに対する入力文ないしはコマンドのこと チャット上でのプロンプトエンジニアリングはもちろん、pluginやAPI、LangChain、プロンプトの評価、さらにはファインチューニングまでテーマを広げてまとめています。 エンジニアにとどまらず、Chat
三行要約 LLM のファインチューニングでは事実の学習ができないという話があったので、事実の学習の例として、シェイクスピアのRomeoをBobに置き換える実験を行った 実験では、訓練対象とする層による結果の違いを確認した。アテンション層のみを訓練した場合は、Bobへの置き換えはできなかった。一方、全結合層を含めて訓練した場合は、学習率を調整するとBobへの置き換えができた ファインチューニングが事実の学習に向いているかはさておき、工夫次第でファインチューニングも事実の学習に利用できる可能性はある 背景 先月 ChatGPT(GPT-3.5 Turbo) のファインチューニングがリリースされました。いろいろな方が試されて、うまくいった、いかなかったという話がちらほらありました。例えば以下の記事では、一晩試してみた程度では、ChatGPTに最新の知識を教え込む目的での Fine-tuning
OpenAIは、使いやすい生成AIツールを一般向けに提供することで知られているが、開発者や企業が自社の特定用途向けにAIモデルを必要とする場合に向けても包括的な製品を提供もしている。OpenAIは米国時間4月4日、「Custom Models Program」の拡張とファインチューニングAPI向け6機能を発表した。 ファインチューニングは、特定の用途やニーズを満たすようAIモデルをカスタマイズするために時間を要するプロセス。ファインチューニングはAIモデルが意図されたゴールをよりよく達成するのを支援するだけでなく、コスト削減とレイテンシー低下も可能にする。 場合によっては、必要なカスタマイズの量がファインチューニングで提供できるものを超えることもある。例えば、組織が非常に大規模な独自のデータセットを持っている場合がこれに該当する。この問題に対処するため、OpenAIは2023年11月に「C
最新の Google Gemma モデルを MLX を使ってローカルでファインチューニング｜alexweberk
今回は、最新の Google Gemma モデルを Apple Silicon に最適化されたライブラリ MLX を使ってローカルで実行したり、ファインチューニングしてみましたのでその手順を紹介します。 MLX 関連の情報はドキュメンテーションが分かりづらいものも多かったので色々試した経緯も共有しながら少しでも何かの参考になれば幸いです。 実際に使った Jupyter Notebook を Gist にアップロードしていますので、そちらも参考にしてください。 →Google Gemma モデルを MLX を使ってローカルでファインチューニング 事前準備必要なライブラリをインストールします。 また Apple Silicon 搭載の Mac が必要です。今回は M3 Max 128GB 搭載の MacBook Pro で実行しました。 !pip install -U mlx mlx_lm t
「Google Colab」で 「PEFT」による大規模言語モデルのファインチューニングを試したので、まとめました。 1. PEFT「PEFT」(Parameter-Efficient Fine-Tuning)は、モデルの全体のファインチューニングなしに、事前学習済みの言語モデルをさまざまな下流タスクに適応させることができるパッケージです。 大規模言語モデルのファインチューニングは、多くの場合、法外なコストがかかりますが、「PEFT」は少数のパラメータのみをファインチューニングするため、計算コストとストレージ コストが大幅に削減でき、さらには、完全なファインチューニングに匹敵するパフォーマンスを実現します。 現在サポートしている手法は、次の4つです。 ・LoRA ・Prefix Tuning ・P-Tuning ・Prompt Tuning 2. Colabでの実行Google Colab
LLM技術と外部データ活用による検索・回答精度向上手法（ファインチューニング、セマンティック検索、In-Context Learning、RAG）と著作権侵害｜知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】
第1 はじめに FAQシステムやチャットボットなど「何か知りたいこと（検索文・質問文）」を入力して検索や回答生成を行うに際して、検索や回答精度を向上させたり、回答根拠を明示させるために、LLM技術と外部データを組み合わせたシステムの研究開発や実装が急速に進んでいます。 LLMが外部データを参照できるようにするには、LLMそのものをFine-tuningする方法、プロンプトで情報を与える方法、RAGによって外部データを保存したデータベース (Data Base; 以下DB) から呼び出す方法の3つがあります。 ここでいう「外部データ」とは、「LLMの外部にあるデータ」という意味でして、その中には社内文書や、書籍・ウェブページ上のデータなどが含まれます。当該「外部データ」の中には、他人が著作権を持つ著作物（以下「既存著作物」といいます）も含まれるため、それら既存著作物を外部データとして利用する
2023/11/13追記以下の記事は､Llama2が公開されて数日後に書いた内容です｡ 公開から数ヶ月経った23年11月時点では､諸々の洗練された方法が出てきていますので､そちらも参照されることをおすすめします｡ (以下､元記事です) 話題のLamma2をファインチューニングします｡ QLoRAライブラリを使うパターンと､公式推奨の2つを試しました｡前者が個人的にはオススメです｡ 前提Hugging faceで配布されている公式のモデルが必要です｡以下を参考に､ダウンロードしておきます｡ データセット作成 (7/20 15:20追記 設定ミスってたので修正しました) test.jsonを適当に作ります｡ [ { "input": "", "output": "### Human: 富士山といえば?### Assistant: なすび" }, { "input": "", "output":
TrOCRでファインチューニング - Qiita
from transformers import TrOCRProcessor processor = TrOCRProcessor.from_pretrained("microsoft/trocr-small-printed") TrOCRProcessorは、特徴抽出器とトークナイザをラップしただけです。任意の特徴抽出器とトークナイザを使えます。google/vit-base-patch16-224-in21k や cl-tohoku/bert-base-japaneseなど 事前学習モデルを選択 事前学習モデルが9種類ありますが、すべて10epochsほど試し一番いいので学習させるのがよいかもです。 from transformers import VisionEncoderDecoderModel import torch device = torch.device("cuda"
Alpaca-LoRAという家庭用GPUでも大規模言語モデルのFineTuningが可能なモデルが発表されました。 本記事では、livedoorニュースコーパスを使用してAlpaca-LoRAをFineTuningしてニュースのタイトルを考えさせるというタスクに挑戦してみます。 技術の概要 Alpacaとは Alpacaとは、先日Metaが発表したLLaMa 7Bをtext-davinci-003によるself-instructで生成されたデータを使用してFineTuningした言語モデル。 生成したデータは52K個で生成コストは500ドル以下と低コストです。 人間による予備評価では7Bという比較的小さなモデルにも関わらず、text-davinci-003に似た挙動を示すという報告があげられています。 Alpaca-LoRAとは Alpaca-LoRAとはAlpacaで作成したデータセット
Google Colab で はじめる Stable Diffusion v1.4 (3) - Textual Inversionによるファインチューニング｜npaka
「Textual Inversion」による「Stable Diffusion」のファインチューニングに挑戦したので、その記録をまとめました。 RAMとGPUのメモリが必要なため「Colab (無料版)」では動きません。 「Colab Pro / Pro+」が必要です。 ・Stable Diffusion v1.4 ・rinongal/textual_inversion 前回 1. Textual Inversionによるファインチューニング「Textual Inversion」は、3～5枚の画像を使って「Stable Diffusion」のファインチューニングを行うことで、オリジナルの画風やキャラクターを追加学習させることができる手法です。 2. 学習用画像の準備ファインチューニングには5枚ほどの学習用画像が必要です。 ・画像サイズ は512×512。 ・Exifで回転してない画像。 ・
大規模言語モデルには、有害なコンテンツを出力しないようなセーフガードが設けられています。プリンストン大学、バージニア工科大学、IBMリサーチ、スタンフォード大学の研究チームがOpenAIのGPT-3.5 TurboとMetaのLlama-2-7b-Chat大規模言語モデルを検証した結果、小規模なファインチューニングでセーフガードを外すことができたと報告しています。 [2310.03693] Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To! https://arxiv.org/abs/2310.03693 AI safety guardrails easily thwarted, security study finds • The Register https:
生成AI（人工知能）の活用においては、大規模言語モデル（LLM）に与えるプロンプト（指示文）の工夫が重要だ。最新の研究で、プロンプトは長く詳細であるほど良好な結果が得られることが分かっており「メガプロンプト（巨大プロンプト）」という言葉すら登場しているほどだ。 LLMに与えるプロンプトというと、米OpenAI（オープンAI）が提供するChatGPTのようなチャットボットの入力画面に打ち込む数行のテキストを想像しがちだ。しかし先進的なAI研究者は最近、紙に印刷すると1～2ページにも及ぶような、とても長いプロンプトの開発に取り組んでいるのだという。 「私たちのチームではそれをメガプロンプトと呼んでいる」。ディープラーニング（深層学習）の著名研究者で、AI教育サービスを手掛ける米DeepLearning.AI（ディープラーニングドットAI）の創業者であるAndrew Ng（アンドリュー・ウン）氏
ChatGPTがコンサルタント・アドバイザリー業務に与える影響 中野仁氏（以下、中野）：前提が変わっていて。やはりコーディングというものづくりのところ、実装系のところは、もうかなりのインパクトが出るということは確定しています。 一方で何をやるか、いわゆるコンサルタントとかが入っていくような領域。分担でいうとたぶん山下さん（山下鎮寛氏）の領域だと思うんですけれど、そこでの変化みたいな、インパクトみたいなところはどうですか？ 先ほど、販売システムとかの「要件定義書を作って生成してくれちゃうじゃん」みたいな話も十分ドン引きだったんですが。最初に山下さんと話した時に「これも作れちゃいますよね？」みたいな話（がいろいろと出てきた状態）だったんですが、そこはどういうインパクトが（出てくることが）ほぼ確定している感じですか？ 山下鎮寛氏（以下、山下）：正直、コンサルタント・アドバイザリー業務における人月
生成AI（人工知能）を業務活用する際に、ユーザー企業がつまずきがちなポイントを指摘する本特集。第2回は「ハルシネーションをなくすのは難しい」「生成AIを業務自動化に活用するのは難しい」「ファインチューニングは難しすぎる」の3つを取り上げよう。 その4： ハルシネーションをなくすのは難しい 生成AIが抱える課題として最も広く認識されているのはハルシネーション（幻覚）だろう。生成AIがもっともらしい嘘を回答する問題だ。しかし「ハルシネーションをなくすのは難しい」。それが第4のポイントだ。 まず「ハルシネーションを根絶しない限り、生成AIは業務で活用できない」と考えること自体が、生成AIの業務活用を難しくするということを明言しておこう。「ハルシネーションは完全な悪ではない。今の生成AIは前提としてハルシネーションが発生してしまう。しかしユーザーが生成AIの出力を咀嚼（そしゃく）して利用するなら、
TL;DR 3.6Bパラメータの日本語LLMに対し全パラメータをSupervised Fine Tuning (SFT)をした さらにLoRAを使用してProximal Policy Optimization (PPO)を行った 精度を定量評価できるようなタスクでSFT, PPOを行い、PPOにより確かに精度が向上することを確かめた 学習はすべてGoogle ColabのA100 GPU1枚を用いて行った はじめに GPT-3.5などのLLMの学習は以下の３段階で行われています。 Pre-traininig: 大規模なコーパスを用いた言語モデルの事前学習 Supervised Fine Tuning (SFT): 対話形式や指示・応答形式のデータセットを用いたファインチューニング Policy Optimization: 人間にとって好ましい応答をさせるためのファインチューニング（ポリシー
大規模言語モデルを選択→数秒後にAzure上で試せる「Models as a Service」登場 従量課金制の推論API、ファインチューニングも可能。
カタログから選択すると数秒後には利用可能、従量課金制 Models as a Serviceでは、カタログからモデルを選択すると数秒でその大規模言語モデルに対する推論APIとファインチューニングが可能になります。 開発者はすぐにプレイグラウンドでの大規模言語モデルの探索や、Prompt Flow、Sematic Kernel、LangChainなどのツールを用いて大規模言語モデルアプリケーションの構築などを実行できます。 また、独自のトレーニングデータを提供するだけで、Llama 2モデルのファインチューニングを簡単に始めることができます。 Microsoft Azureは以前からAzure AIモデルカタログを提供していましたが、カタログから選択したモデルをデプロイするための大量のGPUのプロビジョニングに時間がかかるなどの課題がありました。 Models as a Serviceでは、
「Google Colab」での「Llama 3」のファインチューニングを試したので、まとめました。 【注意】Google Colab Pro/Pro+のA100で動作確認しています。 1. Llama 3「Llama 3」は、Metaが開発したオープンモデルです。 2. 学習Colabでの学習手順は、次のとおりです。 (1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」の「A100」を選択。 (2) パッケージのインストール。 # パッケージのインストール !pip install -U transformers accelerate bitsandbytes !pip install trl peft wandb !git clone https://github.com/huggingface/trl %cd trl(3) 環境変数の準備。 左
LLMファインチューニングは機能しない？
こんにちは、シバタアキラです。前回書いた「生成AI活用のビジネス戦略」から1ヶ月が経ち、引き続きLLMに翻弄され続けているのは私だけではないようで、世界は目まぐるしく動き続けています。ちなみに日本は人口当たりのChatGPTユーザーがスウェーデン、カナダに続いて世界三位だそうで、これを読んでいる読者の皆さんの周りでも、LLMの社内活用について議論が起こっていない方の方が少ないのではないでしょうか？当初の驚きこそ薄れてきたものの、その余波は広がり続けています。特に私の関心の高いのは企業でのLLM活用への動きや、それを可能にするオープンソースLLMモデル、そしてそれらのモデルからアプリケーションを開発するための手法などについて。本稿ではここ1ヶ月で私が学んだことを共有したいと思います： 先週は日本ディープラーニング協会の勉強会にご招待いただき、「大規模言語モデル（LLM）を事業活用するためのプ
独自のデータセットでGPTのような大規模言語モデルを簡単にファインチューニングできるライブラリ「Lit-Parrot」をGoogle Cloud Platformで使ってみた
特定の分野についての知識を増やす場合など、大規模言語モデルの出力を特定の方向に寄せる場合に利用されるのがファインチューニングで、これはモデルをゼロから構築するのに比べてはるかに少ないデータセット＆はるかに少ないコストでトレーニングできる手法です。「Lit-Parrot」はファインチューニングを簡単に行えるようにしたライブラリとのことなので、実際に使ってどれくらい簡単なのかを試してみました。 lit-parrot/scripts at main · Lightning-AI/lit-parrot · GitHub https://github.com/Lightning-AI/lit-parrot How To Finetune GPT Like Large Language Models on a Custom Dataset - Lightning AI https://lightnin
まとめ LLMのファインチューニングにおいて、データセットは重要なものとなりつつある 以前までは人力で作る必要があったが、プロンプトが効く7Bモデル（Calm2-chat）を用いることで、LLMでファインチューニング用データセットを作ることができる データセットを作成しつつ、動的にプロンプトを修正していく手法が相当よかった 導入 LLMのファインチューニングには、大量のデータセットが必要です。良く言われているのは「少なくとも数百～数千はあった方が良い」というものです。翻訳など、皆が使うであろうようなタスクのデータセットは存在する一方で、「女の子の日記をLLMで作りたい」のような、完全に自分の癖に従ったようなデータセットは基本的には存在しません。一から自分で作っても良いのですが、人間の時間とやる気は有限なため、かなり無謀な挑戦と言えるでしょう。 この作業にLLMを用いることで、労力を最小限ま
不均衡データ対策は決定境界が大事！ ロスを変えてファインチューニングするだけで精度が上がる「Influence-Balanced Loss」の紹介 - Qiita
クラスAは5％下がってしまいましたが、クラスBは+10%、クラスCは+15%になりました。実は先程のmicro averageによる精度を計算すると、 5000×90% + 100×80% + 25×65% ÷ (5000+100+25) = 89.7% 5％近く下がっています。全体の精度が下がったほうが嬉しい、ちょっとおかしいですよね。 microとmacro この感覚のズレを解消するために、macro averageによる精度を計算します。macro averageとはクラス単位の精度を単純平均で求めます1。 前者：(95% + 70% + 50%) ÷ 3 = 71.7% 後者：(90% + 80% + 65%) ÷ 3 = 78.3% 直感と一致しました。microを使うか、macroを使うかは問題によりけりです。macro averageで集計するコンペもあります。不均衡データ対
マイクロソフト、大規模言語モデルを選択すると数秒後にAzure上で試せる「Models as a Service」発表。従量課金制の推論API、ファインチューニングも可能。Ignite 2023
マイクロソフト、大規模言語モデルを選択すると数秒後にAzure上で試せる「Models as a Service」発表。従量課金制の推論API、ファインチューニングも可能。Ignite 2023 マイクロソフトは現在開催中のイベント「Microsoft Ignite 2023」で、オープンソースの大規模言語モデルを、Microsoft Azure上でマネージドサービスとしてすぐに試せる「Models as a Service」を提供すると発表しました。 これにより開発者が簡単に大規模言語モデルのサービスを簡単かつ迅速に試し、アプリケーションの開発に利用できるようになります。 当初はMetaが公開している大規模言語モデルLlma 2をサポートし、今後MistralやJaisなど対応する大規模言語モデルの種類を拡大していく予定です。 カタログから選択すると数秒後には利用可能、従量課金制 Mod
DonutはOCRを使わないend-to-endの文書理解モデルです。 Vision Encoder Decoder Modelになっており、OCRエンジンに依存せずに視覚的な文書分類や情報抽出を高い精度で行うことができます。 Donutは日本語を含む4言語で学習されたモデルnaver-clova-ix/donut-baseが公開されており、日本語で何かしたいときにファインチューニングして使えそうだなと思っていました。 今回、AIキャラクターと一緒にノベルゲームをプレイするために、ノベルゲーム風画面の合成データセットでdonut-baseをファインチューニングしました。 以下を目標として作成しました。 <unk>になる漢字をvocabに追加して学習する 選択肢、名前、メッセージを別々に認識し、jsonを出力する SKIP、LOADなどのUIの文字、日付表示などを読み取らない ルビを無視する
OpenAIが「GPT-3.5 Turbo」のファインチューニング機能をリリース、用途に合わせた独自のカスタマイズが可能に
対話型AIのChatGPTを開発したOpenAIが、2023年3月にリリースしたGPTモデルファミリー「GPT-3.5 Turbo」のファインチューニング(微調整)機能を発表しました。GPT-3.5 Turboをファインチューニングすることにより、「出力する言語を固定する」「応答の言葉遣いをブランドや企業のイメージに沿ったものにする」など、ユーザーの用途に合わせたカスタマイズが可能になるとのことです。 GPT-3.5 Turbo fine-tuning and API updates https://openai.com/blog/gpt-3-5-turbo-fine-tuning-and-api-updates OpenAI brings fine-tuning to GPT-3.5 Turbo | TechCrunch https://techcrunch.com/2023/08/22
こにゃにゃちは、ken11です。 今日は京都大学 黒橋・褚・村脇研究室が公開しているBERT日本語Pretrainedモデルのファインチューニングをして固有表現抽出モデルをつくってみたのでその話です。 なにをやったのか 京都大学 黒橋・褚・村脇研究室が公開しているBERT日本語Pretrainedモデルをベースにストックマーク株式会社が公開しているner-wikipedia-datasetでファインチューニングしました。 固有表現抽出(NER)は自然言語処理のタスクでもごく一般的な部類ではないかと思います。 今回別に固有表現抽出モデルをつくる大きな理由があったわけではないんですが、ちょっと個人的につくってみたかったというのと、日本語BERTモデルのファインチューニングというとベースが東北大になりがちなので、たまには東北大ではないモデルをベースにファインチューニングしてみたかったというのが大
「gpt2-japanese」の「smallモデル」と「ファインチューニングのコード」が公開されたので、日本語によるGPT-2のファインチューニングを試してみました。 前回 (1) Google Colabのノートブックを開く。 (2) メニュー「編集→ノートブック→ハードウェアアクセラレータ」で「GPU」を選択。 (3) 以下のコマンドで、「gpt2-japanese」をインストール。 # gpt2-japaneseのインストール !git clone https://github.com/tanreinama/gpt2-japanese %cd gpt2-japanese !pip uninstall tensorflow -y !pip install -r requirements.txt2. モデルのダウンロード「smallモデル」を「gpt2-japanese」フォルダにダウン
本記事は日本オラクルが運営する下記Meetupで発表予定の内容になります。発表までに今後、内容は予告なく変更される可能性があることをあらかじめご了承ください。当日は記事内容以外にデモンストレーションも実施する予定です。 以下の記事内容とセットで実施する予定です。以下の記事がメインでこちらの記事がサブというアジェンダとなります。 はじめに 2022年暮れ、ChatGPTの登場以降、あらゆる企業がDXの在り方を問われはじめ、大規模言語モデルの仕組みをどのように業務に取り入れるかを検討されていると思います。 その検討の一つとして、「GPT(LLM)が学習していない企業内のデータや最新のデータも有効活用すべき」 という点は非常に大きな論点なのではないでしょうか。 ご存じの通り、LLMとはインターネット上に存在するドキュメントデータをクローリングにより大量に収集し、それを学習データとして機械学習にか
以下の記事が面白かったので、かるくまとめました。 ・Fine-tune Llama 2 with DPO 1. はじめに「RLHF」は「GPT-4」「Claude」などのLLMの事実上の最後の学習ステップとなっており、LLM出力の饒舌さや安全さが人間の期待と一致していることを確認します。ただし、RLの複雑さが持ち込まれます。適切な報酬関数を設定し、状態を推定するようにモデルを学習する必要があります。同時に、元のモデルから離れすぎないよう注意する必要があります。このようなプロセスは非常に複雑で、正しく行うのは容易ではありません。 Rafailov、Sharma、Mitchellらによる最近の論文「Direct Preference Optimization」では、既存の手法で使用されているRLベースの目標を、単純なバイナリクロスエントロピー損失を介して直接最適化できる目標に切り替えることを提
「つくよみちゃん」の「会話テキストデータセット」でGPT-3のファインチューニングを試したので、まとめました。 【最新版の情報は以下で紹介】 1. つくよみちゃん会話AI育成計画（会話テキストデータセット配布）今回は、「つくよみちゃん」の「会話テキストデータセット」を使わせてもらいました。「話しかけ」と、つくよみちゃんらしい「お返事」のペアのデータが300個ほど含まれています。 以下のサイトで、利用規約を確認してから、Excel形式のデータをダウンロードします。 2. データセットの準備「つくよみちゃん」の「会話テキストデータセット」をGPT-3の学習で利用するJSONLファイルに変換します。 (1) Colabで新規ノートブックを作成 (2) Excel版の「会話テキストデータセット」を「tsukuyomi.csv」という名前のCSVで出力し、Colabのアップロードボタンからアップロー
「Google Colab」で「Rinna-3.6B」のLoRAファインチューニングを試したのでまとめました。 【注意】Google Colab Pro/Pro+ の A100で動作確認しています。VRAMは14.0GB必要でした。 1. Rinna-3.6B「OpenCALM-7B」は、「サイバーエージェント」が開発した、日本語LLMです。商用利用可能なライセンスで公開されており、このモデルをベースにチューニングすることで、対話型AI等の開発が可能です。 「Rinna-3.6B」は、「Rinna」が開発した、日本語LLMです。商用利用可能なライセンスで公開されており、このモデルをベースにチューニングすることで、対話型AI等の開発が可能です。 2. 学習「Google Colab」で「Rinna-3.6B」のLoRAファインチューニングを行います。データセットは@kun1em0nさんの「k
前提知識MPT-7Bは最近発表された商用利用可能な大規模言語モデルで、LLaMAに匹敵する性能を持っていると言われています。 ABCIは経産省が管轄する日本在住者なら誰でも安価に使えるスーパーコンピュータです。 (ただし登録がいろいろ大変なので法人が前提です/利用料は最低20万円から) 対象読者行間が読める人。本文が間違っていても自分でソースコードに手を加えて修正できるスキルがある人。ABCIを使えるポジションの人。 僕も人間なのでミスはよくありますし、備忘録とこれからやろうとする人のために書いています。質問は受け付けません(自分でなんとかしてください)。 準備思ったより大変だったのでメモ まず、大前提として自宅のA6000x2のマシンでできるかと思ったら、ダメだった(12:57更新。ウソ:A6000x2でちゃんとできました)。 まず、MPTはTransformerなのでRWKVと違い、V
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LLMのファインチューニング で 何ができて 何ができないのか｜npaka
OpenAI APIのファインチューニングの学習データのガイドライン｜npaka
OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試す｜npaka
LLM の LoRA / RLHF によるファインチューニング用のツールキットまとめ ｜npaka
LLMのファインチューニングで事実の学習ができないのは本当か？ちょっと実験してみた
OpenAI、ファインチューニングAPI機能追加と「Custom Models Program」拡張を発表
Google Colab で PEFT による大規模言語モデルのファインチューニングを試す｜npaka
llama2のファインチューニング(QLORA)のメモ｜Kan Hatakeyama
Alpaca-loraを日本語タスクでファインチューニングする - Qiita
GPTやLlamaなどの大規模言語モデルはファインチューニングで簡単に脱獄可能だという研究結果
生成AIを賢くするには「メガプロンプト」がお勧め、ファインチューニングは有害？
コンサル業務はChatGPTによって駆逐される可能性がある “事実上のコンサル”がいる時代、勝負の肝は「ファインチューニング」
ハルシネーションの根絶は無理筋、ファインチューニングへの過度な期待も禁物
日本語LLMをPPOでファインチューニングする - Qiita
Google Colab で Llama 3 のファインチューニングを試す ｜npaka
自分の癖にあったファインチューニング用データセットをLLMで作ろう！【Calm2】
「生成AIツール for Excel」がGoogleの「Gemini」に対応 ～画像認識用の新関数も追加／「ChatGPT」のファインチューニングにも対応
end-to-endの文書画像認識モデルDonutをファインチューニングする｜oshizo
京大BERTをファインチューニングして固有表現抽出モデルをつくってみた
gpt2-japaneseの使い方 (2) - GPT-2のファインチューニング｜npaka
【ChatGPT】ファインチューニングをわかりやすく解説 - Qiita
DPO による Llama 2 のファインチューニング｜npaka
つくよみちゃんの会話テキストデータセットでGPT-3のファインチューニングを試す｜npaka
Google Colab で Rinna-3.6B のLoRAファインチューニングを試す｜npaka
OpenAI、GPT-3.5 Turboのファインチューニングに対応 常に日本語など
ABCIでMPT-7Bのファインチューニングを試す｜shi3z
www.oita-press.co.jp
mainichi.jp
okuubook.hatenadiary.jp
yeeq5u3b4cvv.blog.2nt.com
dusa.ldblog.jp
www.shinmai.co.jp