エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
CerebrasGPTでファインチューニング | 東京エレクトロンデバイス
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
CerebrasGPTでファインチューニング | 東京エレクトロンデバイス
こんにちは。CerebrasプリセールスエンジニアのNakadaです。先日、当ブログでCerebras-GPTについてお知... こんにちは。CerebrasプリセールスエンジニアのNakadaです。先日、当ブログでCerebras-GPTについてお知らせしました。今回は、そのCerebras-GPTでファインチューニングを実施しましたので結果を共有いたします。 目次 1.The Pileデータセット 2.ファインチューニングの実行 3.ファインチューニングの結果 Cerebras-GPTはGPTベースの事前学習済みモデルであり、パラメータサイズが異なる7つのモデルがあります。これらはHugging face(https://huggingface.co/cerebras)で公開されているため、GPU環境があれば誰でも利用することができます。(Cerebras CS-2を用意する必要はありません!) しかしながら、これらのモデルは「The Pile」と呼ばれる英語ベースのデータセットを使って学習されているため、英語以