• はてなブックマーク
  • テクノロジー
  • CyberAgentの日本語言語モデルを試してみる - きしだのHatena
  • Twitterでシェア
  • Facebookでシェア

CyberAgentの日本語言語モデルを試してみる - きしだのHatena

テクノロジー カテゴリーの変更を依頼 記事元:nowokay.hatenablog.com
適切な情報に変更
147 usersがブックマーク コメント14

    記事へのコメント14件

    • 注目コメント
    • 新着コメント
    KoshianX
    KoshianX このスクリプトちょっといじって M2 Pro の Mac でも動かしてみたがまあなんとか動くけど遅いな……。ファインチューニングしたあとも16GBのRAMに収まるようなサイズに調整してるってことかなあこれ

    2023/05/17 リンク

    その他
    sifue
    sifue 検証記事ありがたい...。これを見てRTX 4060 tiを買いたいという欲がふつふつと湧き上がってきた。もちろんVPSやクラウドでインスタンス用意してもいいんだけどやはりローカルでやりたさある。

    2023/05/18 リンク

    その他
    peperon_brain
    peperon_brain パラメータ数の比較面白いな。脳のサイズ・脳細胞数とEQの関係と原理的には同じなんだろうか。

    2023/05/18 リンク

    その他
    misshiki
    misshiki 感想コメントしづらい。LLMは言語関係なく学習して量が多い英語情報の学習がメインになるのは仕方ないのではと思う。その後で日本語情報を強化するのが正しい流れじゃないのかなと。現時点でRLHFも必須だと思う。

    2023/05/18 リンク

    その他
    pwatermark
    pwatermark 次は特定用途のChatBotに仕立て上げられるように「削る」ノウハウが求められてくるかね

    2023/05/18 リンク

    その他
    sororo9797
    sororo9797 AIに学習させる内容の優先順位として、確度の高さを憶えさせるのが必要。法令や地名など、人間が勝手に決め、それに沿って運用されているものは回答ブレずに答えてほしい。科学等はブレた方が良さそうだけど

    2023/05/18 リンク

    その他
    yarumato
    yarumato “最小モデル（1億6千万パラメータ）はGPUメモリは1.3GB消費だがまともな回答ではない。まともなことを言う8億3千万パラはGPU 2.7GB。一番大きい68億パラでGPU 14.1GB消費。CPUで動かすにはメモリ48GB積んでないと”

    2023/05/18 リンク

    その他
    programmablekinoko
    programmablekinoko 日本の首都は”東京”まではいいんだけど”上海と地続き”という部分で、中国のトンジンと勘違いしているんだなという印象

    2023/05/18 リンク

    その他
    toririr
    toririr ファインチューニングって具体的にどうやるのか分からない。興味はあるけど忙しくて泣いてる

    2023/05/18 リンク

    その他
    knok
    knok device_map="auto" は「GPUで足りないメモリをCPUで補う」モードなので、ある程度メインメモリがあれば少ないGPUメモリの人も恩恵にあずかれるはず。ただ肝心のコーパスがWikipedia, mC4, CC100と既存のと変わりないので微妙

    2023/05/18 リンク

    その他
    prjpn
    prjpn 元はネタはGPT-NeoXでしょ。微調整はしたかもしれないけど、マーケティング的な側面に騙されてる気がする。

    2023/05/18 リンク

    その他
    shunkeen
    shunkeen 特定の作業の中の、ちょっとした自然言語処理に使うなら、このくらいの大きさのモデルを、ファインチューニングして組み込むほうがいい感じになるのかな？

    2023/05/18 リンク

    その他
    zgmf-x20a
    zgmf-x20a バッチ処理でいいのならCPUでも使えるのかな？ちょっと試してみよう。

    2023/05/18 リンク

    その他
    urtz
    urtz 非公開の13B？はこれらより上手い回答をするわけか。グラボ遊ばせてる人はvast.ai等で小銭稼いでね

    2023/05/18 リンク

    その他
    sifue
    sifue 検証記事ありがたい...。これを見てRTX 4060 tiを買いたいという欲がふつふつと湧き上がってきた。もちろんVPSやクラウドでインスタンス用意してもいいんだけどやはりローカルでやりたさある。

    2023/05/18 リンク

    その他
    KoshianX
    KoshianX このスクリプトちょっといじって M2 Pro の Mac でも動かしてみたがまあなんとか動くけど遅いな……。ファインチューニングしたあとも16GBのRAMに収まるようなサイズに調整してるってことかなあこれ

    2023/05/17 リンク

    その他

    注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

    アプリのスクリーンショット
    いまの話題をアプリでチェック！
    • バナー広告なし
    • ミュート機能あり
    • ダークモード搭載
    アプリをダウンロード

    関連記事

    CyberAgentの日本語言語モデルを試してみる - きしだのHatena

    CyberAgentが日本語LLMを公開していたので、とりあえず動かしてみました。 サイバーエージェント、最大6...

    ブックマークしたユーザー

    • techtech05212023/08/14 techtech0521
    • sanko04082023/06/24 sanko0408
    • thaturn2023/06/21 thaturn
    • heatman2023/06/17 heatman
    • naggg2023/05/28 naggg
    • frtk2023/05/25 frtk
    • lugecy2023/05/21 lugecy
    • midas365452023/05/20 midas36545
    • showrisego2023/05/19 showrisego
    • cutc-mt2023/05/19 cutc-mt
    • warud2023/05/19 warud
    • yurugadget2023/05/19 yurugadget
    • peperon_brain2023/05/18 peperon_brain
    • einherjar2023/05/18 einherjar
    • misshiki2023/05/18 misshiki
    • flying-cat2023/05/18 flying-cat
    • tnk9622023/05/18 tnk962
    • pwatermark2023/05/18 pwatermark
    すべてのユーザーの
    詳細を表示します

    同じサイトの新着

    同じサイトの新着をもっと読む

    いま人気の記事

    いま人気の記事をもっと読む

    いま人気の記事 - テクノロジー

    いま人気の記事 - テクノロジーをもっと読む

    新着記事 - テクノロジー

    新着記事 - テクノロジーをもっと読む

    同時期にブックマークされた記事

    はてなブックマーク

    公式Twitter

    はてなのサービス

    • App Storeからダウンロード
    • Google Playで手に入れよう
    Copyright © 2005-2024 Hatena. All Rights Reserved.