エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
BitNet&BitNet b158の実装④|はち
はじめに前回、BitLinear b158の実装を行いました。前回までの内容は以下をご参照ください。 4. BitNet ... はじめに前回、BitLinear b158の実装を行いました。前回までの内容は以下をご参照ください。 4. BitNet b158の検証BitNetの検証と同様、 BitLlamaでBitLinear158bを利用できる様に修正 事前学習ができるか(Lossが下がるか)確認 を行います。 4-1. BitLlamaの修正modeling_bit_llama.pyにおいて、BitLinearを使用している箇所をBitLinear158bに切り替えられる様にするだけなので変更は容易です。 ① configの修正 まず、BitLlamaがBitLinearとBitLinear158bのどちらを使用するかConfigで指定できるようにbitnet_typeを追加します。 この時、["1.58b", "1b"]以外が入力されたらエラーを返す様にしておきます。 self.bitnet_type = b