気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
tech.mntsq.co.jpエントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント2件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
日本語でHugging Face Tokenizersを動かす - MNTSQ Techブログ
前回記事に続いてHugging Faceネタです。Transformers本体ではなく、分かち書きを行うTokenizersライブ... 前回記事に続いてHugging Faceネタです。Transformers本体ではなく、分かち書きを行うTokenizersライブラリの紹介をします。 Hugging Faceが開発しているTransformersでは、事前学習モデルと用いた分かち書き処理を同梱して配布している。 機械学習モデルの学習時と推論時の間で分かち書き設定が異なったり、分かち書き済み公開データと分かち書き設定が揃っていなかったりすると、モデルの挙動が正しく再現できないので、この設定が揃うように仕組みで吸収できる良いプラクティスといえる。 比較的古いバージョン*1のTransformersが用いるトークナイザは、ライブラリ内に同梱されるPython実装のものであった。 日本語で配布されているTransformersモデルの事例でいうと、例えば東北大学の乾研究室から公開されている日本語BERTモデルでは、Transfo
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
tech.mntsq.co.jp
tech.mntsq.co.jp
tech.mntsq.co.jp
tech.mntsq.co.jp
www.cinematoday.jp
anond.hatelabo.jp
dailyportalz.jp
newsdig.tbs.co.jp
nmi.jp
www.itmedia.co.jp
qiita.com/secubot5
togetter.com
gist.github.com/tagomoris
forest.watch.impress.co.jp
soysoftware.sakura.ne.jp
tech.findy.co.jp
news.denfaminicogamer.jp
k-tai.watch.impress.co.jp
2021/02/26 リンク