エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Huggingface Inference Endpoints を触る
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Huggingface Inference Endpoints を触る
エンドポイントの作成画面。 現状 GPU が使えるのは AWS だけなので GPU 使いたい場合は AWS を選ぶ。軽... エンドポイントの作成画面。 現状 GPU が使えるのは AWS だけなので GPU 使いたい場合は AWS を選ぶ。軽いモデルで CPU でもいいなら Azure も選べる。 HuggingFace 上のモデルを選択できる。 ここで、 safetensors に対応していないモデルを選ぶと、 text-generation-inference の仕様(?)でエラーを吐かれて死んでしまう[1]ので、safetensors 対応のを選ぶか自分で変換(transformersで読み込んでそのままアップでOK)しておく必要がある。 Advanced configuration では text-generation-inference のオプションを設定できる。量子化はなにか設定しておいたほうが良いかも。他の設定は詳しくないので知らない... 0インスタンスにスケールするオプションは、現在は 0 個