Colab TPUでHuggingface accelerateを用いて文章分類を試してみる
はじめに以前のポストColab TPU で transformers Flax+JAX で文章分類を試してみるで、 TPU を使って Flax/JAX モデルで文章分類を試しました。 今回は、Pytorch 版のモデルで TPU(v2-8)を用いて文章分類を試してみます。Pytorch 版モデルで TPU 学習を簡単に行うための accelerate パッケージを利用します。 accelerateaccelerateは、pytorch 版のモデルを、マルチ GPU/TPU/fp16/deepspeed での学習を簡略化するためのパッケージで Huggingface によって公開されています。 accelerate はいろいろな実行方法があるのですが、今回は既存の学習スクリプトに対して CLI のラッパーのような形で実行する方法を試しました。 transformers の examples
Google ColabでGoogle driveの公開ファイルを直接ダウンロードする方法 - Qiita
1.はじめに Google Colab で Google drive の公開ファイル (例えば、fastText日本語版の学習済みモデルとか) を使う場合は、PCに一旦ダウンロードしてから Google drive経由で使うのが一般的だと思います。 普通はこの方法で問題ないわけですが、場合によっては わざわざ別途手動でダウンロードせずに、Google Colab を先頭からポチポチするだけで動くコードにしたいと思ったりするわけです。 今回は、そのための良い方法をWebで見つけましたので、備忘録として残します。 2.サンプルコード サンプル例は、fastText日本語版学習済みモデル です。URLをクリックすると、まずこの画面が現れます。 この画面で、赤枠のボタンを押すと、ダウンロード画面になります。 そうしたら、このダウンロード画面のURLを控えておきます。後は、以下のコードで、直接ダウン
Colabでウェブアプリを実行する
Google Colaboratry は機械学習向けの実験環境で、とても便利なんですが、そこで構築したモデルやツールのデモなどで、Colaboratry 上でウェブアプリや API を一時的に公開したいことがあります。 そんな時、今までは ngrok などの外部サービスを使って、半ば強引にポートを公開していたのですが、実はそんなことする必要がないことを知りました。 サーバーの立ち上げ まずは公開したいサーバーを立ち上げます。バックグラウンドで実行して欲しいので、 nohup と & を使ってやります。 PORT = 8000 PATH = '' # 検証用に適当なサーバーを立ち上げておく !nohup python3 -m http.server $PORT > server.log 2>&1 &
jupyter notebookの作業効率化Tips
jupyter notebook中で書いたコードの実行時間やボトルネックを調査したい場面が出てくることもある。IPythonのマジックコマンドを用いると簡単にプロファイリングを実行できる %timeや%timeitを使うと、コードの実行時間を表示してくれる。 %%timeや%%timeitなどとすると、セル単位での実行時間の計測も可能 %timeはシングルショットの解析。%timeitはよしなに複数回での最速や平均、分散も出してくれるので、より正確なベンチマークを行いたい場合などは%timeitを使うのが良さそう %time x = map(lambda x: x * 2, range(10000)) CPU times: user 9 µs, sys: 1 µs, total: 10 µs Wall time: 15.7 µs %timeit x = map(lambda x: x *
Visual Studio CodeがPython対応強化。Jupyter Notebooksネイティブ編集、Pythonファイルの直接実行など
Visual Studio CodeがPython対応強化。Jupyter Notebooksネイティブ編集、Pythonファイルの直接実行など オープンソースのコードエディタ「Visual Studio Code」が10月のアップデートでPython関連機能の強化などを行いました。機能強化はおもにPython拡張機能を通じて提供されます。 The October release of the #Python extension for @code is here! Try out native editing of #JupyterNotebook files , a button to run Python files in the terminal ▶, and improvements to the Python Language Server. Learn more on our
sshでGoogle Colaboratoryを使う
記事一覧へ English Internet of Tomohiro よろしければ投げ銭をお願いします。 sshでGoogle Colaboratoryを使う2022/9/15: Google ColaboratoryでリモートデスクトップまたはSSH を使うことは許可されなくなりました VNCを使ってGoogle Colaboratory上のデスクトップ環境を使うこともできます。 必要なものパソコンまたはAndroidスマートフォン Googleアカウント Google Colaboratory が使えるブラウザ sshクライアント Windowsを使う場合は scoop を使うと簡単にopensshをインストールできます。 Androidスマートフォンを使う場合は JuiceSSH が使えます。 手順詳しい手順は以下のサイトをご覧下さい。 https://github.com/demo
対決！RTX 2080Ti SLI vs Google Colab TPU ～PyTorch編～ - Qiita
RTX 2080Tiを2枚使って頑張ってGPUの訓練を高速化する記事の続きです。TensorFlowでは複数GPU時に訓練が高速化しないという現象がありましたが、PyTorchを使うとRTX 2080Tiでもちゃんと高速化できることを確認できました。これにより、2GPU時はTensorFlowよりも大幅に高速化できることがわかりました。 前回までの記事 対決！RTX 2080Ti SLI vs Google Colab TPU ～Keras編～ TensorFlow/Kerasでchannels_firstにするとGPUの訓練が少し速くなる話 ハードウェアスペック GPU : RTX 2080Ti 11GB Manli製×2 SLI構成 CPU : Core i9-9900K メモリ : DDR4-2666 64GB CUDA : 10.0 cuDNN : 7.5.1 PyTorch :
Training RetinaNet on Cloud TPU | Cloud TPU | Google Cloud
Send feedback Except as otherwise noted, the content of this page is licensed under the Creative Commons Attribution 4.0 License, and code samples are licensed under the Apache 2.0 License. For details, see the Google Developers Site Policies. Java is a registered trademark of Oracle and/or its affiliates. PGE UV �zy UV @�� UV
Google Colaboratoryでcv2.imshowを擬似的に利用する方法 - Qiita
画像処理100本ノックを「Google Colaboratory」で楽々学習を利用して、画像処理100本ノックをやってみようということでColabを起動してTutorialの通りに打ち込んでみました。 import cv2 img = cv2.imread("imori.jpg") cv2.imshow("imori", img) cv2.waitKey(0) cv2.destroyAllWindows() --------------------------------------------------------------------------- DisabledFunctionError Traceback (most recent call last) <ipython-input-14-d690a3c68444> in <module>() ----> 1 cv2.imsh
Google ColaboratoryのKeras on TensorflowでMNISTの手書き文字認識をやってみる。: 元PG主婦の備忘録。
前回の記事で、Deep Learningの勉強にMicrosoft AzureのDeep Learning VMを借りようと考えてたのですが、主婦がちょろっと試すにはお値段が高いワ…と悩んでいました。そこで見つけたのがコレ↓ Google Colaboratory 機械学習/Deep Learningの教育や研究の促進を目的としたGoogleのプロジェクトらしい。機械学習を実験するのに必要なライブラリが一通りインストールされた仮想マシン上で、Jupyter Notebook(のようなもの)形式でPythonを実行することができます。その上、『NVIDIA Tesla K80』という1コ約80万円(価格.com調べw)もするGPUを無料で使わせていただけるそうですよ。さすがGoogle太っ腹ァ！！ ということで、Googleアカウントさえあれば無料GPU+環境構築不要ですぐにDeep Lea
ColaboratoryでKerasからTensorboard出力をする
無料でGPUが使える！ 素晴らしい。詳しい事はこの記事見ればOK。マジで3分でGPUがバリバリ使える環境が手に入る。 ※ 上記記事の通り部分的に制限はあるものの、現実的に個人利用ならほぼ問題ないし、プロダクトレベルでも上手く途中経過を保存するなりして永続化すれば割と使える。 GoogleDriveをファイルシステムとして使う インスタンスは落としてしまうとローカルのファイルや何やらは維持されません。そのため下記記事を参考にGoogleDriveからファイルを読み込んだり保存したりしましょう。 [2019.06.03 追記] → マウントもめっちゃ簡単になってた https://qiita.com/k_uekado/items/45b76f9a6f920bf0f786 普通にpythonファイル読み込めて驚いた。 import sys sys.path.append('drive/path/
Google ColabのTPUで対GPUの最速に挑戦する
前回の記事が思わぬ反響で驚愕していますが、今回はColabのTPUを限界まで試してみたいと思います。特殊な条件にするとColabのTPUは、GPU比で20倍以上速くなることがわかりました。しかも無料です。それを見ていきましょう。 TPUがGPUと比べて速くなる条件とは 前回の結果からTPUがGPUと比べて速くなる条件は2つあることがわかりました。 多層パーセプトロン（MLP）よりも畳み込みニューラルネットワーク（CNN）であること バッチサイズを大きくできること 1点目ですが、CNNだから速いのではなく、CNNがパラメーター数の割に計算量が多い、つまり訓練時間のうち計算量が支配的になるからと捉えることもできます。なぜなら、CNNは1つの畳み込みフィルターでパラメーターを使いまわしするのですから。 またGPUで行ったフレームワーク別の調査をTPUに適用したところ、TPUではモデル（ResNe
Google Colab で Julia を使ってみた - Qiita
元ネタ https://discourse.julialang.org/t/julia-on-google-colab-free-gpu-accelerated-shareable-notebooks/15319 本記事の内容はこちらにすべて書かれてます。 以下はそれをやってみた系の備忘録となります。 手順 上記のリンク先では GPU を使うとのことですが、今回は普通に CPU でサクッと試してみます。 GPU を使う場合は、インストールに15~20分くらいかかるらしいですし、自分がやったときは Error でしくじりました。 1. Google Colabをひらく Python3 で新しいノートブックを作成してください 2. 以下のコードをセルにコピペして実行(Ctrl+Enter) !curl -sSL "https://julialang-s3.julialang.org/bin/l
ColaboratoryでのGoogle Driveへのマウントが簡単になっていたお話
結論 以下のプログラムを使うと、drive/MyDrive/のなかにgoogle driveのデータがはいる。 ※以前まで、MyとDriveのあいだに半角スペースがありましたが、必要なくなったので注意です 修正(2020/9/8) さらに簡単になり、左上のフォルダマークから「ドライブをマウント」をクリックするだけでマウント完了するようになりました。 ドライブのマウントボタンを押すと… アクセスを許可するか聞かれるので、「Googleドライブに接続」をクリックして認証に進む 認証後、ドライブのマウントボタンに斜線が入り、driveフォルダ配下に「My Drive」がマウントされています ここから、フォルダ/ファイルのパスもコピーできるので、便利です！ ※場合によっては、クリックしてもマウントできず、マウントするためのセルの実行を求められることがあります。その場合は、言われた通り現れたセルを実
Google ColaboratoryのTPUを試してみる
TL;DR ColabのTPUを使って今すぐCNNを試してみよう。ものすごい速いぞ。 はじめに 9/26夜、Google Colaboratoryユーザーに激震が走った。 ハードウェアアクセラレータにTPUが使えるようになってる！？TPU(Tensor Processing Unit)凄さはこのニュースを見れば恐ろしいほど伝わってくる。 COOL Chips 21 - GoogleのWebサービスを支える「TPU」 https://news.mynavi.jp/article/20180424-621091/ TPU v1はIntelのHaswell CPUとNVIDIAのK80 GPUと比較すると、性能は15～30倍、電力効率は30～80倍になっているという。 NVIDIA K80は現在ColabのGPUアクセラレータとして用いられているGPUだ。もしこの15～30倍という値が本当なら、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Troubleshoot your Cloud TPU workflow | Google Cloud
How can I ssh to google colaboratory VM?
Is it possible to set environment variables in Google's Colaboratory?
Can I use TensorBoard with Google Colab?
Fashion MNIST with Keras and TPUs
