コサイン類似度のいろんな書き方 - どこにでもいるSEの備忘録
前にこんなことやってました。 www.nogawanogawa.work コサイン類似度の計算を高速化したくなることがちょくちょくあるのですが、「ぶっちゃけどれくらいのスループットが出せるもんなの？」というのが気になったので完全に興味本位でやってみます。 コサイン類似度 定義と素朴なpythonでの実装 コサイン類似度の2つの計算パターン 諸条件 2つのベクトルの配列間ですべての組み合わせのコサイン類似度を計算 baseline numpy sklearn xlr8 pytorch jax Numba 実行速度結果 2つのベクトルの配列間で同じインデックスの組み合わせのコサイン類似度を計算 baseline numpy jax Numba 実行速度結果 使用したコード 参考文献 感想 コサイン類似度 定義と素朴なpythonでの実装 コサイン類似度は下記のような式になります。 これがなんの
今こそはじめるJAX/Flax入門 Part 1
1. はじめに 2012年から始まった深層学習の発展の過程で、さまざまな学習フレームワークが登場しました。中でもPyTorchとTensorflowは最も広く使われており、それぞれのフレームワークが支持されている背景には、柔軟性、拡張性、そして使いやすさがあります。 一方で、これらのフレームワークはその機能を拡張し続けてきた結果として、全体として非常に巨大で複雑なライブラリになっています。そのため、独自に機能拡張を行いたいユーザーにとっては扱いづらく、性能的にもオーバーヘッドを感じさせることがあります。 そこで新たに出てきたのが「JAX」とその関連ライブラリの組み合わせになります。2019年に登場して以降、特に海外の開発者に支持されてきました。近年注目されている大規模言語モデル（LLM）の分野においても、JAXによるモデルが公開されていることは珍しくなくなりつつあります。 PyTorch（
Keras: Deep Learning for humans
Introducing Keras Core: Keras for TensorFlow, JAX, and PyTorch. We're excited to share with you a new library called Keras Core, a preview version of the future of Keras. In Fall 2023, this library will become Keras 3.0. Keras Core is a full rewrite of the Keras codebase that rebases it on top of a modular backend architecture. It makes it possible to run Keras workflows on top of arbitrary framew
Jax/FlaxでKaggleをやってみよう！
こんにちは。いのいちです。 この記事は(の18日目の記事ですこの記事はKaggle Advent Calendr 2022の18日目の記事です。 最近はスプラトゥーンにはまっていて毎日忙しくてあまりコンペに参加できてませんが、2023年はどんどんコンペに参加していきたいなと思っています。私はコンペに参加するときはいつも1つはこれまでやったことないことをやると決めています。そこで新しい挑戦としてJax/Flaxを使ってみようと思い至りました。私が普段参加するComputer Vison系のコンペでは主にPytorchが使用されており、TPUをぶん回すコンペでTensorflowが使われていたりします。Jax/Flaxのnotebookも時々見かけますが、まだベースラインとなるようなnotebookが共有されたり、がっつりJax/Flaxでコンペをやったというのは見たことがありません。しかし、
ivy が面白い
ivyとはなにか 機械学習の統一を目指すフレームワークです。現在、JAX, TensorFlow, PyTorch, Numpy をサポートしています。JAXはNumpy互換なので、実質的に Tensorflow&Pytorch の共通APIのフレームワーク(かなり乱暴なまとめ方)です。 研究のペーパーでよく見るのはPytorchですが、産業ではTensorflowがよく使われるようです。 下の表にもありますが、開発者の設計思想を読むと「書き換えの手間」が想像以上に労力を必要とする文面が多く見受けられます。 余談で手元にTensorflowとPytorchの本が2冊あるのですが、実装に互換性があればそういう悩みが減って深層学習の学習が身近になるかもしれないですね。 特に初学者は「最初にどの山に登るのがいいのか」で迷うと思うので。 ivy登場以前から、学習済みモデルを異なるプラットフォームで
JAXによるスケーラブルな機械学習 - ZOZO TECH BLOG
はじめに こんにちは、ZOZO NEXT ZOZO ResearchのSai Htaung Khamです。ZOZO NEXTは、ファッション領域におけるユーザーの課題を想像しテクノロジーの力で解決すること、より多くの人がファッションを楽しめる世界の創造を目指す企業です。 ZOZO NEXTでは多くのアルゴリズムを研究開発しており、その中でJAXというライブラリを使用しています。JAXは高性能な機械学習のために設計されたPythonのライブラリです。NumPyに似ていますが、より強力なライブラリであると考えることができます。NumPyとは異なり、JAXはマルチGPU、マルチTPU、そして機械学習の研究に非常に有用な自動微分（Autograd）をサポートしています。 JAXはNumPyのAPIのほとんどをミラーリングしているので、NumPyライブラリに慣れている人なら非常に導入しやすいです。A
JAX/Flaxを使ってMNISTを学習させてみる | TC3株式会社｜GIG INNOVATED.
本記事は20分程度でお読みいただけます。 こんにちは。TC3データサイエンス部門の梅本です。 普段はPyTorchを使っているのですが、新しいライブラリを触るのも勉強になると思いますので、今日は新進気鋭の深層学習ライブラリであるJAX/Flaxを使って、MNISTを学習させてみようと思います。 はじめに 皆さんご存知の通り、TensorFlow、Keras、PyTorch(Chainer…)と近年は様々な深層学習ライブラリが使われています。最近、JAXというライブラリが話題になっているものの、十分すぎるライブラリがある中でなぜJAXが新たに出てきたのでしょうか？（そしてなぜ使うべきなのか）。この理由には後発ライブラリの強みとして、先行ライブラリの問題点を改良しているという点が挙げられます。現状以下のような利点が挙げられます XLAコンパイルによる高速性 厳密な乱数の管理による再現性の担保
PyTorch vs. TensorFlow、ディープラーニングフレームワークはどっちを使うべきか問題【2022年】
TensorFlow： 2015年11月登場、Google製。特に産業界で人気 Keras： 2015年3月登場、作者がGoogle社員。使いやすくて簡単。TensorFlow 2に同梱され標準API化 PyTorch： 2016年8月登場、Facebook（改めMeta）製。特に研究分野で人気 Apache MXNet： 2015年6月登場、2017年7月からApache Software Foundation製。AWSがコントリビュートし、Azureもサポート JAX： 2018年11月登場、Google製。NumPy互換＋自動微分＋GPU／TPUサポート。研究分野で注目度上昇中 などがある（※機械学習の分野にまで広げるとscikit-learnなどもあるが、今回は深層学習に絞る）。いずれもオープンソースである。 2022年1月現在も、主にTensorFlow／KerasとPyTorc
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - xai-org/grok-1: Grok open release
Keras documentation: Keras Core: Keras for TensorFlow, JAX, and PyTorch
https://twitter.com/fchollet/status/1678777783848419330
GoogleとIntelが共同開発、Intel GPUでJAXモデルを高速化するPJRT API登場
Import a JAX model using JAX2TF | TensorFlow Core
GitHub - NVIDIA-Merlin/dataloader: The merlin dataloader lets you rapidly load tabular data for training deep leaning models with TensorFlow, PyTorch or JAX
GitHub - google-research/multinerf: A Code Release for Mip-NeRF 360, Ref-NeRF, and RawNeRF
Bringing Machine Learning to every developer’s toolbox
https://twitter.com/fchollet/status/1539411346814423041
https://twitter.com/ISID_AI_team/status/1538661505000173568
GitHub - google-research/t5x
functorch — functorch nightly documentation