GNN の最新動向 (ICLR 2024) - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
拙著『グラフニューラルネットワーク』が重版して第 3 刷となりました。皆さまありがとうございます！ 拡散モデルと最適輸送でもやりましたが、漫画家さんやイラストレーターさんが重版したときに重版感謝の描き下ろしイラストを投稿しているのを見ていいなと思ったので、僕も専門書が重版したときに重版感謝の書き下ろし専門記事を投稿します。 本稿では、ICLR 2024（5/7 - 5/11 @ウィーン）で発表されたグラフニューラルネットワーク (GNN) 関連の研究動向を紹介します。 ICLR 2024 で発表された GNN 関連の論文は全部で 170 本です。凄まじい量ですね。ICLR 2024 では全て合わせて 2296 本の論文が採択されたので、7.4 パーセントが GNN 関連ということになります。この分量からも、GNN が活気ある研究対象であることが伺えます。 以下では、代表的なトピックについて
計算時間とメモリの壁を打破！Transformerの次世代モデルReformer
3つの要点 ✔️ Local-Sensitive-Hashingにより必要な要素同士のAttentionを計算することができるようになった ✔️ Reversible layerによってレイヤー数に比例して増加するactivationを保存するメモリの削減 ✔️ transformerの計算量を$O(L^2)$から$O(L \log L)$まで削減した Reformer: The Efficient Transformer written by Nikita Kitaev, Łukasz Kaiser, Anselm Levskaya (Submitted on 13 Jan 2020 (v1), last revised 18 Feb 2020 (this version, v2)) Comments: ICLR 2020 Subjects: Machine Learning (cs.L
Llama.cpp で Llama 2 を試す｜npaka
「Llama.cpp」で「Llama 2」を試したので、まとめました。 ・macOS 13.4.1 ・Windows 11 前回 1. Llama.cpp「Llama.cpp」はC言語で記述されたLLMのランタイムです。「Llama.cpp」の主な目標は、MacBookで4bit量子化を使用してLLAMAモデルを実行することです。 特徴は、次のとおりです。 ・依存関係のないプレーンなC/C++実装 ・Appleシリコンファースト (ARM NEON、Accelerate、Metalを介して最適化) ・x86アーキテクチャのAVX、AVX2、AVX512のサポート ・Mixed F16/F32精度 ・4bit、5bit、8bit量子化サポート ・BLASでOpenBLAS/Apple BLAS/ARM Performance Lib/ATLAS/BLIS/Intel MKL/NVHPC/AC
統計数理シンポジウム 生成モデル 岡野原
株式会社 Preferred Networks 岡野原 大輔 @hillbig 生成モデルは世界を どのように理解しているのか 「統計的機械学習」の中核としての 統計数理シンポジウム 2023/05/25 アジェンダ • 現在の代表的な生成モデル 大規模言語モデル/ 拡散モデル • 自己教師あり学習 / メタ学習 • 未解決問題 岩波書店 2023 一般向け 関連書籍 岩波書店 2023 専門家向け 技術評論社 2021 2022 ディープラーニングの基礎知識 日経BP 2022 個別の深い話題 生成モデル x ~ p(X | C) X: 生成対象 C: 条件 • 生成モデル：対象ドメインのデータを生成できるようなモデル – テキスト、画像、動画、化合物、行動列 等 – 条件を通じて、制約、指示、対象ドメインなどを指定する （条件付き生成モデルの方が学習の面でも使いやすさの面 でも有利であ
ControlNet in 🧨 Diffusers
Ever since Stable Diffusion took the world by storm, people have been looking for ways to have more control over the results of the generation process. ControlNet provides a minimal interface allowing users to customize the generation process up to a great extent. With ControlNet, users can easily condition the generation with different spatial contexts such as a depth map, a segmentation map, a s
How AI Transformers Mimic Parts of the Brain | Quanta Magazine
Understanding how the brain organizes and accesses spatial information — where we are, what’s around the corner, how to get there — remains an exquisite challenge. The process involves recalling an entire network of memories and stored spatial data from tens of billions of neurons, each connected to thousands of others. Neuroscientists have identified key elements such as grid cells, neurons that
Transformer
2022年6月8日にSSII 2022のチュートリアル講演で使用 2023年2月2日に順天堂大学産学連携講座：AI技術とビジネス活用で使用 2017年に機械翻訳を対象として提案されたTransformerは、従来の畳込みや再帰を排して自己注意機構を活用したニューラルネットワークです。2019年頃からコンピュータビジョン分野でも急速に応用が進んでいて、より柔軟かつ高精度なネットワーク構造としての地位を確立しつつあります。本スライドでは、そんなTransformerの最前線を概説しています。基盤モデルやVision Transformer、MLP/CNNの逆襲についても取り扱っています。 ・そもそもTransformerって？ ・Transformer旋風と基盤モデル ・Transformerのノウハウ ・Transformerはオワコン？！ ・CNNはオワコン？！
Deepでポン！Deep Learningによるホモグラフィ推定技術の調査（コード有り） - ABEJA Tech Blog
はじめに はじめに ホモグラフィ推定とは 特徴量ベースの手法 特徴点の抽出・特徴量の計算 LIFT: Learned Invariant Feature Transform [1] SuperPoint: Self-Supervised Interest Point Detection and Description [2] LoFTR: Detector-Free Local Feature Matching with Transformers [3] 対応関係の計算 Learning to Find Good Correspondences [4] Neural-Guided RANSAC: Learning Where to Sample Model Hypotheses [5] 画像マッチングベースの方法 Deep Image Homography Estimation [7] C
推薦システムにおけるニューラルネットワークの活用について読んだ論文をゆるくまとめる - Re:ゼロから始めるML生活
ここ数ヶ月くらい、推薦システムにおけるNNの活用というテーマで論文をちょこちょこ読んでいました。 推薦システムにNNを適用・応用するという守備範囲も広いテーマではありますが、せっかく良い機会なので自分用にまとめてみたいと思います。 理解が曖昧なところもあり、マサカリが飛んできそうな気配がプンプンしますが、がんばって書いてみたいと思います。マサカリコワイ... 前提知識 協調フィルタリング Matrix Factorization Factorization Machine ニューラルネットワークの推薦システムへの応用の傾向 Feature EngineeringとしてのNN Wide & deep DeepFM DCN AutoInt DCN V2 系列データとして取り扱うNN prod2vec AttRec BERT4Rec Transformers4Rec 参考文献 読んだ論文をまとめ
DEEP LEARNING · Deep Learning
2021 edition disclaimer Check the repo’s README.md and learn about: Content new organisation The semester’s second half intellectual dilemma This semester repository Previous releases Lectures Most of the lectures, labs, and notebooks are similar to the previous edition, nevertheless, some are brand new. I will try to make clear which is which. Legend: 🖥 slides, 📝 notes, 📓 Jupyter notebook, 🎥
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
Twitter: ottamm_190 追記 2022/4/24 speakerdeck版：https://speakerdeck.com/masatoto/shen-ceng-xue-xi-falsebu-que-shi-xing-uncertainty-in-deep-neural-networks コンパクト版：https://speakerdeck.com/masatoto/shen-ceng-xue-xi-niokerubu-que-shi-xing-ru-menRead less
機械学習の煩雑なパラメーター管理の決定版 「Hydra」「MLflow」「Optuna」の組み合わせで手軽にはじめる一元管理
Optuna™は、オープンソースのハイパーパラメーター自動最適化フレームワークです。 「Optuna Meetup #1」では、Optunaのユーザー、導入を検討している方、また開発者を中心に、Optunaの様々な活用方法が共有されました。中村氏は、Hydra・MLflow・Optunaを組み合わせたハイパーパラメーター管理について発表しました。 ふだんは音声合成と声質変換技術などの音声を用いる技術を研究 中村泰貴氏（以下、中村）：「HydraとMLflowとOptunaの組み合わせで手軽に始めるハイパーパラメータ管理」というタイトルで、東京大学大学院情報理工学系研究科の修士課程2年の中村が発表します。 軽く自己紹介ですが、先ほど述べたように情報理工学系研究科の、猿渡・小山研究室の修士課程2年です。音声合成に関する技術をふだん研究しています。「Twitter」をやっているので、ぜひフォロー
変換と高精細化の2段階に分けた声質変換 - Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)
概要 本研究では，少数のパラレルデータで学習可能な声質変換モデルと，多数のノンパラレルデータで学習可能な高品質化モデルに分けることで， 必要なパラレルデータ数を抑えつつ高品質な声質変換を行う手法を提案する。 1段目のモデルでは，時間方向に1次元畳み込み層を持つ畳込みニューラルネットワーク (CNN) を用いて， 時間的な依存関係を考慮しつつ，入力話者の基本周波数と低次のメルケプストラム系列を目標話者のものに変換する． 2段目のモデルでは，GANを用いて，過剰に平滑化された変換時の音響特徴を高精細化する． 実験結果から，従来手法と比べ，提案手法は同程度の自然性と高い個人性を持つ声質変換が可能であることを示した． 実験結果 主観評価実験により，変換音声の自然性と個人性をそれぞれ比較した． 自然性は音声が自然に聞こえるか，個人性は音声が目標話者らしく聞こえるかを表した指標である．
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
僕たちがグラフニューラルネットワークを学ぶ理由
機械学習と自動微分 (2023)
[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models![[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models](https://cdn-ak-scissors.b.st-hatena.com/image/square/65cb19b58389a8172f4ae0e0bffde9aca1b0c31e/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F1a79cc87bdcc460ab0db72d0d9f2f902%2Fslide_0.jpg%3F25289431)
The Annotated Transformer
bleeding edge
COYO-700M: Image-Text Pair Dataset
Weights & Biases: The AI Developer Platform
