何でも微分する
IBIS 2023 企画セッション『最適輸送』 https://ibisml.org/ibis2023/os/#os3 で発表した内容です。 講演概要: 最適輸送が機械学習コミュニティーで人気を博している要因として、最適輸送には微分可能な変種が存在することが挙げられる。微分可能な最適輸送は様々な機械学習モデルに構成要素として簡単に組み入れることができる点が便利である。本講演では、最適輸送の微分可能な変種とその求め方であるシンクホーンアルゴリズムを紹介する。また、この考え方を応用し、ソーティングなどの操作や他の最適化問題を微分可能にする方法を紹介するとともに、これらの微分可能な操作が機械学習においてどのように役立つかを議論する。 シンクホーンアルゴリズムのソースコード：https://colab.research.google.com/drive/1RrQhsS52B-Q8ZvBeo57vK
ロジスティック回帰の自然勾配降下法｜内場 崇之｜note
Introduction機械学習の学習アルゴリズムではさまざまな数理最適化が活躍しています。今回はロジスティック回帰を例に、 ・標準的な学習アルゴリズムである勾配降下法 ・勾配降下法のconsを解決し得る自然勾配降下法 を紹介し、その比較対照実験を行いましょう。 なお勾配降下法や自然勾配降下法の実装はR言語によって行っています。環境はMac OS version 10.14, R version 3.5.0です。また、このノートは数値計算 Advent Calendar 2018, 14日目の記事になります。作成者の@ceptreeさんに感謝申し上げます。なお、急用により投稿が遅くなってしまったことをお詫び申し上げます。 デモデータの生成ロジスティック回帰の学習に用いるデータを乱数で生成しておきましょう。 ・ラベルy = 1のデータポイントを母平均(1, 1), 母分散Eで生成する。 ・ラ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
