RWA (Recurrent Weighted Average) モデルを学習させてみた in Keras - Qiita
RWA (Recurrent Weighted Average) とは？ 論文 (Machine Learning on Sequential Data Using a Recurrent Weighted Average) はこちら 上図の c が RWA のモデル概略図です (a は通常の LSTM、b はアテンション付きの LSTM)。 RWA とは、系列データを扱う再帰的ニューラルネットワーク (Recurrent Neural Networks; RNN) の派生のひとつです。 提案論文中では、RNN の実装としてよく使用されている LSTM と比較して、 精度が良い 収束が速い パラメータ数が少ない と、良いことずくめのことが書いてあります。 その主張の強さとアーキテクチャの簡明さに驚き、また、現在ほぼデファクトスタンダードとなっている LSTM を本当に上回ることができるのか
GraphNVP: An Invertible Flow Model for Generating Molecular Graphsを読んだのでメモ - 機械学習とかコンピュータビジョンとか
はじめに GraphNVP: An Invertible Flow Model for Generating Molecular Graphsを読んだのでメモ．Generative flowを使ってmolecular graphを生成する初めての試みとのこと． GraphNVP Generative Flowの一般的な話は何度か記事にしているのでここでは割愛． 今回は，molecular graphをgenerative flowを使って生成するのが目的．ここではグラフの生成を，ノードの隣接関係の記述とノードの表現（ラベル）の二つに分けて考える． 定義として，グラフをとし，をそれぞれ，adjacency tensorとfeature matrixとする．ただし，隣接関係の種類を，ノードのラベルの種類をとした．グラフが与えられた時にとなるようなモデルを作る．今回はモデルとしてGenerati
マルチタスク学習 × CVR予測の研究まとめ - Qiita
はじめに 今回はCVR (Conversion Rate) 予測の問題をマルチタスク学習で解く研究の論文をいくつか調べたのでまとめていきたいと思います。 CVR予測はユーザーが広告をクリックした後、商品の購入やフォームの入力などのコンバージョンが生じる確率 (Conversion Rate) を予測するというタスクです。 コンバージョンは商品の購入などが例であることから想像できるとおり、データが少なくなりやすい、クリックされていない広告はコンバージョンしないという系列的な依存関係がある、などのCVR予測特有の難しさがあります。 CVR予測に似たCTR (Click Through Rate) 予測 (クリックされる確率の予測) の手法をそのまま適用するだけでは上記の難しい点に対処しきれないため、さまざまな観点から予測精度の改善を試みた研究がなされています。 今回の記事では、コンバージョン以
【因果探索・因果推論】DeepLearningを用いた因果探索(SAM)を実行 - Qiita
最近、因果推論・因果探索について勉強したので、 DeepLearning・GANを使用した因果探索の手法であるSAM(Structural Agnostic Modeling)[2018]のPython実装例を記載します。 最も有名であろうベイジアンネットワークについては別記事にて後日実装例を公開してみたいと思います。 本記事はSAMのみになります。 データはTitanicデータを使用しました。 目次 ゴール 因果関係とは SAMとは 実装例 コードとデータのダウンロード 環境準備 コード実行 最後に 1. ゴール ゴールは下図のように、データから因果関係の有無・方向性を算出することです。 これを因果探索と呼びます。 一方、これらの因果関係(矢印)の大きさを推定することを因果推論と呼びます。 2. 因果関係とは そもそも、因果関係とは何かを簡単に説明します。 「ある変数Xを大きくしたらある
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
