タグ

ブックマーク / ibisforest.org (6)

  • 圧縮センシング - 機械学習の「朱鷺の杜Wiki」

    圧縮センシング (compressed sensing, compressive sensing)† 未知の大きさ \(m\) の信号ベクトル \(\mathbf{x}\),観測される大きさ \(n\) の観測ベクトル \(\mathbf{y}\),既知の \(n\times m\) の変換行列 \(A\) について,次の関係が成立しているとする \[\mathbf{y}=A\mathbf{x}\] \(A\) のランクが \(m\) 未満なら \(\mathbf{x}\) を知ることはできず,よって \(n\lt m\) なら一般には知ることはできない.しかし,信号ベクトルの非0要素の数 \(k\) が \(k \ll m\) なら \(\mathbf{x}\) を高い確率で復元できる. \(L_0\) 復元法では, \(\mathbf{y}=A\mathbf{x}\) を満たす \(\

  • グラフマイニング - 機械学習の「朱鷺の杜Wiki」

    Freeware† ChemCPP:グラフを扱うカーネルのC++ライブラリ GraphStream:グラフの変化をアニメーションしながら描画 JUNG (Java Universal Network/Graph Framework):グラフ処理ライブラリ (java) (Jung@TECHSCORE) igraph:グラフ処理 C, python, R ruby のラッパ PEGASUS:大規模グラフマイニング VGJ:グラフ描画 (java)-Walrus:グラフ描画 (java) ↑ 関連文献† 鹿島 久嗣「グラフマイニング」 鷲尾 隆 "データインテンシブコンピューティング ―その1 離散構造マイニング―" 人工知能学会誌,vol.22, no.2 (2007) 鷲尾 隆 他 "グラフマイニングとその統計的モデリングへの応用" 統計数理, vol.54, no.2 (2007) 猪口

  • ニューラルネット - 機械学習の「朱鷺の杜Wiki」

    ニューラルネット (neural network)† ニューロンのモデルを入力の線形和を非線形変換したものとするのが基である. 統計的な観点から見ると,これは一般化線形モデルということになる. また,関数近似的な観点からは,峰型のリッジ関数のモデル化である. ニューラルネットはこれらを互いに結合したものであり,フィードバックがあるかないかで扱いがかなり異なる. フィードバックがない場合は多層パーセプトロンといい,原理的には何層も重ねることが出来るが,中間の層が一つだけの三層ニューラルネットを用いることが多い(三層で任意の関数が近似可能であることが示されている). 多層パーセプトロンの代表的な学習法にバックプロパゲーションがある. 三層パーセプトロンでは入力から中間素子への変換が基底関数,中間素子から出力への変換がその基底関数の線形和とみなすことができる. 通常の基底関数展開は基底関数が固

  • 隠れMarkovモデル - 機械学習の「朱鷺の杜Wiki」

    隠れMarkovモデル (hidden Markov model)† 状態を潜在変数となっているMarkovモデルに状態に依存した観測変数のシンボルの出力確率 \(b_j(k)=\Pr[v_k|q_t=S_j]\) を加えたもの. すなわち,初期状態分布 π,遷移確率分布 A,観測変数のシンボルの出力分布 B で定義される. 隠れMarkovモデル:\(\lambda=(A,B,\pi)\) 潜在変数である状態:\(\{S_i\}_i^N\) 遷移確率分布 \(A\):時刻 t で状態 \(S_j\) へ遷移する確率 \[\Pr[q_t=S_j|q_{t-1}=S_i,\ldots,q_{t-n}=S_k]\] 観測シンボル確率分布 \(B\):状態 \(S_j\) でシンボル \(v_k\) が出力される確率 \[b_j(k)=\Pr[v_k|q_t=S_j]\] 初期状態分布 \(\p

  • k-means法 - 機械学習の「朱鷺の杜Wiki」

    k-means法 (k-means method)† 次の目的関数を最小化する分割最適化クラスタリングの代表的手法. \[\mathrm{Err}(\{X_i\})=\sum_i^k\;\sum_{\mathbf{x}\in X_i}\;{\|\mathbf{x} - \bar{\mathbf{x}}_i\|}^2\] ただし,データ集合 \(X\) は,ベクトルで表現されたデータ \(\mathbf{x}\) の集合. クラスタ \(X_i\) は,データ集合の網羅的で互いに素な部分集合. \(\bar{\mathbf{x}}_i\) は \(X_i\) 中の重心(セントロイドともいう). \(\|\cdot\|\) はユークリッドノルム. ↑ アルゴリズム† 入力はデータ集合 \(X\) とクラスタ数 \(k\),および最大反復数 maxIter. 初期化:データ集合をランダムに \(

  • 単純ベイズ - 機械学習の「朱鷺の杜Wiki」

    単純ベイズ (naive Bayes)† クラス \(c_1,c_2,\ldots,c_M\) のいずれかに,事例 \(\mathbf{x}\) を分類する場合を考える.\(\mathbf{x}\) が \(K\)個の特徴 \((x_1,\ldots,x_K)\) で記述され,この事例の特徴の値は \(v_{1l_1},\ldots,v_{Kl_K}\) になっているとしよう. このとき,次式によって事例 \(x_i\) をクラスに分類する方法を単純ベイズ分類器 (naïve Bayes classifier) や 単純ベイズ法 と呼ぶ. \[\arg\max_{c_k} \Pr[C=c_k] \prod_{j=1}^K \Pr[x_{j}=v_{jl_j}|C=c_k]\] このモデルではクラスが与えられたときの,各特徴量の条件付独立が仮定されている. \[\Pr[x_i|c_k]=\p

  • 1