PRML - White scenery @showyou, hatena

メンバー: syou6162,.a.u,laughing,wilson,showyou
範囲: P225「5.ニューラルネットワーク」〜P240「5.2.2 局所二次近似」

ログ

NN
基底関数をデータに適用させる必要？
ロジステック回帰を多層にしたもの
比較がよく分からない
一回作ってしまえば早い
SVMはモデル作るのは凸だから早い
http://www.geocities.co.jp/SiliconValley-Cupertino/3384/nn/NN.html 例えばこんなの
だけどデータ量が多いとテストするのが大変
http://blog.livedoor.jp/moro_tyo/archives/50624636.html
バックプロパゲーション
サポートベクターマシン(以下 SVM) とは
- ニューラルネットワークの一種
- 教師ありクラスタリング
SVM の基本的な考え方
- 元々2クラスの線形分離手法として提案される
- 単層パーセプトロンに似ているが、SVM はマージン最大化という手法をとっているのがポイント。
- マージン最大化とは、超平面と学習データの隙間となるマージンをなるべく大きく取ろうというもの。
基底関数に大して線形になっている
５．２と５．４のaは違う？
線形和→非線形変換→線形和→非線形変換
全部0だったとき、基準
関連ニューラルネットワーク showyou注:リカレントニューラルネットワークと関連ニューラルネットワークで混同しているかも。私が言いたかったのはNN自体が複数あって、２個目のNNの出力を1個目とか2個目の頭に戻すようなやつでした。→ポップフィールドネットワークが正しそう(thx @tkf!)
ネットワークパラメータ＝ｗのみ
隠れユニットの活性化関数が線形→h
同じ入出力関数を表わす2つの異なるベクトルを見つけることができる
対称性がある、だけかどうか
恒等写像に取れば十分
非線形基底を取れば線形ななんとかで十分
http://nkiso.u-tokai.ac.jp/math/matsuda/webmath/vector/node24.html 恒等写像
尤度最大化と誤差最小化は本質的に同値
betaからやろうとするとwが入ってしまう
退化→次元が下っているような状況
マルチラベル問題
いくつ属してもいいような場合
K個の異なる2クラス分類問題
Hが正定値ならE(w)は極小値？ showyou注:Hが正定値なら(5.32)右辺第二項が常に正になるため、どこかしらに極小値が存在する

感想

プログラムや図で書いたときはもっと楽なもんなのに、数式の方が却って難しく感じるよなぁ。

プログラムなら、

for(j=0;j<hiddenUnitSize;++j){
    tmpH[j] = 0;

    for(i=0;i<inputUnitSize;++i){
        tmpH[j] += w_i2h[i] * x[i];
    }
    h[j] = f(tmpH[j])l
}

for(k=0;k<outUnitSize;++k){
    tmpY[k] = 0;

    for(j=0;j<hiddenUnitSize;++j){
        tmpY[k] += w_h2o[j] * h[j];
    }
    y[k] = g(tmpY[k]);
}

とかで行けそうなのに。