第十一回PRML勉強会
今回で２章終わり。次から３章。個人的には後半の方が知ってそうな感じ。
一方
2.4
指数型分布族について。
指数型分布族は以下の式で表される。
p(x|η) = h(x)g(η)exp{η^Tu(x)}
上記の形に表すことが出来れば、指数分布族と言えるらしい。
ベルヌーイ分布と二項分布のあたりは自分で実際に↑の式の形に変換する。
2.4.3 無情報事前分布
平行移動不変性やら尺度普遍性の式を見てたらアフィン変換とかに出てくる同次行列の平行移動や拡大とかいうのを思い出したけど・・まあ直接関係しないんだろう。
2.5 ノンパラメトリック法
なんかクラスがなんだかわからないって話をちらっと耳にしたけど、ここの場合だと例えばヒストグラムの一本一本の棒になるんだろうなぁ。平面なら各領域。
カーネル推定法はウィンドウサイズ(といっていいのかなぁ)を固定し、領域R内の点の総数Kを推定する。
一方でk-NNの場合は点の総数はわかってて、そこから領域Rを推定する。
ただし領域Rは密度が一定と近似できるほど小さいとか、領域内には二項分布の山が出来る程度の点が必要だとかいう制限が出てくる。
おまけ
勉強会で文章解析だと〜って話が出てきたので、終了後にちょっとha_maの改善点だとか、いい単語順序の生成方法だかを聞いてみた。前者は筆頭語だけを学習するといいかもって話があって、後者はHMMかなぁって話になった。
