PRML

そして今日の分

メンバー

wilson,a.u.,laughing,showyou

範囲

P261 5.5.2〜5.5.5

• 図5.12
• 右側の垂直破線：検証用集合の誤差が最小
• 図5.13 。なんでw^~の位置がいいのか
• >先に固有値の大きい、w2が先に許容誤差に収まる。その点で止めれば早期終了になる
• 過学習しない
• τη=λ^-1(演習).これτλとτが反比例してるが、τ増えると有効パラメータが増えるっていうのは本当か？上の式だと逆になる気が
• 5.5.3:回転不変性は？→ここでは扱ってない showyou注：5.5.4だかはそんなこと表してるけど-図5.15 変換を施すと多様体M上に乗る
• ξがベクトルなら？→それぞれの多様体毎に抽出して足す
• 局所的には不変→大局的には
• 接距離
• ξ横軸、p(ξ)縦軸みたいな分布
• y(s(x,ξ)) をξで微分すると？
• P269一番上の式、単純な代入と言うかテイラー展開っぽい。
• y(s)
• = y(s)|ξ=0 + ξ ∂/∂ξ s ∂/∂ξ y(s) |ξ=0 ...
• = y(x) + ξ τ^T ∇y(x)
• 1/2∫∫∫{ys-t}^2... = 1/2∫∫∫{ys^2 -2ys*t + t^2}...
• 1/2∫∫∫{ys^2-2ys*t + t^2}...
• =1/2∫∫∫{yx^2 + y(1)^2 + y(2)^2 + 2yx*y(1) + 2y(1)y(2) + 2yx*y(2) - 2{yx+y(1)+y(2)}t +t^2 }...
• =1/2∫∫∫{yx^2 - 2yx*t + t^2+ 2yx*y(1) - 2y(1)*t + 2yx*y(2) - 2y(2)t +y(1)^2}...
• y(2) = 1/2 なんとかなので、
• o(ξ)ってなんだろ？主要次数ってなんだろ？
• 5.134
• 次回P270「5.5.6」〜

補足

「1/2∫∫∫{y-t}^2... = 1/2∫∫∫{y^2 -2yt + t^2}...」の部分は記号をいろいろはしょってます。y=y(s(x,ξ)),yx=y(x),y(1)とかy(2)はP268のy(s(x,ξ))のテイラー展開の1次微分、2次微分のこうです。...はp(x)とかそっからうしろの項全体。2y(1)y(2)とかy(2)^2は３次微分になるためo(ξ^3)に押し込まれるとおもうのだけど。んでξは他の変数に依存していないと思うので、∫p(ξ)dξは計算できると。

感想

ここの章、この本にしては珍しく統計とか尤度関数とか出てこないですね。まあ5章の始めのほうでニューロと確率だかが似ていることを話していたと思ったからいいのかなぁ。

あとどうしても私は数値計算にとらわれるがちで何やってるのか理解してなかったりしますが、早期終了の章は過学習を防ぐ為にある程度わかりやすいとこ(図だと固有値の大きい方の変数が許容誤差の範囲に収まったら)で打ち切るって話ですかね？あとξを導入してるのは時間的連続変換をかけることで様々な位置にあると思われるある訓練データの点xnをξを使って一次元多様体Mにマッピングするって事でいいのかしら？

どうでもいいけどo(ξ)ってなんなんでしょうね。テイラー展開のo(ξ^3)なら3次微分の項以下とかわかるのですが、そもそもo(ξ)って計算量のオーダーって意味もありますし・・