PRML

先週分のログ。私は参加していない。

メンバー

syou6162,wilson,a.u.,Lian,laughing

範囲

P252 5.4.2〜P261 5.5.1

• 回帰の問題だから恒等写像。Eをynで微分している
• 5.83式
• Eをwで微分している
• だから∇。∇∇1/2Σ(y-t)^2-∇Σ(y-t)∇(y-t)
• =∇Σ(y-t)∇y
• =Σ∇(y-t)∇y + Σ(y-t)∇∇y
• =Σ∇y∇y + Σ(y-t)∇∇y
• ∇∇＝？
• ∇∇＝∇・∇＝Δ　？
• すからー?
• http://upload.wikimedia.org/math/1/1/1/1116e694cdf4c5c282a728de223691ba.png
• 5.83の第二項はスカラー？なので単位行列を補う？
• http://en.wikipedia.org/wiki/Outer_product
• http://ja.wikipedia.org/wiki/%E3%82%AF%E3%83%AD%E3%82%B9%E7%A9%8D
• a × b = (ab sin θ) e ←クロス積
• ２｜３
• -------
• ３｜１　　　　p255
• 5.97 v^t∇w = v^t(1+1+1+...) = Wv^t ではない？
• http://www.bcl.hamilton.ie/~barak/papers/nc-hessian.pdf
• v^t ∇ ＝ (v_1 ∂/ ∂ w_1) + (v_2 ∂/ ∂ w_2) + ...
• v^t ∇ w = [((v_1 ∂/ ∂ w_1) + (v_2 ∂/ ∂ w_2) + ...)w_1 , ((v_1 ∂/ ∂ w_1) + (v_2 ∂/ ∂ w_2) + ...)w_2, ...]^t
• 来週は5.5.2から

補足

うぃるそん: 古い話題ですが，2層パーセプトロンでどんな非線形関数でも近似できることに関する証明を書いた論文はこれのようです．citationにどうぞ．
http://portal.acm.org/citation.cfm?id=70405.70408