PRML - White scenery @showyou, hatena

メンバー: syou6162,wilson,_a_u,showyou
場所: P240「5.2.3 勾配情報の利用」〜P252「5.4.1 対角近似」

ログ

tex記法やるとなんかずれるので後で修正予定。

勾配情報を使うことで必要な計算量がO(W^3)からO(W^2)に減らすことができる、らしい
5.42がよく分からない
一回だけの計算の話
逆誤差伝播
「局所的な」計算
バックプロパゲーション
ニュアンスがよく分からない<局所的
5.54は5.18のところを利用している
5.55のsumがなぞ
$\delta_j$ と $\delta_k$ で意味が違う
$a_k$ は $a_j$ に依存
Eはで構成
- $a_1, ..., a_k$ は $a_j$ に(独立して)依存
- ∂ E / ∂ a_j は ∂ E / ∂ a_1, ..., ∂ E / ∂ a_k の重み付き和？
E=E(f), f=f(x,y) のとき $\frac{dE}{df}=\frac{dE}{dx}*\frac{dx}{df} + \frac{dE}{dy}*\frac{dy}{df}$ 　？？？
$a_k=\sum_j w_{kj} z_j = \sum_j w_{kj} h(a_j)$
$\frac{a_k}{a_j} = h'(a_j) \sum_j w_{kj}$
$\frac{da_k}{da_j} = h'(a_j) w_{kj}$ (5.56)
$\frac{d}{dx} \frac{f(x)}{g(x)} = \frac{(f(x)g'(x) - f'(x)g(x))}{g(x)^2}$ あたりでよかったっけ？>ですね
中心差分法
$\frac{1}{2}*(\frac{E(w+e)-E(w)}{e}+\frac{E(w)-E(w-e)}{e})$ 演習5.14
5.79 定義？->連鎖法則を使った修正
（５．８０）やばい
あとで導出誰かに教えてもらったほうがいいのかなぁ。
$\frac{d}{d^2a_j}\frac{d}{d^2a_j}E$
$\frac{d}{d^a_j}\frac{d}{d^a_j}E$
$\frac{d}{da_j} = \frac{d}{da_k} \frac{da_k}{da_j}$
$\frac{da_k}{da_j} = w_{kj} h'(a_j)$
$(d/da_k * da_k/da_j )(d/da_k * da_k/da_j ) En$
$\frac{d}{da_k} \frac{d}{da_k} \frac{da_k}{da_j} \frac{da_k}{da_j} *E_n$ が(5.80)の第一項？
$\frac{da_k}{da_j} = w_{kj} h'(a_j)$
$(\frac{d}{da_k}\frac{d}{da_k} ) (w_{kj} h'(a_j) ) En$ 合成関数の微分になってる