今後の方針

ここまでやったこと

• PRML上巻読んだ後、PRML下巻読んでる。正直ちゃんと予習/復習が追いついてなくてひぃひぃ言ってるけど。上巻読み始めたころは正規分布すらわかってなかったのでほんの少しは身についてるかも。
• SVMで「ただいまー」と「ただいま午前10時です」見たいな文章の塊をを分離しようとした
  • 前者対後者の比が95:5くらいなので結構ミスってる気が。ただfalse-negativeだかfalse-positiveだか忘れたけど片方だけ起きてるようなのでデータ量増やせばなんとかなる・・かなぁ。
• 次にpLSAをまねして書いてみた。こっちはまだサンプルデータを分類した程度。
• PRMLの下巻10章にある変分混合ガウス分布を半分自力(といっても教科書見ながらだけど)。初期値に結構依存するけどEステップの各式の値を見れば少しなんとかなる気がする。・・というかもしかして初期値だかハイパーパラメータ＋分布をDirichlet分布で事前分布？を導入するのがpLSA->LDAに近い流れなのかなぁと思ったり。

んで以上の話から何をしたいかというと、「無脳たちの応答のバリエーションを自動で増やしたいかなぁ」ということなのです。そのための自動カテゴリ(おはように属するとか、おかえりに属するとか)。それと最近「帰宅中」で「おかえり」とか返すと「まだかえってないよ！」ってレスがいくつか着てるので、これを既存のデータからうまく線形分離できないかなぁとか。

ここまでは自然言語処理っぽい話。ただ人工無脳の改良を続けるならまだまだ足りない感じがする。
一つにAという発言をしたときに返信が帰ってくるかで内部状態をどう変えるとか。

ついでに内部状態の遷移も気になってる。これはSIG-WI2で我妻さんが発表した資料がすげーと思って思わすメールしてどんな資料漁ればいいかとか教えていただいたのですが、PRMLの復習しててなかなか資料読むまでには至ってない・・(返信遅くて申し訳ございません)。ただベイズではなく一定周期の波＋微分方程式を印象を受けたのでPRMLとはまた別領域なのかなと思った。動物実験というよりも、なぜその結果が一定周期の波みたいなので動かせるのが気になる。

ちなみに内部状態の遷移、決まったパターンでいいなら先日のpythonのyield(http://d.hatena.ne.jp/showyou/20100412/1271062517)とかLuaのcoroutineでも使えば状態遷移をあまり気にせずにかけるんじゃないかなぁ。

あと、機械科のロボット系の機械学習とNLPってなかなか結合しない気がするんだけど。私の無知なだけかなぁ。

・・以上長くなった。これを一挙に片付けるのに体持つんだろうか・・ここの要素の開拓は詳しい方にお任せするとして、うまく使ってトップダウン的に問題解決していきたい。