White scenery @showyou, hatena

If you have any comments, you may also send twitter @showyou.

TokyoWebmining#20 で発表してきました

スライド http://bit.ly/LgvU1n

Twitter社での大規模機械学習として、Tweetのネガ・ポジ判定をロジスティック回帰使ってHadoop+Pigで回してるよ、的な話をしてきました。

ただちゃんと読み切れてなくて、emoticon( :)とか :< みたいな顔文字)をそのまま感情のネガ・ポジに当ててるとは思いませんでした。。。まだまだ読解力が足りない。

あと今回デモとして公開してるソースは、Pig+UDFで処理を行うだけってものです。Twitter社の学習用関数が公開されていないので、似た動きをするの実装するしかなさそうです。

https://github.com/showyou/tokyowebmining20_pig