2012-07-14 TokyoWebmining#20 で発表してきました 技術 スライド http://bit.ly/LgvU1n Twitter社での大規模機械学習として、Tweetのネガ・ポジ判定をロジスティック回帰使ってHadoop+Pigで回してるよ、的な話をしてきました。 ただちゃんと読み切れてなくて、emoticon( :)とか :< みたいな顔文字)をそのまま感情のネガ・ポジに当ててるとは思いませんでした。。。まだまだ読解力が足りない。 あと今回デモとして公開してるソースは、Pig+UDFで処理を行うだけってものです。Twitter社の学習用関数が公開されていないので、似た動きをするの実装するしかなさそうです。 https://github.com/showyou/tokyowebmining20_pig