hama実装

今日はログの各文毎に、単語同士の存在確率を数えてみることにしました。
例えば「今日はいい天気ですね」という文章があった場合、
p(今日andは)++,p(今日andいい)++,・・といった集計をしています。
ただしこの方法だと頻出する文ほど多くなるので、例えば「今日」という単語が出た文の数を保管して、
p(今日andは)等を文の数で割っています。
これを行えば文法っぽいものを自動で把握できるかなぁと甘い考えを持ってるのですが・・明日あたり集計結果を分析してみます。