hama強化？

http://twitter.com/ha_ma
今まではtwitterログの空気を読まずにランダムに生成していたのだけど、今度のは次のように変えた。

• twitterのログから名詞を抽出
• 名詞で統計を取り、多いうちのいくつかから一つの単語を選ぶ
• その単語が入るように文章を作る。
• 具体的に言うと、単語から後ろに向かって続く文章を作る。(これはいままでのやり方)
• さらに単語から前に向かって続く文章を作る。(このとき必要なのが、逆転させたマルコフテーブル)

実行結果はこんな感じ。

>hama.py
url+http://twitter.com/statuses/friends_timeline.json?page=1
ha 名詞,固有名詞,組織,*,*,*,*
ma 名詞,固有名詞,組織,*,*,*,*
人工 名詞,一般,*,*,*,*,人工,ジンコウ,ジンコー
脳 名詞,一般,*,*,*,*,脳,ノウ,ノー
エンジン 名詞,一般,*,*,*,*,エンジン,エンジン,エンジン
rs 名詞,固有名詞,組織,*,*,*,*
pferd 名詞,固有名詞,組織,*,*,*,*
論文 名詞,一般,*,*,*,*,論文,ロンブン,ロンブン
吉野家 名詞,固有名詞,組織,*,*,*,吉野家,ヨシノヤ,ヨシノヤ
http 名詞,固有名詞,組織,*,*,*,*
ustream 名詞,固有名詞,組織,*,*,*,*
tv 名詞,固有名詞,組織,*,*,*,*
channel 名詞,固有名詞,組織,*,*,*,*
tacke 名詞,固有名詞,組織,*,*,*,*
tadaima 名詞,一般,*,*,*,*,*
ー 名詞,一般,*,*,*,*,*
コンパチ 名詞,一般,*,*,*,*,*
ストライク 名詞,一般,*,*,*,*,ストライク,ストライク,スト
真ん中 名詞,一般,*,*,*,*,真ん中,マンナカ,マンナカ
youpy 名詞,一般,*,*,*,*,*
dis 名詞,固有名詞,組織,*,*,*,*
takimo 名詞,固有名詞,組織,*,*,*,*
カー 名詞,一般,*,*,*,*,カー,カー,カー
ust 名詞,固有名詞,組織,*,*,*,*
http 名詞,一般,*,*,*,*,*
ustream 名詞,固有名詞,組織,*,*,*,*
tv 名詞,固有名詞,組織,*,*,*,*
channel 名詞,固有名詞,組織,*,*,*,*
tacke 名詞,固有名詞,組織,*,*,*,*
ー 名詞,一般,*,*,*,*,*
http 名詞,固有名詞,組織,*,*,*,*
www 名詞,固有名詞,組織,*,*,*,*
myspace 名詞,固有名詞,組織,*,*,*,*
com 名詞,固有名詞,組織,*,*,*,*
hanali 名詞,固有名詞,組織,*,*,*,*
月 名詞,一般,*,*,*,*,月,ガツ,ガツ
Tw 名詞,固有名詞,組織,*,*,*,*
バグ 名詞,一般,*,*,*,*,バグ,バグ,バグ
イノセンス 名詞,一般,*,*,*,*,*
充 名詞,固有名詞,人名,名,*,*,充,ミツル,ミツル
大人 名詞,一般,*,*,*,*,大人,タイジン,タイジン
事情 名詞,一般,*,*,*,*,事情,ジジョウ,ジジョー
ｗｗｗ 名詞,固有名詞,組織,*,*,*,*
電灯 名詞,一般,*,*,*,*,電灯,デントウ,デントー
形状 名詞,一般,*,*,*,*,形状,ケイジョウ,ケイジョー
Tw 名詞,固有名詞,組織,*,*,*,*
Ust 名詞,一般,*,*,*,*,*
調子 名詞,一般,*,*,*,*,調子,チョウシ,チョーシ
ー 名詞,一般,*,*,*,*,*

ーx3
httpx3
Twx2
tackex2
tvx2
channelx2
ustreamx2
論文x1
カーx1
tadaimax1

base:tacke
4人の地域では、とhttp://ustream.com/channel/tackeなのよ

今だとust関連の単語があるので、横文字の連発になってちゃんと発言してるようには見えませんね。
ちなみに現在は一つの単語から前/後に向かってマルコフ連鎖していますが、いくつかの単語を選んでその単語間でマルコフ連鎖するのも容易です。

#しっかし、そろそろソースが見づらくなってきたので、誰かにレビューお願いしたいなぁ。