mv db_posts db
rm db_ngrams
ruby migrate_ngrams.rb up
ruby make3gram.rb

忘れずにmake3gramし直す。


あと、ついでにBuzztterから検索してpostを構築する機能が付けてみた。
面白くなるかはわからないけど。


マルコフ連鎖でのpost構築は、今まで頭側から行っていたけど左右両方向へ伸ばすようにしたので
これで検索機能が付けられた

ruby post3gram.rb リナカフェ

「リナカフェ」を含むpostが作られる

make post with ‘リナカフェ’
リナ カフェ が 1
—search left 3-grams—
=” リナ カフェ 1
m =” リナ 1
‘ m =” 1
e ‘ m 1
- e ‘ 1
(h)ruby – e 1
—search right 3-grams—
カフェ が オススメ 1
が オススメ ！ 1(t)
ruby-e’m=”リナカフェがオススメ！

一定確率でbuzztterのRSSを取ってきて、名詞を抽出して、検索機能にかける。

確率の指定方法はsample.config.yamlに書いてあります
必要無い人は、0を指定してください。
何も設定しないとデフォルト3割ぐらいでばずるけど、この値は変わるかもしれない


ばずっているところ

search buzztter…
fetch http://buzztter.com/ja/rss
make post with ‘最近’
を 最近 作っ 1
—search left 3-grams—
もの を 最近 1
な もの を 1
みたい な もの 1
github みたい な 1
の github みたい 1
版 の github 1
ケータイ 版 の 1
(h)wassr ケータイ 版 1
—search right 3-grams—
最近 作っ て 1
作っ て パラレル 1
て パラレル twitter 1
パラレル twitter ワールド 1
twitter ワールド に 1
ワールド に する 1(t)
に する 方法 1
wassrケータイ版のgithubみたいなものを最近作ってパラレルtwitterワールドにする方法

• あるユーザの過去の発言を3000件程度取得する
• 発言データを再構成する
• 再構成して発言する
• followerにランダムに話しかける
• followしてきたユーザをfollowし返す
• 言及してきた発言をtwitter searchで検索し、favotiteし返す

• twitter
• activerecord
• feed-normalizer
• hpricot
• xml-simple
• simple-rss
• sqlite3-ruby
• mecab

• 形態素解析エンジンMeCabをインストールしなおし（utf8で） – 橋本詳解
• MeCabのRubyバインディングをインストール – 橋本詳解

• MeCabをUbuntuにインストール – 橋本詳解
• MeCab辞書の切り替え – 橋本詳解
• MeCab Rubyバインディングをインストール – 橋本詳解

hg clone http://bitbucket.org/shokai/bot-ahokai/ mybot

して、自分のマシンに置いてください。


■アカウント設定
まず、俺の場合”ahokai”というtwitterアカウントに喋らせたかったので、メールアドレスをもう1つ用意して取りました。
sample.config.yamlを編集し、config.yamlに名前を変えて保存します。

アカウントshokaiから収集し、ahokaiに発言を投げる場合はこうなります

usernum : “3631571″ # データ収集のためのユーザ番号
user : “ahokai”
pass : “twitter-password”

usernumは、取得したい各twitterアカウントの左下から、RSSのURLを見ると番号がわかります

（3631571はshokaiの番号です、各自変えてください）


■データベースの設定
同じディレクトリにSQLite3のDBを作ります。
ダウンロードしたディレクトリに移動して
コマンドラインで

ruby migrate_posts.rb up
ruby migrate_ngrams.rb up

すると、dbというファイルが生成されます。この中に回収した自分の発言などが入ります


■発言データのクロール
1ページ目から160ページ目までクロールします。

ruby store.rb 1-160

現在のtwitterのAPIは過去の160ページまでしかデータが取得できないので、それ以上は無駄です
twitterに負荷をかけないようにアクセス間隔を開けているのでかなり時間がかかります。


今後は引数無しで実行すると、デフォルトで10ページ取得します。

ruby store.rb

数日に1回行えば十分です


※注意：あまり激しく実行すると、1~2時間twitterからアクセス拒否されます


■n-gramモデルの作成
3-gramモデルを作成します。発言件数によってはかなり時間がかかります。

ruby make3gram.rb

モデル作成中でも、発言はできます。せっかちな人はmake3gramを走らせておきながら、次に進んで良いです



■発言する
3-gramモデルからマルコフ連鎖して発言します

ruby post3gram.rb

5%の確率で、followerの誰かに@reply発言します。


■自動follow返し、自動favorite返し
この処理はそれほど重くないので、1時間に1回ぐらい走らせておくと便利です。

ruby refollow.rb

現在のfollowers/friends一覧を取得し、新しいfollowerが居たらfollow仕返します

Twitter Searchでbot宛の発言を検索し、favoriteを付けます

ruby refav.rb

■常時使い続ける
store.rbとmake3gram.rbは3日に1回ぐらい動かせば十分です。初回のみ160ページ分解析するので時間がかかりますが、2回目以降は差分のみ計算するのですぐ終わります。

refav.rbとrefollow.rbは好きな間隔で。1時間に1回でも十分だと思います。


post3gram.rbは、あまり動かしすぎると本人より目立ってしまい、いつの間にか人間と入れ替わってしまうので気をつけて下さい。

気になるあのアルファギークのbotを自分のサーバで飼う事も、ひとつの歪んだ愛の形かもしれません。


ちなみに俺は、crontabで定期的に収集・分析・発言などを実行するように設定しています

*/17 * * * * /usr/bin/ruby /home/sho/src/ruby/ahokai/post3gram.rb > /dev/null 2>&1
*/5 * * * * /usr/bin/ruby /home/sho/src/ruby/ahokai/refollow.rb > /dev/null 2>&1
*/19 * * * * /usr/bin/ruby /home/sho/src/ruby/ahokai/refav.rb 10 > /dev/null 2>&1
30 */4 * * * /usr/bin/ruby /home/sho/src/ruby/ahokai/store.rb 10; /usr/bin/ruby /home/sho/src/ruby/ahokai/make3gram.rb