• ruby twitter gem0.6あたりから認証方法が変わったので、現最新版(0.6.6)に対応
• タイムラインに含まれる名詞の出現回数をチェックしてその単語から文章を作る
• post前に発言を検閲し、NGワードが含まれていたら発言を再度作り直す

sudo gem update twitter –remote

windowsの場合はsudoはいりません。


—–（ここから下の機能は、設定しなくても今まで通り動くので面倒ならやらなくて良い）—–


■ruby twitter gemの認証方法の変更への対応
コンストラクタに渡す引数が変わってた → twitter gemのHTTPAuth – 橋本詳解


■タイムラインに含まれる名詞の出現回数をチェックしてその単語から文章を作る
Buzzwords.rbに実装した。
timelineをMeCabで名詞だけ抽出して、出現回数をチェックして適当に名詞を選びそこから左右にマルコフ連鎖を伸ばす。
以前実装したbuzztterのRSSから発言を作る機能を拡張したので一瞬で完成した。

config.yamlのbuzzratioという項目で頻度が設定できます。sample.config.yamlを参考にしてください。

# twitter user/pass to post
usernum : “3631571″ # see your Feed of twitter
user : “username”
pass : “password”

## post with buzztter ratio
buzzratio : 0.3 # 30%

## search words for refav
#searchwords : ["ahokai", "あほか"]

## block NG words
#blockngwords : “true”

## for debug
#nopost : “true”

0.0にすれば動作しなくなり、1.0にすると確実に空気を読みます。
なお、バズワードの取得元は自分のtimelineだけではなく、buzztterからもランダムに取得します。


■post前に発言を検閲し、NGワードが含まれていたら発言を再度作り直す
bot元にしたらbotが確実に犯罪予告しそうな人がいたので、安全な言葉を出すまで発言を再構築させて犯罪防止をする機能を追加。
ngwordsに正規表現を書いておく。

.*殺.*
.*死.*
.*糞.*
.*うんこ.*
.*爆破.*
.*爆発.*

安全な言葉を出すまで10回再提出させて、無理ならあきらめる仕様なのであまり多くすると何もしゃべれなくなる。

config.yamlで

## block NG words
#blockngwords : “true”

を

## block NG words
blockngwords : “true”

とコメントアウトを外せば検閲機能が有効になります。

検閲はpost3gram.rbの中で実装してます

mv db_posts db
rm db_ngrams
ruby migrate_ngrams.rb up
ruby make3gram.rb

忘れずにmake3gramし直す。


あと、ついでにBuzztterから検索してpostを構築する機能が付けてみた。
面白くなるかはわからないけど。


マルコフ連鎖でのpost構築は、今まで頭側から行っていたけど左右両方向へ伸ばすようにしたので
これで検索機能が付けられた

ruby post3gram.rb リナカフェ

「リナカフェ」を含むpostが作られる

make post with ‘リナカフェ’
リナ カフェ が 1
—search left 3-grams—
=” リナ カフェ 1
m =” リナ 1
‘ m =” 1
e ‘ m 1
- e ‘ 1
(h)ruby – e 1
—search right 3-grams—
カフェ が オススメ 1
が オススメ ！ 1(t)
ruby-e’m=”リナカフェがオススメ！

一定確率でbuzztterのRSSを取ってきて、名詞を抽出して、検索機能にかける。

確率の指定方法はsample.config.yamlに書いてあります
必要無い人は、0を指定してください。
何も設定しないとデフォルト3割ぐらいでばずるけど、この値は変わるかもしれない


ばずっているところ

search buzztter…
fetch http://buzztter.com/ja/rss
make post with ‘最近’
を 最近 作っ 1
—search left 3-grams—
もの を 最近 1
な もの を 1
みたい な もの 1
github みたい な 1
の github みたい 1
版 の github 1
ケータイ 版 の 1
(h)wassr ケータイ 版 1
—search right 3-grams—
最近 作っ て 1
作っ て パラレル 1
て パラレル twitter 1
パラレル twitter ワールド 1
twitter ワールド に 1
ワールド に する 1(t)
に する 方法 1
wassrケータイ版のgithubみたいなものを最近作ってパラレルtwitterワールドにする方法

• あるユーザの過去の発言を3000件程度取得する
• 発言データを再構成する
• 再構成して発言する
• followerにランダムに話しかける
• followしてきたユーザをfollowし返す
• 言及してきた発言をtwitter searchで検索し、favotiteし返す

• twitter
• activerecord
• feed-normalizer
• hpricot
• xml-simple
• simple-rss
• sqlite3-ruby
• mecab

• 形態素解析エンジンMeCabをインストールしなおし（utf8で） – 橋本詳解
• MeCabのRubyバインディングをインストール – 橋本詳解

• MeCabをUbuntuにインストール – 橋本詳解
• MeCab辞書の切り替え – 橋本詳解
• MeCab Rubyバインディングをインストール – 橋本詳解

hg clone http://bitbucket.org/shokai/bot-ahokai/ mybot

して、自分のマシンに置いてください。


■アカウント設定
まず、俺の場合”ahokai”というtwitterアカウントに喋らせたかったので、メールアドレスをもう1つ用意して取りました。
sample.config.yamlを編集し、config.yamlに名前を変えて保存します。

アカウントshokaiから収集し、ahokaiに発言を投げる場合はこうなります

usernum : “3631571″ # データ収集のためのユーザ番号
user : “ahokai”
pass : “twitter-password”

usernumは、取得したい各twitterアカウントの左下から、RSSのURLを見ると番号がわかります

（3631571はshokaiの番号です、各自変えてください）


■データベースの設定
同じディレクトリにSQLite3のDBを作ります。
ダウンロードしたディレクトリに移動して
コマンドラインで

ruby migrate_posts.rb up
ruby migrate_ngrams.rb up

すると、dbというファイルが生成されます。この中に回収した自分の発言などが入ります


■発言データのクロール
1ページ目から160ページ目までクロールします。

ruby store.rb 1-160

現在のtwitterのAPIは過去の160ページまでしかデータが取得できないので、それ以上は無駄です
twitterに負荷をかけないようにアクセス間隔を開けているのでかなり時間がかかります。


今後は引数無しで実行すると、デフォルトで10ページ取得します。

ruby store.rb

数日に1回行えば十分です


※注意：あまり激しく実行すると、1~2時間twitterからアクセス拒否されます


■n-gramモデルの作成
3-gramモデルを作成します。発言件数によってはかなり時間がかかります。

ruby make3gram.rb

モデル作成中でも、発言はできます。せっかちな人はmake3gramを走らせておきながら、次に進んで良いです



■発言する
3-gramモデルからマルコフ連鎖して発言します

ruby post3gram.rb

5%の確率で、followerの誰かに@reply発言します。


■自動follow返し、自動favorite返し
この処理はそれほど重くないので、1時間に1回ぐらい走らせておくと便利です。

ruby refollow.rb

現在のfollowers/friends一覧を取得し、新しいfollowerが居たらfollow仕返します

Twitter Searchでbot宛の発言を検索し、favoriteを付けます

ruby refav.rb

■常時使い続ける
store.rbとmake3gram.rbは3日に1回ぐらい動かせば十分です。初回のみ160ページ分解析するので時間がかかりますが、2回目以降は差分のみ計算するのですぐ終わります。

refav.rbとrefollow.rbは好きな間隔で。1時間に1回でも十分だと思います。


post3gram.rbは、あまり動かしすぎると本人より目立ってしまい、いつの間にか人間と入れ替わってしまうので気をつけて下さい。

気になるあのアルファギークのbotを自分のサーバで飼う事も、ひとつの歪んだ愛の形かもしれません。


ちなみに俺は、crontabで定期的に収集・分析・発言などを実行するように設定しています

*/17 * * * * /usr/bin/ruby /home/sho/src/ruby/ahokai/post3gram.rb > /dev/null 2>&1
*/5 * * * * /usr/bin/ruby /home/sho/src/ruby/ahokai/refollow.rb > /dev/null 2>&1
*/19 * * * * /usr/bin/ruby /home/sho/src/ruby/ahokai/refav.rb 10 > /dev/null 2>&1
30 */4 * * * /usr/bin/ruby /home/sho/src/ruby/ahokai/store.rb 10; /usr/bin/ruby /home/sho/src/ruby/ahokai/make3gram.rb