橋本商会

Juliusで音声認識したのだが、精度が低い

shokai — Wed, 16 May 2012 14:35:43 +0000

Julius動かしてみたけど、なんだか認識精度が低くてどうしょうもないのですが、何か間違っているのでしょうか・・？

■まずMacにインストールした

sudo port install julius

homebrewにはパッケージはない。

http://julius.sourceforge.jp/からソース持ってきてコンパイルしても使えるらしいが、juliusは32bitでしか動かないし、Lionではcoreaudioではなくportaudioを使わなければならないらしいのでportaudioも32bitでインストールして・・と色々面倒だ。
homebrewのportaudioをuniversal binaryでインストールできなかったので、自分でjuliusをビルドしてインストールはあきらめた。

音声認識する

which julius_demo

julius_demo

でしばらく待つと、

<<< please speak >>>

となってMacのマイクから音声認識できる。
でも大体間違ってる。

wavファイルから認識してみる。
QuickTimePlayerで[ファイル]→[新規オーディオ収録]で録音できる。
m4aで保存されるので、juliusが認識できるフォーマット(モノラル16kHzのwav)にffmpegで変換した。

ffmpeg -i test.m4a -ac 1 -ar 16000 test.wav

julius_demo -input stdin < test.wav

wav入れたらテキストになってでてきた。でもやっぱりあまりうまく認識してくれない・・

julius_demoの中身はshell scriptだった。

#!/bin/sh

/opt/local/bin/julius -C /opt/local/lib/julius/fast.jconf "$@"

■Ubuntuにもインストールした

sudo apt-get install julius libjulius-dev

ディクテーションキットが別に必要になる。
ダウンロードする。

mkdir ~/tmp

cd ~/tmp

wget "http://sourceforge.jp/frs/redir.php?m=jaist&f=%2Fjulius%2F51158%2Fdictation-kit-v4.1.tar.gz"

tar -zxvf dictation-kit-v4.1.tar.gz

さっき録音したファイルを認識させる

julius -C ~/tmp/dictation-kit-v4.1/fast.jconf -charconv EUC-JP UTF-8 -input stdin < test.wav

やっぱり精度が悪い・・どうすれば・・・

-moduleを付けて起動するとTCP port 10050でサーバーが起動する。

Apache+Passengerでenvironmentの設定

shokai — Mon, 14 May 2012 21:05:03 +0000

いままでsinatra使う時にconfig.ruに

set :environemt, :production

とか

set :environemt, :development

って書いてたんだけど、httpd.confに

RackBaseURI /app_path

RackEnv production

って書けばいいのだった。

twitterの発言をskypeに投げる

shokai — Sun, 13 May 2012 09:05:50 +0000

研究会のskype chatで存在感がない人を忘れないために、研究会のtwitterアカウントでfollowしている人の最近の発言をランダムに投稿するようにしている

3時間ごとに投げる。

ここにコードおいてある
https://github.com/shokai/skype-chat-gateway-mac/tree/master/tools/twitter

skypeへの投稿はSkype Chat Gatewayと、WebブラウザからSkypeチャットできるやつ作ったに書いたskype-chat-gatewayを使っている。HTTPでskype chatが使えるスゴイ奴だよ

args_parserを使うとRubyでコマンドラインアプリ作るのにとても便利

shokai — Fri, 11 May 2012 06:27:25 +0000

args_parserというgemを作りました。
2年前に作ったArgsParserをバージョンアップしていたら互換性が無くなってきたので名前を変えた。
optparseよりもすっきり書けると思う。

■インストール

gem install args_parser

■使い方
試しに、「webページのURLを指定してダウンロードする」アプリを作ってみる。
こういう風に使えるのを作る。

ruby download_webpage.rb -url http://example.com -o out.html

download_webpage.rb

#!/usr/bin/env ruby

require 'rubygems'

require 'args_parser'



parser = ArgsParser.parse ARGV do

  arg :url, 'URL', :alias => :u

  arg  utput, 'output file', :alias =>  , :default => 'out.html'

  arg :verbose, 'verbose mode'

  arg :help, 'show help', :alias => :h

end



if parser.has_option? :help or !parser.has_param?(:url,  utput)

  STDERR.puts parser.help

  STDERR.puts "e.g.  ruby #{$0} -url http://example.com -o out.html"

  exit 1

end



require 'open-uri'

puts 'download..' if parser[:verbose]

data = open(parser[:url]).read

puts data if parser[:verbose]



open(parser[:output], 'w+') do |f|

  f.write data

end

puts "saved! => #{parser[:output]}"

こんな感じで実行できる。

\r\nのファイルが混じっているので\nに直すワンライナー

shokai — Wed, 09 May 2012 14:03:49 +0000

newgemで生成したgemのテンプレートに改行コードが\r\nのものと\nのものが混じっているのが気持ち悪いので、全部\nに統一した。

find * | xargs -n1 ruby -e 'lines = open(ARGV[0]).read.gsub(/\r\n/, "\n"); open(ARGV[0],"w+").write lines'

実行したディレクトリの中のファイルの改行コードが\nになる。

Bundler.requireがエラー出すので、プロジェクトローカルにgemを入れた

shokai — Tue, 08 May 2012 18:04:44 +0000

とある環境でbundle installしてsystemにインストールされたrubygemを使う様にしたら、Bundler.requireがエラー出すようになった。

bundler-1.1.3/lib/bundler/runtime.rb:77:in `require': private method `gsub' called for nil:NilClass (NoMethodError)

プロジェクトローカルにインストールしたらエラーが出なくなった。

bundle install --path gems

■Bundler
最近はbundlerというgemの管理機構が使われている。

Gemfileというテキストファイルを作って、プロジェクトで使用するRubygemsを書いておく。

Gemfile

source :rubygems



gem 'sinatra', '>=1.3'

gem 'twitter'

gem 'oauth', '0.4.5'

gem 'json'

バージョン指定ができる。

bundle install

rubygemsに公開されていないgitリポジトリを指定したりもできるし、一発で全てのgemがインストールできるので開発環境から本番環境にデプロイするのに便利。
メジャーバージョンアップで仕様が大きく変わったgemがあっても問題ない。

require 'rubygems'

require 'bundler/setup'

Bundler.require

require 'yaml'

これでGemfileに書かれたgemがrequireされる。
yamlみたいな標準で入ってるgemは自分でrequireしないとならないっぽい。

簡単なon memory cacheを作った

shokai — Tue, 08 May 2012 07:07:01 +0000

tmp_cacheというgemを作った。

■インストール

gem install tmp_cache

■使い方
cacheなので、memcacheのように有効期限を指定できる。
60秒間生きるキャッシュの場合、61秒後はnilになる

#!/usr/bin/env ruby

require 'rubygems'

require 'tmp_cache'



TmpCache.set('name', 'shokai', 60) # expire 60 sec



puts TmpCache.get('name') # => 'shokai'

sleep 61

puts TmpCache.get('name') # => nil

TmpCacheはグローバルにどこからでも読めるので便利

■利用例
skype-chat-gatewayや、Herokuで秋月電子のRSSを作るで使ってる。

skype-chat-gatewayにHTTPアクセスがあるたびに、何百回もAppleScriptを呼び出してSkype.appと通信させるとひどいことになるのでcacheさせている。
秋月のほうも、新着商品の個別ページ100個以上を見に行っているのでcacheを使わなければ大迷惑になってしまう。
Herokuは無料でmemcachedが使えるけどそれだけの為に（無料なのに）クレジットカードを登録するの嫌だし。

例えば、webページを読みに行くのを1200秒cacheする場合はこんなふうにする。

#/usr/bin/env ruby                                                                                                                                                           

require 'rubygems'

require 'open-uri'

require 'tmp_cache'



def get_page(url, expire=1200)

  TmpCache.get(url) || TmpCache.set(url, open(url).read, expire)

end



url = 'http://shokai.org'



puts get_page(url)



puts get_page(url) # 2回目はcacheから読まれる

UTF-8-MACをUTF-8に変換する

shokai — Mon, 07 May 2012 07:53:53 +0000

Twitterをterminalで見ていると、ごく稀に変な文字が入っているtweetがあって、それがUTF-8-MACだとgeta6に教わった。
Macだと「ぱぴぷぺぽ」など一部の日本語をファイル名にすると変な事が起こるのだが、それの原因がUTF-8-MACらしい。

そういう文字をDBに保存するとのちのち良くないので、Rubyで変換した。
Iconv使ったら簡単だった。

■例

touch ぱぴぷぺぽ

echo は<309a>ひ<309a>ふ<309a>へ<309a>ほ<309a>

となる。

ただし、TerminalやiTerm2で「ぱぴぷぺぽ」をechoやlsしてもふつうに「ぱぴぷぺぽ」になってしまって、Rubyに渡して変換を試せない。
GNU Screen上でechoやlsするとUTF-8-MACの文字を出力できる。

■Rubyで変換
インストール

brew install iconv

gem install iconv

標準入力を全て普通のUTF-8に変換する
convert-macutf.rb

require 'rubygems'

require 'iconv'



ARGF.each do |line|

  puts line

  puts Iconv.iconv("UTF-8", "UTF-8-MAC", line)

end

screen起動してから

touch ぱぴぷぺぽ

ls | ruby -Ku convert-macutf.rb

結果

convert-macutf.rb

convert-macutf.rb

ぱÿぴÿぷÿぺÿぽÿ

ぱぴぷぺぽ

iconv単体で使う時はこう

ls | iconv -f UTF-8-MAC -t UTF-8

Skype Chat Gatewayと、WebブラウザからSkypeチャットできるやつ作った

shokai — Fri, 04 May 2012 14:53:18 +0000

半年ぐらい前に作って、書くのを完全に忘れてた。
Skype Botの類が簡単に作れるようになるし、スマホの重いSkypeクライアント起動しなくてもチャット読めたりしてなかなか便利です。skype-socket-gatewayは捨てましょう。

Mac版とLinux版がある。Mac版はchatの読み書きができるけど、Linux版はAPIがよくわからなくて書き込みしかできない。

動かし方はそれぞれREADMEに書いたので読んで欲しい
起動するとHTTPサーバーがport 8787で立ち上がる。

自分のプログラム <--(HTTP)--> Skype-Gateway <--(AppleScript)--> Skype.app

という感じで通信する。

HTTP-POSTでchatに発言できるので、bot等が作りやすい。
例えばcurlで発言する

curl -d 'hello!!' http://localhost:8787

これでchatにhello!!と投稿される。

Mac版にはLaunchAgentに登録する.plistファイルも付けておいたので、Mac起動と同時にskype-chat-gatewayも自動起動させれる。

ついでにMac版には “WebUI” というディレクトリが同梱されている。
Webブラウザ上でチャットが使える。

SinatraアプリがMac版skype-chat-gatewayと通信している。
スマホ版Skypeが重すぎて常時起動してられないのでちゃちゃっと作ってみた。
ChromeやSafariで開いておくとWebkit NotificationでGrowlのような通知が出るので、本格的にSkype起動して無くても良くなってくる。

Linux版はチャットが読めないのでWebUI付けてない。

OAuth0.4.6とsystem_timerがおかしい

shokai — Fri, 04 May 2012 09:58:48 +0000

twitterにoauthしようとすると401が返ってくる

Faraday: you may want to install system_timer for reliable timeouts

/Users/sho/.rvm/gems/ruby-1.8.7-p358/gems/oauth-0.4.6/lib/oauth/consumer.rb:216:in `token_request': 401 Unauthorized (OAuth::Unauthorized)

なんか最新版のoauth 0.4.6がおかしい

0.4.5使ったら大丈夫だった。

source :rubygems



gem 'twitter'

gem 'oauth', '0.4.5'

faradayに原因があるのかと思ったが、どっちも最新版0.8.0使ってた。
詳しくは調べてない。