アーカイブ
モバイルSuicaの履歴をtwitterに流したかった
xtunnelのためにスクレイピングの勉強をしていて、Mechanize+hpricotからMechanize+nokogiriの組み合わせに乗り換えようと色々と使ってみている中でできた物のひとつ。
昔しゃお先生がやっていたのを俺もやりたくて3ヶ月ぐらい前に作ったけど、mobilesuica.comのおサイフケータイ使用履歴は1日一度早朝に更新される仕様に変更されたらしくボツになった。
結局idやcssなどの手がかりが無くて手動で要素を取り出す事になり、nokogiriはHTMLタグを除去するのにしか使わなかった
MobileSuica.rb
#!/usr/bin/env ruby
# -*- coding: utf-8 -*-
require 'rubygems'
require 'nokogiri'
require 'mechanize'
require 'kconv'
module MobileSuica
def MobileSuica.get(user,pass)
agent = WWW::Mechanize.new
agent.user_agent_alias = 'Windows IE 7'
page = agent.get('http://www.mobilesuica.com/iq/ir/SuicaDisp.aspx?returnId=SFRCMMEPC03')
login_form = page.forms_with(:name => 'form1').first
login_form.fields_with(:name => 'MailAddress').first.value = user
login_form.fields_with(:name => 'Password').first.value = pass
page = login_form.click_button
return page.body.toutf8.split(/<tr>/).delete_if{|tr|
!(tr =~ /¥/m)
}.map{|tr|
tr.gsub(/\n/,"").split(/\r/)[0..5].map{|line| # 月日,種別,利用場所,種別,利用場所,残額
Nokogiri(line).inner_text.chomp.strip.gsub(/[\t ]/,"")
}
}
end
end
mobilesuicaのユーザ名、パスワードで履歴を2次元配列として取り出せる。
require 'MobileSuica'月日、種別、利用場所、種別、利用場所、残額の順になる
MobileSuica.get("user", "pass")
01/30
入
川崎
出
横浜
5,110
01/30
入
相鉄横浜
窓出
川崎
5,320
履歴のうち最新の駅名をtwitterに投稿する。-dつけて起動するとdaemonになる
tweet-mobilesuica.rb
#!/usr/bin/env ruby
# -*- coding: utf-8 -*-
require 'rubygems'
require 'webrick'
require 'twitter'
require 'MobileSuica'
def start(conf)
loop do
begin
first = MobileSuica.get(conf["suica_user"], conf["suica_pass"]).first
rescue
first = nil
end
if first != nil
last = first if !last
if first != last # 1回前に取得した履歴と比較
puts first
puts '-'*10
if first[1] == '入' && first[3] == '出' # 降車履歴の時
message = first[4].chomp.strip+"なう (suica)"
if !(message =~ /#{conf["ngwords"]}/)
if conf["nopost"] != true
httpAuth = Twitter::HTTPAuth.new(conf["twitter_user"], conf["twitter_pass"])
tw = Twitter::Base.new(httpAuth)
tw.update(message) # twitter post
end
puts message
end
end
last = first
end
end
sleep 60*60*1.5 # 1時間半待つ
end
end
conf = YAML::load open File.dirname(__FILE__)+'/config.yaml'
if ARGV[0] == '-d'
WEBrick::Daemon.start {
start(conf)
}
else
start(conf)
end
設定ファイル。自宅の駅名などはngwordsに入れておく
config.yaml
# config.yaml
# mobilesuica.com user/pass
suica_user : 'username@docomo.ne.jp'
suica_pass : '12345678'
# twitter user/pass
twitter_user : 'shokai'
twitter_pass : 'password'
# postしない駅名を正規表現で
ngwords : "(東京|横浜)"
# for debug
#nopost : "true"
使ってるchrome extensions
LDRにいろいろ付ける系のgreasemonkeyはGM_系の関数がまだ実装されてないので、LDRだけはFirefoxで見ている。
テキストエリアを外部テキストエディタで開くIt’s all text相当の拡張もあったけど、server側のインストールやら起動が面倒なのでblog書くのはFirefox使う。
普段の調べ物とSBMへの投稿、twitterぐらいならこれらを入れてあれば十分。一番重要なのはTaberarelooでdeliciousとはてなブックマークとlivedoor clipにすばやくクロスポストができる事。
意外なことにchrome keyconfigにLDRizeが入っている。AdBlock+は要素の指定がなんか面倒くさい。
pbtweet、chrome FullFeed、fldr_show_fc2_images.user.jsはMacはdev版のchromeなら使える。
GM_系が一通り実装されるのと、URLバーの履歴検索がFirefoxみたいに一部一致でも利用頻度の高い順にソートされて表示されるようになればFirefoxから乗り換えられるな。
chromeのURLバーは前方一致が優先されるので、例えばりそな銀行のログインページに行きたい場合、Firefoxだと「res」まで打てば候補にすぐ出てくるが、chromeなら「ib.res」まで打ち込まないと https://ib.resonabank.co.jp/IB/0102/SC_N_0102_010.aspx が出てこない。ibとか思い出せない。「りそな→reso」なら連想できる。URLがおかしい気もするが、サービス毎にサブドメイン振っているケースはいっぱいあるし、サブドメインは覚えられない。 https://e-navi.rakuten-kc.co.jp/ava_top とか。
ユビキタスコンテンツシンポジウム 2010
来週16日(火)に、日吉でシンポジウムがあります。事前予約の受付がはじまりました
本人そっくりのロボットの石黒先生や、Leading Edge Designの山中俊治先生が来ます。参加費無料。
以下リリース文引用
2010年2月16日、「ユビキタスコンテンツ製作支援システムの研究」は、神奈川県横浜市港北区日吉・藤原記念ホールにて、「ユビキタスコンテンツシンポジウム2010」を開催致します。
本プロジェクトは、JSTの戦略的創造研究推進事業CRESTによって支援を受けたプロジェクトで、平成16年度から5年間の研究プロジェクトとして「ユビキタスコンテンツ」という新しいコンテンツジャンルを提案し、基盤技術開発、デザイン理論構築、コンテンツ制作の3軸から研究を実施してまいりました。
ユビキタスコンテンツは、私たちの衣食住遊に新たな経験と感動をもたらすコンテンツです。それらはモノや環境に溶け込み、ヒトや状況によってダイミックに変化します。また、ネットワークと接続されることにより各々のコンテンツのユーザ経験が蓄積され、蓄積されたデータをもとにコンテンツ同士の連動が可能となります。
このようなユビキタスコンテンツを制作するためのプラットフォームとしてわれわれが開発したxtelは、近距離無線通信が可能な小型基板moxa、 MCUボードのためのprogramming・runtime環境Talktic、動画、音声などの連続情報を扱うことが可能なP2Pネットワークライブラリ EntityCollaborator、コンテンツ経験の連動と蓄積を可能にするwebサービスLifeの4つのツールで構成されています。
さらに、本プロジェクトの成果であるユビキタスコンテンツのためのデザイン理論は、デザイン思考とティンカリングと呼ばれるプロセスを通して、効率よく良質なユビキタスコンテンツを創出することを支援します。このデザイン理論は、xtelの開発環境にも生かされており、デザイン思考とティンカリングを実行しやすくなるように、xtelの開発環境が設計・構築されています。
本プロジェクトを締めくくる今回のシンポジウムでは、ロボット研究者の石黒 浩 大阪大学大学院教授、プロダクトデザイナーの山中 俊治 慶應義塾大学環境情報学部教授をゲストスピーカとしてお招きし、トークセッションを行います。また、シンポジウムでは、5年間の活動内容をまとめた書籍「xtel: 生活を豊かにするインタラクションデザイン」をお配りする予定です。
日時・場所：
2010年2月16日(火) 10:30-15:30 (開場 10:00)
慶應義塾大学日吉キャンパス 藤原記念ホール
プログラム：
10:30 – 10:40 代表挨拶
10:40 – 12:10 「親しみのデザイン」
石黒 浩 大阪大学大学院 基礎工学研究科 教授
奥出 直人 慶應義塾大学 メディアデザイン研究科 教授
12:10 – 13:30 休憩
13:30 – 15:00 「美しさのデザイン」
山中 俊治 慶應義塾大学 環境情報学部 教授
稲蔭 正彦 慶應義塾大学 メディアデザイン研究科 教授
15:00 閉会挨拶
事前登録方法：
シンポジウムへのご来場をお考えの方は、
・お名前
・所属
・電話番号
・メールアドレス
を添えて、office [at] dlb.sfc.keio.ac.jpまでメールをお送りください。
なおシンポジウムの詳細は随時 webにてご連絡差し上げます。
http://xtel.sfc.keio.ac.jp/
本件に関するお問い合わせ先
〒223-8526 神奈川県横浜市港北区日吉4-1-1
慶應義塾大学日吉キャンパス 協生館C6S04
CREST ユビキタスコンテンツプロジェクト
Tel. 045-564-2483
Fax. 045-564-2540
E-mail: office [at] dlb.sfc.keio.ac.jp
wavファイルの音量を調整する
音量の小さいwavファイルのボリュームを上げる。上げすぎて音割れしないようにする。
前に作ったWavFile.rbを使ったら簡単にできた
16ビットwavは+-32768、8ビットwavは+-128の範囲の配列で波形が表現されている。
ソースのwavの波形を配列に取り出して、その中で最大の値を取りだし、全体を何倍すれば+-32768の間になるかの倍率を計算して全部かけ算すれば音量を調整できる。
maximizeVolume.rb
#!/usr/bin/env ruby
# -*- coding: utf-8 -*-
# wavの音量を最大に調節する
require File.dirname(__FILE__) + '/WavFile'
if ARGV.size < 2
puts 'ruby maximizeVolume.rb input.wav output.wav'
exit 1
end
in_file = ARGV.shift
out_file = ARGV.shift
format, data = WavFile::read open(in_file)
puts format.to_s
bit = 's*' if format.bitPerSample == 16 # int16_t
bit = 'c*' if format.bitPerSample == 8 # signed char
wavs = data.data.unpack(bit)
puts "このwav中の最大音量: #{wavs.max}"
volume_ratio = 32768/wavs.max.to_f if format.bitPerSample == 16
volume_ratio = 128/wavs.max.to_f if format.bitPerSample == 8
puts "補正倍率: #{volume_ratio}"
wavs_fixed = wavs.map{|w|
(w*volume_ratio).to_i
}
puts "補正されたwav中の最大音量: #{wavs_fixed.max}"
data.data = wavs_fixed.pack(bit)
open(out_file, "w"){|out|
WavFile::write(out, format, [data])
}
使う
ruby maximizeVolume.rb input.wav out.wav
約24倍されてout.wavに保存された
フォーマットID: 1
チャンネル数: 1
サンプリングレート: 44100 (Hz)
byte per sec: 88200
bit per sample: 16
ブロックサイズ: 2
このwav中の最大音量: 1335
補正倍率: 24.5453183520599
補正されたwav中の最大音量: 32768
json_builderを特殊文字のエスケープ、true、false、nullに対応させた
前：橋本商会 » C++でmapやvectorをJSON出力するjson_builder.hを作った
ダブルクオートなどを含む文字列を値に保持するためのエスケープ処理にboost::regexを使ったので、libboost_regex-mt.aをコンパイル時に読み込まないとならなくなった → Makefileの例
まさかboost::regex_replaceで頭にバックスラッシュをつけるのに、バックスラッシュ4つで置換するとは思わなかった
こんな風に使う。true, false, nullを入れられるようになった
test.cpp
#include <iostream>
#include <string>
#include <map>
#include <boost/any.hpp>
#include "../json_builder.h"
int main(int argc, char* argv[]){
std::map<string,boost::any> user;
user["name"] = std::string("shokai");
user["fullname"] = std::string("sho hashimoto");
user["age"] = 25;
user["test"] = 1.23;
user["null"] = json_builder::null;
user["true"] = true;
user["false"] = false;
string json = json_builder::toJson(user);
cout << json << endl;
return 0;
}
実行結果
{"age":"25","false":false,"fullname":"sho hashimoto","name":"shokai","null":null,"test":"1.23","true":true}
C++でnullを表現するために適当な構造体を定義してしまったけど、こういうので良いんだろうか？
json_builder.h
#include <iostream>
#include <string>
#include <map>
#include <vector>
#include <boost/any.hpp>
#include <boost/tuple/tuple.hpp>
#include <boost/format.hpp>
#include <boost/foreach.hpp>
#include <boost/regex.hpp>
using namespace std;
using namespace boost;
#define null json_null()
namespace json_builder{
struct json_null{};
string toJson(any value){
if(value.type() == typeid(vector<any>)){
string result_str;
vector<any> vec = any_cast<vector<any> >(value);
for(int i = 0; i < vec.size(); i++){
result_str += toJson(vec[i]);
if(i < vec.size()-1) result_str += ",";
}
result_str = str(format("[%s]") % result_str);
return result_str;
}
else if(value.type() == typeid(map<string,any>)){
string result_str;
map<string,any> m = any_cast<map<string,any> >(value);
string key;
any value;
int i = 0;
BOOST_FOREACH(tie(key,value), m){
result_str += str(format("\"%s\":%s") % key % toJson(value));
if(++i < m.size()) result_str += ",";
}
result_str = str(format("{%s}") % result_str);
return result_str;
}
else if(value.type() == typeid(json_null)){
return string("null");
}
else if(value.type() == typeid(string)){
return str(format("\"%s\"") %
regex_replace(any_cast<string>(value), regex("[\"\'\\\\/]"), "\\\\$0"));
}
else if(value.type() == typeid(bool)){
if(any_cast<bool>(value)) return string("true");
return string("false");
}
else if(value.type() == typeid(int)){
return str(format("\"%d\"") % any_cast<int>(value));
}
else if(value.type() == typeid(double)){
return str(format("\"%d\"") % any_cast<double>(value));
}
}
}
最近のコメント