橋本商会 » cpp

scansnapで自炊した本をkindleで読めるように補正する(2)

shokai — Tue, 14 Sep 2010 12:16:33 +0000

橋本商会 scansnapで自炊した本をkindleで読めるように補正するをOpenCV使ってC++で書き直したら60倍速くなった。635ページのオライリーの本が約1分半で処理できたし、画質も前のJRuby版より少し読みやすくなった気がする。

こういう事をする。

■やっている事
scansnapで自炊した本をそのままkindleで表示するには色々問題がある。

kindleの解像度は800×600だけど、画面内にページ位置等のUIが入るし画面を縦横回転させたり拡大縮小できるので、表示時にkindle上でリサイズされる。この時、線が細くて薄い部分が消滅してしまって、文字がかすれて読めなくなってしまう。

scansnapで取り込んだままのPDFファイルでは、コントラストが弱くてとても読みづらい。

ページの上下左右の余白が邪魔で、kindleに全画面表示した時に小さくなってしまう

kindle上でリサイズされる事を前提として、文字が消えてしまうような細い部分を太くしてやるしかない。
しょうがないので、コントラストを上げたり、拡大縮小されるのを前提として先にアンチエイリアス？的な処理をしたり、余白を切り取ったり、リサイズしたりするようにした。
上下左右を裁ち落とし→リサイズ→グレースケール化→2値化→黒の周りを#999999で太らせるという処理をしている。

上下左右裁ち落とし→グレースケール化→2値化→黒の周りを#000000で太らせる→リサイズ
という処理に変えた。JRuby+javax.imageioでピクセル単位に処理すると、解像度が大きい画像を処理するのが苦しかったので先にリサイズするようにしていた。
OpenCVは十分速いので、高解像度のまま処理して最後に縮小するように変更した。これでサイズが大きい本でも綺麗に変換できる。

■使う
OpenCV1.00以上と、boostのboost::system, boost::filesystem, boost::program_optionsのインストールが必要。少なくともMacとUbuntuでは動く。
その辺はgithub/shokai/scansnap_adjust_images_kindleに書いた。

gitリポジトリを持ってきてコンパイルする

git clone git://github.com/shokai/scansnap_adjust_images_kindle.git

cd scansnap_adjust_images_kindle/kindlize_images



# for Mac

make -f Makefile.macosx

./configureの作り方がよくわからないのでとりあえずMac用のMakefileだけ置いてある。
Linuxとかでも、opencv、boost::filesystem、boost::progoram_optionsをインストールしてあればコンパイルはできる。(この組み合わせは色々なOSでよく使ってる)

オライリーの判型の本をkindle用に補正する。上下左右の余白を削除して白黒になって文字が太くなる。イラストは見づらくなるかもしれない。

mkdir ~/tmp/mybook_kindle

./kindlize_images --help

./kindlize_images -i ~/tmp/mybook/ -o ~/tmp/mybook_kindle/ -t 190 -w 1200 -h 1600 --cleft 120 --cright 120 --ctop 150 --cbottom 150

はじめにPDFから連番のJPEG画像に書き出して、それからこのツールを使って変換して、最後に連番画像をPDFにまとめるという使い方を想定している。
PDFから連番画像を書き出す方法は、前の記事やgithubのREADME.mdに書いた。
連番画像を1つのPDFへ結合するのは、gitリポジトリの中に一緒にimages2pdf.appというautomatorアプリを入れて置いたのでそれを使うと良い。

■ソースコード
100行切った。boost::filesystemのおかげでディレクトリ内一括処理が書きやすかった。
JRuby使って書くよりもコードが35行短くなったけど、最初に試行錯誤するにはJRuby+javax.imageioでやる方が手軽だったな。

kindlize_images/kindlize_images.cpp at master from shokai's scansnap_adjust_images_kindle – GitHub

#include "cv.h"

#include "highgui.h"

#include 

#include 

#include 

#include 

#include 

using namespace boost;

using namespace std;

namespace fs = boost::filesystem;



IplImage *adjust_image(IplImage *img, program_options::variables_map argmap){

  int cleft = argmap["cleft"].as();

  int cright = argmap["cright"].as();

  int ctop = argmap["ctop"].as();

  int cbottom = argmap["cbottom"].as();



  const int w = img->width - cleft - cright;

  const int h = img->height - ctop - cbottom;

  

  cvSetImageROI(img, cvRect(cleft, ctop, w, h));



  IplImage *img_gray = cvCreateImage(cvSize(w,h), IPL_DEPTH_8U, 1);

  cvCvtColor(img, img_gray, CV_BGR2GRAY);



  // 2値化

  IplImage *img_bin = cvCreateImage(cvSize(w,h), IPL_DEPTH_8U, 1);

  cvThreshold(img_gray, img_bin, argmap["threshold"].as(), 255, CV_THRESH_BINARY);



  // 文字を太らせる

  cvErode(img_bin, img_bin, NULL, 1);



  // リサイズ

  int width = argmap["width"].as();

  int height = argmap["height"].as();

  IplImage *img_resized;

  double scale = ((double)h)/w;

  if(((double)height)/width < scale){ // 縦長

    img_resized = cvCreateImage(cvSize((int)(height/scale), height), IPL_DEPTH_8U, 1);

  }

  else{ // 横長

    img_resized = cvCreateImage(cvSize(width, (int)(scale*width)), IPL_DEPTH_8U, 1);

  }

  cvResize(img_bin, img_resized, CV_INTER_LINEAR);



  cvReleaseImage(&img_bin);

  cvReleaseImage(&img_gray);

  return img_resized;

}



int main(int argc, char* argv[]) {

  program_options::options_description opts("options");

  opts.add_options()

    ("help", "ヘルプを表示")

    ("width,w", program_options::value(), "output width")

    ("height,h", program_options::value(), "output height")

    ("threshold,t", program_options::value(), "binarize threshold")

    ("input,i", program_options::value(), "input directory name")

    ("output,o", program_options::value(), "output directory name")

    ("cleft", program_options::value(), "crop left (pixel)")

    ("cright", program_options::value(), "crop right (pixel)")

    ("ctop", program_options::value(), "crop top (pixel)")

    ("cbottom", program_options::value(), "crop bottom (pixel)");

  program_options::variables_map argmap;

  program_options::store(parse_command_line(argc, argv, opts), argmap);

  program_options::notify(argmap);

  if (argmap.count("help") || !argmap.count("input") || !argmap.count("output") ||

      !argmap.count("threshold")) {

    cerr << "[input, output] required" << endl;

    cerr << opts << endl;

    return 1;

  }



  string in_dir = argmap["input"].as();

  fs::path path = complete(fs::path(in_dir, fs::native));

  fs::directory_iterator end;

  for (fs::directory_iterator i(path); i!=end; i++){

    string img_fullname = in_dir + i->leaf();

    cout << img_fullname << endl;

    IplImage *img, *img_result;

    img = cvLoadImage(img_fullname.c_str());

    if(!img){

      cerr << "image file load error" << endl;

    }

    else{

      img_result = adjust_image(img, argmap);

      string out_filename = argmap["output"].as() + "/" + i->leaf();

      cvSaveImage(out_filename.c_str(), img_result);

      cvReleaseImage(&img);

      cvReleaseImage(&img_result);

    }    

  }

}

ZeroMQでOpenCV cvOpticalFlowのデータを配信する

shokai — Wed, 11 Aug 2010 10:39:22 +0000

1VQ9がZeroMQで遊んでたので、俺も橋本商会 cvCalcOpticalFlowBMをZeroMQでpubしてみた。ZeroMQはなんか面倒な事を適当にやってくれるmessaging libraryで、色々な言語のバインディングが出ている。

ZeroMQのpubはセンサーのデータとかを垂れ流しにするのに都合がよさそう。
clientが何台いるかどうかを考えないで良いし、pub/subどちらが先に起動していても適当に接続処理をしてくれる。cookbookを見てるとmulticastやthread間通信にも使ってる。とりあえずセンサーデータ垂れ流しという用途に俺はよく使いそう。

ソースコードはgithubに置いた。
他にも単純なカウントアップのpub/sub両方をC++/C/Rubyで書いた（6種）のと、twitterのstream APIをZMQ_PUBで中継するのを作ってみた（解説：zeromqインストール、twitter stream APIを中継 – 橋本詳解）。特にstream APIのHUB的存在は便利。

あと、mongrel2がWebSocketやXMLSocketとZeroMQの接続をしてくれるようになるらしくて期待してる。

受信側
opticalflow_sub.rb

#!/usr/bin/env ruby

require 'rubygems'

require 'zmq'



ctx = ZMQ::Context.new

sock= ctx.socket(ZMQ::SUB)

sock.connect('tcp://127.0.0.1:5000')

sock.setsockopt(ZMQ::SUBSCRIBE, 'opticalflow')



loop do

  puts sock.recv()

end

送信側。これを適当なパソンコにUSBカメラ刺して動かしておけば、別のマシンから動きが取れる！!
opticalflow_pub.cpp

// http://opencv.jp/sample/optical_flow.html

#include 

#include 

#include 

#include 

#include 

#include 

#include 

#include 



using namespace std;

using namespace boost;



void detect_flow(IplImage *img, IplImage *img_p, IplImage *dst);

zmq::context_t ctx(1);

zmq::socket_t sock(ctx, ZMQ_PUB);



int main(int argc, char* argv[]) {

  IplImage *img = NULL;

  CvCapture *capture = NULL;

  capture = cvCreateCameraCapture(0);

  //capture = cvCaptureFromAVI("test.mov");

  if(capture == NULL){

    cerr << "capture device not found!!" << endl;

    return -1;

  }



  sock.bind("tcp://127.0.0.1:5000");



  CvSize size = cvSize(320, 240);

  IplImage *img_resized = cvCreateImage(size, IPL_DEPTH_8U, 3);

  IplImage *img_gray = cvCreateImage(size, IPL_DEPTH_8U, 1);

  IplImage *img_gray_p = cvCreateImage(size, IPL_DEPTH_8U, 1);

  IplImage *img_dst = cvCreateImage(size, IPL_DEPTH_8U, 3);



  char winNameCapture[] = "Capture";

  cvNamedWindow(winNameCapture, CV_WINDOW_AUTOSIZE);

  

  while (1) {

    img = cvQueryFrame(capture);

    cvResize(img, img_resized);

    cvCvtColor(img_resized, img_gray, CV_BGR2GRAY);

    cvCopy(img_resized, img_dst);

    detect_flow(img_gray, img_gray_p, img_dst);

    cvShowImage(winNameCapture, img_dst);

    cvCopy(img_gray, img_gray_p);

    if (cvWaitKey(10) == 'q') break;

  }

  

  cvReleaseCapture(&capture);

  cvDestroyWindow(winNameCapture);

  

  return 0;

}



void detect_flow(IplImage *src_img1, IplImage *src_img2, IplImage *dst_img){

  int i, j, dx, dy, rows, cols;

  int block_size = 24;

  int shift_size = 10;

  CvMat *velx, *vely;

  CvSize block = cvSize(block_size, block_size);

  CvSize shift = cvSize(shift_size, shift_size);

  CvSize max_range = cvSize(50, 50);



  rows = int(ceil (double (src_img1->height) / block_size));

  cols = int(ceil (double (src_img1->width) / block_size));

  velx = cvCreateMat(rows, cols, CV_32FC1);

  vely = cvCreateMat(rows, cols, CV_32FC1);

  cvSetZero(velx);

  cvSetZero(vely);



  cvCalcOpticalFlowBM(src_img1, src_img2, block, shift, max_range, 0, velx, vely);

  string result_str = string("");

  for (i = 0; i < velx->width; i++) {

    for (j = 0; j < vely->height; j++) {

      dx = (int)cvGetReal2D(velx, j, i);

      dy = (int)cvGetReal2D(vely, j, i);

      cvLine(dst_img, cvPoint(i * block_size, j * block_size),

              cvPoint(i * block_size + dx, j * block_size + dy), CV_RGB(255, 0, 0), 1, CV_AA, 0);

      if(dx != 0 || dy != 0){

	result_str += str(format("[%d,%d,%d,%d]") % (i*block_size) % (j*block_size) % dx % dy);

      }

    }

  }

  if(result_str.size() > 0){

    result_str = str(format("opticalflow %s") % result_str);

    cout << result_str << endl;

    zmq::message_t msg(result_str.size()+1); // ZeroMQ

    memcpy(msg.data(), result_str.c_str(), result_str.size()+1);

    sock.send(msg);

  }

}

g++ -O opticalflow_pub.cpp -o opticalflow_pub.bin -I/opt/local/include/opencv -lcv -lcvaux -lcxcore -lhighgui  -I/usr/local/include /usr/local/lib/libzmq.a

これで動いた座標とその方向 [x,y,dx,dy] が連続で送られてくる。

opticalflow [48,216,4,-29][72,216,0,-29][96,216,0,-29][264,216,-9,-29]

opticalflow [48,216,4,-29][96,216,0,-29][120,216,0,-29][264,216,-9,-29]

opticalflow [48,216,4,-29][96,168,0,10][96,192,-10,-20][96,216,0,-29][120,192,0,10][120,216,0,-29][144,216,0,-29][168,216,0,-29][192,48,-10,0][192,216,0,-29][216,216,0,-29][264,216,-9,-29]

opticalflow [96,168,0,10][96,192,-10,-10][96,216,0,-29][120,168,0,10][120,192,0,10][120,216,0,-29][144,216,0,-29][168,48,0,10][168,96,0,10][168,216,0,-29][192,72,0,40][192,96,0,-30][192,216,0,-29][264,216,-9,-29]

opticalflow [48,216,4,-29][96,168,0,10][96,216,0,-29][120,168,0,10][120,192,0,10][120,216,0,-29][144,216,0,-29][168,48,10,0][168,96,0,10][168,216,0,-29][192,96,0,-30][192,216,0,-29][264,216,-9,-29]

OpenCVで画像サイズを求めるgearman workerをdaemontoolsで管理する

shokai — Sun, 25 Jul 2010 16:02:54 +0000

OpenCVで画像のサイズを求めるgearman workerを作って、Rubyから呼ぶで作ったworkerをpreforkさせて、そいつらをdaemontoolsで管理できるようにした。あらかじめCPU個数+いくつかforkしておくと、CPUが複数あるマシンを生かせるし、解析前にlibcurlで画像を取得している時のI/O待ちが少なくなって良い。（この記事のworkerはlibcurl使ってない版だけど）
あと、返り値は自分で作ったjson_builder.hを使って返すようにした。

なにげに大量の画像の中からダウンロード失敗した破損画像を見つけるのに重宝している。

まずdaemontoolsをインストールしておく

gearmandもdaemontoolsで自動起動するようにしておく。

daemontoolsで管理できるようにする。
普通にforkしただけだと、daemontoolsでsvc -dしてプロセスを止めようとしてもforkした子プロセスの方が止まらない。

Perlの場合の良い例があった。
How to manage Gearman worker processes. – TokuLog 改メ tokuhirom’s blog
Parallel::Preforkを使っている。Parallel::Preforkのソースを読んでみたら、trap_signalsオプションで親プロセスがSIGTERMとSIGHUPをフックして、子プロセスにkillを送っていた。
よく考えたら普通のforkで親が子を殺すというやつだった。

Parallel::Preforkと同じ様にやる。
forkした後親が子のpidのリストを持っておいて、SIGTERM/SIGHUPをフックして、子を全部killする処理を追加した。

daemontoolsのrunスクリプトはこれ

#!/bin/sh

exec 2>&1

exec setuidgid sho /Users/sho/src/gearmand-study/imgsize/imgsizeWorker -s localhost -p 7003 --fork 5

起動すると5個にプロセスが増える。親はdaemontoolsのsuperviseが管理してくれる。
これでsvc -dとか-uとかすればまとめて起動終了するようになった。

imgsizeWorker.cpp

// 画像サイズを返すgearman worker

#include 

#include 

#include 

#include 

#include 

#include 

#include 

#include 

#include 

#include 

#include 

#include 

#include 

#include 

#include 

#include "json_builder.h"



using namespace boost;

using namespace std;



tuple get_size(const string& fileName); // 画像のwidth,heightを返す

map imgsize(const string& fileName); // gearman workerとしてclientに返すためのJSON Objectを作る

void *job_imgsize(gearman_job_st *job, void *cb_arg, size_t *result_size, gearman_return_t *ret_ptr);

void on_exit_signal(int sig);

vector pids;



int main(int argc, char* argv[]) {

  program_options::options_description opts("options");

  opts.add_options()

    ("help,h", "helpを表示")

    ("server,s", program_options::value(), "gearmanサーバーのアドレス")

    ("port,p", program_options::value(), "gearmanサーバーのport番号")

    ("fork", program_options::value(), "preforkする数")

    ("test,t", program_options::value(), "gearman worker単体テスト用query");

  program_options::variables_map argmap;

  program_options::store(parse_command_line(argc, argv, opts), argmap);

  program_options::notify(argmap);



  if(!argmap.count("help")){

    if(argmap.count("test")){

      cout << "---test---" << endl;

      string gearman_param = argmap["test"].as();

      cout << json_builder::toJson(imgsize(gearman_param)) << endl; // 単体でworkerとしてのテスト

      return 0;

    }else if(argmap.count("server") && argmap.count("port")){

      if(argmap.count("fork")){

	int i, pid;

	for(i = 1; i < argmap["fork"].as(); i++){

	  pid = fork();

	  if(pid == 0){ // 子プロセス

	    pids.clear();

	    break;

	  }

	  else{ // 親プロセス

	    pids.push_back(pid);

	    cout << str(format("fork:%d - parent:%d child:%d") % 

			i %

			getpid() %

			pid) << endl;

	  }

	}

      }

      if(pids.size() > 0){ // 親プロセスの終了シグナルをフックする

	signal(SIGTERM, on_exit_signal);

	signal(SIGHUP, on_exit_signal);

      }

      gearman_worker_st worker;

      gearman_worker_create(&worker);

      string g_server = argmap["server"].as();

      int g_port = argmap["port"].as();



      struct hostent *g_host = gethostbyname((char*)g_server.c_str());

      string g_server_addr = str(format("%d.%d.%d.%d") %

				 (uint)(uchar)g_host->h_addr[0] %

				 (uint)(uchar)g_host->h_addr[1] %

				 (uint)(uchar)g_host->h_addr[2] %

				 (uint)(uchar)g_host->h_addr[3]);



      gearman_worker_add_server(&worker, g_server_addr.c_str(), g_port);

      gearman_worker_add_function(&worker, "img_size", 0, job_imgsize, NULL);

      cout << str(format("---start worker (%s:%d)---") %

		  g_server_addr % g_port) << endl;

      while(true) gearman_worker_work(&worker); // workerとして待機

      return 0;

    }

  }

  cerr << "server,portが必要です" << endl;

  cerr << opts << endl;

  return 1;

  

}



// opencvで画像サイズを取得

tuple get_size(const string& fileName){

  IplImage *img = cvLoadImage(fileName.c_str());

  if(!img){

    return make_tuple(-1, -1);

  }

  else{

    int width = img->width;

    int height = img->height;

    cvReleaseImage(&img);

    return make_tuple(width, height);

  }

}



// 画像サイズを取得してgearman serverに返すJSON Objectを作る

map imgsize(const string& fileName){

  map result_m;

  int width, height;

  tie(width, height) = get_size(fileName);

  if(width > 0 && height > 0){

    result_m["width"] = width;

    result_m["height"] = height;

  }

  else{

    result_m["error"] = string("image load error");

  }

  return result_m;

}



// gearman worker job

void *job_imgsize(gearman_job_st *job, void *cb_arg, size_t *result_size, gearman_return_t *ret_ptr){

  string fileName = (char*)gearman_job_workload(job);

  cout << fileName << endl;

  string result_str = json_builder::toJson(imgsize(fileName));

  cout << " => " << result_str << endl;

  char *result = (char*)strdup(result_str.c_str());

  *result_size = result_str.size();

  *ret_ptr = GEARMAN_SUCCESS;

  return result;

}



void on_exit_signal(int sig){

  for(int i = 0; i < pids.size(); i++){

    cout << str(format("kill (pid:%d)") % pids[i]) << endl;

    if(kill(pids[i], SIGKILL) < 0){

      cerr << str(format("kill failed (pid:%d)") % pids[i]) << endl;

    }

  }

  exit(0);

}

json_buiilderをgithubに移動させた

shokai — Tue, 15 Jun 2010 16:01:02 +0000

bitbucketからhttp://github.com/shokai/json_builder-cppに移動した。

ちょっとまじめにREADMEを書いたりした。
githubのreadmeにはmarkdown形式を使った。markdownをインストールすればローカルでもマークアップがプレビューできて良い

json_builder.hはヘッダファイル単体でstd::mapやvectorをjsonにシリアライズするC++用のライブラリ。parseはできない。

json_builderを特殊文字のエスケープ、true、false、nullに対応させた

shokai — Sat, 30 Jan 2010 01:56:23 +0000

前：橋本商会 C++でmapやvectorをJSON出力するjson_builder.hを作った

ダブルクオートなどを含む文字列を値に保持するためのエスケープ処理にboost::regexを使ったので、libboost_regex-mt.aをコンパイル時に読み込まないとならなくなった → Makefileの例
まさかboost::regex_replaceで頭にバックスラッシュをつけるのに、バックスラッシュ4つで置換するとは思わなかった

こんな風に使う。true, false, nullを入れられるようになった
test.cpp

#include 

#include 

#include 

#include 

#include "../json_builder.h"



int main(int argc, char* argv[]){

  std::map user;

  user["name"] = std::string("shokai");

  user["fullname"] = std::string("sho hashimoto");

  user["age"] = 25;

  user["test"] = 1.23;

  user["null"] = json_builder::null;

  user["true"] = true;

  user["false"] = false;



  string json = json_builder::toJson(user);

  cout << json << endl;

  return 0;

}

実行結果

{"age":"25","false":false,"fullname":"sho hashimoto","name":"shokai","null":null,"test":"1.23","true":true}

C++でnullを表現するために適当な構造体を定義してしまったけど、こういうので良いんだろうか？
json_builder.h

#include 

#include 

#include 

#include 

#include 

#include 

#include 

#include 

#include 



using namespace std;

using namespace boost;



#define null json_null()



namespace json_builder{

  struct json_null{};



  string toJson(any value){

    if(value.type() == typeid(vector)){

      string result_str;

      vector vec = any_cast >(value);

      for(int i = 0; i < vec.size(); i++){

	result_str += toJson(vec[i]);

	if(i < vec.size()-1) result_str += ",";

      }

      result_str = str(format("[%s]") % result_str);

      return result_str;

    }

    else if(value.type() == typeid(map)){

      string result_str;

      map m = any_cast >(value);

      string key;

      any value;

      int i = 0;

      BOOST_FOREACH(tie(key,value), m){

	result_str += str(format("\"%s\":%s") % key % toJson(value));

	if(++i < m.size()) result_str += ",";

      }

      result_str = str(format("{%s}") % result_str);

      return result_str;

    }

    else if(value.type() == typeid(json_null)){

      return string("null");

    }

    else if(value.type() == typeid(string)){

      return str(format("\"%s\"") % 

		   regex_replace(any_cast(value), regex("[\"\'\\\\/]"), "\\\\$0"));

    }

    else if(value.type() == typeid(bool)){

      if(any_cast(value)) return string("true");

      return string("false");

    }

    else if(value.type() == typeid(int)){

      return str(format("\"%d\"") % any_cast(value));

    }

    else if(value.type() == typeid(double)){

      return str(format("\"%d\"") % any_cast(value));

    }

  }



}

C++でmapやvectorをJSON出力するjson_builder.hを作った

shokai — Wed, 27 Jan 2010 04:08:06 +0000

C++でJSONというと、json.orgにもライブラリがたくさん紹介されているとおり色々ある。でも単に出力するだけの物で、ヘッダファイル一つで簡単に使えるのが無かったので作ってみた。
ちょっとstringの連結コストがかかる気もするけど、まあいいか。

今のところ、std::mapとstd::vectorとstringとintとdoubleが入る。つまりkeyはstringのみで、値はboost::anyをかぶせている。もちろんmapやvectorは入れ子にできる。

boost::anyは何でも入れられる便利な型。
参考：boost::any – 橋本詳解

必要なのはこれだけだけど、boost::any、tuple、format、foreachが必要。
json_builder.h最新版はbitbucketからどうぞ。

json_builder.h

#include 

#include 

#include 

#include 

#include 

#include 

#include 

#include 



using namespace std;

using namespace boost;



namespace json_builder{

  string toJson(any value){

    if(value.type() == typeid(vector)){

      string result_str;

      vector vec = any_cast >(value);

      for(int i = 0; i < vec.size(); i++){

	result_str += toJson(vec[i]);

	if(i < vec.size()-1) result_str += ",";

      }

      result_str = str(format("[%s]") % result_str);

      return result_str;

    }

    else if(value.type() == typeid(map)){

      string result_str;

      map m = any_cast >(value);

      string key;

      any value;

      int i = 0;

      BOOST_FOREACH(tie(key,value), m){

	result_str += str(format("\"%s\":%s") % key % toJson(value));

	if(++i < m.size()) result_str += ",";

      }

      result_str = str(format("{%s}") % result_str);

      return result_str;

    }

    else if(value.type() == typeid(string)){

      return str(format("\"%s\"") % any_cast(value));

    }

    else if(value.type() == typeid(int)){

      return str(format("\"%d\"") % any_cast(value));

    }

    else if(value.type() == typeid(double)){

      return str(format("\"%d\"") % any_cast(value));

    }

  }



}

jsonは要素数不定のただの木なので、再帰でtree walkして要素の型を見て文字列に直して連結し直すだけの関数一つになった。シンプル。
見ての通り、”や’や[や{はescapeしていないので、それらを含む文字列をtoJsonするとparseできないjsonができる。とりあえず今は入れる前にescapeしておいてほしい。
単純にバックスラッシュつければいいだけなのかな？ → 対応した

使ってみる。一つのstd::mapをjsonのhashとして標準出力する例
test.cpp

#include 

#include 

#include 

#include 

#include "../json_builder.h"



int main(int argc, char* argv[]){

  std::map user;

  user["name"] = std::string(“shokai”); // string

  user["fullname"] = std::string(“sho hashimoto”);

  user["age"] = 25; // int

  user["test"] = 1.23; // double



  string json = json_builder::toJson(user);

  cout << json << endl;

  return 0;

}

出力

{"age":"25","fullname":"sho hashimoto","name":"shokai","test":"1.23"}

より複雑に、mapやvectorを入れ子にした例
test2.cpp

#include 

#include 

#include 

#include 

#include 

#include "../json_builder.h"



using namespace json_builder;

using namespace std;

using namespace boost;



int main(int argc, char* argv[]){

  map obj;

  obj["test"] = string("testtest");



  map user;

  user["name"] = string("shokai");

  user["fullname"] = string("sho hashimoto");

  user["age"] = 25;

  user["test"] = 6.78;

  obj["user"] = user;



  std::vector vec;

  vec.push_back(string("aaaa"));

  vec.push_back(1234.56);

  vec.push_back(string("hello work"));

  



  vector vec2;

  vec2.push_back(string("nested std::vector"));

  vec2.push_back(string("bbbbb"));

  vec.push_back(vec2); // std::vecotrの入れ子



  obj["params"] = vec;

  string json = json_builder::toJson(obj);

  cout << json << endl;



  return 0;

}

出力

{"params":["aaaa","1234.56","hello work",["nested std::vector","bbbbb"]],

"test":"testtest","user":{"age":"25","fullname":"sho hashimoto","name":"shokai","test":"6.78"}}

出力したjsonが正しいかどうか、確認するためにrubyのjsonモジュールでrubyのオブジェクトに読み込むコードをtestフォルダに置いておいた。

{"params"=>["aaaa", "1234.56", "hello work", ["nested std::vector", "bbbbb"]],

 "user"=>

  {"name"=>"shokai", "fullname"=>"sho hashimoto", "test"=>"6.78", "age"=>"25"},

 "test"=>"testtest"}

parse success

ちゃんと読み込めた。

BOOST_FOREACHが涙が出るほど便利だった！！

OpenCVで画像のサイズを求めるgearman workerを作って、Rubyから呼ぶ

shokai — Sun, 03 Jan 2010 03:29:08 +0000

ファイル名を渡すと画像サイズを返すgearman workerを作った。

{"width":1600, "height":1200}

という風にJSON風に値を返す。

以前画像のだいたいの色を求めるgearman workerを作ってたんだけど、C++で書いたworker側を単独で動作テストする事ができなくてどうしようか悩んだ。テスト用のclientと同時に作らなければならなくて、どちらにバグがあるのか切り分けるのが面倒だった。

そこで、workerの起動時に

./imgsizeWorker --test "/path/to/imagefile.jpg"

という風にgearman clientから来る引数と同じ形式で渡すと、単体のプログラムとしても動作チェックできるようにした。

こうすると普通にworkerとして起動する。

./imgsizeWorker -s localhost -p 7003

これはboost::program_optionsでやると便利だった。
今後はこのコードを雛形にすればC++とOpenCVで高速に画像解析して、gearmand経由でスクリプト言語から呼び出しまくれる。

■使ったライブラリ
boostライブラリを中心にいろいろ使った。

opencv1.0は画像サイズを取得する為だけに使った。GUIを使って無いのにcvLoadImage()のためだけにhighgui.hを読み込んでいる。

boost::tupleとboost::tieを使うと返り値を複数返す関数が作れるので、画像の情報を返すのに便利。そういえばRubyでは普通に使ってたけどC#3.5やAS3.0ではタプル無かったな。欲しい。ASはArrayに何でも入れやすいからいいか。
boost::tupleで多値を受け取る – 橋本詳解
boost::tieでtupleを展開 – 橋本詳解

boost::formatでprintf風にstd::stringをフォーマット。
boost::program_optionsで引数をparseする。
boost::program_optionsでコマンドライン引数を読む – 橋本詳解

rubyはxing-gearman-rubyを使った。
橋本商会 Cでgearman workerを書いてRubyのclientから呼び出す

■プログラム
libgearmanのgearman_worker_add_serverはIPアドレスを渡さないとならないので、一応ホスト名を解決するようにした。

imgsizeWorker.cpp

// 画像サイズを返すgearman worker

#include 

#include 

#include 

#include 

#include 

#include 

#include 

#include 

#include 

#include 

#include 

#include 

#include 



using namespace boost;

using namespace std;



tuple get_size(string fileName); // 画像のwidth,heightを返す

string imgsize(string fileName); // gearman workerとしてclientに返すstringに整形する

void *job_imgsize(gearman_job_st *job, void *cb_arg, size_t *result_size, gearman_return_t *ret_ptr);



int main(int argc, char* argv[]) {

  program_options::options_description opts("options");

  opts.add_options()

    ("help,h", "helpを表示")

    ("server,s", program_options::value(), "gearmanサーバーのアドレス")

    ("port,p", program_options::value(), "gearmanサーバーのport番号")

    ("test,t", program_options::value(), "gearman worker単体テスト用query");

  program_options::variables_map argmap;

  program_options::store(parse_command_line(argc, argv, opts), argmap);

  program_options::notify(argmap);



  if(!argmap.count("help")){

    if(argmap.count("test")){

      cout << "---test---" << endl;

      string gearman_param = argmap["test"].as();

      imgsize(gearman_param); // 単体でworkerとしてのテスト

      return 0;

    }else if(argmap.count("server") && argmap.count("port")){

      gearman_worker_st worker;

      gearman_worker_create(&worker);

      string g_server = argmap["server"].as();

      int g_port = argmap["port"].as();



      struct hostent *g_host = gethostbyname((char*)g_server.c_str());

      string g_server_addr = str(format("%d.%d.%d.%d") %

				 (uint)(uchar)g_host->h_addr[0] %

				 (uint)(uchar)g_host->h_addr[1] %

				 (uint)(uchar)g_host->h_addr[2] %

				 (uint)(uchar)g_host->h_addr[3]);



      gearman_worker_add_server(&worker, g_server_addr.c_str(), g_port);

      gearman_worker_add_function(&worker, "img_size", 0, job_imgsize, NULL);

      cout << str(format("---start worker (%s:%d)---") %

		  g_server_addr % g_port) << endl;

      while(true) gearman_worker_work(&worker); // workerとして待機

      return 0;

    }

  }

  cerr << "server,portが必要です" << endl;

  cerr << opts << endl;

  return 1;

  

}



// opencvで画像サイズを取得

tuple get_size(string fileName){

  IplImage *img = cvLoadImage(fileName.c_str());

  if(!img){

    return make_tuple(-1, -1);

  }

  else{

    return make_tuple(img->width, img->height);

    cvReleaseImage(&img);

  }

}



// 画像サイズを取得してgearman serverに返すstringに整形する

string imgsize(string fileName){

  string result_str = "";

  int width, height;

  tie(width, height) = get_size(fileName);

  if(width > 0 && height > 0){

    result_str += str(format("{\"width\":%d, \"height\":%d}")	

		    % width % height);

  }

  else{

    result_str = "error : image load error";

  }

  cout << fileName << " => " << result_str << endl;

  return result_str;

}



// gearman worker job

void *job_imgsize(gearman_job_st *job, void *cb_arg, size_t *result_size, gearman_return_t *ret_ptr){

  string fileName = (char*)gearman_job_workload(job);

  string result_str = imgsize(fileName);

  

  char *result = (char*)strdup(result_str.c_str());

  *result_size = result_str.size();

  *ret_ptr = GEARMAN_SUCCESS;

  return result;

}

Makefile

# Mac用Makefile

SRC = imgsizeWorker.cpp

DST = imgsizeWorker



prefix=/opt/local

INCPATH=$(prefix)/include

LIBPATH=$(prefix)/lib



CV_LIBS= -lcv -lcvaux -lcxcore -lhighgui

BOOST_LIBS= $(LIBPATH)/libboost_program_options-mt.a



GEAR_INCPATH=/usr/local/include

GEAR_LIBPATH=/usr/local/lib

GEAR_LIBS=$(GEAR_LIBPATH)/libgearman.a



all:

	g++ -O $(SRC) -o $(DST) -I$(INCPATH)/opencv -L. -L$(LIBPATH) $(CV_LIBS) -I$(INCPATH)/boost $(BOOST_LIBS) -I$(GEAR_INCPATH)/libgearman -L. -L$(GEAR_LIBPATH) $(GEAR_LIBS)

client側。workerからの返り値の先頭にerrorが書いていなかったらJSONとしてparseする
testclient.rb

#!/usr/bin/env ruby

# -*- coding: utf-8 -*-

require 'rubygems'

require 'gearman'

require 'json'



if ARGV.size < 1

  puts '画像へのパスが必要'

  puts 'ruby testclient.rb ~/path/to/images/*.png'

  exit 1

end



c = Gearman::Client.new(['localhost:7003'])

taskset = Gearman::TaskSet.new(c)



ARGV.sort{|a,b| a.split(/\//).last.to_i <=> b.split(/\//).last.to_i}.each{|name|

  puts "add task #{name}"

  task = Gearman::Task.new("img_size", name+"\0")

  task.on_complete{|result|

    if !(result =~ /^error/)

      print "return: #{name} => "

      p JSON.parse(result) 

    else

      puts "return: #{name} => #{result}"

    end



  }

  taskset.add_task(task)

}

taskset.wait(100) # wait 100(sec)

&をつけていくつかworkerを起動する

./imgsizeWorker -s localhost -p 7003&

./imgsizeWorker -s localhost -p 7003&

clientからtask登録。フォルダ内のjpgファイルを全部登録する

ruby testclient.rb ~/Pictures/selected/*.jpg

サイズが返ってくる

add task /Users/sho/Pictures/selected/a66dab3a.jpg

add task /Users/sho/Pictures/selected/3ed6f38e.jpg

add task /Users/sho/Pictures/selected/77ab53f0.jpg

add task /Users/sho/Pictures/selected/889bd644.jpg

add task /Users/sho/Pictures/selected/73177294.jpg

return: /Users/sho/Pictures/selected/a66dab3a.jpg => {"height"=>1200, "width"=>1600}

return: /Users/sho/Pictures/selected/3ed6f38e.jpg => {"height"=>1200, "width"=>1600}

return: /Users/sho/Pictures/selected/77ab53f0.jpg => {"height"=>1200, "width"=>1600}

return: /Users/sho/Pictures/selected/889bd644.jpg => {"height"=>800, "width"=>1280}

return: /Users/sho/Pictures/selected/73177294.jpg => {"height"=>1200, "width"=>1600}

OpenCVで画像のだいたいの色を求めるgearman workerを作って、Rubyから呼び出す

shokai — Thu, 24 Dec 2009 12:14:37 +0000

画像のだいたいの色を求めるをgearman worker化した。
画像ファイル名をテキストで投げると

{width: 136, height: 147, r: 249, g: 234, b:230}

という形式で画像のサイズとだいたいの色を返す。

Cでworkerを書いてRubyで呼び出す方法は橋本商会 Cでgearman workerを書いてRubyのclientから呼び出すに書いたとおり。
これでOpenCVの解析をgearman workerとして複数並列に動かしてそれをRubyから使いまくるというのができるワハハ

C++なのはboost::regex_splitでも使って引数を受け取ろうかと思ってたんだけど、そもそもファイル名だけしか受け取らなかったから意味がなかった。
imgcolorWorker.cpp

// 画像のだいたいの色とサイズを返すgearman worker

#include 

#include 

#include 

#include 

#include 

#include 

#include 

#include 

#include 

#include 



using namespace boost;

using namespace std;

IplImage *img, *img1px, *imgR, *imgG, *imgB;



void *job_imgcolor(gearman_job_st *job, void *cb_arg, size_t *result_size, gearman_return_t *ret_ptr);



int main(int argc, char* argv[]) {

  img1px = cvCreateImage(cvSize(1,1), IPL_DEPTH_8U, 3);

  imgR = cvCreateImage(cvSize(1,1), IPL_DEPTH_8U, 1);

  imgG = cvCreateImage(cvSize(1,1), IPL_DEPTH_8U, 1);

  imgB = cvCreateImage(cvSize(1,1), IPL_DEPTH_8U, 1);



  gearman_worker_st worker;

  gearman_worker_create(&worker);

  gearman_worker_add_server(&worker, "127.0.0.1", 7003);

  gearman_worker_add_function(&worker, "img_color", 0, job_imgcolor, NULL);



  while(true) gearman_worker_work(&worker);

  return 0;

}



void *job_imgcolor(gearman_job_st *job, void *cb_arg, size_t *result_size, gearman_return_t *ret_ptr){

  string fileName = (char*)gearman_job_workload(job);

  string result_str = "";

  IplImage *img = cvLoadImage(fileName.c_str());

  if(!img){

    result_str += "{error: image load error}";

  }

  else{

    cvResize(img, img1px, CV_INTER_CUBIC);

    cvSplit(img1px, imgB, imgG, imgR, NULL);

    result_str += str(format("{width: %d, height: %d, r: %d, g: %d, b:%d}")	

		      % img->width % img->height %

		      (uint)(uchar)imgR->imageDataOrigin[0] %

		      (uint)(uchar)imgG->imageDataOrigin[0] %

		      (uint)(uchar)imgB->imageDataOrigin[0]);

    cvReleaseImage(&img);

  }

  cout << fileName << " => " << result_str << endl;

  

  char *result = (char*)strdup(result_str.c_str());

  *result_size = result_str.size();

  *ret_ptr = GEARMAN_SUCCESS;

  return result;

}

最後の*result_sizeに返り値のサイズを入れておかないと、client側には壊れた文字列が来る。
boost::formatはprintfのフォーマットと違ってunsigned charを数値としてそのまま使えなかったので2回キャストした。

Makefile

# Mac用Makefile

SRC = imgcolorWorker.cpp

DST = imgcolorWorker



prefix=/opt/local

INCPATH=$(prefix)/include

LIBPATH=$(prefix)/lib



CV_LIBS= -lcv -lcvaux -lcxcore -lhighgui

BOOST_LIBS= $(LIBPATH)/libboost_program_options-mt.a $(LIBPATH)/libboost_regex-mt.a



GEAR_INCPATH=/usr/local/include

GEAR_LIBPATH=/usr/local/lib

GEAR_LIBS=$(GEAR_LIBPATH)/libgearman.a



all:

	g++ -O $(SRC) -o $(DST) -I$(INCPATH)/opencv -L. -L$(LIBPATH) $(CV_LIBS) -I$(INCPATH)/boost $(BOOST_LIBS) -I$(GEAR_INCPATH)/libgearman -L. -L$(GEAR_LIBPATH) $(GEAR_LIBS)

gearman client。ワイルドカードで指定して画像ファイルをひとつずつtask登録する
imgcolorClient.rb

#!/usr/bin/env ruby

# -*- coding: utf-8 -*-

require 'rubygems'

require 'gearman'

require 'json'



if ARGV.size < 1

  puts '画像へのパスが必要'

  puts 'ruby imgcolorClient.rb ~/path/to/images/*.png'

  exit 1

end



c = Gearman::Client.new(['localhost:7003'])

taskset = Gearman::TaskSet.new(c)



ARGV.sort{|a,b| a.split(/\//).last.to_i <=> b.split(/\//).last.to_i}.each{|name|

  puts "add task #{name}"

  task = Gearman::Task.new("img_color", name+"\0")

  task.on_complete{|result|

    puts "return: #{name} => #{result}"

  }

  taskset.add_task(task)

}

taskset.wait(100) # wait 100(sec)

task登録する時に、argmentの末尾に”\0″を付けておかないとworker側で受け取った時におかしくなる事がある。

workerを2つ起動しておいて、画像をいくつか投げてみる

make

./imgcolorWorker&

./imgcolorWorker&

ruby imgcolorClient.rb ~/Pictures/test/*

workerが2つあるので、結果は順番には返ってこない。

add task /Users/sho/Pictures/test/実装力不全.gif

add task /Users/sho/Pictures/test/そうだ旧都へ行こう.jpg

add task /Users/sho/Pictures/test/zanmai.jpg

add task /Users/sho/Pictures/test/wiring.jpg

return: /Users/sho/Pictures/test/実装力不全.gif => {error: image load error}

add task /Users/sho/Pictures/test/ed93d6de.jpg

add task /Users/sho/Pictures/test/f9286cff.jpg

add task /Users/sho/Pictures/test/fae75abe.jpg

add task /Users/sho/Pictures/test/img278_s201.jpg

add task /Users/sho/Pictures/test/la-metro.jpg

add task /Users/sho/Pictures/test/wiring-s.jpg

add task /Users/sho/Pictures/test/org19361.jpg

add task /Users/sho/Pictures/test/org19364.jpg

add task /Users/sho/Pictures/test/org19375.jpg

add task /Users/sho/Pictures/test/label.png

add task /Users/sho/Pictures/test/246.png

add task /Users/sho/Pictures/test/247.png

add task /Users/sho/Pictures/test/248.png

add task /Users/sho/Pictures/test/249.png

return: /Users/sho/Pictures/test/zanmai.jpg => {width: 1024, height: 768, r: 22, g: 11, b:7}

return: /Users/sho/Pictures/test/そうだ旧都へ行こう.jpg => {width: 1440, height: 1046, r: 21, g: 21, b:20}

return: /Users/sho/Pictures/test/ed93d6de.jpg => {width: 1920, height: 1200, r: 45, g: 33, b:26}

return: /Users/sho/Pictures/test/wiring.jpg => {width: 2106, height: 1584, r: 26, g: 24, b:31}

return: /Users/sho/Pictures/test/f9286cff.jpg => {width: 1920, height: 1200, r: 88, g: 80, b:72}

return: /Users/sho/Pictures/test/fae75abe.jpg => {width: 1920, height: 1200, r: 21, g: 15, b:22}

return: /Users/sho/Pictures/test/img278_s201.jpg => {width: 1024, height: 768, r: 21, g: 92, b:107}

return: /Users/sho/Pictures/test/la-metro.jpg => {width: 1024, height: 768, r: 128, g: 118, b:111}

return: /Users/sho/Pictures/test/wiring-s.jpg => {width: 1024, height: 770, r: 28, g: 24, b:32}

return: /Users/sho/Pictures/test/org19361.jpg => {width: 1280, height: 800, r: 0, g: 0, b:0}

return: /Users/sho/Pictures/test/org19375.jpg => {width: 1024, height: 633, r: 235, g: 235, b:235}

return: /Users/sho/Pictures/test/org19364.jpg => {width: 1024, height: 681, r: 217, g: 217, b:217}

return: /Users/sho/Pictures/test/label.png => {width: 100, height: 80, r: 255, g: 255, b:255}

return: /Users/sho/Pictures/test/247.png => {width: 140, height: 151, r: 246, g: 235, b:233}

return: /Users/sho/Pictures/test/248.png => {width: 138, height: 149, r: 247, g: 234, b:232}

return: /Users/sho/Pictures/test/246.png => {width: 141, height: 153, r: 246, g: 237, b:236}

return: /Users/sho/Pictures/test/249.png => {width: 136, height: 147, r: 249, g: 234, b:230}

ちなみにCore2 DuoのMacbookProなので、workerを1つよりも2つ起動していた方が1.7倍ぐらい速かった。

引数を複数渡したい時は、適当に渡してworker側でboost::regex_splitでも使うか、getoptやboost::program_optionsでparseできるようにして渡せばいいかな
client側での受け取りはRubyだからどうにでもできる。

workerでエラーが起きた時の例外処理の出し方がよくわからない。ret_ptrにGEARMAN_SUCCESS以外を入れて返すべきなのか？

cvCalcOpticalFlowBM

shokai — Mon, 05 Oct 2009 14:47:47 +0000

オプティカルフローのサンプルコードをちょっといじって、カメラからの入力を表示してみた。
ブロックマッチングによるオプティカルフローを使った。

できたソースコード、Makefile

image.cpp

#include 

#include 

#include 

#include 

#include 

#include 

#include 



using namespace std;

using namespace boost;



void detect_flow(IplImage *img, IplImage *img_p, IplImage *dst);



int main(int argc, char* argv[]) {

  IplImage *img = NULL;

  CvCapture *capture = NULL;

  capture = cvCreateCameraCapture(0);

  //capture = cvCaptureFromAVI("test.avi");

  if(capture == NULL){

    cerr << "capture device not found!!" << endl;

    return -1;

  }



  CvSize size = cvSize(240, 180);

  IplImage *img_resized = cvCreateImage(size, IPL_DEPTH_8U, 3);

  IplImage *img_gray = cvCreateImage(size, IPL_DEPTH_8U, 1);

  IplImage *img_gray_p = cvCreateImage(size, IPL_DEPTH_8U, 1);

  IplImage *img_dst = cvCreateImage(size, IPL_DEPTH_8U, 3);



  char winNameCapture[] = "Capture";

  cvNamedWindow(winNameCapture, CV_WINDOW_AUTOSIZE);

  

  while (1) {

    img = cvQueryFrame(capture);

    cvResize(img, img_resized);

    cvCvtColor(img_resized, img_gray, CV_BGR2GRAY);

    cvCopy(img_resized, img_dst);

    detect_flow(img_gray, img_gray_p, img_dst);

    cvShowImage(winNameCapture, img_dst);

    cvCopy(img_gray, img_gray_p);

    if (cvWaitKey(10) == 'q') break;

  }

  

  cvReleaseCapture(&capture);

  cvDestroyWindow(winNameCapture);

  

  return 0;

}



void detect_flow(IplImage *src_img1, IplImage *src_img2, IplImage *dst_img){

  int i, j, dx, dy, rows, cols;

  int block_size = 10;

  int shift_size = 1;

  CvMat *velx, *vely;

  CvSize block = cvSize(block_size, block_size);

  CvSize shift = cvSize(shift_size, shift_size);

  CvSize max_range = cvSize(50, 50);



  rows = int(ceil (double (src_img1->height) / block_size));

  cols = int(ceil (double (src_img1->width) / block_size));

  velx = cvCreateMat(rows, cols, CV_32FC1);

  vely = cvCreateMat(rows, cols, CV_32FC1);

  cvSetZero(velx);

  cvSetZero(vely);



  cvCalcOpticalFlowBM(src_img1, src_img2, block, shift, max_range, 0, velx, vely);



  for (i = 0; i < velx->width; i++) {

    for (j = 0; j < vely->height; j++) {

      dx = (int)cvGetReal2D(velx, j, i);

      dy = (int)cvGetReal2D(vely, j, i);

      cvLine(dst_img, cvPoint(i * block_size, j * block_size),

              cvPoint(i * block_size + dx, j * block_size + dy), CV_RGB(255, 0, 0), 1, CV_AA, 0);

    }

  }

}

Makefile

SRC = image.cpp

DST = image



prefix=/opt/local

INCPATH=$(prefix)/include

LIBPATH=$(prefix)/lib 



OPT= -lcv -lcvaux -lcxcore -lhighgui 



CC=g++ -O



CFLAGS= -I$(INCPATH)/opencv

LDFLAGS=-L. -L$(LIBPATH) 





all:

	$(CC) $(SRC)  -o $(DST) $(CFLAGS)  $(LDFLAGS) $(OPT)

輪郭で表示

shokai — Thu, 27 Aug 2009 10:08:05 +0000

アメリカ出張中に、こういう輪郭だけの表示もありかなと思って作ってみたけどまだ実機で試してないからわからないんだった
そのうちやる。

■ダウンロ〜ド

■参考
この2つを合体させた。

■boostでprintf風の文字列フォーマット
boost::formatを使う。

#include 

using namespace std;

using namespace boost;

const int INIT_TIME = 50;

cout << str(format("輝度平均 %d/%d") % i % INIT_TIME) << endl;

■ソースコード
bgsubavg-contour/image.cpp

#include 

#include 

#include 

#include 

#include 

#include 



using namespace std;

using namespace boost;



int main(int argc, char **argv)

{

  const int INIT_TIME = 50;

  const double BG_RATIO = 0.02; // 背景領域更新レート

  const double OBJ_RATIO = 0.005; // 物体領域更新レート

  const double Zeta = 10.0;

  IplImage *img = NULL;



  CvMemStorage* storage_contour = cvCreateMemStorage(0);

  CvSeq* find_contour = NULL;



  CvCapture *capture = NULL;

  capture = cvCreateCameraCapture(0);

  //capture = cvCaptureFromAVI("test.avi");

  if(capture == NULL){

    cerr << "capture device not found!!" << endl;

    return -1;

  }



  img = cvQueryFrame(capture);

  CvSize size = cvSize(img->width, img->height);



  IplImage *imgAverage = cvCreateImage(size, IPL_DEPTH_32F, 3);

  IplImage *imgSgm = cvCreateImage(size, IPL_DEPTH_32F, 3);

  IplImage *imgTmp = cvCreateImage(size, IPL_DEPTH_32F, 3);

  IplImage *img_lower = cvCreateImage(size, IPL_DEPTH_32F, 3);

  IplImage *img_upper = cvCreateImage(size, IPL_DEPTH_32F, 3);

  IplImage *imgSilhouette = cvCreateImage(size, IPL_DEPTH_8U, 1);

  IplImage *imgSilhouetteInv = cvCreateImage(size, IPL_DEPTH_8U, 1);

  IplImage *imgResult = cvCreateImage(size, IPL_DEPTH_8U, 1);

  IplImage *imgContour = cvCreateImage(size, IPL_DEPTH_8U, 1);

  IplImage *imgSilhouette_p = cvCreateImage(size, IPL_DEPTH_8U, 1);



  cout << "背景初期化中..." << endl;

  cvSetZero(imgAverage);

  for(int i = 0; i < INIT_TIME; i++){

    img = cvQueryFrame(capture);

    cvAcc(img, imgAverage);

    cout << str(format("輝度平均 %d/%d") % i % INIT_TIME) << endl;

  }

  cvConvertScale(imgAverage, imgAverage, 1.0 / INIT_TIME);

  cvSetZero(imgSgm);

  for(int i = 0; i < INIT_TIME; i++){

    img = cvQueryFrame(capture);

    cvConvert(img, imgTmp);

    cvSub(imgTmp, imgAverage, imgTmp);

    cvPow(imgTmp, imgTmp, 2.0);

    cvConvertScale(imgTmp, imgTmp, 2.0);

    cvPow(imgTmp, imgTmp, 0.5);

    cvAcc(imgTmp, imgSgm);

    cout << str(format("輝度振幅 %d/%d") % i % INIT_TIME) << endl;

  }

  cvConvertScale(imgSgm, imgSgm, 1.0 / INIT_TIME);

  cout << "背景初期化完了" << endl;



  char winNameCapture[] = "Capture";

  char winNameSilhouette[] = "Silhouette";

  char winNameContour[] = "Contour";

  cvNamedWindow(winNameCapture, CV_WINDOW_AUTOSIZE);

  cvNamedWindow(winNameSilhouette, CV_WINDOW_AUTOSIZE);

  cvNamedWindow(winNameContour, CV_WINDOW_AUTOSIZE);

  

  bool isStop = false;

  while(1){

    if(!isStop){

      img = cvQueryFrame(capture);

      if(img == NULL) break;

      cvConvert(img, imgTmp);



      // 輝度範囲

      cvSub(imgAverage, imgSgm, img_lower);

      cvSubS(img_lower, cvScalarAll(Zeta), img_lower);

      cvAdd(imgAverage, imgSgm, img_upper);

      cvAddS(img_upper, cvScalarAll(Zeta), img_upper);

      cvInRange(imgTmp, img_lower, img_upper, imgSilhouette);



      // 輝度振幅

      cvSub(imgTmp, imgAverage, imgTmp);

      cvPow(imgTmp, imgTmp, 2.0);

      cvConvertScale(imgTmp, imgTmp, 2.0);

      cvPow(imgTmp, imgTmp, 0.5);



      // 背景領域を更新

      cvRunningAvg(img, imgAverage, BG_RATIO, imgSilhouette);

      cvRunningAvg(imgTmp, imgSgm, BG_RATIO, imgSilhouette);



      // 物体領域を更新

      cvNot(imgSilhouette, imgSilhouetteInv);

      cvRunningAvg(imgTmp, imgSgm, OBJ_RATIO, imgSilhouetteInv);



      cvErode(imgSilhouette, imgSilhouette, NULL, 2); // 収縮

      cvDilate(imgSilhouette, imgSilhouette, NULL, 4); // 膨張

      cvErode(imgSilhouette, imgSilhouette, NULL, 2); // 収縮

      cvAnd(imgSilhouette, imgSilhouette_p, imgResult);

      

      // 輪郭抽出、青線で囲む

      int contour_num = cvFindContours(cvCloneImage(imgResult), storage_contour, &find_contour,

				       sizeof(CvContour), CV_RETR_LIST, CV_CHAIN_APPROX_NONE, 

				       cvPoint(0,0));

      CvScalar white = CV_RGB(255,255,255);

      cvSetZero(imgContour);

      cvDrawContours(imgContour, find_contour, white, white, 2, 2, 8, cvPoint(0,0));

      cvNot(imgContour, imgContour);



      cvShowImage(winNameCapture, img);

      cvShowImage(winNameSilhouette, imgResult);

      cvShowImage(winNameContour, imgContour);

      cvCopy(imgSilhouette, imgSilhouette_p);

    }

    int waitKey = cvWaitKey(33);

    if(waitKey == 'q') break;

    if(waitKey == ' '){

      isStop = !isStop;

      if(isStop) cout << "stop" << endl;

      else cout << "start" << endl;

    }

  }  

    

  cvReleaseCapture(&capture);

  cvDestroyWindow(winNameCapture);

  cvDestroyWindow(winNameSilhouette);

  cvDestroyWindow(winNameContour);

  return 0;

}

Makefile

SRC = image.cpp

DST = image



prefix=/opt/local

INCPATH=$(prefix)/include

LIBPATH=$(prefix)/lib 



OPT= -lcv -lcvaux -lcxcore -lhighgui 



CC=g++ -O



CFLAGS= -I$(INCPATH)/opencv

LDFLAGS=-L. -L$(LIBPATH) 





all:

	$(CC) $(SRC)  -o $(DST) $(CFLAGS)  $(LDFLAGS) $(OPT)