12月 242009
<< SFCの博士課程に進学する || 画像のだいたいの色を求める >>
画像のだいたいの色を求めるをgearman worker化した。
画像ファイル名をテキストで投げると
{width: 136, height: 147, r: 249, g: 234, b:230}
という形式で画像のサイズとだいたいの色を返す。Cでworkerを書いてRubyで呼び出す方法は橋本商会 Cでgearman workerを書いてRubyのclientから呼び出すに書いたとおり。
これでOpenCVの解析をgearman workerとして複数並列に動かしてそれをRubyから使いまくるというのができるワハハ
C++なのはboost::regex_splitでも使って引数を受け取ろうかと思ってたんだけど、そもそもファイル名だけしか受け取らなかったから意味がなかった。
imgcolorWorker.cpp
// 画像のだいたいの色とサイズを返すgearman worker
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <string>
#include <iostream>
#include <cv.h>
#include <highgui.h>
#include <boost/regex.hpp>
#include <boost/format.hpp>
#include <libgearman/gearman.h>
using namespace boost;
using namespace std;
IplImage *img, *img1px, *imgR, *imgG, *imgB;
void *job_imgcolor(gearman_job_st *job, void *cb_arg, size_t *result_size, gearman_return_t *ret_ptr);
int main(int argc, char* argv[]) {
img1px = cvCreateImage(cvSize(1,1), IPL_DEPTH_8U, 3);
imgR = cvCreateImage(cvSize(1,1), IPL_DEPTH_8U, 1);
imgG = cvCreateImage(cvSize(1,1), IPL_DEPTH_8U, 1);
imgB = cvCreateImage(cvSize(1,1), IPL_DEPTH_8U, 1);
gearman_worker_st worker;
gearman_worker_create(&worker);
gearman_worker_add_server(&worker, "127.0.0.1", 7003);
gearman_worker_add_function(&worker, "img_color", 0, job_imgcolor, NULL);
while(true) gearman_worker_work(&worker);
return 0;
}
void *job_imgcolor(gearman_job_st *job, void *cb_arg, size_t *result_size, gearman_return_t *ret_ptr){
string fileName = (char*)gearman_job_workload(job);
string result_str = "";
IplImage *img = cvLoadImage(fileName.c_str());
if(!img){
result_str += "{error: image load error}";
}
else{
cvResize(img, img1px, CV_INTER_CUBIC);
cvSplit(img1px, imgB, imgG, imgR, NULL);
result_str += str(format("{width: %d, height: %d, r: %d, g: %d, b:%d}")
% img->width % img->height %
(uint)(uchar)imgR->imageDataOrigin[0] %
(uint)(uchar)imgG->imageDataOrigin[0] %
(uint)(uchar)imgB->imageDataOrigin[0]);
cvReleaseImage(&img);
}
cout << fileName << " => " << result_str << endl;
char *result = (char*)strdup(result_str.c_str());
*result_size = result_str.size();
*ret_ptr = GEARMAN_SUCCESS;
return result;
}
最後の*result_sizeに返り値のサイズを入れておかないと、client側には壊れた文字列が来る。boost::formatはprintfのフォーマットと違ってunsigned charを数値としてそのまま使えなかったので2回キャストした。
Makefile
# Mac用Makefile SRC = imgcolorWorker.cpp DST = imgcolorWorker prefix=/opt/local INCPATH=$(prefix)/include LIBPATH=$(prefix)/lib CV_LIBS= -lcv -lcvaux -lcxcore -lhighgui BOOST_LIBS= $(LIBPATH)/libboost_program_options-mt.a $(LIBPATH)/libboost_regex-mt.a GEAR_INCPATH=/usr/local/include GEAR_LIBPATH=/usr/local/lib GEAR_LIBS=$(GEAR_LIBPATH)/libgearman.a all: g++ -O $(SRC) -o $(DST) -I$(INCPATH)/opencv -L. -L$(LIBPATH) $(CV_LIBS) -I$(INCPATH)/boost $(BOOST_LIBS) -I$(GEAR_INCPATH)/libgearman -L. -L$(GEAR_LIBPATH) $(GEAR_LIBS)
gearman client。ワイルドカードで指定して画像ファイルをひとつずつtask登録する
imgcolorClient.rb
#!/usr/bin/env ruby
# -*- coding: utf-8 -*-
require 'rubygems'
require 'gearman'
require 'json'
if ARGV.size < 1
puts '画像へのパスが必要'
puts 'ruby imgcolorClient.rb ~/path/to/images/*.png'
exit 1
end
c = Gearman::Client.new(['localhost:7003'])
taskset = Gearman::TaskSet.new(c)
ARGV.sort{|a,b| a.split(/\//).last.to_i <=> b.split(/\//).last.to_i}.each{|name|
puts "add task #{name}"
task = Gearman::Task.new("img_color", name+"\0")
task.on_complete{|result|
puts "return: #{name} => #{result}"
}
taskset.add_task(task)
}
taskset.wait(100) # wait 100(sec)
task登録する時に、argmentの末尾に”\0″を付けておかないとworker側で受け取った時におかしくなる事がある。workerを2つ起動しておいて、画像をいくつか投げてみる
make ./imgcolorWorker& ./imgcolorWorker& ruby imgcolorClient.rb ~/Pictures/test/*
workerが2つあるので、結果は順番には返ってこない。
add task /Users/sho/Pictures/test/実装力不全.gif
add task /Users/sho/Pictures/test/そうだ旧都へ行こう.jpg
add task /Users/sho/Pictures/test/zanmai.jpg
add task /Users/sho/Pictures/test/wiring.jpg
return: /Users/sho/Pictures/test/実装力不全.gif => {error: image load error}
add task /Users/sho/Pictures/test/ed93d6de.jpg
add task /Users/sho/Pictures/test/f9286cff.jpg
add task /Users/sho/Pictures/test/fae75abe.jpg
add task /Users/sho/Pictures/test/img278_s201.jpg
add task /Users/sho/Pictures/test/la-metro.jpg
add task /Users/sho/Pictures/test/wiring-s.jpg
add task /Users/sho/Pictures/test/org19361.jpg
add task /Users/sho/Pictures/test/org19364.jpg
add task /Users/sho/Pictures/test/org19375.jpg
add task /Users/sho/Pictures/test/label.png
add task /Users/sho/Pictures/test/246.png
add task /Users/sho/Pictures/test/247.png
add task /Users/sho/Pictures/test/248.png
add task /Users/sho/Pictures/test/249.png
return: /Users/sho/Pictures/test/zanmai.jpg => {width: 1024, height: 768, r: 22, g: 11, b:7}
return: /Users/sho/Pictures/test/そうだ旧都へ行こう.jpg => {width: 1440, height: 1046, r: 21, g: 21, b:20}
return: /Users/sho/Pictures/test/ed93d6de.jpg => {width: 1920, height: 1200, r: 45, g: 33, b:26}
return: /Users/sho/Pictures/test/wiring.jpg => {width: 2106, height: 1584, r: 26, g: 24, b:31}
return: /Users/sho/Pictures/test/f9286cff.jpg => {width: 1920, height: 1200, r: 88, g: 80, b:72}
return: /Users/sho/Pictures/test/fae75abe.jpg => {width: 1920, height: 1200, r: 21, g: 15, b:22}
return: /Users/sho/Pictures/test/img278_s201.jpg => {width: 1024, height: 768, r: 21, g: 92, b:107}
return: /Users/sho/Pictures/test/la-metro.jpg => {width: 1024, height: 768, r: 128, g: 118, b:111}
return: /Users/sho/Pictures/test/wiring-s.jpg => {width: 1024, height: 770, r: 28, g: 24, b:32}
return: /Users/sho/Pictures/test/org19361.jpg => {width: 1280, height: 800, r: 0, g: 0, b:0}
return: /Users/sho/Pictures/test/org19375.jpg => {width: 1024, height: 633, r: 235, g: 235, b:235}
return: /Users/sho/Pictures/test/org19364.jpg => {width: 1024, height: 681, r: 217, g: 217, b:217}
return: /Users/sho/Pictures/test/label.png => {width: 100, height: 80, r: 255, g: 255, b:255}
return: /Users/sho/Pictures/test/247.png => {width: 140, height: 151, r: 246, g: 235, b:233}
return: /Users/sho/Pictures/test/248.png => {width: 138, height: 149, r: 247, g: 234, b:232}
return: /Users/sho/Pictures/test/246.png => {width: 141, height: 153, r: 246, g: 237, b:236}
return: /Users/sho/Pictures/test/249.png => {width: 136, height: 147, r: 249, g: 234, b:230}
ちなみにCore2 DuoのMacbookProなので、workerを1つよりも2つ起動していた方が1.7倍ぐらい速かった。
引数を複数渡したい時は、適当に渡してworker側でboost::regex_splitでも使うか、getoptやboost::program_optionsでparseできるようにして渡せばいいかな
client側での受け取りはRubyだからどうにでもできる。
workerでエラーが起きた時の例外処理の出し方がよくわからない。ret_ptrにGEARMAN_SUCCESS以外を入れて返すべきなのか？