アーカイブ
‘gearman’ タグのついている投稿
OpenCVで画像サイズを求めるgearman workerをdaemontoolsで管理する
2010 年 7 月 26 日
コメントはありません
OpenCVで画像のサイズを求めるgearman workerを作って、Rubyから呼ぶで作ったworkerをpreforkさせて、そいつらをdaemontoolsで管理できるようにした。あらかじめCPU個数+いくつかforkしておくと、CPUが複数あるマシンを生かせるし、解析前にlibcurlで画像を取得している時のI/O待ちが少なくなって良い。（この記事のworkerはlibcurl使ってない版だけど）
あと、返り値は自分で作ったjson_builder.hを使って返すようにした。
なにげに大量の画像の中からダウンロード失敗した破損画像を見つけるのに重宝している。
まずdaemontoolsをインストールしておく
daemontoolsで管理できるようにする。
普通にforkしただけだと、daemontoolsでsvc -dしてプロセスを止めようとしてもforkした子プロセスの方が止まらない。
Perlの場合の良い例があった。
How to manage Gearman worker processes. – TokuLog 改メ tokuhirom’s blog
Parallel::Preforkを使っている。Parallel::Preforkのソースを読んでみたら、trap_signalsオプションで親プロセスがSIGTERMとSIGHUPをフックして、子プロセスにkillを送っていた。
よく考えたら普通のforkで親が子を殺すというやつだった。
Parallel::Preforkと同じ様にやる。
forkした後親が子のpidのリストを持っておいて、SIGTERM/SIGHUPをフックして、子を全部killする処理を追加した。
daemontoolsのrunスクリプトはこれ
#!/bin/sh起動すると5個にプロセスが増える。親はdaemontoolsのsuperviseが管理してくれる。
exec 2>&1
exec setuidgid sho /Users/sho/src/gearmand-study/imgsize/imgsizeWorker -s localhost -p 7003 --fork 5
これでsvc -dとか-uとかすればまとめて起動終了するようになった。
imgsizeWorker.cpp
// 画像サイズを返すgearman worker
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <signal.h>
#include <string>
#include <iostream>
#include <cv.h>
#include <highgui.h>
#include <boost/program_options.hpp>
#include <boost/regex.hpp>
#include <boost/format.hpp>
#include <boost/tuple/tuple.hpp>
#include <boost/tuple/tuple_io.hpp>
#include <boost/any.hpp>
#include <libgearman/gearman.h>
#include "json_builder.h"
using namespace boost;
using namespace std;
tuple<int, int> get_size(const string& fileName); // 画像のwidth,heightを返す
map<string,any> imgsize(const string& fileName); // gearman workerとしてclientに返すためのJSON Objectを作る
void *job_imgsize(gearman_job_st *job, void *cb_arg, size_t *result_size, gearman_return_t *ret_ptr);
void on_exit_signal(int sig);
vector<int> pids;
int main(int argc, char* argv[]) {
program_options::options_description opts("options");
opts.add_options()
("help,h", "helpを表示")
("server,s", program_options::value<string>(), "gearmanサーバーのアドレス")
("port,p", program_options::value<int>(), "gearmanサーバーのport番号")
("fork", program_options::value<int>(), "preforkする数")
("test,t", program_options::value<string>(), "gearman worker単体テスト用query");
program_options::variables_map argmap;
program_options::store(parse_command_line(argc, argv, opts), argmap);
program_options::notify(argmap);
if(!argmap.count("help")){
if(argmap.count("test")){
cout << "---test---" << endl;
string gearman_param = argmap["test"].as<string>();
cout << json_builder::toJson(imgsize(gearman_param)) << endl; // 単体でworkerとしてのテスト
return 0;
}else if(argmap.count("server") && argmap.count("port")){
if(argmap.count("fork")){
int i, pid;
for(i = 1; i < argmap["fork"].as<int>(); i++){
pid = fork();
if(pid == 0){ // 子プロセス
pids.clear();
break;
}
else{ // 親プロセス
pids.push_back(pid);
cout << str(format("fork:%d - parent:%d child:%d") %
i %
getpid() %
pid) << endl;
}
}
}
if(pids.size() > 0){ // 親プロセスの終了シグナルをフックする
signal(SIGTERM, on_exit_signal);
signal(SIGHUP, on_exit_signal);
}
gearman_worker_st worker;
gearman_worker_create(&worker);
string g_server = argmap["server"].as<string>();
int g_port = argmap["port"].as<int>();
struct hostent *g_host = gethostbyname((char*)g_server.c_str());
string g_server_addr = str(format("%d.%d.%d.%d") %
(uint)(uchar)g_host->h_addr[0] %
(uint)(uchar)g_host->h_addr[1] %
(uint)(uchar)g_host->h_addr[2] %
(uint)(uchar)g_host->h_addr[3]);
gearman_worker_add_server(&worker, g_server_addr.c_str(), g_port);
gearman_worker_add_function(&worker, "img_size", 0, job_imgsize, NULL);
cout << str(format("---start worker (%s:%d)---") %
g_server_addr % g_port) << endl;
while(true) gearman_worker_work(&worker); // workerとして待機
return 0;
}
}
cerr << "server,portが必要です" << endl;
cerr << opts << endl;
return 1;
}
// opencvで画像サイズを取得
tuple<int, int> get_size(const string& fileName){
IplImage *img = cvLoadImage(fileName.c_str());
if(!img){
return make_tuple(-1, -1);
}
else{
int width = img->width;
int height = img->height;
cvReleaseImage(&img);
return make_tuple(width, height);
}
}
// 画像サイズを取得してgearman serverに返すJSON Objectを作る
map<string,any> imgsize(const string& fileName){
map<string,any> result_m;
int width, height;
tie(width, height) = get_size(fileName);
if(width > 0 && height > 0){
result_m["width"] = width;
result_m["height"] = height;
}
else{
result_m["error"] = string("image load error");
}
return result_m;
}
// gearman worker job
void *job_imgsize(gearman_job_st *job, void *cb_arg, size_t *result_size, gearman_return_t *ret_ptr){
string fileName = (char*)gearman_job_workload(job);
cout << fileName << endl;
string result_str = json_builder::toJson(imgsize(fileName));
cout << " => " << result_str << endl;
char *result = (char*)strdup(result_str.c_str());
*result_size = result_str.size();
*ret_ptr = GEARMAN_SUCCESS;
return result;
}
void on_exit_signal(int sig){
for(int i = 0; i < pids.size(); i++){
cout << str(format("kill (pid:%d)") % pids[i]) << endl;
if(kill(pids[i], SIGKILL) < 0){
cerr << str(format("kill failed (pid:%d)") % pids[i]) << endl;
}
}
exit(0);
}
OpenCVで画像のサイズを求めるgearman workerを作って、Rubyから呼ぶ
2010 年 1 月 3 日
コメントはありません
ファイル名を渡すと画像サイズを返すgearman workerを作った。
{"width":1600, "height":1200}
という風にJSON風に値を返す。以前画像のだいたいの色を求めるgearman workerを作ってたんだけど、C++で書いたworker側を単独で動作テストする事ができなくてどうしようか悩んだ。テスト用のclientと同時に作らなければならなくて、どちらにバグがあるのか切り分けるのが面倒だった。
そこで、workerの起動時に
./imgsizeWorker --test "/path/to/imagefile.jpg"という風にgearman clientから来る引数と同じ形式で渡すと、単体のプログラムとしても動作チェックできるようにした。
こうすると普通にworkerとして起動する。
./imgsizeWorker -s localhost -p 7003これはboost::program_optionsでやると便利だった。
今後はこのコードを雛形にすればC++とOpenCVで高速に画像解析して、gearmand経由でスクリプト言語から呼び出しまくれる。
■使ったライブラリ
boostライブラリを中心にいろいろ使った。
opencv1.0は画像サイズを取得する為だけに使った。GUIを使って無いのにcvLoadImage()のためだけにhighgui.hを読み込んでいる。
boost::tupleとboost::tieを使うと返り値を複数返す関数が作れるので、画像の情報を返すのに便利。そういえばRubyでは普通に使ってたけどC#3.5やAS3.0ではタプル無かったな。欲しい。ASはArrayに何でも入れやすいからいいか。
boost::tupleで多値を受け取る – 橋本詳解
boost::tieでtupleを展開 – 橋本詳解
boost::formatでprintf風にstd::stringをフォーマット。
boost::program_optionsで引数をparseする。
boost::program_optionsでコマンドライン引数を読む – 橋本詳解
rubyはxing-gearman-rubyを使った。
橋本商会 Cでgearman workerを書いてRubyのclientから呼び出す
■プログラム
libgearmanのgearman_worker_add_serverはIPアドレスを渡さないとならないので、一応ホスト名を解決するようにした。
imgsizeWorker.cpp
// 画像サイズを返すgearman worker
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <string>
#include <iostream>
#include <cv.h>
#include <highgui.h>
#include <boost/program_options.hpp>
#include <boost/regex.hpp>
#include <boost/format.hpp>
#include <boost/tuple/tuple.hpp>
#include <boost/tuple/tuple_io.hpp>
#include <libgearman/gearman.h>
using namespace boost;
using namespace std;
tuple<int, int> get_size(string fileName); // 画像のwidth,heightを返す
string imgsize(string fileName); // gearman workerとしてclientに返すstringに整形する
void *job_imgsize(gearman_job_st *job, void *cb_arg, size_t *result_size, gearman_return_t *ret_ptr);
int main(int argc, char* argv[]) {
program_options::options_description opts("options");
opts.add_options()
("help,h", "helpを表示")
("server,s", program_options::value<string>(), "gearmanサーバーのアドレス")
("port,p", program_options::value<int>(), "gearmanサーバーのport番号")
("test,t", program_options::value<string>(), "gearman worker単体テスト用query");
program_options::variables_map argmap;
program_options::store(parse_command_line(argc, argv, opts), argmap);
program_options::notify(argmap);
if(!argmap.count("help")){
if(argmap.count("test")){
cout << "---test---" << endl;
string gearman_param = argmap["test"].as<string>();
imgsize(gearman_param); // 単体でworkerとしてのテスト
return 0;
}else if(argmap.count("server") && argmap.count("port")){
gearman_worker_st worker;
gearman_worker_create(&worker);
string g_server = argmap["server"].as<string>();
int g_port = argmap["port"].as<int>();
struct hostent *g_host = gethostbyname((char*)g_server.c_str());
string g_server_addr = str(format("%d.%d.%d.%d") %
(uint)(uchar)g_host->h_addr[0] %
(uint)(uchar)g_host->h_addr[1] %
(uint)(uchar)g_host->h_addr[2] %
(uint)(uchar)g_host->h_addr[3]);
gearman_worker_add_server(&worker, g_server_addr.c_str(), g_port);
gearman_worker_add_function(&worker, "img_size", 0, job_imgsize, NULL);
cout << str(format("---start worker (%s:%d)---") %
g_server_addr % g_port) << endl;
while(true) gearman_worker_work(&worker); // workerとして待機
return 0;
}
}
cerr << "server,portが必要です" << endl;
cerr << opts << endl;
return 1;
}
// opencvで画像サイズを取得
tuple<int, int> get_size(string fileName){
IplImage *img = cvLoadImage(fileName.c_str());
if(!img){
return make_tuple(-1, -1);
}
else{
return make_tuple(img->width, img->height);
cvReleaseImage(&img);
}
}
// 画像サイズを取得してgearman serverに返すstringに整形する
string imgsize(string fileName){
string result_str = "";
int width, height;
tie(width, height) = get_size(fileName);
if(width > 0 && height > 0){
result_str += str(format("{\"width\":%d, \"height\":%d}")
% width % height);
}
else{
result_str = "error : image load error";
}
cout << fileName << " => " << result_str << endl;
return result_str;
}
// gearman worker job
void *job_imgsize(gearman_job_st *job, void *cb_arg, size_t *result_size, gearman_return_t *ret_ptr){
string fileName = (char*)gearman_job_workload(job);
string result_str = imgsize(fileName);
char *result = (char*)strdup(result_str.c_str());
*result_size = result_str.size();
*ret_ptr = GEARMAN_SUCCESS;
return result;
}
Makefile
# Mac用Makefile
SRC = imgsizeWorker.cpp
DST = imgsizeWorker
prefix=/opt/local
INCPATH=$(prefix)/include
LIBPATH=$(prefix)/lib
CV_LIBS= -lcv -lcvaux -lcxcore -lhighgui
BOOST_LIBS= $(LIBPATH)/libboost_program_options-mt.a
GEAR_INCPATH=/usr/local/include
GEAR_LIBPATH=/usr/local/lib
GEAR_LIBS=$(GEAR_LIBPATH)/libgearman.a
all:
g++ -O $(SRC) -o $(DST) -I$(INCPATH)/opencv -L. -L$(LIBPATH) $(CV_LIBS) -I$(INCPATH)/boost $(BOOST_LIBS) -I$(GEAR_INCPATH)/libgearman -L. -L$(GEAR_LIBPATH) $(GEAR_LIBS)
client側。workerからの返り値の先頭にerrorが書いていなかったらJSONとしてparseする
testclient.rb
#!/usr/bin/env ruby
# -*- coding: utf-8 -*-
require 'rubygems'
require 'gearman'
require 'json'
if ARGV.size < 1
puts '画像へのパスが必要'
puts 'ruby testclient.rb ~/path/to/images/*.png'
exit 1
end
c = Gearman::Client.new(['localhost:7003'])
taskset = Gearman::TaskSet.new(c)
ARGV.sort{|a,b| a.split(/\//).last.to_i <=> b.split(/\//).last.to_i}.each{|name|
puts "add task #{name}"
task = Gearman::Task.new("img_size", name+"\0")
task.on_complete{|result|
if !(result =~ /^error/)
print "return: #{name} => "
p JSON.parse(result)
else
puts "return: #{name} => #{result}"
end
}
taskset.add_task(task)
}
taskset.wait(100) # wait 100(sec)
&をつけていくつかworkerを起動する
./imgsizeWorker -s localhost -p 7003&
./imgsizeWorker -s localhost -p 7003&
clientからtask登録。フォルダ内のjpgファイルを全部登録する
ruby testclient.rb ~/Pictures/selected/*.jpgサイズが返ってくる
add task /Users/sho/Pictures/selected/a66dab3a.jpg
add task /Users/sho/Pictures/selected/3ed6f38e.jpg
add task /Users/sho/Pictures/selected/77ab53f0.jpg
add task /Users/sho/Pictures/selected/889bd644.jpg
add task /Users/sho/Pictures/selected/73177294.jpg
return: /Users/sho/Pictures/selected/a66dab3a.jpg => {"height"=>1200, "width"=>1600}
return: /Users/sho/Pictures/selected/3ed6f38e.jpg => {"height"=>1200, "width"=>1600}
return: /Users/sho/Pictures/selected/77ab53f0.jpg => {"height"=>1200, "width"=>1600}
return: /Users/sho/Pictures/selected/889bd644.jpg => {"height"=>800, "width"=>1280}
return: /Users/sho/Pictures/selected/73177294.jpg => {"height"=>1200, "width"=>1600}
OpenCVで画像のだいたいの色を求めるgearman workerを作って、Rubyから呼び出す
2009 年 12 月 24 日
コメントはありません
画像のだいたいの色を求めるをgearman worker化した。
画像ファイル名をテキストで投げると
{width: 136, height: 147, r: 249, g: 234, b:230}
という形式で画像のサイズとだいたいの色を返す。Cでworkerを書いてRubyで呼び出す方法は橋本商会 Cでgearman workerを書いてRubyのclientから呼び出すに書いたとおり。
これでOpenCVの解析をgearman workerとして複数並列に動かしてそれをRubyから使いまくるというのができるワハハ
C++なのはboost::regex_splitでも使って引数を受け取ろうかと思ってたんだけど、そもそもファイル名だけしか受け取らなかったから意味がなかった。
imgcolorWorker.cpp
// 画像のだいたいの色とサイズを返すgearman worker最後の*result_sizeに返り値のサイズを入れておかないと、client側には壊れた文字列が来る。
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <string>
#include <iostream>
#include <cv.h>
#include <highgui.h>
#include <boost/regex.hpp>
#include <boost/format.hpp>
#include <libgearman/gearman.h>
using namespace boost;
using namespace std;
IplImage *img, *img1px, *imgR, *imgG, *imgB;
void *job_imgcolor(gearman_job_st *job, void *cb_arg, size_t *result_size, gearman_return_t *ret_ptr);
int main(int argc, char* argv[]) {
img1px = cvCreateImage(cvSize(1,1), IPL_DEPTH_8U, 3);
imgR = cvCreateImage(cvSize(1,1), IPL_DEPTH_8U, 1);
imgG = cvCreateImage(cvSize(1,1), IPL_DEPTH_8U, 1);
imgB = cvCreateImage(cvSize(1,1), IPL_DEPTH_8U, 1);
gearman_worker_st worker;
gearman_worker_create(&worker);
gearman_worker_add_server(&worker, "127.0.0.1", 7003);
gearman_worker_add_function(&worker, "img_color", 0, job_imgcolor, NULL);
while(true) gearman_worker_work(&worker);
return 0;
}
void *job_imgcolor(gearman_job_st *job, void *cb_arg, size_t *result_size, gearman_return_t *ret_ptr){
string fileName = (char*)gearman_job_workload(job);
string result_str = "";
IplImage *img = cvLoadImage(fileName.c_str());
if(!img){
result_str += "{error: image load error}";
}
else{
cvResize(img, img1px, CV_INTER_CUBIC);
cvSplit(img1px, imgB, imgG, imgR, NULL);
result_str += str(format("{width: %d, height: %d, r: %d, g: %d, b:%d}")
% img->width % img->height %
(uint)(uchar)imgR->imageDataOrigin[0] %
(uint)(uchar)imgG->imageDataOrigin[0] %
(uint)(uchar)imgB->imageDataOrigin[0]);
cvReleaseImage(&img);
}
cout << fileName << " => " << result_str << endl;
char *result = (char*)strdup(result_str.c_str());
*result_size = result_str.size();
*ret_ptr = GEARMAN_SUCCESS;
return result;
}
boost::formatはprintfのフォーマットと違ってunsigned charを数値としてそのまま使えなかったので2回キャストした。
Makefile
# Mac用Makefile
SRC = imgcolorWorker.cpp
DST = imgcolorWorker
prefix=/opt/local
INCPATH=$(prefix)/include
LIBPATH=$(prefix)/lib
CV_LIBS= -lcv -lcvaux -lcxcore -lhighgui
BOOST_LIBS= $(LIBPATH)/libboost_program_options-mt.a $(LIBPATH)/libboost_regex-mt.a
GEAR_INCPATH=/usr/local/include
GEAR_LIBPATH=/usr/local/lib
GEAR_LIBS=$(GEAR_LIBPATH)/libgearman.a
all:
g++ -O $(SRC) -o $(DST) -I$(INCPATH)/opencv -L. -L$(LIBPATH) $(CV_LIBS) -I$(INCPATH)/boost $(BOOST_LIBS) -I$(GEAR_INCPATH)/libgearman -L. -L$(GEAR_LIBPATH) $(GEAR_LIBS)
gearman client。ワイルドカードで指定して画像ファイルをひとつずつtask登録する
imgcolorClient.rb
#!/usr/bin/env rubytask登録する時に、argmentの末尾に”\0″を付けておかないとworker側で受け取った時におかしくなる事がある。
# -*- coding: utf-8 -*-
require 'rubygems'
require 'gearman'
require 'json'
if ARGV.size < 1
puts '画像へのパスが必要'
puts 'ruby imgcolorClient.rb ~/path/to/images/*.png'
exit 1
end
c = Gearman::Client.new(['localhost:7003'])
taskset = Gearman::TaskSet.new(c)
ARGV.sort{|a,b| a.split(/\//).last.to_i <=> b.split(/\//).last.to_i}.each{|name|
puts "add task #{name}"
task = Gearman::Task.new("img_color", name+"\0")
task.on_complete{|result|
puts "return: #{name} => #{result}"
}
taskset.add_task(task)
}
taskset.wait(100) # wait 100(sec)
workerを2つ起動しておいて、画像をいくつか投げてみる
make
./imgcolorWorker&
./imgcolorWorker&
ruby imgcolorClient.rb ~/Pictures/test/*
workerが2つあるので、結果は順番には返ってこない。
add task /Users/sho/Pictures/test/実装力不全.gif
add task /Users/sho/Pictures/test/そうだ旧都へ行こう.jpg
add task /Users/sho/Pictures/test/zanmai.jpg
add task /Users/sho/Pictures/test/wiring.jpg
return: /Users/sho/Pictures/test/実装力不全.gif => {error: image load error}
add task /Users/sho/Pictures/test/ed93d6de.jpg
add task /Users/sho/Pictures/test/f9286cff.jpg
add task /Users/sho/Pictures/test/fae75abe.jpg
add task /Users/sho/Pictures/test/img278_s201.jpg
add task /Users/sho/Pictures/test/la-metro.jpg
add task /Users/sho/Pictures/test/wiring-s.jpg
add task /Users/sho/Pictures/test/org19361.jpg
add task /Users/sho/Pictures/test/org19364.jpg
add task /Users/sho/Pictures/test/org19375.jpg
add task /Users/sho/Pictures/test/label.png
add task /Users/sho/Pictures/test/246.png
add task /Users/sho/Pictures/test/247.png
add task /Users/sho/Pictures/test/248.png
add task /Users/sho/Pictures/test/249.png
return: /Users/sho/Pictures/test/zanmai.jpg => {width: 1024, height: 768, r: 22, g: 11, b:7}
return: /Users/sho/Pictures/test/そうだ旧都へ行こう.jpg => {width: 1440, height: 1046, r: 21, g: 21, b:20}
return: /Users/sho/Pictures/test/ed93d6de.jpg => {width: 1920, height: 1200, r: 45, g: 33, b:26}
return: /Users/sho/Pictures/test/wiring.jpg => {width: 2106, height: 1584, r: 26, g: 24, b:31}
return: /Users/sho/Pictures/test/f9286cff.jpg => {width: 1920, height: 1200, r: 88, g: 80, b:72}
return: /Users/sho/Pictures/test/fae75abe.jpg => {width: 1920, height: 1200, r: 21, g: 15, b:22}
return: /Users/sho/Pictures/test/img278_s201.jpg => {width: 1024, height: 768, r: 21, g: 92, b:107}
return: /Users/sho/Pictures/test/la-metro.jpg => {width: 1024, height: 768, r: 128, g: 118, b:111}
return: /Users/sho/Pictures/test/wiring-s.jpg => {width: 1024, height: 770, r: 28, g: 24, b:32}
return: /Users/sho/Pictures/test/org19361.jpg => {width: 1280, height: 800, r: 0, g: 0, b:0}
return: /Users/sho/Pictures/test/org19375.jpg => {width: 1024, height: 633, r: 235, g: 235, b:235}
return: /Users/sho/Pictures/test/org19364.jpg => {width: 1024, height: 681, r: 217, g: 217, b:217}
return: /Users/sho/Pictures/test/label.png => {width: 100, height: 80, r: 255, g: 255, b:255}
return: /Users/sho/Pictures/test/247.png => {width: 140, height: 151, r: 246, g: 235, b:233}
return: /Users/sho/Pictures/test/248.png => {width: 138, height: 149, r: 247, g: 234, b:232}
return: /Users/sho/Pictures/test/246.png => {width: 141, height: 153, r: 246, g: 237, b:236}
return: /Users/sho/Pictures/test/249.png => {width: 136, height: 147, r: 249, g: 234, b:230}
ちなみにCore2 DuoのMacbookProなので、workerを1つよりも2つ起動していた方が1.7倍ぐらい速かった。
引数を複数渡したい時は、適当に渡してworker側でboost::regex_splitでも使うか、getoptやboost::program_optionsでparseできるようにして渡せばいいかな
client側での受け取りはRubyだからどうにでもできる。
workerでエラーが起きた時の例外処理の出し方がよくわからない。ret_ptrにGEARMAN_SUCCESS以外を入れて返すべきなのか？
Cでgearman workerを書いてRubyのclientから呼び出す
2009 年 12 月 15 日
コメントはありません
gearmandをソースからインストールして、Cライブラリのlibgearmanが使えるようになった。
これでC言語でworkerを作ってRubyのclientから呼び出せる。環境はUbuntu9.04とgearmand0.11
■Cでworkerを書く
str_reverseというアビリティを持つworkerを作る。
ほぼAPIドキュメントのままだが、jobの引数を受け取るのと、値を返せるようにがんばった。ジョブ失敗した時とかのエラー処理全然書いてない。たぶんenum gearman_return_tを返せばいいんだろうけど
strreverse-worker.c
// 文字列をreverseして返すworker
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <libgearman/gearman.h>
void *job_str_reverse(gearman_job_st *job, void *cb_arg, size_t *result_size,
gearman_return_t *ret_ptr)
{
char *str = (char *)gearman_job_workload(job);
int len = strlen(str);
printf("str:%s length:%d\n", str, len);
char reverse[len];
for(int i = 0; i < len; i++){
reverse[i] = str[len-i-1]; // 文字列を逆にする
}
char *result = strdup(reverse); // 結果の文字列はコピーしてポインタで返す
*result_size= gearman_job_workload_size(job);
*ret_ptr= GEARMAN_SUCCESS;
return result;
}
int main(int argc, char *argv[])
{
gearman_return_t ret;
gearman_worker_st worker;
gearman_worker_create(&worker);
gearman_worker_add_server(&worker, "127.0.0.1", 7003);
gearman_worker_add_function(&worker, "str_reverse", 0, job_str_reverse, NULL);
while(1) gearman_worker_work(&worker); // ジョブ登録したらループで待つ
gearman_worker_free(&worker);
return 0;
}
Makefile
# Linux用Makefilemakeするとstrreverse-workerができる。
SRC = strreverse-worker.c
DST = strreverse-worker
prefix=/usr/local
INCPATH=$(prefix)/include
LIBPATH=$(prefix)/lib
GEAR_LIBS=$(LIBPATH)/libgearman.a
all:
g++ -O $(SRC) -o $(DST) -I$(INCPATH)/libgearman -L. -L$(LIBPATH) $(GEAR_LIBS)
■Rubyでclientを書く
xing-gearman-serverを使うといい
client書く。実行時引数を一つずつstr_reverseに登録するclient。
strreverse-client.rb
#!/usr/bin/env ruby
require 'rubygems'
require 'gearman'
c = Gearman::Client.new(['localhost:7003'])
taskset = Gearman::TaskSet.new(c)
ARGV.each{|str|
puts "add task #{str}"
task = Gearman::Task.new('str_reverse', str)
task.on_complete{|result|
puts "return: #{str} => #{result}" # 文字列が逆になって返ってくる
}
taskset.add_task(task)
}
taskset.wait(100) # wait 100(sec)
■動かしてみる
worker動かす
./strreverse-worker
clientから3つ文字列登録
ruby strreverse-client.rb hello konitiwa asdfhujiko
すると文字列返ってくる
add task hello
add task konitiwa
return: hello => olleh
add task asdfhujiko
return: konitiwa => awitinok
return: asdfhujiko => okijuhfdsa
worker側の標準出力はこうなってた
str:hello length:5
str:konitiwa length:8
str:asdfhujiko length:10
workerを3つバックグラウンドで起動しておく
./strreverse-worker&
./strreverse-worker&
./strreverse-worker&
凄い勢いで処理されてるので非同期になってるのかよくわからない
ruby strreverse-client.rb hello konitiwa asdfhujiko aaiiaaiiaaii hogehogehogehoge mmmasdffajkl23rwdfv ahsdga9sd8uf9p8u nbjkasdoif98pu
add task hello
add task konitiwa
return: hello => olleh
add task asdfhujiko
return: konitiwa => awitinok
add task aaiiaaiiaaii
return: asdfhujiko => okijuhfdsa
add task hogehogehogehoge
return: aaiiaaiiaaii => iiaaiiaaiiaa
add task mmmasdffajkl23rwdfv
return: hogehogehogehoge => egohegohegohegoh
add task ahsdga9sd8uf9p8u
return: mmmasdffajkl23rwdfv => vfdwr32lkjaffdsammm
add task nbjkasdoif98pu
return: ahsdga9sd8uf9p8u => vfdu8p9fu8ds9agd
return: nbjkasdoif98pu => vfdu8up89fiods
最近のコメント