橋本商会 » JSON http://shokai.org/blog なんか作ったりした記録を忘れないうちに書くblog Sun, 20 May 2012 10:50:20 +0000 ja hourly 1 http://wordpress.org/?v=3.3.2 OpenCVで画像サイズを求めるgearman workerをdaemontoolsで管理する http://shokai.org/blog/archives/5254 http://shokai.org/blog/archives/5254#comments Sun, 25 Jul 2010 16:02:54 +0000 shokai http://shokai.org/blog/?p=5254 OpenCVで画像のサイズを求めるgearman workerを作って、Rubyから呼ぶで作ったworkerをpreforkさせて、そいつらをdaemontoolsで管理できるようにした。あらかじめCPU個数+いくつかforkしておくと、CPUが複数あるマシンを生かせるし、解析前にlibcurlで画像を取得している時のI/O待ちが少なくなって良い。（この記事のworkerはlibcurl使ってない版だけど）
あと、返り値は自分で作ったjson_builder.hを使って返すようにした。

なにげに大量の画像の中からダウンロード失敗した破損画像を見つけるのに重宝している。

まずdaemontoolsをインストールしておく
gearmandもdaemontoolsで自動起動するようにしておく。


daemontoolsで管理できるようにする。
普通にforkしただけだと、daemontoolsでsvc -dしてプロセスを止めようとしてもforkした子プロセスの方が止まらない。

Perlの場合の良い例があった。
How to manage Gearman worker processes. – TokuLog 改メ tokuhirom’s blog
Parallel::Preforkを使っている。Parallel::Preforkのソースを読んでみたら、trap_signalsオプションで親プロセスがSIGTERMとSIGHUPをフックして、子プロセスにkillを送っていた。
よく考えたら普通のforkで親が子を殺すというやつだった。


Parallel::Preforkと同じ様にやる。
forkした後親が子のpidのリストを持っておいて、SIGTERM/SIGHUPをフックして、子を全部killする処理を追加した。

daemontoolsのrunスクリプトはこれ
#!/bin/sh

exec 2>&1

exec setuidgid sho /Users/sho/src/gearmand-study/imgsize/imgsizeWorker -s localhost -p 7003 --fork 5
起動すると5個にプロセスが増える。親はdaemontoolsのsuperviseが管理してくれる。
これでsvc -dとか-uとかすればまとめて起動終了するようになった。

imgsizeWorker.cpp
// 画像サイズを返すgearman worker

#include <stdio.h>

#include <stdlib.h>

#include <unistd.h>

#include <signal.h>

#include <string>

#include <iostream>

#include <cv.h>

#include <highgui.h>

#include <boost/program_options.hpp>

#include <boost/regex.hpp>

#include <boost/format.hpp>

#include <boost/tuple/tuple.hpp>

#include <boost/tuple/tuple_io.hpp>

#include <boost/any.hpp>

#include <libgearman/gearman.h>

#include "json_builder.h"



using namespace boost;

using namespace std;



tuple<int, int> get_size(const string& fileName); // 画像のwidth,heightを返す

map<string,any> imgsize(const string& fileName); // gearman workerとしてclientに返すためのJSON Objectを作る

void *job_imgsize(gearman_job_st *job, void *cb_arg, size_t *result_size, gearman_return_t *ret_ptr);

void on_exit_signal(int sig);

vector<int> pids;



int main(int argc, char* argv[]) {

  program_options::options_description opts("options");

  opts.add_options()

    ("help,h", "helpを表示")

    ("server,s", program_options::value<string>(), "gearmanサーバーのアドレス")

    ("port,p", program_options::value<int>(), "gearmanサーバーのport番号")

    ("fork", program_options::value<int>(), "preforkする数")

    ("test,t", program_options::value<string>(), "gearman worker単体テスト用query");

  program_options::variables_map argmap;

  program_options::store(parse_command_line(argc, argv, opts), argmap);

  program_options::notify(argmap);



  if(!argmap.count("help")){

    if(argmap.count("test")){

      cout << "---test---" << endl;

      string gearman_param = argmap["test"].as<string>();

      cout << json_builder::toJson(imgsize(gearman_param)) << endl; // 単体でworkerとしてのテスト

      return 0;

    }else if(argmap.count("server") && argmap.count("port")){

      if(argmap.count("fork")){

	int i, pid;

	for(i = 1; i < argmap["fork"].as<int>(); i++){

	  pid = fork();

	  if(pid == 0){ // 子プロセス

	    pids.clear();

	    break;

	  }

	  else{ // 親プロセス

	    pids.push_back(pid);

	    cout << str(format("fork:%d - parent:%d child:%d") % 

			i %

			getpid() %

			pid) << endl;

	  }

	}

      }

      if(pids.size() > 0){ // 親プロセスの終了シグナルをフックする

	signal(SIGTERM, on_exit_signal);

	signal(SIGHUP, on_exit_signal);

      }

      gearman_worker_st worker;

      gearman_worker_create(&worker);

      string g_server = argmap["server"].as<string>();

      int g_port = argmap["port"].as<int>();



      struct hostent *g_host = gethostbyname((char*)g_server.c_str());

      string g_server_addr = str(format("%d.%d.%d.%d") %

				 (uint)(uchar)g_host->h_addr[0] %

				 (uint)(uchar)g_host->h_addr[1] %

				 (uint)(uchar)g_host->h_addr[2] %

				 (uint)(uchar)g_host->h_addr[3]);



      gearman_worker_add_server(&worker, g_server_addr.c_str(), g_port);

      gearman_worker_add_function(&worker, "img_size", 0, job_imgsize, NULL);

      cout << str(format("---start worker (%s:%d)---") %

		  g_server_addr % g_port) << endl;

      while(true) gearman_worker_work(&worker); // workerとして待機

      return 0;

    }

  }

  cerr << "server,portが必要です" << endl;

  cerr << opts << endl;

  return 1;

  

}



// opencvで画像サイズを取得

tuple<int, int> get_size(const string& fileName){

  IplImage *img = cvLoadImage(fileName.c_str());

  if(!img){

    return make_tuple(-1, -1);

  }

  else{

    int width = img->width;

    int height = img->height;

    cvReleaseImage(&img);

    return make_tuple(width, height);

  }

}



// 画像サイズを取得してgearman serverに返すJSON Objectを作る

map<string,any> imgsize(const string& fileName){

  map<string,any> result_m;

  int width, height;

  tie(width, height) = get_size(fileName);

  if(width > 0 && height > 0){

    result_m["width"] = width;

    result_m["height"] = height;

  }

  else{

    result_m["error"] = string("image load error");

  }

  return result_m;

}



// gearman worker job

void *job_imgsize(gearman_job_st *job, void *cb_arg, size_t *result_size, gearman_return_t *ret_ptr){

  string fileName = (char*)gearman_job_workload(job);

  cout << fileName << endl;

  string result_str = json_builder::toJson(imgsize(fileName));

  cout << " => " << result_str << endl;

  char *result = (char*)strdup(result_str.c_str());

  *result_size = result_str.size();

  *ret_ptr = GEARMAN_SUCCESS;

  return result;

}



void on_exit_signal(int sig){

  for(int i = 0; i < pids.size(); i++){

    cout << str(format("kill (pid:%d)") % pids[i]) << endl;

    if(kill(pids[i], SIGKILL) < 0){

      cerr << str(format("kill failed (pid:%d)") % pids[i]) << endl;

    }

  }

  exit(0);

}

]]> http://shokai.org/blog/archives/5254/feed 0 json_buiilderをgithubに移動させた http://shokai.org/blog/archives/5199 http://shokai.org/blog/archives/5199#comments Tue, 15 Jun 2010 16:01:02 +0000 shokai http://shokai.org/blog/?p=5199 bitbucketからhttp://github.com/shokai/json_builder-cppに移動した。

ちょっとまじめにREADMEを書いたりした。
githubのreadmeにはmarkdown形式を使った。markdownをインストールすればローカルでもマークアップがプレビューできて良い

json_builder.hはヘッダファイル単体でstd::mapやvectorをjsonにシリアライズするC++用のライブラリ。parseはできない。

]]> http://shokai.org/blog/archives/5199/feed 0 json_builderを特殊文字のエスケープ、true、false、nullに対応させた http://shokai.org/blog/archives/5046 http://shokai.org/blog/archives/5046#comments Sat, 30 Jan 2010 01:56:23 +0000 shokai http://shokai.org/blog/?p=5046 前：橋本商会 C++でmapやvectorをJSON出力するjson_builder.hを作った


ダブルクオートなどを含む文字列を値に保持するためのエスケープ処理にboost::regexを使ったので、libboost_regex-mt.aをコンパイル時に読み込まないとならなくなった → Makefileの例
まさかboost::regex_replaceで頭にバックスラッシュをつけるのに、バックスラッシュ4つで置換するとは思わなかった


こんな風に使う。true, false, nullを入れられるようになった
test.cpp
#include <iostream>

#include <string>

#include <map>

#include <boost/any.hpp>

#include "../json_builder.h"



int main(int argc, char* argv[]){

  std::map<string,boost::any> user;

  user["name"] = std::string("shokai");

  user["fullname"] = std::string("sho hashimoto");

  user["age"] = 25;

  user["test"] = 1.23;

  user["null"] = json_builder::null;

  user["true"] = true;

  user["false"] = false;



  string json = json_builder::toJson(user);

  cout << json << endl;

  return 0;

}


実行結果
{"age":"25","false":false,"fullname":"sho hashimoto","name":"shokai","null":null,"test":"1.23","true":true}



C++でnullを表現するために適当な構造体を定義してしまったけど、こういうので良いんだろうか？
json_builder.h
#include <iostream>

#include <string>

#include <map>

#include <vector>

#include <boost/any.hpp>

#include <boost/tuple/tuple.hpp>

#include <boost/format.hpp>

#include <boost/foreach.hpp>

#include <boost/regex.hpp>



using namespace std;

using namespace boost;



#define null json_null()



namespace json_builder{

  struct json_null{};



  string toJson(any value){

    if(value.type() == typeid(vector<any>)){

      string result_str;

      vector<any> vec = any_cast<vector<any> >(value);

      for(int i = 0; i < vec.size(); i++){

	result_str += toJson(vec[i]);

	if(i < vec.size()-1) result_str += ",";

      }

      result_str = str(format("[%s]") % result_str);

      return result_str;

    }

    else if(value.type() == typeid(map<string,any>)){

      string result_str;

      map<string,any> m = any_cast<map<string,any> >(value);

      string key;

      any value;

      int i = 0;

      BOOST_FOREACH(tie(key,value), m){

	result_str += str(format("\"%s\":%s") % key % toJson(value));

	if(++i < m.size()) result_str += ",";

      }

      result_str = str(format("{%s}") % result_str);

      return result_str;

    }

    else if(value.type() == typeid(json_null)){

      return string("null");

    }

    else if(value.type() == typeid(string)){

      return str(format("\"%s\"") % 

		   regex_replace(any_cast<string>(value), regex("[\"\'\\\\/]"), "\\\\$0"));

    }

    else if(value.type() == typeid(bool)){

      if(any_cast<bool>(value)) return string("true");

      return string("false");

    }

    else if(value.type() == typeid(int)){

      return str(format("\"%d\"") % any_cast<int>(value));

    }

    else if(value.type() == typeid(double)){

      return str(format("\"%d\"") % any_cast<double>(value));

    }

  }



}

]]> http://shokai.org/blog/archives/5046/feed 0 C++でmapやvectorをJSON出力するjson_builder.hを作った http://shokai.org/blog/archives/5021 http://shokai.org/blog/archives/5021#comments Wed, 27 Jan 2010 04:08:06 +0000 shokai http://shokai.org/blog/?p=5021 C++でJSONというと、json.orgにもライブラリがたくさん紹介されているとおり色々ある。でも単に出力するだけの物で、ヘッダファイル一つで簡単に使えるのが無かったので作ってみた。
ちょっとstringの連結コストがかかる気もするけど、まあいいか。

今のところ、std::map<string,any>とstd::vector<any>とstringとintとdoubleが入る。つまりkeyはstringのみで、値はboost::anyをかぶせている。もちろんmapやvectorは入れ子にできる。

boost::anyは何でも入れられる便利な型。
参考：boost::any – 橋本詳解


必要なのはこれだけだけど、boost::any、tuple、format、foreachが必要。
json_builder.h最新版はbitbucketからどうぞ。

json_builder.h
#include <iostream>

#include <string>

#include <map>

#include <vector>

#include <boost/any.hpp>

#include <boost/tuple/tuple.hpp>

#include <boost/format.hpp>

#include <boost/foreach.hpp>



using namespace std;

using namespace boost;



namespace json_builder{

  string toJson(any value){

    if(value.type() == typeid(vector<any>)){

      string result_str;

      vector<any> vec = any_cast<vector<any> >(value);

      for(int i = 0; i < vec.size(); i++){

	result_str += toJson(vec[i]);

	if(i < vec.size()-1) result_str += ",";

      }

      result_str = str(format("[%s]") % result_str);

      return result_str;

    }

    else if(value.type() == typeid(map<string,any>)){

      string result_str;

      map<string,any> m = any_cast<map<string,any> >(value);

      string key;

      any value;

      int i = 0;

      BOOST_FOREACH(tie(key,value), m){

	result_str += str(format("\"%s\":%s") % key % toJson(value));

	if(++i < m.size()) result_str += ",";

      }

      result_str = str(format("{%s}") % result_str);

      return result_str;

    }

    else if(value.type() == typeid(string)){

      return str(format("\"%s\"") % any_cast<string>(value));

    }

    else if(value.type() == typeid(int)){

      return str(format("\"%d\"") % any_cast<int>(value));

    }

    else if(value.type() == typeid(double)){

      return str(format("\"%d\"") % any_cast<double>(value));

    }

  }



}
jsonは要素数不定のただの木なので、再帰でtree walkして要素の型を見て文字列に直して連結し直すだけの関数一つになった。シンプル。
見ての通り、”や’や[や{はescapeしていないので、それらを含む文字列をtoJsonするとparseできないjsonができる。とりあえず今は入れる前にescapeしておいてほしい。
単純にバックスラッシュつければいいだけなのかな？ → 対応した


使ってみる。一つのstd::mapをjsonのhashとして標準出力する例
test.cpp
#include <iostream>

#include <string>

#include <map>

#include <boost/any.hpp>

#include "../json_builder.h"



int main(int argc, char* argv[]){

  std::map<string,boost::any> user;

  user["name"] = std::string(“shokai”); // string

  user["fullname"] = std::string(“sho hashimoto”);

  user["age"] = 25; // int

  user["test"] = 1.23; // double



  string json = json_builder::toJson(user);

  cout << json << endl;

  return 0;

}


出力
{"age":"25","fullname":"sho hashimoto","name":"shokai","test":"1.23"}



より複雑に、mapやvectorを入れ子にした例
test2.cpp
#include <iostream>

#include <string>

#include <map>

#include <vector>

#include <boost/any.hpp>

#include "../json_builder.h"



using namespace json_builder;

using namespace std;

using namespace boost;



int main(int argc, char* argv[]){

  map<string,any> obj;

  obj["test"] = string("testtest");



  map<string,any> user;

  user["name"] = string("shokai");

  user["fullname"] = string("sho hashimoto");

  user["age"] = 25;

  user["test"] = 6.78;

  obj["user"] = user;



  std::vector<any> vec;

  vec.push_back(string("aaaa"));

  vec.push_back(1234.56);

  vec.push_back(string("hello work"));

  



  vector<any> vec2;

  vec2.push_back(string("nested std::vector"));

  vec2.push_back(string("bbbbb"));

  vec.push_back(vec2); // std::vecotrの入れ子



  obj["params"] = vec;

  string json = json_builder::toJson(obj);

  cout << json << endl;



  return 0;

}


出力
{"params":["aaaa","1234.56","hello work",["nested std::vector","bbbbb"]],

"test":"testtest","user":{"age":"25","fullname":"sho hashimoto","name":"shokai","test":"6.78"}}


出力したjsonが正しいかどうか、確認するためにrubyのjsonモジュールでrubyのオブジェクトに読み込むコードをtestフォルダに置いておいた。
{"params"=>["aaaa", "1234.56", "hello work", ["nested std::vector", "bbbbb"]],

 "user"=>

  {"name"=>"shokai", "fullname"=>"sho hashimoto", "test"=>"6.78", "age"=>"25"},

 "test"=>"testtest"}

parse success
ちゃんと読み込めた。



BOOST_FOREACHが涙が出るほど便利だった！！

]]> http://shokai.org/blog/archives/5021/feed 1