アーカイブ
‘画像処理’ タグのついている投稿
ZeroMQでOpenCV cvOpticalFlowのデータを配信する
2010 年 8 月 11 日
コメントはありません
1VQ9がZeroMQで遊んでたので、俺も橋本商会 » cvCalcOpticalFlowBMをZeroMQでpubしてみた。ZeroMQはなんか面倒な事を適当にやってくれるmessaging libraryで、色々な言語のバインディングが出ている。
ZeroMQのpubはセンサーのデータとかを垂れ流しにするのに都合がよさそう。
clientが何台いるかどうかを考えないで良いし、pub/subどちらが先に起動していても適当に接続処理をしてくれる。cookbookを見てるとmulticastやthread間通信にも使ってる。とりあえずセンサーデータ垂れ流しという用途に俺はよく使いそう。
ソースコードはgithubに置いた。
他にも単純なカウントアップのpub/sub両方をC++/C/Rubyで書いた（6種）のと、twitterのstream APIをZMQ_PUBで中継するのを作ってみた（解説：zeromqインストール、twitter stream APIを中継 – 橋本詳解）。特にstream APIのHUB的存在は便利。
あと、mongrel2がWebSocketやXMLSocketとZeroMQの接続をしてくれるようになるらしくて期待してる。
受信側
opticalflow_sub.rb
#!/usr/bin/env ruby
require 'rubygems'
require 'zmq'
ctx = ZMQ::Context.new
sock= ctx.socket(ZMQ::SUB)
sock.connect('tcp://127.0.0.1:5000')
sock.setsockopt(ZMQ::SUBSCRIBE, 'opticalflow')
loop do
puts sock.recv()
end
送信側。これを適当なパソンコにUSBカメラ刺して動かしておけば、別のマシンから動きが取れる！!
opticalflow_pub.cpp
// http://opencv.jp/sample/optical_flow.html
#include <cv.h>
#include <highgui.h>
#include <cxcore.h>
#include <ctype.h>
#include <stdio.h>
#include <iostream>
#include <boost/format.hpp>
#include <zmq.hpp>
using namespace std;
using namespace boost;
void detect_flow(IplImage *img, IplImage *img_p, IplImage *dst);
zmq::context_t ctx(1);
zmq::socket_t sock(ctx, ZMQ_PUB);
int main(int argc, char* argv[]) {
IplImage *img = NULL;
CvCapture *capture = NULL;
capture = cvCreateCameraCapture(0);
//capture = cvCaptureFromAVI("test.mov");
if(capture == NULL){
cerr << "capture device not found!!" << endl;
return -1;
}
sock.bind("tcp://127.0.0.1:5000");
CvSize size = cvSize(320, 240);
IplImage *img_resized = cvCreateImage(size, IPL_DEPTH_8U, 3);
IplImage *img_gray = cvCreateImage(size, IPL_DEPTH_8U, 1);
IplImage *img_gray_p = cvCreateImage(size, IPL_DEPTH_8U, 1);
IplImage *img_dst = cvCreateImage(size, IPL_DEPTH_8U, 3);
char winNameCapture[] = "Capture";
cvNamedWindow(winNameCapture, CV_WINDOW_AUTOSIZE);
while (1) {
img = cvQueryFrame(capture);
cvResize(img, img_resized);
cvCvtColor(img_resized, img_gray, CV_BGR2GRAY);
cvCopy(img_resized, img_dst);
detect_flow(img_gray, img_gray_p, img_dst);
cvShowImage(winNameCapture, img_dst);
cvCopy(img_gray, img_gray_p);
if (cvWaitKey(10) == 'q') break;
}
cvReleaseCapture(&capture);
cvDestroyWindow(winNameCapture);
return 0;
}
void detect_flow(IplImage *src_img1, IplImage *src_img2, IplImage *dst_img){
int i, j, dx, dy, rows, cols;
int block_size = 24;
int shift_size = 10;
CvMat *velx, *vely;
CvSize block = cvSize(block_size, block_size);
CvSize shift = cvSize(shift_size, shift_size);
CvSize max_range = cvSize(50, 50);
rows = int(ceil (double (src_img1->height) / block_size));
cols = int(ceil (double (src_img1->width) / block_size));
velx = cvCreateMat(rows, cols, CV_32FC1);
vely = cvCreateMat(rows, cols, CV_32FC1);
cvSetZero(velx);
cvSetZero(vely);
cvCalcOpticalFlowBM(src_img1, src_img2, block, shift, max_range, 0, velx, vely);
string result_str = string("");
for (i = 0; i < velx->width; i++) {
for (j = 0; j < vely->height; j++) {
dx = (int)cvGetReal2D(velx, j, i);
dy = (int)cvGetReal2D(vely, j, i);
cvLine(dst_img, cvPoint(i * block_size, j * block_size),
cvPoint(i * block_size + dx, j * block_size + dy), CV_RGB(255, 0, 0), 1, CV_AA, 0);
if(dx != 0 || dy != 0){
result_str += str(format("[%d,%d,%d,%d]") % (i*block_size) % (j*block_size) % dx % dy);
}
}
}
if(result_str.size() > 0){
result_str = str(format("opticalflow %s") % result_str);
cout << result_str << endl;
zmq::message_t msg(result_str.size()+1); // ZeroMQ
memcpy(msg.data(), result_str.c_str(), result_str.size()+1);
sock.send(msg);
}
}
g++ -O opticalflow_pub.cpp -o opticalflow_pub.bin -I/opt/local/include/opencv -lcv -lcvaux -lcxcore -lhighgui -I/usr/local/include /usr/local/lib/libzmq.a
これで動いた座標とその方向 [x,y,dx,dy] が連続で送られてくる。
opticalflow [48,216,4,-29][72,216,0,-29][96,216,0,-29][264,216,-9,-29]
opticalflow [48,216,4,-29][96,216,0,-29][120,216,0,-29][264,216,-9,-29]
opticalflow [48,216,4,-29][96,168,0,10][96,192,-10,-20][96,216,0,-29][120,192,0,10][120,216,0,-29][144,216,0,-29][168,216,0,-29][192,48,-10,0][192,216,0,-29][216,216,0,-29][264,216,-9,-29]
opticalflow [96,168,0,10][96,192,-10,-10][96,216,0,-29][120,168,0,10][120,192,0,10][120,216,0,-29][144,216,0,-29][168,48,0,10][168,96,0,10][168,216,0,-29][192,72,0,40][192,96,0,-30][192,216,0,-29][264,216,-9,-29]
opticalflow [48,216,4,-29][96,168,0,10][96,216,0,-29][120,168,0,10][120,192,0,10][120,216,0,-29][144,216,0,-29][168,48,10,0][168,96,0,10][168,216,0,-29][192,96,0,-30][192,216,0,-29][264,216,-9,-29]
JRubyでglitch iconを作る(2)
2010 年 8 月 6 日
コメントはありません
プラグイン機構を採用し、ランダムにいろいろ作れるようにしてみた。
普通はjpegとかのバイナリを直接いじるみたいだけどよく分からないのでJRubyでjavax.imageioを使ってやっている。
ランダムに96個作ってみて8×12に敷き詰めてみたのがこれ。
で、定期的にランダムに作ってtwitterのアイコンとしてアップロードしてる。
敷き詰めるのはImageMagickと一緒にインストールされるmontageコマンドでできる montageコマンド – 橋本詳解
ソースコードは全てgithubに置いた。
■仕組み
単機能モジュールをランダムに連結する事である程度ランダムな画像を生成できる。
javax.imageio.BufferedImageのインスタンスを受け取り、少し加工して返すというJRubyのmoduleをプラグインとし、それらをGlitchというclassがランダムに呼び出す。
今のところプラグインは23種類ある。単体だとそれほど派手にはならない。
■プラグイン
http://github.com/shokai/glitchicon/tree/master/plugins/にある。
pluginが動くルールはこれ。
- pluginsディレクトリの中に置いておく
- ファイル名末尾が.rbである
- JRubyのmoduleである
- ファイル名の先頭1文字を大文字にしたmodule名である
- BufferedImageを受け取って、同じサイズのBufferedImageを返す glitch(BufferedImage) というstatic methodを持つ
- 受け取ったBufferedImageに対しては破壊的に処理しても、そうでなくてもいい
プラグインはBufferedImageの処理に集中できるように、他の事はglitch.rbがやる。
どのプラグインも簡単にできている。30行ぐらい。
drumroll_verticalプラグインの場合（画像では一番左、下から2番目）
#!/usr/bin/env jrubyランダムに縦に区切って、ランダムにスロットのドラムみたいにずらす。
require 'java'
import 'java.lang.System'
import 'javax.imageio.ImageIO'
import 'java.awt.image.BufferedImage'
module Drumroll_vertical
def Drumroll_vertical.glitch(img)
img_result = BufferedImage.new(img.width, img.height, img.type)
roll = 0
for x in 0...img.width do
roll = rand(img.height) if rand > 0.95
roll = 0 if rand > 0.95
for y in 0...img.height do
pix = img.get_rgb(x, y)
y2 = y+roll
y2 -= img.height if y2 > img.height-1
img_result.set_rgb(x, y2, pix)
end
end
return img_result
end
end
色を反転させるcolor_reverseプラグイン
#!/usr/bin/env jruby
require 'java'
import 'java.lang.System'
import 'javax.imageio.ImageIO'
import 'java.awt.image.BufferedImage'
module Color_reverse
def Color_reverse.glitch(img)
for y in 0...img.height do
for x in 0...img.width do
pix = img.get_rgb(x, y)
r = pix >> 16 & 0xFF
g = pix >> 8 & 0xFF
b = pix & 0xFF
r = 256-r
g = 256-g
b = 256-b
pix = ((r << 16)&0xFF0000 | (g << 8)&0xFF00 | b)
img.set_rgb(x,y, pix)
end
end
return img
end
end
量子化した後に輪郭抽出するquantize_contour
#!/usr/bin/env jruby
require 'java'
import 'java.lang.System'
import 'javax.imageio.ImageIO'
import 'java.awt.image.BufferedImage'
module Quantize_contour
def Quantize_contour.glitch(img)
for y in 0...img.height do
for x in 0...img.width do
pix = img.get_rgb(x, y)
r = pix >> 16 & 0xFF
g = pix >> 8 & 0xFF
b = pix & 0xFF
gray = (r+g+b)/3
quant = gray & 0xC0
pix = ((quant << 16)&0xFF0000 | (quant << 8)&0xFF00 | quant)
img.set_rgb(x, y, pix)
end
end
img_result = BufferedImage.new(img.width, img.height, img.type)
for y in 1...img.height-1 do
for x in 1...img.width-1 do
pix = img.get_rgb(x, y)
around = (img.get_rgb(x-1,y)+img.get_rgb(x+1,y)+img.get_rgb(x,y-1)+img.get_rgb(x,y+1))/4
if around < pix
pix = 0
else
pix = 0xFFFFFF
end
img_result.set_rgb(x, y, pix)
end
end
return img_result
end
end
そんなかんじ。画像をいじるけど、元の画像を知っている人なら元画像を思い浮かべられる程度にglitchしたい。
JRubyでglitch iconを作る
2010 年 8 月 2 日
コメントはありません
こういうのをtwitter iconにしたかった
Twitter のアイコンの目を光らせるライフハック – 地獄の猫日記を参考にアニメgifを作った。末尾も3C2Cにした。
でもちょうど今日からtwitterがGIFアニメアイコンのチェックを厳しくしたらしく、最初の1フレームだけの静止アイコンになってしまう。
既にアップされている他の人のアイコンを見ると、3C00002Cとかになってるのもあったけど色々ためしたけどやっぱりアップロードすると静止画像になる。
画像を生成するスクリプト
jrubyでjavax.imageioを使うと簡単。
最後のあたりのコメントアウトしているconvertかffmpegどちらでも、アニメーションgifを作れる。
glitchicon.rb
#!/usr/bin/env jruby
require 'java'
import 'java.lang.System'
import 'javax.imageio.ImageIO'
import 'java.awt.image.BufferedImage'
if ARGV.size < 2
STDERR.puts 'require : input file and output dir'
STDERR.puts 'jruby glitchicon.rb /path/to/img.jpg /path/to/out/'
exit 1
end
img_in = ImageIO.read(java.io.File.new(ARGV.shift))
out_dir = ARGV.shift
out_dir += '/' unless out_dir =~ /\/$/
puts "#{img_in.width}x#{img_in.height}"
for i in 1..10
img = BufferedImage.new(img_in.width, img_in.height, img_in.type);
img.graphics.drawImage(img_in, 0, 0, nil)
shifts = [0,0,0]
for y in 0...img.height do
if rand > 0.85
shifts = shifts.map{|j|
j = rand(255)-128
}
end
for x in 0...img.width do
pix = img.get_rgb(x, y)
r = pix >> 16 & 0xFF
g = pix >> 8 & 0xFF
b = pix & 0xFF
r += shifts[0]
g += shifts[1]
b += shifts[2]
r = 255 if r > 255
g = 255 if g > 255
b = 255 if b > 255
r = 0 if r < 0
g = 0 if g < 0
b = 0 if b < 0
pix = ((r << 16)&0xFF0000 | (g << 8)&0xFF00 | b)
"#{r},#{g},#{b}"
img.set_rgb(x,y, pix)
end
end
out_name = "#{out_dir}#{i}.bmp"
ImageIO.write(img, 'bmp', java.io.File.new(out_name))
puts out_name
end
puts `convert #{out_dir}*.bmp #{out_dir}out.gif`
#puts `ffmpeg -y -i #{out_dir}%d.bmp -s 100x100 -pix_fmt rgb24 -loop_output 0 -sameq #{out_dir}out.gif`
open("#{out_dir}out.gif"){|gif|
bytes = gif.read.unpack('H*')
bytes = [bytes.first.gsub!(/3b$/,'3c2c')]
open("#{out_dir}glitchicon.gif",'w+'){|out|
out.write(bytes.pack('H*'))
}
}
gemだけで画像をリサイズできるImageResizeを作った
2010 年 6 月 27 日
コメントはありません
ImageResizeはImageMagickなどの外部プログラムに依存せずに、単体で画像をリサイズできる。ただしJavaの実行環境が必要。
SFCの「革新的ネットサービスの構築」という授業のTAをやっていて、昨日と今日niftyに行って開発合宿をしていた。
そこでいろいろあって、ImageMagickなしで画像のサムネイルを作る方法が無いのか模索していたら、ImageResizeというgemができた。
■インストール
gem install ImageResize
■使う
require 'rubygems'これで40×40ピクセルに縮小される。
require 'ImageResize'
# input, output, width, height
Image.resize('big.jpg', 'small.jpg', 40, 40)
縦横のアスペクト比が1:1ではない画像の場合、アスペクト比を保ったまま長辺の方にあわせて縮小する。
■ソースコード
githubに置いた。
http://github.com/shokai/ImageResize-ruby
■実装
本体はJava。
標準実行環境にJPEGやGIFやBITMAPなど様々な画像フォーマットの読み書き機能を含んでいる環境というと、Javaと.NETとopenFrameworksしか思いつかなかった。
その中でいちばん色々なマシンにインストールされていそうで、配布が容易な物を選んだらJavaになった。
Javaでの画像の扱いは.NET並に簡単。java.awtとjavax.imageioの下に色々充実しているのでそれらを使えばいい。
ImageResize.java
import javax.imageio.*;
import java.io.*;
import java.awt.image.*;
import java.awt.geom.*;
import java.awt.image.*;
import java.util.regex.*;
class ImageResize{
public ImageResize(){
}
public static void main(String args[]){
if(args.length < 4){
System.out.println("ImageResize in.jpg out.jpg 320 320");
System.exit(1);
}
ImageResize app = new ImageResize();
if(app.resize(args[0], args[1], Integer.parseInt(args[2]), Integer.parseInt(args[3]))){
System.out.println(args[1]);
}
}
public boolean resize(String fname_in, String fname_out, int max_width, int max_height){
System.out.println(fname_in);
BufferedImage img = null;
try {
img = ImageIO.read(new File(fname_in));
}
catch (Exception e) {
e.printStackTrace();
img = null;
}
int width, height;
if(img.getWidth() < img.getHeight()){
height = max_height;
width = img.getWidth() * max_height / img.getHeight();
}
else{
width = max_width;
height = img.getHeight() * max_width / img.getWidth();
}
System.out.println(img.getWidth() + "x" +img.getHeight() + " => " + width + "x" + height);
BufferedImage img_resized = new BufferedImage(width, height, img.getType());
AffineTransformOp ato = new AffineTransformOp(AffineTransform.getScaleInstance((double)width / img.getWidth(),
(double)height / img.getHeight()),
null);
ato.filter(img, img_resized);
String format = Pattern.compile("^.+\\.(.+)$").matcher(fname_out).replaceAll("$1");
boolean result = false;
try {
result = ImageIO.write(img_resized, format, new File(fname_out));
}
catch (Exception e) {
e.printStackTrace();
result = false;
}
return result;
}
}
■参考
今回は使わなかったが、Java Advanced Imaging (JAI) APIというのが標準実行環境には含まれていないけどSunが作っていて、かなり充実しているらしい。
Javaランタイムも速くなってきているらしいしScalaで画像処理とかしてみたい。
OpenCVをはじめた
2009 年 2 月 9 日
コメント 3 件
openFrameworksをやっていて詰まったのでとりあえずOpenCVをやってみることにした。
openFrameworksはOpenCV・OpenGL・シリアルポート関連・音声関連のC++ライブラリをまとめたWin/Mac/Ubuntuで動作するクロスプラットフォームラッパーで、processingの影響を受けているらしいのだが、その中のOpenCVとOpenGL自体がまず巨大なライブラリなのでこいつらを扱う作法を知っていないとopenFrameworksが使いこなせない。
今回はOpenCVを単体で扱ってみてどんなもんか探ってみた。
■OpenCVのセットアップ、サンプル実行、コンパイル環境と対応カメラの確認
マシンに3つOSが入っているので実行環境も3つ揃えてみた。
MacとUbuntuはgccで、WinはVS2008でコンパイル。Ubuntuは色々ためしたけどiSightを認識しなかったが古い外付けUSBカメラを認識して使えた。
この内Macだけが駄目。描画が異常に重い。ググったらhighguiとCarbonの組み合わせが悪さしている？ような情報もあったがよくわからなかった。でもちゃんと動いていると報告してる人がたくさんいる。悔しい。
- MacにMacportsでインストール、サンプルをgccでコンパイルしi-Sightで実行
- VMWare+Ubuntuにaptでインストール、サンプルをgccでコンパイルしLogicoolの古いカメラQV-40で実行
- Windowsにインストーラからいれて、VisualStudio2008でコンパイルする設定、iSightでキャプチャ
- VMWare+Ubuntuで単純なカメラキャプチャプログラムとMakefileを1から書く
- おまけ：Macにソースからインストールしなおし（意味無かった、相変わらず重い）
本当はMacかUbuntuで動かしたかったけど、WindowsでVS2008でやる事にした。
俺が電車で移動中プログラムを書く事が多いので、Windowsからは内蔵i-Sightを使えて一番都合が良い。
cvWaitKey(msec)の待ち時間を短くしすぎなければ（30ぐらいなら大丈夫）どの環境でも動く事が確認できたので、後述するプログラムはどの環境でも動くと思う。少なくともWindowsとUbuntuでは動いている。
■画像処理の勉強
この本でやった。プログラムの途中重要な定数宣言部分が省略されまくったりしていて困ったけど、理論的な所は詳しく解説してくれているのでこの本と翻訳版ドキュメントとサンプル集を見ればなんとかなった。
OpenCV プログラミングブック
posted with amazlet at 09.02.08
奈良先端科学技術大学院大学 OpenCVプログラミングブック制作チーム
毎日コミュニケーションズ
売り上げランキング: 58513
毎日コミュニケーションズ
売り上げランキング: 58513
おすすめ度の平均: 
とっかかりとしてはよい本
OpenCVを日本語でまとまって解説した初めての本
肩すかしOpenCVというとまっさきに「顔認識」を思い浮かべるけど、機械学習を用いた分類器については巻末のリファレンスに少し書かれている程度で、この本では基本的なOpenCVの組み込み関数を使った2値化やノイズ除去や表色系の変換、輪郭、エッジ抽出、テンプレートマッチング、物体追跡、背景差分法などが書かれている。書かれている内容はbuilt with processingやディジタル画像処理の基礎と応用なんかに書かれている内容と被っている部分が多いけど、OpenCVの関数を使っているから滅茶苦茶処理が速い。やばい。もっと早くOpenCVに移れば良かった。
続きを読む…
最近のコメント