var canvas = $('canvas#img');

var ctx = canvas[0].getContext('2d');



var img = ctx.getImageData(0, 0, canvas[0].width, canvas[0].height);

for(var i = 0; i < img.data.length; i+=4){

    var r = img.data[i]&0xFF;

    var g = img.data[i+1]&0xFF;

    var b = img.data[i+2]&0xFF;

    // var a = img.data[i+3]&0xFF;

    var gray = (r+g+b)/3;

    img.data[i] = gray;

    img.data[i+1] = gray;

    img.data[i+2] = gray;

}

ctx.putImageData(img, 0, 0);

■やっている事
scansnapで自炊した本をそのままkindleで表示するには色々問題がある。

• kindleの解像度は800×600だけど、画面内にページ位置等のUIが入るし画面を縦横回転させたり拡大縮小できるので、表示時にkindle上でリサイズされる。この時、線が細くて薄い部分が消滅してしまって、文字がかすれて読めなくなってしまう。
• scansnapで取り込んだままのPDFファイルでは、コントラストが弱くてとても読みづらい。
• ページの上下左右の余白が邪魔で、kindleに全画面表示した時に小さくなってしまう

kindle上でリサイズされる事を前提として、文字が消えてしまうような細い部分を太くしてやるしかない。
しょうがないので、コントラストを上げたり、拡大縮小されるのを前提として先にアンチエイリアス？的な処理をしたり、余白を切り取ったり、リサイズしたりするようにした。
上下左右を裁ち落とし→リサイズ→グレースケール化→2値化→黒の周りを#999999で太らせるという処理をしている。

上下左右裁ち落とし→グレースケール化→2値化→黒の周りを#000000で太らせる→リサイズ
という処理に変えた。JRuby+javax.imageioでピクセル単位に処理すると、解像度が大きい画像を処理するのが苦しかったので先にリサイズするようにしていた。
OpenCVは十分速いので、高解像度のまま処理して最後に縮小するように変更した。これでサイズが大きい本でも綺麗に変換できる。


■使う
OpenCV1.00以上と、boostのboost::system, boost::filesystem, boost::program_optionsのインストールが必要。少なくともMacとUbuntuでは動く。
その辺はgithub/shokai/scansnap_adjust_images_kindleに書いた。


gitリポジトリを持ってきてコンパイルする

git clone git://github.com/shokai/scansnap_adjust_images_kindle.git

cd scansnap_adjust_images_kindle/kindlize_images



# for Mac

make -f Makefile.macosx

mkdir ~/tmp/mybook_kindle

./kindlize_images --help

./kindlize_images -i ~/tmp/mybook/ -o ~/tmp/mybook_kindle/ -t 190 -w 1200 -h 1600 --cleft 120 --cright 120 --ctop 150 --cbottom 150

#include "cv.h"

#include "highgui.h"

#include <boost/program_options.hpp>

#include <boost/filesystem/operations.hpp>

#include <boost/filesystem/path.hpp>

#include <boost/filesystem/fstream.hpp>

#include <iostream>

using namespace boost;

using namespace std;

namespace fs = boost::filesystem;



IplImage *adjust_image(IplImage *img, program_options::variables_map argmap){

  int cleft = argmap["cleft"].as<int>();

  int cright = argmap["cright"].as<int>();

  int ctop = argmap["ctop"].as<int>();

  int cbottom = argmap["cbottom"].as<int>();



  const int w = img->width - cleft - cright;

  const int h = img->height - ctop - cbottom;

  

  cvSetImageROI(img, cvRect(cleft, ctop, w, h));



  IplImage *img_gray = cvCreateImage(cvSize(w,h), IPL_DEPTH_8U, 1);

  cvCvtColor(img, img_gray, CV_BGR2GRAY);



  // 2値化

  IplImage *img_bin = cvCreateImage(cvSize(w,h), IPL_DEPTH_8U, 1);

  cvThreshold(img_gray, img_bin, argmap["threshold"].as<int>(), 255, CV_THRESH_BINARY);



  // 文字を太らせる

  cvErode(img_bin, img_bin, NULL, 1);



  // リサイズ

  int width = argmap["width"].as<int>();

  int height = argmap["height"].as<int>();

  IplImage *img_resized;

  double scale = ((double)h)/w;

  if(((double)height)/width < scale){ // 縦長

    img_resized = cvCreateImage(cvSize((int)(height/scale), height), IPL_DEPTH_8U, 1);

  }

  else{ // 横長

    img_resized = cvCreateImage(cvSize(width, (int)(scale*width)), IPL_DEPTH_8U, 1);

  }

  cvResize(img_bin, img_resized, CV_INTER_LINEAR);



  cvReleaseImage(&img_bin);

  cvReleaseImage(&img_gray);

  return img_resized;

}



int main(int argc, char* argv[]) {

  program_options::options_description opts("options");

  opts.add_options()

    ("help", "ヘルプを表示")

    ("width,w", program_options::value<int>(), "output width")

    ("height,h", program_options::value<int>(), "output height")

    ("threshold,t", program_options::value<int>(), "binarize threshold")

    ("input,i", program_options::value<string>(), "input directory name")

    ("output,o", program_options::value<string>(), "output directory name")

    ("cleft", program_options::value<int>(), "crop left (pixel)")

    ("cright", program_options::value<int>(), "crop right (pixel)")

    ("ctop", program_options::value<int>(), "crop top (pixel)")

    ("cbottom", program_options::value<int>(), "crop bottom (pixel)");

  program_options::variables_map argmap;

  program_options::store(parse_command_line(argc, argv, opts), argmap);

  program_options::notify(argmap);

  if (argmap.count("help") || !argmap.count("input") || !argmap.count("output") ||

      !argmap.count("threshold")) {

    cerr << "[input, output] required" << endl;

    cerr << opts << endl;

    return 1;

  }



  string in_dir = argmap["input"].as<string>();

  fs::path path = complete(fs::path(in_dir, fs::native));

  fs::directory_iterator end;

  for (fs::directory_iterator i(path); i!=end; i++){

    string img_fullname = in_dir + i->leaf();

    cout << img_fullname << endl;

    IplImage *img, *img_result;

    img = cvLoadImage(img_fullname.c_str());

    if(!img){

      cerr << "image file load error" << endl;

    }

    else{

      img_result = adjust_image(img, argmap);

      string out_filename = argmap["output"].as<string>() + "/" + i->leaf();

      cvSaveImage(out_filename.c_str(), img_result);

      cvReleaseImage(&img);

      cvReleaseImage(&img_result);

    }    

  }

}

• kindleの解像度は800×600だけど、画面内にページ位置等のUIが入るし画面を縦横回転させたり拡大縮小できるので、表示時にkindle上でリサイズされる。この時、線が細くて薄い部分が消滅してしまって、文字がかすれて読めなくなってしまう。
• scansnapで取り込んだままのPDFファイルでは、コントラストが弱くてとても読みづらい。
• ページの上下左右の余白が邪魔で、kindleに全画面表示した時に小さくなってしまう

# for Mac

% sudo port install pdfX



# for Ubuntu

% sudo apt-get install xpdf-utils



# extract images

% mkdir -p ~/tmp/mybook

% pdfimages -j ~/Documents/book/mybook.pdf ~/tmp/mybook/

% git clone git://github.com/shokai/scansnap_adjust_images_kindle.git

% cd scansnap_adjust_images_kindle

% jruby kindlize_images.rb -help

% jruby kindlize_images.rb -i ~/tmp/mybook/ -o ~/tmp/mybook_kindle/ -w 1200 -h 1600 -cl 150 -cr 150 -ct 120 -cb 180 -t 240

jruby kindlize_images.rb -i ~/tmp/mybook/ -o ~/tmp/mybook_kindle/ -w 1200 -h 1600 -cl 30 -cr 30 -ct 80 -cb 115 -t 220

#!/usr/bin/env jruby

# -*- coding: utf-8 -*-

# ディレクトリ内の画像を全てkindleで読みやすいように2値化、アンチエイリアス、リサイズする

# イラストも2値化されるので、小説などの文字ページ専用。

require 'rubygems'

require 'ArgsParser'

require 'java'

import 'java.lang.System'

import 'javax.imageio.ImageIO'

import 'java.awt.image.BufferedImage'

import 'java.awt.image.WritableRaster'

import 'java.awt.image.AffineTransformOp'

import 'java.awt.geom.AffineTransform'

import 'java.awt.Color'

$KCODE = 'u'



parser = ArgsParser.parser

parser.bind(:width, :w, 'width')

parser.bind(:height, :h, 'height')

parser.bind(:input, :i, 'input')

parser.bind(:output,  , 'output')

parser.bind(:cleft, :cl, 'crop left (pixel)')

parser.bind(:cright, :cr, 'crop right (pixel)')

parser.bind(:ctop, :ct, 'crop top (pixel)')

parser.bind(:cbottom, :cb, 'crop bottom (pixel)')

parser.bind(:threshold, :t, 'threshold of binarize (0-255)')

first, params = parser.parse(ARGV)



if !parser.has_params([:width, :height, :input,  utput, :threshold]) or

    parser.has_option(:help)

  puts parser.help

  puts 'e.g. jruby kindlize_images.rb -i /path/to/in_dir/ -o /path/to/out_dir/ -w 1200 -h 1600 -t 240'

  puts 'e.g. jruby kindlize_images.rb -i /path/to/in_dir/ -o /path/to/out_dir/ -w 1200 -h 1600 -cleft 50 -cright 50 -ctop 80 -cbottom 100 -t 240'

  exit 1

end

  

p params

WIDTH = params[:width].to_i

HEIGHT = params[:height].to_i

Dir.mkdir(params[:output]) unless File.exists? params[:output]

params[:output] += '/' unless params[:output] =~ /\/$/



Dir.glob(params[:input]+'*').each{|i|

  puts i

  begin

    img = ImageIO.read(java.io.File.new(i))

  rescue => e

    STDERR.puts 'image load error'

    STDERR.puts e

    next

  end

  puts "size : #{img.width}x#{img.height}"

  

  if params[:cleft] or params[:cright] or params[:ctop] or params[:cbottom]

    params[:cleft] = 0 unless params[:cleft]

    params[:cright] = 0 unless params[:cright]

    params[:ctop] = 0 unless params[:ctop]

    params[:cbottom] = 0 unless params[:cbottom]

    img = img.get_subimage(params[:cleft].to_i, params[:ctop].to_i,

                           img.width-params[:cleft].to_i-params[:cright].to_i, 

                           img.height-params[:ctop].to_i-params[:cbottom].to_i)

    puts "crop : #{img.width}x#{img.height}"

  end



  # リサイズ

  if img.width.to_f/img.height > WIDTH.to_f/HEIGHT # 指定されたWIDTH,HEIGHTよりも横長の画像

    scale = WIDTH.to_f/img.width

    img_resized = BufferedImage.new(WIDTH, (scale*img.height).to_i, img.type)

  else # 縦長

    scale = HEIGHT.to_f/img.height

    img_resized = BufferedImage.new((scale*img.width).to_i, HEIGHT, img.type)

  end

  puts "scale : #{scale}"

  AffineTransformOp.new(AffineTransform.getScaleInstance(scale, scale), nil).filter(img, img_resized)

  puts "resized : #{img_resized.width}x#{img_resized.height}"



  # 固定サイズ画像にはめこむ

  img_frame = BufferedImage.new(WIDTH, HEIGHT, img.type)

  graph = img_frame.graphics

  graph.color = Color.new(255,255,255)

  graph.fillRect(0, 0, WIDTH, HEIGHT)

  if WIDTH > img_resized.width

    graph.drawImage(img_resized, (WIDTH-img_resized.width)/2, 0, nil)

  else

    graph.drawImage(img_resized, 0, (HEIGHT-img_resized.height)/2, nil)

  end

  puts "set in frame : #{img_frame.width}x#{img_frame.height}"

  img = img_frame



  # 2値化

  for y in 0...img.height do

    for x in 0...img.width do

      pix = img.get_rgb(x, y)

      r = pix >> 16 & 0xFF

      g = pix >> 8 & 0xFF

      b = pix & 0xFF

      gray = (r+g+b)/3

      if gray > params[:threshold].to_i

        pix = 0xFFFFFF

      else

        pix = 0x000000

      end

      img.set_rgb(x, y, pix)

    end

  end

  puts "binarize"



  # 膨張

  img_dilated = BufferedImage.new(img.width, img.height, img.type)

  for y in 1...img.height-1 do

    for x in 1...img.width-1 do

      if img.get_rgb(x, y)&0xFF == 0

        img_dilated.set_rgb(x, y, 0x000000)

      elsif img.get_rgb(x-1, y)&0xFF == 0 or img.get_rgb(x+1, y)&0xFF == 0 or

          img.get_rgb(x, y-1)&0xFF == 0 or img.get_rgb(x,y+1)&0xFF == 0

        img_dilated.set_rgb(x, y, 0x999999)

      else

        img_dilated.set_rgb(x, y, 0xFFFFFF)

      end

    end

  end

  img = img_dilated

  puts "dilate"



  out_name = i.split(/\//).last

  out_type = 'bmp'

  begin

    ImageIO.write(img, out_type, java.io.File.new(params[:output]+out_name))

    puts 'saved! => '+params[:output]+out_name

  rescue => e

    STDERR.puts 'image save error'

    STDERR.puts e

    next

  end

}

#!/usr/bin/env ruby

require 'rubygems'

require 'zmq'



ctx = ZMQ::Context.new

sock= ctx.socket(ZMQ::SUB)

sock.connect('tcp://127.0.0.1:5000')

sock.setsockopt(ZMQ::SUBSCRIBE, 'opticalflow')



loop do

  puts sock.recv()

end

// http://opencv.jp/sample/optical_flow.html

#include <cv.h>

#include <highgui.h>

#include <cxcore.h>

#include <ctype.h>

#include <stdio.h>

#include <iostream>

#include <boost/format.hpp>

#include <zmq.hpp>



using namespace std;

using namespace boost;



void detect_flow(IplImage *img, IplImage *img_p, IplImage *dst);

zmq::context_t ctx(1);

zmq::socket_t sock(ctx, ZMQ_PUB);



int main(int argc, char* argv[]) {

  IplImage *img = NULL;

  CvCapture *capture = NULL;

  capture = cvCreateCameraCapture(0);

  //capture = cvCaptureFromAVI("test.mov");

  if(capture == NULL){

    cerr << "capture device not found!!" << endl;

    return -1;

  }



  sock.bind("tcp://127.0.0.1:5000");



  CvSize size = cvSize(320, 240);

  IplImage *img_resized = cvCreateImage(size, IPL_DEPTH_8U, 3);

  IplImage *img_gray = cvCreateImage(size, IPL_DEPTH_8U, 1);

  IplImage *img_gray_p = cvCreateImage(size, IPL_DEPTH_8U, 1);

  IplImage *img_dst = cvCreateImage(size, IPL_DEPTH_8U, 3);



  char winNameCapture[] = "Capture";

  cvNamedWindow(winNameCapture, CV_WINDOW_AUTOSIZE);

  

  while (1) {

    img = cvQueryFrame(capture);

    cvResize(img, img_resized);

    cvCvtColor(img_resized, img_gray, CV_BGR2GRAY);

    cvCopy(img_resized, img_dst);

    detect_flow(img_gray, img_gray_p, img_dst);

    cvShowImage(winNameCapture, img_dst);

    cvCopy(img_gray, img_gray_p);

    if (cvWaitKey(10) == 'q') break;

  }

  

  cvReleaseCapture(&capture);

  cvDestroyWindow(winNameCapture);

  

  return 0;

}



void detect_flow(IplImage *src_img1, IplImage *src_img2, IplImage *dst_img){

  int i, j, dx, dy, rows, cols;

  int block_size = 24;

  int shift_size = 10;

  CvMat *velx, *vely;

  CvSize block = cvSize(block_size, block_size);

  CvSize shift = cvSize(shift_size, shift_size);

  CvSize max_range = cvSize(50, 50);



  rows = int(ceil (double (src_img1->height) / block_size));

  cols = int(ceil (double (src_img1->width) / block_size));

  velx = cvCreateMat(rows, cols, CV_32FC1);

  vely = cvCreateMat(rows, cols, CV_32FC1);

  cvSetZero(velx);

  cvSetZero(vely);



  cvCalcOpticalFlowBM(src_img1, src_img2, block, shift, max_range, 0, velx, vely);

  string result_str = string("");

  for (i = 0; i < velx->width; i++) {

    for (j = 0; j < vely->height; j++) {

      dx = (int)cvGetReal2D(velx, j, i);

      dy = (int)cvGetReal2D(vely, j, i);

      cvLine(dst_img, cvPoint(i * block_size, j * block_size),

              cvPoint(i * block_size + dx, j * block_size + dy), CV_RGB(255, 0, 0), 1, CV_AA, 0);

      if(dx != 0 || dy != 0){

	result_str += str(format("[%d,%d,%d,%d]") % (i*block_size) % (j*block_size) % dx % dy);

      }

    }

  }

  if(result_str.size() > 0){

    result_str = str(format("opticalflow %s") % result_str);

    cout << result_str << endl;

    zmq::message_t msg(result_str.size()+1); // ZeroMQ

    memcpy(msg.data(), result_str.c_str(), result_str.size()+1);

    sock.send(msg);

  }

}

g++ -O opticalflow_pub.cpp -o opticalflow_pub.bin -I/opt/local/include/opencv -lcv -lcvaux -lcxcore -lhighgui  -I/usr/local/include /usr/local/lib/libzmq.a

opticalflow [48,216,4,-29][72,216,0,-29][96,216,0,-29][264,216,-9,-29]

opticalflow [48,216,4,-29][96,216,0,-29][120,216,0,-29][264,216,-9,-29]

opticalflow [48,216,4,-29][96,168,0,10][96,192,-10,-20][96,216,0,-29][120,192,0,10][120,216,0,-29][144,216,0,-29][168,216,0,-29][192,48,-10,0][192,216,0,-29][216,216,0,-29][264,216,-9,-29]

opticalflow [96,168,0,10][96,192,-10,-10][96,216,0,-29][120,168,0,10][120,192,0,10][120,216,0,-29][144,216,0,-29][168,48,0,10][168,96,0,10][168,216,0,-29][192,72,0,40][192,96,0,-30][192,216,0,-29][264,216,-9,-29]

opticalflow [48,216,4,-29][96,168,0,10][96,216,0,-29][120,168,0,10][120,192,0,10][120,216,0,-29][144,216,0,-29][168,48,10,0][168,96,0,10][168,216,0,-29][192,96,0,-30][192,216,0,-29][264,216,-9,-29]

• pluginsディレクトリの中に置いておく
• ファイル名末尾が.rbである
• JRubyのmoduleである
• ファイル名の先頭1文字を大文字にしたmodule名である
• BufferedImageを受け取って、同じサイズのBufferedImageを返す glitch(BufferedImage) というstatic methodを持つ
• 受け取ったBufferedImageに対しては破壊的に処理しても、そうでなくてもいい

#!/usr/bin/env jruby

require 'java'

import 'java.lang.System'

import 'javax.imageio.ImageIO'

import 'java.awt.image.BufferedImage'





module Drumroll_vertical



  def Drumroll_vertical.glitch(img)

    img_result = BufferedImage.new(img.width, img.height, img.type)

    roll = 0

    for x in 0...img.width do

      roll = rand(img.height) if rand > 0.95

      roll = 0 if rand > 0.95

      for y in 0...img.height do

        pix = img.get_rgb(x, y)

        y2 = y+roll

        y2 -= img.height if y2 > img.height-1

        img_result.set_rgb(x, y2, pix)

      end

    end

    return img_result

  end



end

#!/usr/bin/env jruby

require 'java'

import 'java.lang.System'

import 'javax.imageio.ImageIO'

import 'java.awt.image.BufferedImage'





module Color_reverse



  def Color_reverse.glitch(img)

    for y in 0...img.height do

      for x in 0...img.width do

        pix = img.get_rgb(x, y)

        r = pix >> 16 & 0xFF

        g = pix >> 8 & 0xFF

        b = pix & 0xFF

        r = 256-r

        g = 256-g

        b = 256-b

        pix = ((r << 16)&0xFF0000 | (g << 8)&0xFF00 | b)

        img.set_rgb(x,y, pix)

      end

    end

    return img

  end



end

#!/usr/bin/env jruby

require 'java'

import 'java.lang.System'

import 'javax.imageio.ImageIO'

import 'java.awt.image.BufferedImage'





module Quantize_contour



  def Quantize_contour.glitch(img)



    for y in 0...img.height do

      for x in 0...img.width do

        pix = img.get_rgb(x, y)

        r = pix >> 16 & 0xFF

        g = pix >> 8 & 0xFF

        b = pix & 0xFF

        gray = (r+g+b)/3

        quant = gray & 0xC0

        pix = ((quant << 16)&0xFF0000 | (quant << 8)&0xFF00 | quant)

        img.set_rgb(x, y, pix)

      end

    end



    img_result = BufferedImage.new(img.width, img.height, img.type)

    for y in 1...img.height-1 do

      for x in 1...img.width-1 do

        pix = img.get_rgb(x, y)

        around = (img.get_rgb(x-1,y)+img.get_rgb(x+1,y)+img.get_rgb(x,y-1)+img.get_rgb(x,y+1))/4

        if around < pix

          pix = 0

        else

          pix = 0xFFFFFF

        end

        img_result.set_rgb(x, y, pix)

      end

    end

    return img_result

  end



end

#!/usr/bin/env jruby

require 'java'

import 'java.lang.System'

import 'javax.imageio.ImageIO'

import 'java.awt.image.BufferedImage'



if ARGV.size < 2

  STDERR.puts 'require : input file and output dir'

  STDERR.puts 'jruby glitchicon.rb /path/to/img.jpg /path/to/out/'

  exit 1

end



img_in = ImageIO.read(java.io.File.new(ARGV.shift))

out_dir = ARGV.shift

out_dir += '/' unless out_dir =~ /\/$/



puts "#{img_in.width}x#{img_in.height}"



for i in 1..10

  img = BufferedImage.new(img_in.width, img_in.height, img_in.type);

  img.graphics.drawImage(img_in, 0, 0, nil)

  shifts = [0,0,0]

  for y in 0...img.height do

    if rand > 0.85

      shifts = shifts.map{|j|

        j = rand(255)-128

      }

    end

    for x in 0...img.width do

      pix = img.get_rgb(x, y)

      r = pix >> 16 & 0xFF

      g = pix >> 8 & 0xFF

      b = pix & 0xFF

      r += shifts[0]

      g += shifts[1]

      b += shifts[2]

      r = 255 if r > 255

      g = 255 if g > 255

      b = 255 if b > 255

      r = 0 if r < 0

      g = 0 if g < 0

      b = 0 if b < 0

      pix = ((r << 16)&0xFF0000 | (g << 8)&0xFF00 | b)

      "#{r},#{g},#{b}"

      img.set_rgb(x,y, pix)

    end

  end

  out_name = "#{out_dir}#{i}.bmp"

  ImageIO.write(img, 'bmp', java.io.File.new(out_name))

  puts out_name

end



puts `convert #{out_dir}*.bmp #{out_dir}out.gif`

#puts `ffmpeg -y -i #{out_dir}%d.bmp -s 100x100 -pix_fmt rgb24 -loop_output 0 -sameq #{out_dir}out.gif`



open("#{out_dir}out.gif"){|gif|

  bytes = gif.read.unpack('H*')

  bytes = [bytes.first.gsub!(/3b$/,'3c2c')]

  open("#{out_dir}glitchicon.gif",'w+'){|out|

    out.write(bytes.pack('H*'))

  }

}

gem install ImageResize

require 'rubygems'

require 'ImageResize'



# input, output, width, height

Image.resize('big.jpg', 'small.jpg', 40, 40)

import javax.imageio.*;

import java.io.*;

import java.awt.image.*;

import java.awt.geom.*;

import java.awt.image.*;

import java.util.regex.*;



class ImageResize{



    public ImageResize(){

    }



    public static void main(String args[]){

	if(args.length < 4){

	    System.out.println("ImageResize in.jpg out.jpg 320 320");

	    System.exit(1);

	}

	ImageResize app = new ImageResize();

	if(app.resize(args[0], args[1], Integer.parseInt(args[2]), Integer.parseInt(args[3]))){

	    System.out.println(args[1]);

	}

    }



    public boolean resize(String fname_in, String fname_out, int max_width, int max_height){

	System.out.println(fname_in);

	BufferedImage img = null;

	try {

	    img = ImageIO.read(new File(fname_in));

	}

	catch (Exception e) {

	    e.printStackTrace();

	    img = null;

	}

	

	int width, height;

	if(img.getWidth() < img.getHeight()){

	    height = max_height;

	    width = img.getWidth() * max_height / img.getHeight();

	}

	else{

	    width = max_width;

	    height = img.getHeight() * max_width / img.getWidth();

	}

	System.out.println(img.getWidth() + "x" +img.getHeight() + " => " + width + "x" + height);

	

	BufferedImage img_resized = new BufferedImage(width, height, img.getType());

	AffineTransformOp ato = new AffineTransformOp(AffineTransform.getScaleInstance((double)width / img.getWidth(), 

										       (double)height / img.getHeight()), 

						      null);

	ato.filter(img, img_resized);

	



	String format = Pattern.compile("^.+\\.(.+)$").matcher(fname_out).replaceAll("$1");

	boolean result = false;

	try {

	    result = ImageIO.write(img_resized, format, new File(fname_out));

	}

	catch (Exception e) {

	    e.printStackTrace();

	    result = false;

	}

	return result;

    }

    

}

• Java で画像のリサイズ – toshyonのメモ書き
• ImageIOクラスで画像ファイルを読み書きする – BufferedImageの使い方色々 – Java2D

• MacにMacportsでインストール、サンプルをgccでコンパイルしi-Sightで実行
• VMWare+Ubuntuにaptでインストール、サンプルをgccでコンパイルしLogicoolの古いカメラQV-40で実行
• Windowsにインストーラからいれて、VisualStudio2008でコンパイルする設定、iSightでキャプチャ
• VMWare+Ubuntuで単純なカメラキャプチャプログラムとMakefileを1から書く
• おまけ：Macにソースからインストールしなおし（意味無かった、相変わらず重い）

OpenCV プログラミングブック

posted with amazlet at 09.02.08

奈良先端科学技術大学院大学 OpenCVプログラミングブック制作チーム
毎日コミュニケーションズ
売り上げランキング: 58513

おすすめ度の平均:

とっかかりとしてはよい本
OpenCVを日本語でまとまって解説した初めての本
肩すかし

Amazon.co.jp で詳細を見る

• 背景差分
• aviファイルの読み込み
  カメラとaviファイルの入力を切り替えて、同じアルゴリズムで試せるので便利。再現性を見たい時などに。
• 肌色領域検出

火曜に、imglのうっちーとあらためてラベリング処理ってどうやんのよという話をしていて、あらためてAS3で書き直した。

ただし、ラベルの衝突処理はまだやっていない。

ラベリング処理について→s.h.log: Proce55ing – 2値化画像を4近傍ラベリング処理してパーツ抜き出し

今まで、ラベルそのものを2次元のint配列で管理してたけど、今回はBitmapDataオブジェクトとして保存する様にしてみた。BitmapDataならx,y座標で要素にアクセスできるし、ピクセルはuint型なので都合がいい。

■できたもの

download => fla, as, swf (FlashDevelop3.0.0 Beta5 + FlashCS3)

年末年始作ったカメラから画像処理のサンプルを元に改造した。

webcamから撮影してBitmapDataにして、1ピクセルずつ走査して真っ白（0x00FFFFFF）のピクセルを検出。

さらにラベリング処理をして、「ピクセルのかたまり」毎に番号をつける。

（0x00FFFFFFは蛍光灯を撮影すると良いです）

今回はノイズを飛ばしたりしていないので、右の本棚の小さな白にも反応してしまって28個とか検出される

ラベルの衝突時の処理もしていないので、左上が空いた弧の様な形の時に割れてしまう



この辺はまたの機会に。

■動きます（USBカメラが必要）

■コード

ColorPicker.as

package{

importfl.controls.Button;

importfl.controls.NumericStepper;

importflash.events.*;

importflash.media.*;

importflash.geom.Point;

importflash.utils.*;

importflash.display.*;

importflash.filters.*;

publicclassColorPickerextendsSprite{

privatevarcam:Camera;//カメラ

privatevarvideo:Video;//カメラからの画像を表示

privatevarbmp:Bitmap;//表示

privatevarbmd:BitmapData;//中身のデータ

privatevarlabels:BitmapData;//bmdと同サイズのラベル

privatevarcolor:int=0x00ffffff;//選択する色(白)



privatevar_numericStepperLabelNum:NumericStepper;

privatevar_buttonSnapshot:Button;



/*IDEが生成したオブジェクトを関連づけ*/

publicfunctionlink_ide_obj(){

this._numericStepperLabelNum=numericStepperLabelNum;

this._buttonSnapshot=buttonSnapshot;

}



publicfunctionColorPicker(){

stage.scaleMode=StageScaleMode.EXACT_FIT;//伸縮する

//stage.scaleMode=StageScaleMode.NO_SCALE;//伸縮しない

stage.align=StageAlign.TOP_LEFT;//左上から



link_ide_obj();//IDEが生成したオブジェクトを関連づけ



cam=Camera.getCamera();

cam.setMode(800,600,24,true);//24FPS

cam.setQuality(0,100);



video=newVideo(200,150);//bitmap計算用の小さいビデオ

video.attachCamera(cam);

this.addChild(video);//videoを表示



_buttonSnapshot.addEventListener(MouseEvent.CLICK,snapShot);//撮影の関数登録

bmd=newBitmapData(video.width,video.height);

bmp=newBitmap(bmd);//BitmapDataをBitampに登録

this.addChild(bmp);//Bitmapを表示

bmp.x=video.width+10;



//ラベル番号の選択GUI

_numericStepperLabelNum.enabled=false;

_numericStepperLabelNum.addEventListener(Event.CHANGE,function(){

showSelectedLabel(_numericStepperLabelNum.value);

});

}



/*撮影*/

publicfunctionsnapShot(e:Event){

bmd.draw(video);//カメラから制止画をキャプチャ

labeling();

showSelectedLabel(_numericStepperLabelNum.value);

_numericStepperLabelNum.enabled=true;

}



/*4近傍ラベリング処理*/

publicfunctionlabeling(){

labels=newBitmapData(bmd.width,bmd.height,false,0);//transparent=false

varlabel:int=0;

varx:int,y:int;

bmd.lock();//表示の更新を止める。これやらないとえらい事になる

for(y=0;y
for(x=0;x
if(bmd.getPixel(x,y)==color){//選択した色の時（今回は白）

if(x>0&&labels.getPixel(x-1,y)>0){//左チェック

labels.setPixel(x,y,labels.getPixel(x-1,y));//ラベルをコピー

}

elseif(x>0&&y>0&&labels.getPixel(x-1,y-1)>0){//左上

labels.setPixel(x,y,labels.getPixel(x-1,y-1));

}

elseif(y>0&&labels.getPixel(x,y-1)>0){//上

labels.setPixel(x,y,labels.getPixel(x,y-1));

}

elseif(y>0&&x0){//右上

labels.setPixel(x,y,labels.getPixel(x+1,y-1));

}

else{//4方向いずれも隣接していない時

labels.setPixel(x,y,++label);//新しいラベル

}

}

//else{

//labels.setPixel(x,y,0);//ラベル無し

//}

}

}

bmd.unlock();//表示を更新する



_numericStepperLabelNum.maximum=label;

_numericStepperLabelNum.minimum=1;

_numericStepperLabelNum.value=1;

}



/*選択したラベルの箇所を青く塗る。他は赤くする*/

publicfunctionshowSelectedLabel(labelNum:int){

bmd.lock();

varx:int,y:int;

for(y=0;y
for(x=0;x
varcurrentLabel:int=labels.getPixel(x,y);

if(currentLabel==labelNum){

bmd.setPixel(x,y,0x000000FF);//青

}

elseif(currentLabel>0){

bmd.setPixel(x,y,0x00FF0000);//赤

}

}

}

bmd.unlock();

}

}

}

右下の「Load」を押して再生。

→ Source Code (Flash CS3 / AS3)

土善開発合宿(ゆーすけべー日記: 奥出研’07秋合宿@土善旅館に部外者(OB)の開発合宿も兼ねて参入してきた)で作ってたBitmapMirror.asを公開しておきます。

宴会直前に到着したのであんまり時間がなかったけど、今回やったことは3つ

１．YouTubeのビデオ(flv)をGoogleVideo経由で取得して

２．AS3のBitmapDataとして扱って

３．鏡面反射させる

ビデオはこれを読み込んでいます。ひゃあ゛ああああうまい゛いいいいい

■１．YouTubeのビデオをGoogleVideo経由で取得する

数ヶ月前にGoogleに買収されて以来、

http://www.youtube.com/watch?v=YRY0M5cgDG8

のビデオは

http://cache.googlevideo.com/get_video?video_id=YRY0M5cgDG8

から取れる様になりました。

以前はWebService::YouTubeを使って

スクレイピングしなければならなかったけど、素直になった。

■２．flvからBitmapDataオブジェクトを作る

Flash Player9から、flvファイルや画像を外部から読み込んでBitmapDataオブジェクトを作るとクロスドメイン警告が出る様になった。

適切なcrossdomain.xmlが置いてあるサイトなら（例えばfarm1.static.flickr.comなど）

fl.Loader系でloadする時に

uiLoader.load(new URLRequest(textUrl.text), new LoaderContext(true,null, null));

などして、LoaderContextオブジェクトを渡してやれば

crossdomain.xmlを読んでくれるんだが

なんとかする方法を見つけた。

BitmapData.draw()メソッドでビットマップデータオブジェクトを外部のドメインのデータから作ろうとするとした時に警告が出る、ということは、

draw()する瞬間だけ外部ドメインじゃなければいい。

こうする。

video.attachNetStream(null);

bmd.draw(video);//ビットマップデータを取得

video.attachNetStream(stream);

ビットマップ取る時だけnullをattachしても、videoの表示は消えない（一瞬止

まる）だけなので目には見えない。

ここまで情報元：[Saq.] YouTube の FLV を抜き出すのが簡単になっている件

■３．BitmapMirror.asで鏡面反射させる

使い方。

コンストラクタでBitmapDataを渡してあげて、process()する。getBitmapData()で処理後のBitmapDataを取得できるので結果表示用のBitmapに渡してやれば表示できる。

thresholdプロパティで左端から鏡までの距離を指定できる。

myBitmapData:BitmapDataがカメラやストリームやMovieCilpなり何なりから作ってあるとして、

var mirror:BitmapMirror = new BitmapMirror(myBitmapData);

// 鏡処理(左右反転)したbitmapdataを受け取る

mirror.getBitmapData();

// 反転処理を反映させる

mirror.process();

普通にあらかじめ

var bmp_result:Bitmap = new Bitmap(mirror.getBitmapData());

this.addChild(bmp_result);

しておけば、毎フレーム毎に mirror.process(); すれば更新されます。

thresholdプロパティは、「左端から何ピクセル目に鏡をあてているか」です。

mirror.threshold = 30だと30ピクセル目になる。

今回はスライダーに合わせてるので、ソースが横幅320pixelだから

slider.maximum = 320;

mirror.threshold = slider.value;

mirror.process();

ってやってる。

Kagami.fla 1frame目（BitmapMirror.asを同じディレクトリに入れてやる必要あり）

importfl.events.*;

//入力用

varvideo:Video=newVideo(320,240);

varconn:NetConnection=newNetConnection();

conn.connect(null);

varstream:NetStream=newNetStream(conn);

stream.client={onMetaData:function():void{}};

varbmd:BitmapData=newBitmapData(320,240);

//ミラー

varmirror:BitmapMirror=newBitmapMirror(bmd);

varbmp_result:Bitmap=newBitmap(mirror.getBitmapData());

//結果表示用

bmp_result.x=0;

bmp_result.width=640;

bmp_result.height=240;

this.addChild(bmp_result);

varplayFlug:Boolean=false;

buttonLoad.addEventListener(MouseEvent.CLICK,loadVideo);

functionloadVideo(e:Event){

trace(“loadVideo()”);

stream.play(textUrl.text);

playFlug=true;

}

this.addEventListener(Event.ENTER_FRAME,reloadMirror);

slider.addEventListener(SliderEvent.THUMB_DRAG,reloadMirror);

functionreloadMirror(e:Event){

if(!playFlug)return;



video.attachNetStream(null);

bmd.draw(video);//ビットマップデータを取得

video.attachNetStream(stream);

mirror.threshold=slider.value;

mirror.process();//鏡写しのビットマップデータ作成

}