• 解像度は640×480もしくは320×240と高くは無いが、320×240の時は最大120FPSでキャプチャできる
• レンズのモードを切り替える事が出来て、かなり広角になる
• オートフォーカスが無いので画像処理しやすい
• ゲインやホワイトバランスの調整が高速
• 4000円前後で手に入る。性能の割に安い

PLAYSTATION Eye(CEJH-15001)

posted with amazlet at 09.07.07

ソニー・コンピュータエンタテインメント (2008-07-24)
売り上げランキング: 1418

おすすめ度の平均:

GAMEはあんまり・・・
まぁ、及第点
確実に使用できるＷｅｂカメラ
気になる点を
お得！WindowsXP, VISTAでも問題なく使用できましたよ！

Amazon.co.jp で詳細を見る

cvCreateCameraCapture(0);

IPS3EyeLib::Create();

image = cvQueryFrame(capture);

PBYTE capBuffer = new BYTE[(WIDTH * HEIGHT * DEPTH) / 8];

capture->GetFrame(capBuffer, DEPTH, false)

memcpy(image->imageData, capBuffer, image->imageSize);

#include <stdio.h>

#include <highgui.h>

#include <cv.h>

#include <highgui.h>

#include <ctype.h>

#include <iostream>

#include <cstdlib>

#include <IPS3EyeLib.h>



#define WIDTH  320

#define HEIGHT 240

#define FPS    30

#define DEPTH  24



#define INIT_TIME 200

#define BG_RATIO 0.02 // 背景領域更新レート

#define OBJ_RATIO 0.005 // 物体領域更新レート

#define Zeta 10.0



int main(int argc, char** argv)

{

        bool isStop = false;

        IplImage *img = cvCreateImage(cvSize(WIDTH, HEIGHT), IPL_DEPTH_8U, 3);

        IPS3EyeLib *capture = IPS3EyeLib::Create();

        capture->AutoAGC(false); // ゲイン固定

        capture->SetGain(1);

        capture->AutoAWB(true);

        capture->AutoAEC(true);



        if(capture == NULL){

                printf("capture device not found!");

                return -1;

        }



        IplImage *imgAverage = cvCreateImage(cvSize(WIDTH, HEIGHT), IPL_DEPTH_32F, 3);

        IplImage *imgSgm = cvCreateImage(cvSize(WIDTH, HEIGHT), IPL_DEPTH_32F, 3);

        IplImage *imgTmp = cvCreateImage(cvSize(WIDTH, HEIGHT), IPL_DEPTH_32F, 3);

        IplImage *img_lower = cvCreateImage(cvSize(WIDTH, HEIGHT), IPL_DEPTH_32F, 3);

        IplImage *img_upper = cvCreateImage(cvSize(WIDTH, HEIGHT), IPL_DEPTH_32F, 3);

        IplImage *imgSilhouette = cvCreateImage(cvSize(WIDTH, HEIGHT), IPL_DEPTH_8U, 1);

        IplImage *imgSilhouetteInv = cvCreateImage(cvSize(WIDTH, HEIGHT), IPL_DEPTH_8U, 1);

        IplImage *imgResult = cvCreateImage(cvSize(WIDTH, HEIGHT), IPL_DEPTH_8U, 3);



        capture->SetFormat(IPS3EyeLib::GetFormatIndex(WIDTH, HEIGHT, FPS));

        PBYTE capBuffer = new BYTE[(WIDTH * HEIGHT * DEPTH) / 8];

        capture->StartCapture();



        printf("背景初期化中...¥n");

        cvSetZero(imgAverage);

        for(int i = 0; i < INIT_TIME; i++){

                if(capture->GetFrame(capBuffer, DEPTH, false)){

                        memcpy(img->imageData, capBuffer, img->imageSize);

                }

                cvAcc(img, imgAverage);

                printf("輝度平均 %d/%d¥n", i, INIT_TIME);

        }

        cvConvertScale(imgAverage, imgAverage, 1.0 / INIT_TIME);

        cvSetZero(imgSgm);

        for(int i = 0; i < INIT_TIME; i++){

                if(capture->GetFrame(capBuffer, DEPTH, false)){

                        memcpy(img->imageData, capBuffer, img->imageSize);

                }

                cvConvert(img, imgTmp);

                cvSub(imgTmp, imgAverage, imgTmp);

                cvPow(imgTmp, imgTmp, 2.0);

                cvConvertScale(imgTmp, imgTmp, 2.0);

                cvPow(imgTmp, imgTmp, 0.5);

                cvAcc(imgTmp, imgSgm);

                printf("輝度振幅 %d/%d¥n", i, INIT_TIME);

        }

        cvConvertScale(imgSgm, imgSgm, 1.0 / INIT_TIME);

        printf("背景初期化完了¥n");



        capture->AutoAWB(false); // ホワイトバランス固定

        capture->AutoAEC(false);



        char winNameCapture[] = "Capture";

        char winNameSilhouette[] = "Silhouette";

        cvNamedWindow(winNameCapture, 0);

        cvNamedWindow(winNameSilhouette, 0);



        int waitKey = 0;

        while(1){

                if(!isStop){

                        if(capture->GetFrame(capBuffer, DEPTH, false)){

                                memcpy(img->imageData, capBuffer, img->imageSize);

                        }

                        if(img == NULL) break;

                        cvConvert(img, imgTmp);



                        // 輝度範囲

                        cvSub(imgAverage, imgSgm, img_lower);

                        cvSubS(img_lower, cvScalarAll(Zeta), img_lower);

                        cvAdd(imgAverage, imgSgm, img_upper);

                        cvAddS(img_upper, cvScalarAll(Zeta), img_upper);

                        cvInRange(imgTmp, img_lower, img_upper, imgSilhouette);



                        // 輝度振幅

                        cvSub(imgTmp, imgAverage, imgTmp);

                        cvPow(imgTmp, imgTmp, 2.0);

                        cvConvertScale(imgTmp, imgTmp, 2.0);

                        cvPow(imgTmp, imgTmp, 0.5);



                        // 背景領域を更新

                        cvRunningAvg(img, imgAverage, BG_RATIO, imgSilhouette);

                        cvRunningAvg(imgTmp, imgSgm, BG_RATIO, imgSilhouette);



                        // 物体領域を更新

                        cvNot(imgSilhouette, imgSilhouetteInv);

                        cvRunningAvg(imgTmp, imgSgm, OBJ_RATIO, imgSilhouetteInv);



                        cvErode(imgSilhouette, imgSilhouette, NULL, 1); // 収縮

                        cvDilate(imgSilhouette, imgSilhouette, NULL, 2); // 膨張

                        cvErode(imgSilhouette, imgSilhouette, NULL, 1); // 収縮



                        cvMerge(imgSilhouette, imgSilhouette, imgSilhouette, NULL, imgResult);

                        cvShowImage(winNameCapture, img);

                        cvShowImage(winNameSilhouette, imgResult);

                }

                waitKey = cvWaitKey(33);

                if(waitKey == 'q') break;

                if(waitKey == ' '){

                        isStop = !isStop;

                        if(isStop) printf("stop¥n");

                        else printf("start¥n");

                }

        }



        delete [] capBuffer;

        capture->StopCapture();

        cvDestroyWindow(winNameCapture);

        cvDestroyWindow(winNameSilhouette);

        return 0;

}

320×240@15fps
320×240@30fps
320×240@60fps
320×240@75fps
320×240@100fps
320×240@125fps
640×480@15fps
640×480@30fps
640×480@40fps
640×480@50fps
640×480@60fps
640×480@75fps

で動くらしい。

• DLLの概要と実装方法。 – かせいさんとこ
• C#からC++のDLLを利用する方法 – pota_dahonの日記

hg clone http://shokai.org/projects/opencv-study/ opencv-study

してリポジトリを複製してください。

• OpenCV Study: 7537970cfc6b /ShadowCamera/ : 影カメラライブラリ
• OpenCV Study: 7537970cfc6b /ShadowCameraSample/ : 影カメラライブラリを使うFormアプリケーション

$(NoInherit) highgui.lib cxts.lib cv.lib cxcore.lib ml.lib cvaux.lib cvhaartraining.lib

を書く


ShadowCamera.hのClass名をCameraに変更、さらにint runCapture()関数を書く。
この関数の中にOpenCVのmain()を全部突っ込んでしまえばそのまま動く。今回はbgsubAvg.cppのmain()をコピペしたけど他にも赤色重心追跡や肌色検出、単純なカメラ入力など色々作ったので好きなものをコピペしてよい。
OpenCV関連のヘッダを#includeで読み込むのを忘れずに。
（試しにint asdf()という単に数値を返すだけの関数も作っておいた。これがC#から呼べればちゃんとDLLとして読み込めているはず）

OpenCV Study: 7537970cfc6b ShadowCamera/ShadowCamera.h

// ShadowCamera.h
#include <cv.h>
#include <highgui.h>
#include <ctype.h>
#include <stdio.h>

#pragma once

using namespace System;

namespace ShadowCamera {

    public ref class Camera
    {
        // TODO: このクラスの、ユーザーのメソッドをここに追加してください。
    public:
        int asdf(void){
            return 15;
        }

    public:
        int runCapture(void){

            bool isStop = false;
            const int INIT_TIME = 50;
            const double BG_RATIO = 0.02; // 背景領域更新レート
            const double OBJ_RATIO = 0.005; // 物体領域更新レート
            const double Zeta = 10.0;
            IplImage *img = NULL;

            CvCapture *capture = NULL;
            capture = cvCreateCameraCapture(0);
            //capture = cvCaptureFromAVI("test.avi");
            if(capture == NULL){
                printf("capture device not found!!");
                return -1;
            }

            img = cvQueryFrame(capture);
            int w = img->width;
            int h = img->height;

            IplImage *imgAverage = cvCreateImage(cvSize(w, h), IPL_DEPTH_32F, 3);
            IplImage *imgSgm = cvCreateImage(cvSize(w, h), IPL_DEPTH_32F, 3);
            IplImage *imgTmp = cvCreateImage(cvSize(w, h), IPL_DEPTH_32F, 3);
            IplImage *img_lower = cvCreateImage(cvSize(w, h), IPL_DEPTH_32F, 3);
            IplImage *img_upper = cvCreateImage(cvSize(w, h), IPL_DEPTH_32F, 3);
            IplImage *imgSilhouette = cvCreateImage(cvSize(w, h), IPL_DEPTH_8U, 1);
            IplImage *imgSilhouetteInv = cvCreateImage(cvSize(w, h), IPL_DEPTH_8U, 1);
            IplImage *imgResult = cvCreateImage(cvSize(w, h), IPL_DEPTH_8U, 3);

            printf("背景初期化中…¥n");
            cvSetZero(imgAverage);
            for(int i = 0; i < INIT_TIME; i++){
                img = cvQueryFrame(capture);
                cvAcc(img, imgAverage);
                printf("輝度平均 %d/%d¥n", i, INIT_TIME);
            }
            cvConvertScale(imgAverage, imgAverage, 1.0 / INIT_TIME);
            cvSetZero(imgSgm);
            for(int i = 0; i < INIT_TIME; i++){
                img = cvQueryFrame(capture);
                cvConvert(img, imgTmp);
                cvSub(imgTmp, imgAverage, imgTmp);
                cvPow(imgTmp, imgTmp, 2.0);
                cvConvertScale(imgTmp, imgTmp, 2.0);
                cvPow(imgTmp, imgTmp, 0.5);
                cvAcc(imgTmp, imgSgm);
                printf("輝度振幅 %d/%d¥n", i, INIT_TIME);
            }
            cvConvertScale(imgSgm, imgSgm, 1.0 / INIT_TIME);
            printf("背景初期化完了¥n");

            char winNameCapture[] = "Capture";
            char winNameSilhouette[] = "Silhouette";
            cvNamedWindow(winNameCapture, 0);
            cvNamedWindow(winNameSilhouette, 0);

            while(1){
                if(!isStop){
                    img = cvQueryFrame(capture);
                    if(img == NULL) break;
                    cvConvert(img, imgTmp);

                    // 輝度範囲
                    cvSub(imgAverage, imgSgm, img_lower);
                    cvSubS(img_lower, cvScalarAll(Zeta), img_lower);
                    cvAdd(imgAverage, imgSgm, img_upper);
                    cvAddS(img_upper, cvScalarAll(Zeta), img_upper);
                    cvInRange(imgTmp, img_lower, img_upper, imgSilhouette);

                    // 輝度振幅
                    cvSub(imgTmp, imgAverage, imgTmp);
                    cvPow(imgTmp, imgTmp, 2.0);
                    cvConvertScale(imgTmp, imgTmp, 2.0);
                    cvPow(imgTmp, imgTmp, 0.5);

                    // 背景領域を更新
                    cvRunningAvg(img, imgAverage, BG_RATIO, imgSilhouette);
                    cvRunningAvg(imgTmp, imgSgm, BG_RATIO, imgSilhouette);

                    // 物体領域を更新
                    cvNot(imgSilhouette, imgSilhouetteInv);
                    cvRunningAvg(imgTmp, imgSgm, OBJ_RATIO, imgSilhouetteInv);

                    cvErode(imgSilhouette, imgSilhouette, NULL, 1); // 収縮
                    cvDilate(imgSilhouette, imgSilhouette, NULL, 2); // 膨張
                    cvErode(imgSilhouette, imgSilhouette, NULL, 1); // 収縮

                    cvMerge(imgSilhouette, imgSilhouette, imgSilhouette, NULL, imgResult);
                    cvShowImage(winNameCapture, img);
                    cvShowImage(winNameSilhouette, imgResult);
                }
                int waitKey = cvWaitKey(33);
                if(waitKey == ’q') break;
                if(waitKey == ’ ’){
                    isStop = !isStop;
                    if(isStop) printf("stop¥n");
                    else printf("start¥n");
                }
            }

            cvReleaseCapture(&capture);
            cvDestroyWindow(winNameCapture);
            cvDestroyWindow(winNameSilhouette);

            return 0;
        }
    };
}

■C#でFormアプリを作る
新しいプロジェクトを作る。
ソリューションエクスプローラで[参照設定]→[プロジェクト参照]でShadowCameraを参照。

なお、同一Solution内ならプロジェクト参照が便利だけど、
ReleaseにShadowCamera.dllができているのでそれを他の人に配布して、[ファイルを参照]してもらってdllから呼び出してもらっても同じ機能が使えます


ボタンを1つ置く。buttonStartという名前にして、ダブルクリックしてクリックイベントの雛形を作る




ShadowCameraを読み込んで

using ShadowCamera;

新しいCameraクラスのインスタンスを作って、startButtonイベント内でさっき作ったrunCapture関数を呼ぶようにする
OpenCV Study: 7537970cfc6b ShadowCameraSample/ShadowCameraForm.cs

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Windows.Forms;
using ShadowCamera;

namespace ShadowCameraSample
{
    public partial class ShadowCameraForm : Form
    {
        private Camera cam;
        public ShadowCameraForm()
        {
            InitializeComponent();
            cam = new Camera();
        }

        private void buttonStart_Click(object sender, EventArgs e)
        {
            cam.runCapture();
        }
    }
}

ShadowCameraSampleを（右クリックして）スタートアッププロジェクトに設定し、
ビルドするとShadowCameraFormが起動する。ボタンを押すとしばらくカメラを読み込んで、数秒後にOpenCVのHighGUIのウィンドウが起動するはず。

C:\Program Files\Microsoft SDKs\Windows\v5.0\Lib\IA64

で発見したので

\libs\glu

にコピーして置いた。
VS2003の頃はPlatform SDKの下にあるらしいけど、俺はMicrosoft SDKの下にあった。無いと言っている人もいる。
VS2005も過去にこのマシンにインストールしていたから、この位置にあるのかな？
どうしても見つからない人は連絡ください。


再びビルド。今度はrtAudioD.libでエラーが起こる。
libs\rtAudio\rtAudioD.libのバージョンが古いらしい。
http://www.openframeworks.cc/files/rtaudio-vs2008.zip
をダウンロードしてきて
Release\rtAudio.libをrtAudioD.libにリネームして

\libs\rtAudio

に置く。

これでコンパイル通って動く。
文字コードがCP932だよというwarningが出るので、後で文字コードは後でUTF-8に統一しよう


openCVのサンプルを動かしてみた。背景差分とblob判定してる。



ofVideoGrabberのサンプル。processing並にカメラの画像取得のコードが短い。

• 処理時間を取得するメソッドの場合
  → 時間の値が0以上でなければエラー
• 計測回数を取得するメソッドの場合
  → 何回か計測してみて、計測回数が合わなければエラー
• 計測中かどうか？フラグの場合
  → Startメソッドにfalseだったらエラー
  → Stopメソッド後にtrueだったらエラー

/// <summary>
///Counting のテスト
///</summary>
[TestMethod()]
public void CountingTest()
{
  Counter target = new Counter(); // TODO: 適切な値に初期化してください
  bool actual;
  actual = target.Counting;
  Assert.Inconclusive("このテストメソッドの正確性を確認します。");
}

このまま実行すると「このテストメソッドの正確性を確認します」と出るが、これは「これから私がテストコードを書き直して確認します」という意味なので削除して、自分で書く。


2種類チェックしたいのでCountingTest2も作った。手書きでテストを追加してもちゃんとテスト実行時に呼び出される。

[TestMethod()]
public void CountingTest()
{
  Counter target = new Counter(); // TODO: 適切な値に初期化してください

  target.Start();
  target.Stop();
  target.Start();
  bool actual = target.Counting;
  Assert.IsTrue(actual, "計測中フラグが立っていません");
}

[TestMethod()]
public void CountingTest2()
{
  Counter target = new Counter();
  target.Start();
  target.Stop();
  bool actual = target.Counting;
  Assert.IsFalse(actual, "計測中フラグが消えていません");
}

Assert.条件(値1, “エラーメッセージ”);や
Assert.条件(値1, 値2, “エラーメッセージ”); という風に書く。
Assert条件文の最後の引数がエラーメッセージなのがちょっとわかりにくいが
Assert.AreEqual(a, b, “error! a != b”);
の場合、aとbが同じかどうか確かめてみて、違ったらerror!と表示する。

他にも色々条件式があってこの記事の下の方で解説されている


全部テストが通るとこうなる。


チェック項目が2つ以上ある関数の場合、1つのテスト関数で複数回Assertする事も出来るが、1つのテスト関数につき1つAssertする事にした。こうしておいた方がどちらの条件でエラーがでたのかわかりやすい為。


今回は先に出来ていたクラスのテストを後から作ったが、次は先にテストを作成して後から実装するテスト駆動開発でやりたい。先にテストを書き、Assertのエラー文を

Assert.IsTrue(actual, "Startメソッドで実行した後はtrueになるべきです");

のように書けば、これがそのまま詳細設計になる。

VisualStudioではコンパイル時にコンパイラに渡す定数を定義しておいて、コード上のプリプロセッサで実行ファイルにその部分を含めるか定義する事が出来る事をさっき知った。

こういうコードだと、定数ZANMAIが定義されていればざんまい！！されていなければかず助になる。実行中に条件分岐するのではなく、実行ファイルに丸ごと含まれるか/含まれないかが、コンパイル構成プロファイル毎に変化する。#ifZANMAI

MessageBox.Show("ざんまい！！");

#else

MessageBox.Show("かず助！！！！");

#endif

構成プロファイル「NIKU」を新規作成する。

プロジェクトのプロパティのビルドで、条件付きコンパイルシンボルをNIKUプロファイル固有の定数として追加しておく

この部分を含んでコンパイルするか、含まない実行ファイルを作るかを解釈するようになる。

動作の違う実行ファイルをそれぞれ書き出せるようになると、それだけ設定画面などを作る必要がなくなるのでうまく使えば便利そう

Windowsでカメラからの画像入力を使うには、Flash(Air)やProcessing、Max/MSPを除くとDirectXかVideo for Windowsを使わなければならないんだけど、これらをC#から直接使うのはとてもめんどい。

で、DirectX自体はラッパーを介して使えるので問題ないんだけど、DirectShow（カメラの入力に使う）だけはなぜかC#用のラッパーが無いのでDirectShow.NETの出番になる。このライブラリはs.h.log DirectShow.NETで静止画キャプチャでも使ったんだけど、去年ぐらいからDirectShow.NETがver 2.0になってさらに良くなっていた。

ちょっといじってみたが、C++が苦手な馬鹿には便利すぎて感動したので、

webcam撮影→JPEG画像に保存のサンプルを作って置いておきます

■作ったもの

→ Download (VisualStudio 2008 + C#3.0)

昨日の朝にDirectShow.NET2.0でwebcamキャプチャ、JPEG保存 – 橋本詳解で書いたのとほぼ同じだが、デバイスの選択ができるようになった。

あと、DirectShow.NETを使えば、インストールすると1GBぐらいになるDirectX SDKを入れなくても済むのも嬉しい。

■プログラムの準備

まず準備としてDirectShow.NETのサイトからDirectShowLib-2005.dll本体と、サンプルを手に入れる。

DirectShowLib-2005.dllにパスを通し、sampleに入っているCapture.csもpublic domainなのでコピーしてありがたく使わせていただく。

そして、いくつか使うnamespaceを通す

usingDirectShowLib;

usingSnapShot;

usingSystem.Runtime.InteropServices;

usingSystem.Drawing.Imaging;

■カメラデバイスを取得してプレビュー表示する

なんでもいいが、System.Windows.Forms.Controlを継承しているPanelやPictureBoxやFormなどを、カメラのプレビュー用に用意しなければならない。プレビューを画面に出したくなければVisible = falseしておけばいい。

そのコントロールをCaptureクラスのコンストラクタに渡してやると、cameraのプレビュー表示がリアルタイムに表示されるようになる。

PanelpanelPreview=newPanel();

this.Controls.Add(panelPreview);

Capturecam=newCapture(0,640,480,24,panelPreview);//device,x,y,24FPS,preview

Capture()の第一引数は画像入力デバイスのindexで、0からはじまる。存在しないデバイスindexを選んでしまうとエラーになるので注意。FPSやカメラのXYサイズも指定できる。

■現在のカメラ表示を保存する

別のコントロールを用意して、そっちに保存する。今回のサンプルアプリの場合は、左の動画が右に静止画としてキャプチャされる。

PictureBoxにキャプチャするなら

PictureBoxpicBox=newPictureBox();

this.Controls.Add(picBox);

IntPtrm_ip=cam.Click();

Bitmapb=newBitmap(cam.Width,cam.Height,cam.Stride,PixelFormat.Format24bppRgb,m_ip);

b.RotateFlip(RotateFlipType.RotateNoneFlipY);//上下反転しているので直す

picBox.Image=b;

Image型で静止画をコピーできたので、JpegファイルやPNGファイルなどに書き出すのも簡単。

picBox.Image.Save("captured.jpg",ImageFormat.Jpeg);

もちろんPictureBoxを経由しないで、直接保存もできる

b.Image.Save("captured.jpg",ImageFormat.Png);

カメラを閉じるのを忘れずに。

FormのFormClosedイベント内などでDispose()を呼べば良い

cam.Dispose();

ちなみに、現在接続してあるデバイスの一覧はDsDevice.GetDevicesOfCat(FilterCategory.VideoInputDevice)の中に入っている。

今回のサンプルでコンボボックスの中にデバイス名一覧を突っ込んだのはこんな感じでやった

comboBoxDevices.Items.Clear();

foreach(DsDevicedsinDsDevice.GetDevicesOfCat(FilterCategory.VideoInputDevice))

{

comboBoxDevices.Items.Add(ds.Name);

}

comboBoxDevices.SelectedIndex=0;

ComboBox.SelectedIndexで現在選ばれたデバイス名のindexがわかって、それをCaptureのコンストラクタのデバイスindexとして使えば良い。