在《Kinect開發教程二：OpenNI讀取深度圖像與彩色圖像并顯示》中，小斤介紹了OpenNI讀取深度與彩色圖像數據的方法，并且借助OpenCV進行顯示。

OpenNI2在接口上與OpenNI有了較大變化，具體更新可以查看《OpenNI Migration Guide》。從獲取深度，彩色傳感器的數據而言，小斤覺得調用更為直觀，但對于Kinect，一大缺憾是不支持OpenNI2提供的深度與彩色圖像配準的方法(體現在下文中的device.isImageRegistrationModeSupported()方法)。

但使用Kinect的童鞋也不必沮喪，在OpenNI2.1 beta中，小斤看到了新增的convertDepthToColorCoordinates()方法可以做一些深度與彩色坐標數據的轉化，它的效果應該 是與device.setImageRegistrationMode( IMAGE_REGISTRATION_DEPTH_TO_COLOR )類似的，有興趣的童鞋可以嘗試一下。

在顯示方面，小斤還是使用OpenCV，這次是使用OpenCV的C++接口進行操作。

/*************************

OpenNI2 Deep, Color and Fusion Image

Author: Xin Chen, 2013.2

Blog: http://blog.csdn.net/chenxin_130

*************************/

#include

#include

#include

#include "OpenNI.h"

#include "opencv2/core/core.hpp"

#include "opencv2/highgui/highgui.hpp"

#include "opencv2/imgproc/imgproc.hpp"

using namespace std;

using namespace cv;

using namespace openni;

void CheckOpenNIError( Status result, string status )

{

if( result != STATUS_OK )

cerr << status << " Error: " << OpenNI::getExtendedError() << endl;

}

int main( int argc, char** argv )

{

Status result = STATUS_OK;

//OpenNI2 image

VideoFrameRef oniDepthImg;

VideoFrameRef oniColorImg;

//OpenCV image

cv::Mat cvDepthImg;

cv::Mat cvBGRImg;

cv::Mat cvFusionImg;

cv::namedWindow("depth");

cv::namedWindow("image");

cv::namedWindow("fusion");

char key=0;

//【1】

// initialize OpenNI2

result = OpenNI::initialize();

CheckOpenNIError( result, "initialize context" );

// open device

Device device;

result = device.open( openni::ANY_DEVICE );

//【2】

// create depth stream

VideoStream oniDepthStream;

result = oniDepthStream.create( device, openni::SENSOR_DEPTH );

//【3】

// set depth video mode

VideoMode modeDepth;

modeDepth.setResolution( 640, 480 );

modeDepth.setFps( 30 );

modeDepth.setPixelFormat( PIXEL_FORMAT_DEPTH_1_MM );

oniDepthStream.setVideoMode(modeDepth);

// start depth stream

result = oniDepthStream.start();

// create color stream

VideoStream oniColorStream;

result = oniColorStream.create( device, openni::SENSOR_COLOR );

// set color video mode

VideoMode modeColor;

modeColor.setResolution( 640, 480 );

modeColor.setFps( 30 );

modeColor.setPixelFormat( PIXEL_FORMAT_RGB888 );

oniColorStream.setVideoMode( modeColor);

//【4】

// set depth and color imge registration mode

if( device.isImageRegistrationModeSupported(IMAGE_REGISTRATION_DEPTH_TO_COLOR ) )

{

device.setImageRegistrationMode( IMAGE_REGISTRATION_DEPTH_TO_COLOR );

}

// start color stream

result = oniColorStream.start();

while( key!=27 )

{

// read frame

if( oniColorStream.readFrame( &oniColorImg ) == STATUS_OK )

{

// convert data into OpenCV type

cv::Mat cvRGBImg( oniColorImg.getHeight(), oniColorImg.getWidth(), CV_8UC3, (void*)oniColorImg.getData() );

cv::cvtColor( cvRGBImg, cvBGRImg, CV_RGB2BGR );

cv::imshow( "image", cvBGRImg );

}

if( oniDepthStream.readFrame( &oniDepthImg ) == STATUS_OK )

{

cv::Mat cvRawImg16U( oniDepthImg.getHeight(), oniDepthImg.getWidth(), CV_16UC1, (void*)oniDepthImg.getData() );

cvRawImg16U.convertTo( cvDepthImg, CV_8U, 255.0/(oniDepthStream.getMaxPixelValue()));

//【5】

// convert depth image GRAY to BGR

cv::cvtColor(cvDepthImg,cvFusionImg,CV_GRAY2BGR);

cv::imshow( "depth", cvDepthImg );

}

//【6】

cv::addWeighted(cvBGRImg,0.5,cvFusionImg,0.5,0,cvFusionImg);

cv::imshow( "fusion", cvFusionImg );

key = cv::waitKey(20);

}

//cv destroy

cv::destroyWindow("depth");

cv::destroyWindow("image");

cv::destroyWindow("fusion");

//OpenNI2 destroy

oniDepthStream.destroy();

oniColorStream.destroy();

device.close();

OpenNI::shutdown();

return 0;

}

小斤由上到下解釋一把：

【1】使用OpenNI::initialize()方法進行初始化，對于錯誤處理，可以使用OpenNI::getExtendedError()方法。在這里，Device對象打開任意一個可用設備。

【2】在OpenNI2中，可以通過創建VideoStream視頻流對象來讀取設備的深度圖像和色彩圖像數據。

【3】對于VideoStream視頻流對象，我們可以設備它的Mode，包括分辨率，FPS，像素格式等等。對于像素格式的類型，可以使用 VideoStream的getSensorInfo()方法獲得，目前Kinect只有PIXEL_FORMAT_DEPTH_1_MM可供選擇。

【4】如果設備支持深度與彩色圖像配準的話，小斤在這里使用OpenNI2自帶的接口進行配準。在while循環中，各個VideoStream對象通過readFrame()來讀取對應的圖像數據。

【5】將OpenNI的圖像數據轉換為OpenCV可顯示的圖像格式。對于彩色圖像，可以先將數據塞入OpenCV三通道(8位)RGB對象，再轉換到 BGR來顯示。對于深度圖像，先放入單通道(16位)對象(這是因為深度數據的值域較大)，最近將深度值等比例縮小到[0,255]的值域中，作為灰度圖 顯示。

【6】最后的圖像融合，由于addWeighted()方法需要兩個輸入圖像是同一類型，所以小斤首先將深度灰度圖(單通道)，轉化為BGR圖像，這樣就 與彩色圖像一致了。再通過該方法進行融合，小斤使用的比例是0.5，0.5，也就是融合圖像的每個像素點的值，都是(深度圖像該點的像素值*0.5)+ (彩色圖像該點的像素值*0.5)。

----------------------------------

作者：小斤(陳忻)

新浪圍脖：@小斤陳

本文屬于原創文章，如需轉載引用請注明原文作者和鏈接，謝謝。

總結

以上是生活随笔為你收集整理的由于找不到openni2_Kinect开发教程八：OpenNI2显示深度、彩色及融合图像的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。