Kinect for Windows SDK v2.0 开发笔记 (十八) Fusion 基本2D显示

快来打我* 2022-08-13 12:36 305阅读 0赞

（转载请注明出处）

使用SDK: **Kinect for Windows SDK v2.0 1409**

在9月更新中, x86的Fusion终于可以使用了，这次说Fusion吧.

Fusion不再是所谓的“Fusion帧”了, 而是向一代靠齐，以NUI开头，可见算法与一代一样。

还是仅仅是降低代码移植成本？

所以找了找一代的说明:

Kinect Fusion能够基于深度图像，实时对场景进行重建。

设备能够使用GPU或者CPU进行计算:

enum _NUI_FUSION_RECONSTRUCTION_PROCESSOR_TYPE
        {
            NUI_FUSION_RECONSTRUCTION_PROCESSOR_TYPE_CPU	= 1,
            NUI_FUSION_RECONSTRUCTION_PROCESSOR_TYPE_AMP	= 2
        } 	NUI_FUSION_RECONSTRUCTION_PROCESSOR_TYPE;

可见GPU加速使用的是C++AMP技术。

1代说明地址:[http://msdn.microsoft.com/us-en/library/dn188670.aspx][http_msdn.microsoft.com_us-en_library_dn188670.aspx]

Fusion将收集的数据慢慢"融合"起来

![SouthEast][]

这是因为期间发动了“再融合”，从而使物品表面光滑(误)

![SouthEast 1][]

Fusion工作管线:

![SouthEast 2][]

需要的额外文件:

即Fusion的dll文件，使用命令:

xcopy /C /Y "$(KINECTSDK20\_DIR)Redist\\Fusion\\x86\\Kinect20.Fusion.dll" "$(OutDir)"

复制过来即可，头文件与库文件:  
\#include <NuiKinectFusionApi.h>  
\#pragma comment ( lib, "Kinect20.Fusion.lib" )

**请注意以后SDK更新后，文件名的改变**

基本Fusion步骤:

**0. 设备检查:**

Fusion对图形设备是有要求的，需要DX11的支持，可以进行设备检测:

// 获取设备信息:: 可以用于debug
        WCHAR description[MAX_PATH];
        WCHAR instancePath[MAX_PATH];
        UINT memorySize = 0;
        if (SUCCEEDED(hr)){
            hr = NuiFusionGetDeviceInfo(
                m_processorType,
                m_deviceIndex,
                description,
                lengthof(description),
                instancePath,
                lengthof(instancePath),
                &memorySize
                );
            if (hr == E_NUI_BADINDEX){
                ::MessageBoxW(nullptr, L"需要DX11支持", L"错误", MB_ICONERROR);
            }
        }

[NuiFusionGetDeviceInfo][]第一个参数是设备类型，就是 CPU还是GPU,

第二个是设备索引，标记-1使用默认设备。这次就-1,使用默认设备，下次枚举设备。

其他参数就不说了。

**1. 创建Fusion 容积重建**[INuiFusionReconstruction][]

核心函数[NuiFusionCreateReconstruction][]:

参数1: [ 容积重建参数][Link 1]

参数2: 设备类型

参数3: 设备索引

参数4: 世界到相机 坐标转换矩阵

参数5: 返回指针

参数1中:

typedef struct _NUI_FUSION_RECONSTRUCTION_PARAMETERS
        {
        FLOAT voxelsPerMeter;
        UINT voxelCountX;
        UINT voxelCountY;
        UINT voxelCountZ;
        } 	NUI_FUSION_RECONSTRUCTION_PARAMETERS;

从上到下依次是

每米体素(体积元素或者体积像素)数量

重建X轴体素数量

重建Y轴体素数量

重建Z轴体素数量

SDK中使用的数据为:

m_reconstructionParams.voxelsPerMeter = 256.f;
        m_reconstructionParams.voxelCountX = 384;
        m_reconstructionParams.voxelCountY = 384; 
        m_reconstructionParams.voxelCountZ = 384;

即每米有256个体素，每两个临近的体素距离约为4mm.

建立了1.5m\*1.5m\*1.5m的容积，消耗内存384\*384\*384\*4，200+MB(可能还有内存对齐消耗的内存)

GPU加速即显卡内存,CPU加速即系统内存,这可是一笔大买卖啊。![SouthEast 3][]

目前主流显存在1G~2G,差强人意。

创建后，可能会**进行检错**:

if (hr == E_NUI_GPU_FAIL){
                ::MessageBoxW(nullptr, L"显卡不支持Fusion计算！\n或者 初始化失败", L"错误", MB_ICONERROR);
            }
            else if (hr == E_NUI_GPU_OUTOFMEMORY){
                ::MessageBoxW(nullptr, L"显存不足", L"错误", MB_ICONERROR);
            }

**1.5. 查看世界到容积坐标转换矩阵:**

之前成功后，我们可以看看创建后的世界到容积坐标转换矩阵

if (SUCCEEDED(hr)){
            hr = m_pReconstruction->GetCurrentWorldToVolumeTransform(&m_defaultWorldToVolumeTransform);
        }

设置断点后我们可以查看其值如下:

256 0 0 0

0 256 0 0

0 0 256 0

192 192 0 1

(0.75, 0.75, 1.5)经过转换后即为(384, 384, 384)，即容积的边界点.

通过修改世界到容积转换矩阵可以控制重建范围.

**2. 创建需要的Fusion图像帧:**

Fusion图像帧储存了需要的数据，类型有:

typedef 
    enum _NUI_FUSION_IMAGE_TYPE
        {
            NUI_FUSION_IMAGE_TYPE_INVALID	= 0,
            NUI_FUSION_IMAGE_TYPE_COLOR	= 1,
            NUI_FUSION_IMAGE_TYPE_FLOAT	= 2,
            NUI_FUSION_IMAGE_TYPE_POINT_CLOUD	= 3
        } 	NUI_FUSION_IMAGE_TYPE;

即色彩、浮点与点云。

我们需要将收集的深度数据浮点化，再平滑化(可选)，计算出点云后，输出表面(可选)与法线图像(可选)。

即需要5张Fusion图像帧

// 创建浮点深度帧
        if (SUCCEEDED(hr)){
            hr = NuiFusionCreateImageFrame(
                NUI_FUSION_IMAGE_TYPE_FLOAT, 
                m_cDepthWidth, 
                m_cDepthHeight, 
                nullptr,
                &m_pDepthFloatImage
                );
        }
        // 创建平滑浮点深度帧
        if (SUCCEEDED(hr)){
            hr = NuiFusionCreateImageFrame(
                NUI_FUSION_IMAGE_TYPE_FLOAT, 
                m_cDepthWidth, 
                m_cDepthHeight,
                nullptr,
                &m_pSmoothDepthFloatImage
                );
        }
        // 创建点云帧
        if (SUCCEEDED(hr)){
            hr = NuiFusionCreateImageFrame(
                NUI_FUSION_IMAGE_TYPE_POINT_CLOUD,
                m_cDepthWidth,
                m_cDepthHeight,
                nullptr,
                &m_pPointCloud
                );
        }
        // 创建Fusion图像帧
        if (SUCCEEDED(hr)){
            hr = NuiFusionCreateImageFrame(
                NUI_FUSION_IMAGE_TYPE_COLOR,
                m_cDepthWidth,
                m_cDepthHeight,
                nullptr,
                &m_pSurfaceImageFrame
                );
        }
        // 创建Fusion法线帧
        if (SUCCEEDED(hr)){
            hr = NuiFusionCreateImageFrame(
                NUI_FUSION_IMAGE_TYPE_COLOR,
                m_cDepthWidth,
                m_cDepthHeight,
                nullptr,
                &m_pNormalImageFrame
                );
        }

这样初始化基本完成了，不过需要重置一下:

[INuiFusionReconstruction::ResetReconstruction][INuiFusionReconstruction_ResetReconstruction]  
参数一: 新的目标 世界到相机 坐标转换矩阵

参数二: 新的目标 世界到容积 坐标转换矩阵

好了，初始化完成:

**3. Fusion处理**

Fusion是基于深度帧的，所以应该在深度图像中处理,

获取到深度数据后(前略):

![SouthEast 4][]

转换为浮点型深度

[INuiFusionReconstruction::DepthToDepthFloatFrame][INuiFusionReconstruction_DepthToDepthFloatFrame]

之前说了，可以平滑化数据:

[INuiFusionReconstruction::SmoothDepthFloatFrame][INuiFusionReconstruction_SmoothDepthFloatFrame]

接下来处理该帧

[INuiFusionReconstruction::ProcessFrame][INuiFusionReconstruction_ProcessFrame]

这是一个较为高级的方法, 原文说了:

This is usually the camera pose result from the most recent call to the [AlignPointClouds][] or [AlignDepthFloatToReconstruction][] method.

可以调用这两个较低级的方法.

可能会**处理错误**:

// 检查错误
        if (hr4f == E_NUI_FUSION_TRACKING_ERROR){
            m_ImagaRenderer.error_info = L"Fusion跟踪失败, 请保证目标是静态的,\n请常试重建(单击窗口)";
        }
        else if(SUCCEEDED(hr)){
            m_ImagaRenderer.error_info = L"Fusion跟踪正常";
        }
        else{
            m_ImagaRenderer.error_info = L"Fusion跟踪失败";
        }

计算出点云帧:

[INuiFusionReconstruction::CalculatePointCloud][INuiFusionReconstruction_CalculatePointCloud]

为点云帧着色(Shade)

[NuiFusionShadePointCloud][]

输出表面与法线, **这将是我们显示的图像**.

值得注意的是**参数三**:世界到BGR转换矩阵，

即将坐标XYZ转换为颜色BGR，Kinect中，XY可正可负,Z则一直为正，所以，我们这里

的转换矩阵是可以这样:

Matrix4 worldToBGRTransform = { 0.0f };
            worldToBGRTransform.M11 = m_reconstructionParams.voxelsPerMeter / m_reconstructionParams.voxelCountX;
            worldToBGRTransform.M22 = m_reconstructionParams.voxelsPerMeter / m_reconstructionParams.voxelCountY;
            worldToBGRTransform.M33 = m_reconstructionParams.voxelsPerMeter / m_reconstructionParams.voxelCountZ;
            worldToBGRTransform.M41 = 0.5f;
            worldToBGRTransform.M42 = 0.5f;
            worldToBGRTransform.M43 = 0.0f;
            worldToBGRTransform.M44 = 1.0f;

我们还顺带计算了各个方法的耗时, **响应WM\_LBUTTONUP消息**以重建容积等等.

这就是成果图了:

![SouthEast 5][]

可以看出各个都是吃时间的大东西。。。

这节就是说是基本的Fusion,代码下载地址:[点击这里][Link 2]

[http_msdn.microsoft.com_us-en_library_dn188670.aspx]: http://msdn.microsoft.com/us-en/library/dn188670.aspx
[SouthEast]: /images/20220810/47e1398dd8df43c9ab33aac5ed40d989.png
[SouthEast 1]: /images/20220810/a9abc5f08328437c8d7468134b81c452.png
[SouthEast 2]: /images/20220810/982aad65719344c38ae11911a10fb966.png
[NuiFusionGetDeviceInfo]: http://msdn.microsoft.com/en-us/library/microsoft.kinect.nuikinectfusionvolume.nuifusiongetdeviceinfo.aspx
[INuiFusionReconstruction]: http://msdn.microsoft.com/en-us/library/microsoft.kinect.nuikinectfusionvolume.inuifusionreconstruction.aspx
[NuiFusionCreateReconstruction]: http://msdn.microsoft.com/en-us/library/microsoft.kinect.nuikinectfusionvolume.nuifusioncreatereconstruction.aspx
[Link 1]: http://msdn.microsoft.com/en-us/library/microsoft.kinect.nuikinectfusioncolorvolume.nui_fusion_reconstruction_parameters.aspx
[SouthEast 3]: /images/20220810/5e697532fc9c4e3aa1fbacd48762e1cd.png
[INuiFusionReconstruction_ResetReconstruction]: http://msdn.microsoft.com/en-us/library/microsoft.kinect.nuikinectfusionvolume.inuifusionreconstruction.resetreconstruction.aspx
[SouthEast 4]: /images/20220810/49eb9a3986394a619386aa1af8fefe31.png
[INuiFusionReconstruction_DepthToDepthFloatFrame]: http://msdn.microsoft.com/en-us/library/dn785404.aspx
[INuiFusionReconstruction_SmoothDepthFloatFrame]: http://msdn.microsoft.com/en-us/library/microsoft.kinect.nuikinectfusionvolume.inuifusionreconstruction.smoothdepthfloatframe.aspx
[INuiFusionReconstruction_ProcessFrame]: http://msdn.microsoft.com/en-us/library/dn804511.aspx
[AlignPointClouds]: http://msdn.microsoft.com/en-us/library/microsoft.kinect.nuikinectfusionvolume.inuifusionreconstruction.alignpointclouds.aspx
[AlignDepthFloatToReconstruction]: http://msdn.microsoft.com/en-us/library/microsoft.kinect.nuikinectfusionvolume.inuifusionreconstruction.aligndepthfloattoreconstruction.aspx
[INuiFusionReconstruction_CalculatePointCloud]: http://msdn.microsoft.com/en-us/library/microsoft.kinect.nuikinectfusionvolume.inuifusionreconstruction.calculatepointcloud.aspx
[NuiFusionShadePointCloud]: http://msdn.microsoft.com/en-us/library/microsoft.kinect.nuikinectfusiondepthprocessor.nuifusionshadepointcloud.aspx
[SouthEast 5]: /images/20220810/1a8d86fcce844b528d931a5403fef143.png
[Link 2]: http://download.csdn.net/detail/dustpg/8074065