Pointnet语义分割任务S3DIS数据集上的注意点

深碍√TFBOYSˉ_ 2023-07-23 12:57 5阅读 0赞

## 前言 ##

Pointnet的网络结构和源码解释，已在之前写了次总结，本次主要针对论文中的数据集以.h5为TensorFlow的输入格式进行解释，记录如何制作H5文件，以提供给TensorFlow，PyTorch框架中进行训练。  
首先，Pointnet一文中针对3个不同的任务使用到了三个数据集，分别为：

*  点云分类（3D Object Classification）——**ModelNet40**，下载命令在`provider.py`中，运行`python train.py`后便会自动下载（416MB）到\*\*data/\*\*文件夹下，每个点云包含从形状表面均匀采样的2048个点。每个云均值为零，并归一到单位球面。data/modelnet40\_ply\_hdf5\_2048在h5文件中还指定文本ID的文本文件。
 *  点云部分分割（3D Object Part Segmentation）——**ShapeNetPart** ，下载命令在`part_seg/download_data.sh`中  
    浏览器点击下载：  
    [ShapeNet原始点云数据][ShapeNet]（约1.08GB）  
    [ShapeNet-制作好的hdf5文件][ShapeNet-_hdf5]（约346MB）  
    或者直接在终端手动下载数据集：
    
        cd part_seg
        sh download_data.sh
    
    执行脚本后将下载上面对应的两个数据集，脚本会自动解压到项目目录下。接下来直接运行train.py和test.py进行训练和测试即可。
 *  **语义分割（Semantic Segmentation in Scenes）**—— **Stanford Large-Scale 3D Indoor Spaces Dataset**  
    对S3DIS数据集进行简单说明：在6个区域的271个房间，使用Matterport相机（结合3个不同间距的结构光传感器），扫描后生成重建3D纹理网格，RGB-D图像等数据，并通过对网格进行采样来制作点云。对点云中的每个点都加上了1个语义标签（例如椅子，桌子，地板，墙等共计13个对象）。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE5OTU4NA_size_16_color_FFFFFF_t_70_pic_center]  
    用于训练的数据会按照房间来划分点集，将房间的点云数据划分为 1 m × 1 m 1m×1m 1m×1m的块，然后再对每个块预测其中每个点的语义标签。每个点由一个**9-dim**向量表示，分别为：X, Y, Z, R, G, B, X\`,Y\`,Z\` ——标准化后的每个点相对于所在房间的位置坐标( 值为0 - 1)。在训练时，从每个块中随机采样4096个点，使用K折交叉验证（github中是6折，论文中是3折）
 *  k-fold交叉验证：6-fold:训练集5个区域，测试集1个区域，3-fold：训练集4个区域，测试集2个区域，防止过拟合的常用手段。

**注意：** 这里有一个有意思的问题，对于分割网格进行训练，如果采用这种切分块式样的预处理方式作为输入，会影响到最后的结果，比如一张桌面出现两种不同的错误分割，这一点在RandLA-Net（2019）一文中进行了说明。因此那篇文章说道在做大场景点云分割的时候不能直接使用pointnnet这种方式，因为网络难以有效地学习到一个物体的整体几何结构，也是大场景点云分割的改进点。

## 数据集准备 ##

1.如果没有最后的可视化要求，即只评价模型的分割准确度，不进行更多测试，那可以下载制作好的hdf5格式文件，不会在训练后生成.obj文件：  
在浏览器中[点击下载作者准备好的S3DIS-hdf5文件][S3DIS-hdf5]（大约1.6G）  
或者在终端运行：

cd sem_seg
    	sh download_data.sh

脚本会自动解压得到一个indoor3d\_sem\_seg\_hdf5\_data 文件夹，其中包含ply\_data\_all\_0.h5~ply\_data\_all\_23.h5 共24个.h5结尾的数据文件，每个文件都包含data和 label数据。除最后一个为585行数据以外，这24个文件共有23×1000+585=23585行，**每行对应一个切分为 1 m × 1 m 1m×1m 1m×1m的Block，表示4096个点，每个点对应9个维度。**  
all\_files.txt 中保存24个数据文件名，room\_filelist.txt中数据为23585 行，对应每行的Block所对应的采集area和room。

2.如果想要进行测试和可视化，需要下载3D室内解析数据集（[S3DIS Dataset数据集介绍][S3DIS Dataset]）**进行模型的测试和可视化工作**。作者实验用的是Stanford3dDataset\_v1.2\_Aligned\_Version数据集，填写信息进行下载[下载链接][Link 1]。第一个是谷歌云平台存储的地址，第二个是一个共享文件形式，如果可以用谷歌云的话可能会方便很多。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE5OTU4NA_size_16_color_FFFFFF_t_70_pic_center 1]  
在.txt文件中的保存的点云数据（XYZ，RGB），**解压后文件夹大小为16.8GB**  
**注意：** 在执行 collect\_indoor3d\_data.py应该会出现类似于下面的错误：

D:\pointnet\data\Stanford3dDataset_v1.2_Aligned_Version\Area_5/hallway_6/Annotations
    D:\pointnet\data\Stanford3dDataset_v1.2_Aligned_Version\Area_5/hallway_6/Annotations ERROR!!

作者提示Area\_5/hallway\_6中多了一个额外的字符，不符合编码规范，需要手动删除。经查找具体位置为：Stanford3dDataset\_v1.2\_Aligned\_Version\\Area\_5\\hallway\_6\\Annotations\\ceiling\_1.txt中的第**180389**行数字**185后**。windows下建议使用**EmEditor**打开文件，会自动跳转到该行，数字185后面有一个类似空格的字符，实际上不是空格，删掉然后重新打一个空格就可以了。linux下直接使用gedit或vim跳转到该行修改即可。保存后再次使用编辑器尝试打开该文件，不提示出现问题说明已经修改完成。  
对应修改位置如下：  
![在这里插入图片描述][20200409061534104.png_pic_center]  
如果要将数据转换为模型所需的hdf5格式，首先需要在Python中安装h5py，如果是Anaconda环境应该已默认安装，通过`import h5py`测试检查是否安装，没有安装的话可以使用下面命令进行快速安装：

sudo apt-get install libhdf5-dev # 安装h5py开发库，必要！
    sudo pip install h5py

接下来准备自己的HDF5数据，下载好数据集后，分别运行该sem\_seg/下的两个python脚本来生成hdf5数据文件。

*  python collect\_indoor3d\_data.py用于数据的重组，转换为.npy格式文件，比如Area\_1\_hallway\_1.npy（.npy为Numpy专用的二进制格式）。
 *  python gen\_indoor3d\_h5.py 将.npy文件批量转为HDF5文件。

### 训练： ###

使用准备好的HDF5数据文件（处理好的或自己转换的数据），即可开始模型训练，模型默认使用Vanilla PointNet进行训练，指定**区域1用作测试集**，作者给出的是区域6作测试集：

python train.py --log_dir log1 --test_area 1

得到在log1文件夹下关于训练模型和日志model.ckpt文件。

## 测试： ##

训练结束后，可以进行测试，需要对于测试集数据进行简单处理：

*  batch\_inference.py **对测试集**中的房间进行细分。

作者实验中使用6折交叉训练来训练获得6个模型。比如：对于model1，将区域2-6用作训练集，区域1用作测试集；对于模型2，区域1,3-6被用作训练集，区域2被用作测试集以此类推，请注意，论文使用了不同的3折交叉训练。  
加入我们想使用model1进行测试，并获得一个obj文件用于可视化，那么测试集为区域1，可以运行如下代码，作者README中给出的是model6作为测试，即以区域6位测试集测试工作和可视化：

python batch_inference.py --model_path log1/model.ckpt --dump_dir log1/dump --output_filelist log1/output_filelist.txt --room_data_filelist meta/area1_data_label.txt --visu

测试执行完毕后。将会在log1/dump下创建一些.OBJ .TXT文件，可以使用**CloudCompare，MeshLab**等软件来进行区域1—会议室1的预测结果的可视化。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE5OTU4NA_size_16_color_FFFFFF_t_70_pic_center 2]

## 分割效果评价 ##

最后是评估整体分割的准确性，作者依次评估了6个模型，并用于eval\_iou\_accuracy.py产生点的分类准确性和IoU，结果最终除以13，得到一个分割的平均交并比mIOU。  
参考论文中作者的结果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE5OTU4NA_size_16_color_FFFFFF_t_70_pic_center 3]  
表3为S3DIS数据集上场景分割任务的实验结果 ，表4为该数据集上的3D目标检测任务结果。

[ShapeNet]: https://shapenet.cs.stanford.edu/ericyi/shapenetcore_partanno_v0.zip
[ShapeNet-_hdf5]: https://shapenet.cs.stanford.edu/media/shapenet_part_seg_hdf5_data.zip
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE5OTU4NA_size_16_color_FFFFFF_t_70_pic_center]: /images/20230528/2880c7b7c62245779418dceebcad6c70.png
[S3DIS-hdf5]: https://shapenet.cs.stanford.edu/media/indoor3d_sem_seg_hdf5_data.zip
[S3DIS Dataset]: http://buildingparser.stanford.edu/dataset.html
[Link 1]: https://docs.google.com/forms/d/e/1FAIpQLScDimvNMCGhy_rmBA2gHfDu3naktRm6A8BPwAWWDv-Uhm6Shw/viewform?c=0&w=1
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE5OTU4NA_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20230528/b3a220ef1dba4490a6cb1b7116195c18.png
[20200409061534104.png_pic_center]: /images/20230528/253476f6df754c5fa38709c4fb606f8d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE5OTU4NA_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20230528/7f0a6696f8484a66aecf2bb21336104f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE5OTU4NA_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20230528/a6eb7d5b2b604b8fb554dac5cc5bb1ec.png