pointnet分割自己的点云数据_三维点云数据的语义分割方法除了pointnet还有哪些呢？...

野性酷女 2023-01-10 05:23 145阅读 0赞

您还可以考虑使用我们组(上海交大MVIG)刚刚推出的PointSIFT，代码开源。

在 Stanford Large-Scale 3D Indoor Spaces(S3DIS) 中可以达到 88.72 的 mAP(对比 PointNet 78.62, 相对提高 13%)。在另一个常用数据集Stanford ScanNet 上可以达到 86.0 的 mAP(对比 PointNet 73.23, 相对提高 17%)。

PointSIFT是一个通用的提高表征能力的算子模块，可以灵活地插入各种点云网络结构中

我们也超过了PointNet++和PointCNN，更多说明与比较在这里

虽然pointNet的性能已经不是最好的，但是，它思想是开创性的。我算是见证了Charles R. Qi和 Hao Su怎么把它弄出来的。其实这是一个漫长的过程。

我在斯坦福有两位导师一位是Fei-Fei Li，另一位是Leo Guibas。Leo Guibas的一个兴趣点就是在研究3D representation。比如，直接把2D CNN推到3D，计算量太大了做不动，而很显然点云在空间是稀疏的，肯定使用有办法做得既高效又好用的。那时候，做了大量的试错和思考，Hao Su和Charles R. Qi一直在弄这件事，感觉前前后后一年左右，中间各种痛苦。每次组会都是听到他们report一些失败的结果。

我和Yangyan Li(pointCNN作者)虽然在弄别的topic，但是对他们的问题也很感兴趣，所以经常和他们有讨论。那时候，Hao Su常常以斯坦福餐厅菜不好吃为借口，鼓动我们开车去10多里外的地方吃饭，一般是我和Charles R. Qi和Yangyan Li，当时还有Haoqiang Fan(清华姚班，旷视)。在路上和吃饭的时候，我们经常对三维视觉表征有比较深刻的讨论。有一次他们和我说的他们采用直接把点云作为输入，知道大概思路后觉得真是很妙，灵巧简洁，有点大道至简的感觉。在我快回国的时候，他们跟我说做work了。那时，我就在思考存在的问题，就是点云之间出来太独立了，虽然有坐标信息，但是这种结构化描述比较弱，之后我就在想如何加强结构化表征，并朝着方向去做。后来，想到如果把point cloud类比成pixel，我们可以借用SIFT算子的设计思想。

当然，我们也在思考以点云作为输入这条路线也有不少弊端，也不一定是三维视觉表征的最佳方案，我们组也在做一些别的尝试。anyway，三维视觉，是一个蛮有趣领域。也是我们组的其他两个大方向( human behavior understanding， Intelligent Robot )将来绕不过去的基础工具。