论文笔记 | 3d图像识别基础论文:PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation

原文链接:https://arxiv.org/abs/1612.00593

主要思路:输入独立的点云数据,进行变换不变性处理(T-net)后,通过pointNet网络训练后,最后通过最大池化和softMax分类器,输出评分结果。

摘要:相较于之前其他处理点云数据的论文,将数据转换为三维体素网格或者图象集合,pointNet最大的不同是,对于点云数据,会直接进行处理,而非将点云数据进行格式化处理,从而避免了将点云数据格式化后,产生的unnecessarily voluminous以及像素点失真的问题。

 点云的问题:

无序

与图像中的像素阵列或体积网格中的体素阵列不同,点云是一组没有特定顺序的点。 换句话说,处理N个3D点集合就会有n!种排列方式。

处理方法:

提出了三种方法:

1)将输入排序为规范的顺序;(对于扰动不稳定)

2)将输入作为一个序列来训练一个RNN,但是用各种排列来增加训练数据; (顺序无法被完全忽视) 

3)使用简单的对称函数来汇总每个点的信息。首先采取mlp提取特征(只有*和+的对称函数)并且采用最大池化函数,导致输出结果不受集合中点的排列顺序影响。

深度网络模拟通用对称函数输入总共n个点的无序云图点集({x1,x2 … , xn}), 通用函数f 输出该云图分类(汽车,书桌,飞机)。其中h函数用MLP网络模拟:g用最大池化模拟。


点之间的相互作用。

点来自具有距离度量的空间。这意味着点不是孤立的,相邻点形成一个有意义的子集。 因此,该模型需要能够从附近的点捕获局部结构,以及局部结构之间的组合相互作用。分割和语义分析需要考虑到点之间的相互作用。

处理方法:在分割网络中,将局部特征和全局特征连接,并进行进一步的特征提取,最终提取的结果与局部和全局特征相关。


变换下的不变性

 作为一个几何对象,点集的学习表示对某些变换应该是不变的。 例如,旋转点和平移点不应该修改全局点云类别或点的分割。对于一个3D图像,当我们进行例如旋转、上移等操作时,不论是目标分类还是部分分割,都应保证其结果不变。

处理方法:论文作者提出了在进行特征提取之前,先对点云数据进行对齐的方式来保证不变性。对齐操作是通过训练一个小型的网络(T-net,类似于大型网络,由点独立特征提取,最大池化和全连接层的基本模块组成)来得到转换矩阵,并将之和输入点云数据相乘来实现.相当于在数据预处理阶段直接进行处理,保证其后的结果不变性。

点云具有稀疏性(信息点提取)

处理方法:网络高效地学习一组优化功能/标准,选择点云的信息点,并对其选择原因进行编码。

 方法:

     网络分析:

  

  1. 三个初始纬度。 

  2. T-net对齐处理 

  3. 最大池化合并特征,解决无序性 

  4. 连接全局和局部特征 

  5. softmax分类器

两个定理:

 

和神经网络一样,该网络也可以拟合任意的连续集合函数。

 

对噪声和缺失的鲁棒性。

 

 

创新点:

  1. 对称函数处理无序性处理。

  2. t-net微型网络进行变换不变性处理。

  3. 全局变量和局部变量合并处理相关性。

应用:神经网络对于无序的信息点的处理。

问题:

1.正则项:相较于前一个3 * 3变换矩阵,后面的变换矩阵为64 * 64 = 4096,由于变换矩阵过大,通过添加正则项,使变换矩阵近似于正交矩阵,此时所需要的参数将大大减少。

2.T-net网络实现的细节:(如何具体实现对齐和变换不变性)。

3.两个定理的证明过程。


本文由 DeepSmart.AI 作者:jill 发表,其版权均为 jill 所有,文章内容系作者个人观点,不代表 DeepSmart.AI 对观点赞同或支持。如需转载,请注明文章来源。本文链接地址:http://www.deepsmart.ai/162.html
DeepSmart

发表评论