我们生活在一个三维世界里，自从1888年相机问世以来，三维世界的视觉信息就通过相机被映射到二维图象上。但是二维图像的缺点也是显而易见的，那就是缺少深度信息以及真实世界中目标之间的相对位置。所以这种数据表示方法不适合应用在机器人、自动驾驶、虚拟现实等对深度和位置有要求的领域中。为了捕捉到三维世界的深度信息，早期我们使用多目视觉的方法或者来自RGB－D的深度图提取三维空间信息。点云作为一种数据结构，蕴含着丰富的几何信息，我们可以用它表示多目相机和深度图中提取出来的3D信息。
一、什么是点云？
点云可以简单概括为空间中的一组数据点，一个场景中的点云是由在该场景中目标的表面所采样的一系列3D点组成的。
二、点云的主要特征有哪些？
（1）直接特征表示
XYZ 坐标：可以表示一个点的最直接的特征就是由传感器提供的XYZ坐标，它表示该点在现实世界坐标系下的实际位置。
反射强度：代表着每种材料表面的反射属性，也是激光扫描器一种最常用的属性。不同的目标有不同的反射强度，因此在点云中的密度也有所不同。
（2）”几何－局部”特征表示
“几何－局部”特征包含着一个点和其临近点的空间关系，给定一个局部搜索区域，我们可以在该区域内通过临近点搜索算法对给定点的临近点进行搜索。最常用的两种临近点搜索算法分别是：K－近邻算法和球形算法。
我们对定义在搜索区域的协方差矩阵进行分解，得到该矩阵的特征值和特征向量，我们用这两者表示”几何－局部”特征，常用的”几何－局部”特征包括以下三种：
a.局部密度：局部密度主要取决于给定区域内点的数量。随着与传感器距离的增加，局部点的密度也在不断减小。在基于体素的模型当中，体素的尺寸决定了局部点密度的大小。’
b.局部法向量：它代表目标表面上特定点的法方向。
c.局部曲率：某个点单位切向量的方向变化率。
在过去几年里我们基于手动制造的特征处理点云，人工特征并不要求大规模的训练数据，但并未得到大规模使用，原因是并不包含充足的点云数据。随着硬件计算能力的提高，越来越多的深度学习处理方法相继问世，但仍面临诸多挑战。以下是对这些挑战的详细说明。
三、点云数据的挑战：
不规则性：点云数据的不规则性归因于这些点并不是从某个场景或者目标上均匀采样的，有些区域的点比较稠密，有些区域的点相对稀疏，且各区域的强度也不尽相同。造成这一现象的原因是目标和雷达传感器的距离不同，除此之外，扫描时间和需要的分辨率也会影响分布和强度。
非结构性：点云数据并不是规则的网格，在2D图像中，我们用均匀的网格表示像素，相邻像素之间的大小是固定的。然而，点云中的每个点是被独立扫描的，相邻点之间的距离并不固定。这一特性会使点云数据产生噪声，主要体现为，点云中的每个点除了以某一概率出现在某个半径的邻域内，还可能出现在空间中的一些随机位置，这种现象称为点的摄动，摄动会产生离群点。
无序性：一个场景中的点云实际上是围绕该场景中的目标获得的一系列点，通常用XYZ坐标表示它们，然后被存储在一个文件的列表中。作为一个集合，集合中点的存储顺序并不影响场景的表示。
类别混淆：在自然环境中，形状相似或者目标的反射性相近，会对点云中目标的检测和分类产生影响。
四、3D深度学习模型的挑战：
序列和方向不变性：由于点云中的点没有固定的顺序和方向，对于一个由N个点构成的集群，要将N!种状态的序列投喂到网络中来维持序列不变性。同时，点集方向的丢失也为模式识别等任务带来很大挑战。
刚性变换：许多点之间的刚性变换例如3D旋转和3D转换都会影响模型性能。
大数据：在城市或者乡村的自然场景中，雷达可能收集数百万到数十亿的点。例如，在KITTI数据集中，3D雷达扫描器每帧可以捕捉100k个点，而最小的场景也要包含114个帧，这为点的存储带来了不小的困难。
准确性：在自动驾驶中，对于道路目标的精确感知至关重要。然而，由于类内和类间目标的变化以及数据的质量为这种准确性造成了挑战。例如，同一类别的目标会有很多不同的实例，主要表现在材料、形状以及尺寸的变化。
高效性：相比于2D图像的处理，处理大量点云数据会造成很高的计算量以及时间复杂度，因此如何提高计算效率也是自动驾驶领域中要克服的众多挑战之一。
四、处理点云的深度学习方法研究
1、基于结构化网格的学习
深度学习，尤其是卷积神经网络的成功源于卷积操作。卷积操作主要用于特征提取，它要求卷积核的搜索区域是基于网格的。
如果想对非结构化的点云数据实施深度学习的方法，我们首先想到的是将点云数据处理成结构化的形式，这样的方法通常分为两种：基于体素的方法和基于视图的方法。
2、基于体素的方法
对于2D图像上的卷积操作，我们选用一个大小为x × y的卷积核，对一个大小为X×Y的矩阵进行卷积操作（其中，x
Original: https://blog.csdn.net/weixin_35935684/article/details/125833912
Author: 视觉先锋
Title: 基于点云的深度学习方法综述
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/649499/
转载文章受原作者版权保护。转载请注明原作者出处！