港中文提出全新点云上采样方法，破解自动驾驶感知难题

唐木 发自 天龙寺 
量子位 报道 | 公众号 QbitAI

作为三维世界更为真实有效的表达，点云在近年来受到了学界和业界的广泛关注。激光雷达和深度相机的大规模应用也为点云的发展创造了丰富的数据条件。

但传感器获得的点云是包含噪声的非均匀稀疏坐标点，无法用现有处理图像的卷积网络直接处理。

在进行渲染、分析和理解之前，我们需要有效的手段对点云进行处理，提高点云数据的质量。

点云天然具有稀疏性和非规则性，对原始点云进行处理生产稠密、完整、均匀的点云上采样任务吸引了众多研究人员的目光。

这复杂的任务不仅需要在非完美输入数据的前提下有效上采样，同时还要补全缺失的空洞和间隙，并改善点云分布的均匀性。

目前已经有多种深度学习方法致力于加密点云提高点云的质量，包括PU-GAN，EC-Net和MPU等方法，但他们在面对极为稀疏和不规则的低质量点云输入时，还是无法恢复出有效的点云结果。

但提升点云的质量有着十分迫切的工业需求，是后续分析处理任务的重要保障。

来自港中文和特拉维夫大学的研究人员在今年的ICCV上提出了一种基于生成对抗的方法PU-GAN，将点云上采样、均匀化点云补全等修复任务集成在了一起，通过训练具有多样性点云生成能力的生成器和高效判别器实现了原始点云的修复和质量提升。

同时为了稳定的训练过程，PU-GAN中还利用up-down-up模块来实现点云特征拓展，并引入了自注意力机制来提升点云整合的质量，实现了点云的良好重建，在密度、完整性和均匀性上都达到了最先进的水平。

PU-GAN

点云上采样的主要任务是利用输入的原始稀疏点云生成与目标几何形状相同的稠密点云。

在PU-GAN的生成对抗架构中，生成器主要负责生成更为稠密的点云，而判别器则集中于识别出生成点云中的假样本，孤立生成器生成与目标几何形状更为接近、分布更为均匀、结果更为完整的点云。

整个模型主要分为了生成器和判别器两大部分，其中生成器包含了特征预抽取、特征拓展和点云生成模块；判别器则包含了pointnet的特征抽取器、自注意力单元和产出置信概率的多层感知机结构。

在生成器中，n*d点云输入网络后进入到特征预抽取模块。这里的点云可以是只包含空间坐标的三维点云，同时可以是包含颜色等丰富信息的更高维点云。

这里研究人员使用了基于稠密连接网络的方法对不同层次的点云特征进行抽取。随后这一抽取的点云特征F被传入到特征拓展模块进行上采样，以拓展出更为丰富的特征。

在特征拓展模块中，研究人员提出了一种up-down-up的拓展方法。这种方法首先将输入特征进行上采样，而后又下采样到与输入特征相同的维度上。

这时候计算新的下采样特征和先前的原始特征差异，并将这一差异再进行上采样得到拓展差异特征，并最终与第一步上采样的拓展特征相加得到最终的特征拓展输出。

这种类似残差的特征拓展方式不仅避免了冗长的多步骤训练，同时也提升了细粒度特征的生成能力。值得一提的是，在上采样操作中模型还针对每一个拓展特征引入了独特的二维矢量，为拓展后的特征提供了更丰富的信息。

最后经过拓展的特征通一系列多层感知机重建稠密点云。在生成更为均匀的稠密点云方面，在特征拓展阶段额外附加的两个维度和最远点采样器到了十分重要的全局作用。

在判别器中，研究人员首先采用了point completion network中的特征抽取结构，通过轻量化的模型结合了局部与全局模型。模型中进一步集成了自注意力单元来改善特征学习。自注意力单元提升了特征的整合和后续特征的抽取能力。

网络的有效训练离不开损失函数的引导。除了对抗损失外PU-GAN中引入了均匀化损失，通过计算生成点云的空间分布来获取局部与全局的均匀性指标，用于指导模型生成更为均匀的点云结果。下图展示了均匀化损失针对不同分布点云的计算结果，可以看到右侧均匀的点云损失较小。

最后为了鼓励生成接近目标表面的点云，PU-GAN使用了Earth Mover’s Distance作为重建损失函数。最终的损失函数包含了生成对看损失、均匀化损失和重建损失三部分。

稠密均匀完整的点云才是好点云

PU-GAN中使用了PU-Net、MPU以及来自Visionair的147个丰富的3D模型，针对其中的120个模型构建训练数据集。在每个三维模型上切分出了200个点云片共得到了24000个点云结果，此外还对样本进行了旋转、尺度和噪声扰动来增强数据。

△图像中左半部分显示了从模型中采样的种子点，以及采样点云片对应的稠密点云、稀疏点云。

从结果中可以看到，经过PU-GAN修复后的点云无论是在密度还是在均匀性、完整性上都超过了先前的方法。

这种方法得到的结果噪声更少、人工痕迹更少、包含了很多细节。特别是在细长物体的重建部分有着明显的优势。

在实验中，还利用不同噪声水平和稀疏程度的点云作为输入来评测模型的稳定性，下图中可以看到在不同噪声水平（左）和输入密度下（右）模型都能稳定的输出加密后的均匀、完整的结果。

对于自动驾驶的真实激光雷达数据，PU-GAN也可以有效补全孔洞并生成均匀的结果。下图可以看到稀疏的人体和车辆都被有效的重建出来，这对于自动驾驶中的识别算法十分有效，为算法准确感知提供了坚实的基础。

合作科研易出论文

PU-GAN的作者一共有五位，分别来自于港中文、特拉维夫大学、广东省计算机与虚拟现实重点实验室、深圳先进技术研究院。

在粤港澳大湾区协同发展的背景下，学术的交流和融合在高水平论文上不断呈现出新的成果。

一作Ruihui Li是港中文计算机系二年级博士生，在三作Chi-Wing Fu的指导下进行点云处理和视觉方面的研究。

二作李贤芝Xianzhi Li是港中文计算机工程系的即将毕业的博士，针对点云加密有着深入的研究，同时也是EC-Net和PU-Net等两片点云上采样论文的作者之一。导师是Pheng-Ann Heng 和Chi-Wing Fu.

三作Chi-Wing FU是港中文计算系的教授，主要研究方向集中于三维视觉、交互和数据可视化。主页上显示，今年他的团队有16篇论文被各个顶会接收，包括SIG Asia，ICCV，CVPR、PAMI等。

四作Daniel Cohen-Or是以色列特拉维夫大学的教授，主要在图形学、三维感知理解、计算机视觉方面进行深入研究，发表了多篇代表性的论文。

五作王平安是香港中文计算机系教授，并曾担任系主席和研究生负责人，同时也是中科院深圳先进技术研究院人机交互中心主任。

如果你对他们的研究感兴趣，请收好下面的传送门：

https://arxiv.org/abs/1907.10844

https://liruihui.github.io/publication/PU-GAN

— 完 —

大咖齐聚！量子位MEET2020智能未来大会

量子位 MEET 2020 智能未来大会回放来啦！李开复、倪光南、景鲲、周伯文、吴明辉、曹旭东、叶杰平、唐文斌、王砚峰、黄刚、马原等AI大咖与你一起读懂人工智能。扫码观看回放吧~ ~

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「在看」吧 !