基于生成对抗网络的三维点云自动修复

近年来，离散点云 (PointCloud) 数据由于其数据获取容易、能够有效表示复杂三维形状、无需维护拓扑连接关系等优点得到普遍重视和广泛应用。为了在对点云形状修复补全中能保持形状的精细结构信息，最近研究者提出了一种能够自动修复补全三维点云形状的生成对抗网络结构。针对形状缺失的稠密点云和稀疏点云数据，该网络在修复补全形状缺失部分的同时能有效保持输入点云形状的精细结构信息。《中国科学: 信息科学》在2020年第50卷第5期刊登了这一研究。

论文信息

基于生成对抗网络的点云形状保结构补全

缪永伟1*, 刘家宗1, 陈佳慧1, 舒振宇2

1.浙江理工大学信息学院, 杭州 310018

2.浙江大学宁波理工学院 计算机与数据工程学院, 宁波 315100

中国科学: 信息科学, 2020, 50(5): 675-691

针对稠密点云数据集的修复补全效果比较(第1列为输入的缺失模型, 第2~4列为利用PCN方法、FoldingNet方法和本研究方法的修复补全效果，第5列为真实模型)

一、研究背景

三维模型的数字化修复是计算机图形学与数字几何处理领域的重要问题, 其在数字化文物修复、数字化产品设计与制造、数字博物馆和虚拟场景漫游等行业得到普遍重视。在数字几何处理和3D计算机视觉中, 离散点云数据由于其数据获取容易、能够有效表示复杂三维形状、无需维护拓扑连接关系等优点得到广泛应用。

二、原理简述

受生成对抗网络在二维图像生成领域方面工作的启发, 本文使用生成对抗网络框架提出了一种三维点云形状的修复补全网络结构. 该网络由基于PointNet的生成器和基于折叠的解码器构成. 其中生成器的目的是生成几乎与真实点云一致的完整点云模型. 判别器的目的是判别出输入的完整点云是来自生成器生成的数据还是真实点云数据. 通过生成器不断试图“欺骗”判别器, 判别器将接受生成点云和真实点云并产生判定结果, 利用判定结果计算误差并利用梯度下降法对神经网络参数进行调整优化, 最终使生成器生成足以“以假乱真”的修复补全后的点云形状数据高质量样本.

点云形状补全网络的总体结构如下图所示, 其中神经网络生成器以包含N个离散点的点云模型作为输入, 经过编码器编码得到其特征码字并作为解码器的输入, 解码器通过2次折叠操作生成M个离散点作为点云模型的缺失部分. 图中各感知器下方括号中的数字表示每层感知器的输出维度. 本文方法利用获取的缺失数据和完整模型的样本的大规模合成数据集, 训练神经网络直接从缺失点云模型预测完整点云模型, 通过监督学习策略有效解决三维点云形状的修复补全问题. 该方法以三维离散点云数据作为输入, 采用自编码器并结合生成对抗网络框架, 同时利用Wasserstein距离优化使得该网络训练稳定且能生成丰富的补全样例.

点云形状保结构补全网络

三、主要实验结果

为了说明本文提出的点云形状保结构补全网络的鲁棒性, 本文在密集数据集上测试了不同缺失程度的点云形状利用该网络的修复补全效果. 下图给出了数据缺失程度达25%, 50%, 75%的点云模型修复补全结果, 其修复效果表明本文方法在不同的缺失程度下均能够较好地保持输入点云形状的结构信息, 该3种缺失数据补全后的点云模型与真实点云模型的ECD值分别为0.00138, 0.00290 和0.00560. 实验表明, 本文网络对不同程度的损失输入依然能较好地补全缺失部分, 具有较强的鲁棒性.

针对不同缺失程度的点云模型修复补全效果

此外, 利用深度神经网络进行点云形状补全的前提是能够提取输入点云数据的内在特征, 并在特征空间进行操作以处理数据集涵盖的分布范围数据. 因此, 该方法应具有生成与数据集中模型不同的模型数据的能力. 为了更好地验证本文提出的点云形状保结构补全网络的泛化性, 需要一个不同类别物体下具有多个模型的数据集, 以便网络能够充分地学习某种类别物体的特征空间, 并对不在此数据集中的缺失模型数据进行补全. 由于ModelNet40数据集具有40种不同种类的模型, 每种类别大约有20~130个不同数量的模型. 本文将其处理成稀疏数据集的格式, 对每一种类别均挑选出一个模型不作为训练集数据. 图5给出了对不存在于训练数据集的具有25%, 50%, 75%缺失数据的点云模型(如瓶子、显示器、吉他、椅子)进行泛化性补全实验的结果, 其修复补全效果表明本文提出的点云形状保结构补全网络仍能对不在训练数据集中的点云形状进行有效补全, 可见本文网络具有很好的泛化性.

模型泛化性补全实验

四、总结及讨论

针对三维点云形状的修复补全, 本文提出了一种有效的点云形状补全神经网络, 该网络直接以离散点云数据作为输入, 通过生成对抗网络框架实现三维形状的修复补全. 该网络的生成器采用自编码器架构, 由于其结合了输入点云数据的结构信息, 能够生成保持输入点云的精细结构特征的修复点云; 判别器则通过优化减少生成点云数据和真实点云数据之间的Wasserstein距离并用以指导生成器的不断优化, 最终实现输入点云形状的保结构修复补全. 实验表明本文提出的点云形状补全网络针对稠密点云数据集和稀疏点云数据集均取得了较好的修复补全效果, 在修复形状的同时很好地保持了原有形状的精细结构信息, 并且对于不同程度的模型缺失, 具有很好的鲁棒性.

然而, 本文网络结构中编码器生成高维码字时仅考虑了模型各采样点的全局特征, 而忽略了其局部特征, 对于某些局部采样点稀疏且结构非常精细的模型缺失部位, 利用本文方法难以达到预期的修补效果. 未来将考虑准确提取各采样点特征并结合其局部特征, 以实现异常稀疏点云形状的鲁棒修复.