基于生成对抗网络的点云上采样算法

1.绪论

由于 3D 点云稀疏且分布不规则，导致深度学习模型处理困难，对此，学者提出PU-GAN[1]、PU-GCN[2]、PUFA-GAN[3]等网络提升点云上采样效率，也有学者利用注意力机制和 Transformer 架构，提出 360°深度估计等网络[4]。本文在 PU-GAN 的基础上，对模型进行改进并测试。通过使用测试数据集对训练好的模型进行测试得到生成点云，并对生成点云进行评估，研究自注意力和密度感知倒角距离对模型的影响。

2.基于深度学习的点云上采样算法设计

生成对抗网络通过其特有的对抗训练机制，能够有效处理点云数据中的高阶非线性映射关系。生成对抗网络由生成器和判别器组成，生成器通过学习大量的点云数据对掌握点云的几何结构和分布规律。判别器通过对抗训练机制向生成器提供梯度反馈，指导其逐步缩小生成分布与真实分布之间的差异。这种对抗训练机制使得生成器能够生成高质量点云。如图 1 为网络结构。

图 1 网络结构

生成器包括特征提取、特征扩展和坐标重建三个部分。在特征提取中加入自注意力机制，提高全局特征提取能力，进而提高边界特征学习能力；特征扩展的目的是生成更多样化特征的过程，为后续的点云生成提供更丰富的信息。使用上-下-上扩展单元，使生成器能够产生更多样化的点分布；坐标重建的目的是将扩展的特征映射到三维空间，生成新的点云坐标。先经过两层 1×1 卷积从回归一组 3D 坐标，再通过最远点采样筛选，选择分布均匀的点，以确保点集的均匀性。

判别器用于分辨上采样点云是否是生成器生成的点云是上采样率。先使用轻量的网络结构整合局部和全局信息，提取全局特征，再使用自注意力单元提高特征学习，然后通过一组多层感知机和最大池化来获取全局特征，并通过一组全连接层进一步回归最终的置信度值。

本文损失函数在防止过拟合且提高效率的基础上进行设计。使用联合损失函数的方法设计损失函数以提高机器学习效率和生成点云质量。

3.实验

3.1实验数据集和实验环境

本文使用公开PU-GAN 数据集进行测试实验，包含147 个三维样本。实验在 Ubuntu18.04 操作系统进行，使用 TensorFlow 框架、NVIDIA GeForce GTX 1080Ti 显卡进行测试。评价点到平面距离、倒角距离和豪斯多夫距离。

3.2实验结果

为了验证本文提出方法的有效性，本文与多种经典算法对比测试，测试结果如表 1所示

表 1 测试结果

上述结果可以表明本文的模型在保留点云的几何细节和整体结构方面有一定的改进，在点到面距离、倒角距离和豪斯多夫距离上均取得了更好的结果。

4.总结

本文针对现有方法在特征提取和点云重建精度上的不足，提出了一种改进的PU-GAN 网络架构，在特征提取模块结合自注意力机制以及使用密度感知倒角距离作为损失函数。通过自注意力机制，特征表征的捕获能力得到优化；使用密度感知倒角距离约束，优化了点云数据的分布；有效改进 PU-GAN，提高了点云生成质量。

Reference

[1]Ruihui Li, Xianzhi Li, Chi-Wing Fu, et al. PU-GAN: A Point Cloud Upsampling Adversarial Network[C]. The IEEE/CVF International Conference on Computer Vision, 2019:7202-7211.

[2]Guocheng Qian, Abdulellah Abualshour, Guohao Li, et al. PU-GCN: Point Cloud Upsampling using Graph Convolutional Networks [C]. The IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021:11678-11687.

[3]Hao Liu, Hui Yuan, Junhui Hou, et al. PUFA-GAN: A Frequency-Aware Generative Adversarial Network for 3D Point Cloud Upsampling[J]. IEEE Transactions on Image Processing, 2022, 31: 7389-7402.

[4]Chao Xu, Huamin Yang, Cheng Han, et al. PCformer: A parallel convolutional transformer network for 360^∘ depth estimation[J]. IET Computer Vision, 2023, 17(2): 156-169.