复杂环境下大场景弱特征三维物体识别方法研究
周睿婷 胡絮涵 张星阳 杨明霞 徐进
衢州学院
1.引言
复杂环境下大场景弱特征三维物体识别是计算机视觉领域的前沿研究方向,近年来在国内外得到了广泛关注。随着深度学习技术的快速发展,三维物体识别在自动驾驶、机器人导航、增强现实等应用中取得了显著进展。
然而,在复杂环境下的大场景中,三维物体识别仍面临诸多挑战。复杂工业环境下的目标识别存在两个问题:(1)工业现场环境复杂。环境光无法控制,三维扫描相机不能使用自动曝光,相片质量差。特别是在使用高动态范围的3D相机时,如何提升成像质量是一个关键问题;(2)工件环境复杂。机器人目标识别因遮挡、倾斜、堆叠等不可抗力因素,常面临识别难度高、识别时间长等问题;特别是当抓取对象是弱特征物体时,目标识别是一个难点问题。
因此,为解决复杂环境下大场景弱特征三维物体识别问题,本文研究一种基于线激光的三维物体识别方法,融合灰度和深度信息进行实例分割。
2.研究思路
2.1研究现状
国内外在复杂环境下大场景弱特征三维物体识别领域的研究各有侧重。国外研究机构(如斯坦福大学、MIT、谷歌等)在深度学习模型设计和大规模数据集构建方面处于领先地位,取得了多项具有国际影响力的成果。国内研究机构(如清华大学、北京大学、中科院等)在大场景处理技术和实际应用场景的验证方面具有较强的研究实力,取得了一系列重要进展。
清华大学提出的DGCNN(Dynamic Graph CNN)通过构建点云的图结构,利用图卷积神经网络捕捉点云中的全局和局部关系,在大场景中表现出色[1]。此外,北京大学提出的PointAttentionNet通过引入注意力机制,自适应地关注物体的关键区域,提升了弱特征物体的识别能力[2]。
中国科学院自动化研究所提出的OctNet通过八叉树结构加速点云的搜索和处理,显著提升了计算效率[3]。此外,浙江大学提出的VoxelNet将点云转换为体素网格,利用三维卷积神经网络提取特征,适用于大规模场景[4]。
上海交通大学提出的MVFusion通过结合RGB图像和深度信息,提升了复杂环境下的物体识别性能。此外,哈尔滨工业大学提出的Lidar-Camera Fusion通过融合激光雷达和相机数据,实现了对弱特征物体的有效识别。
三维物体识别在复杂环境下的大场景中仍面临诸多挑战,特别是大场景处理、弱特征识别、噪声鲁棒性、多模态融合、计算效率优化等方面,需要进一步研究。
2.2技术分析
本文提出一种基于线激光的三维物体识别技术,主要开展两方面研究:
(1)设计一种维度转换算法,将线激光的三维点云转换成二维图像,提升复杂环境下的成像质量;
(2)设计一种融合灰度和深度信息的实例分割算法,增强弱特征物体识别度。
具体内容包括:(1)获取点云:采用线激光装置配合三维相机获得点云图像;(2)融合深度:采用线激光装置获取物体深度信息,并融合二维灰度信息得到融合图;(3)实例分割:结合注意力机制和深度可分离卷积,构建深度融合感知网络模型(DFPN)进行实例分割,提升弱特征物体的分割效果;(4)点云配准:结合改进的P-PICP局部点云配准算法,实现对弱特征物体信息准确提取。
3.总结
本文提出了适用于复杂环境下大场景弱特征三维物体识别系统,为实现光线跨度大的复杂工业现场的目标识别提供了理论支撑和关键技术,具有广泛的应用价值。未来,我们将进一步优化算法性能,并将其推广应用于更多机器人抓取场景,推动机器人技术在工业生产中的应用和发展。
通过引入复杂环境下大场景弱特征物体识别系统,企业可以提高生产线的灵活性和效率,缩短交货周期,提升产品质量,降低生产成本。这将有助于企业在市场竞争中占据优势地位,增强竞争力。传统的人工物品识别和抓取容易受到主观因素和人为误差的影响,可能导致错误的抓取和处理,造成生产线停机和物品损失。本文的技术可以减少人为因素的介入,提高识别和抓取的准确性,降低错误和损失,进一步节约成本。
参考文献
[1]. Wang, Y., Sun, Y., Liu, Z., Sarma, S. E., Bronstein, M. M., & Solomon, J. M. (2019). Dynamic graph CNN for learning on point clouds. ACM Transactions on Graphics (TOG), 38(5), 1-12.
[2]. Zhao, H., Jiang, L., Jia, J., Torr, P. H., & Koltun, V. (2021). Point transformer. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) (pp. 16259-16268).
[3]. Riegler, G., Osman Ulusoy, A., & Geiger, A. (2017). OctNet: Learning deep 3D representations at high resolutions. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)(pp. 3577-3586).
[4]. Zhou, Y., & Tuzel, O. (2018). VoxelNet: End-to-end learning for point cloud based 3D object detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (pp. 4490-4499).
本文受浙江省大学生创新项目(项目名称:工业视觉中的深度图像补全技术研究)、衢州学院课程思政教学研究项目(项目编号:JYXM202305)资助