基于三维机器视觉的辅料智能码垛研究与应用

1、研究背景

随着人口结构转变，传统生产制造型企业重脏累、重复机械型的岗位用工荒，劳力成本持续上涨等问题日益严重，越来越多企业选择通过自动化、智能化物料投产方式，高效率地替代人力的繁重工作，通过机器换人，助力智能制造跑出“加速度”。烟草行业内，卷烟辅材一直没有采用自动化配盘，还是延续人工操作，配盘效率低下，急需改进。

2、存在的问题

传统码垛机器人通常采用示教的方法，预先设定好抓起点和摆放点进行码垛。而卷烟辅材大多数采用软包、扁盘的堆垛方式，码放垛型不规则、抓取过程中内装材料松散及质心滑移等问题。这种刚性的码垛方式在实施过程中发现无法解决的抓取精度问题，一是供应商不同批次的卷烟纸、水松纸等辅料大小、高度等参数尺寸不尽相同，托盘摆放无法做到方向、高低的精准摆放。特别是余料盘，材料的数量和摆放位置无法把控，机器人抓取时经常会碰撞物料；刚性模式下机器人码垛不能够对生产线的复杂情况分析判断。

3、解决的难点

难点就在机器人抓取卷烟辅材的环节，怎样获取被抓取物料的精准的三维坐标。卷烟辅材如卷烟纸、水松纸、卡纸等这些材料数量多，单个材料高度低，需要坐标数据精准到毫米，如果依靠上一个层物料的坐标值加减，得到下一层材料的坐标值，偏差会越来越大，碰撞物料的机率就会增高。

4、主要研究内容

4.1 合适的 3D 摄像机

选择双目或多目 3D 成像摄像机是现在的主流。双目和多目立体视觉要求目标物体纹理或几何特征清晰，主动立体视觉测量增加了投射器，投射特定光源模式到被测物体表面，借助于投射的光源模式，从而提高匹配精度及测量精度。所以选择主动视觉相机更符合卷烟辅材的成像。

4.2 选择合适的图像处理软件和合适的算法建模

对于视觉图像处理软件及算法的选择，市场上有多家视觉处理软件在推广。其中图漾科技 RVS 机器人视觉软件平台，通过内置大量的 2D/3D 视觉算法库、模拟仿真工具等功能模块，支持 Windows/Linux 操作系统下全流程的低代码拖曳式开发，通过高仿真可视化的直观操作，开发者无需了解底层技术，即可高效实现物体识别和分割、机器人引导、运动规划和手眼协同等应用的二次开发。

机器视觉三维建模之后，用 SIFT 多目标特征点提取算法，可以对辅料进行局部特征匹配 , 最后通过中心矩计算，得到卷烟纸、水松纸、玻璃纸的中心位置的 X、Y、Z 坐标。所以，图漾科技 RVS 机器人视觉软件平台非常适合卷烟辅材自动化配盘现场的图像处理。

4.3 建立可靠的数据传递

图漾科技相机开发有专业的 SDK 开发工具集合，是专为开发者提供的软件开发工具集合，主要用于实现与相机硬件及软件的交互，包含与相机硬件通信所需的驱动程序和接口，提供预编写的代码库、类库及 API 接口，帮助开发者实现图像采集、处理、传输等高级功能，更适合许昌厂卷烟辅材自动化配盘使

用场景。

4.4 升级机器人软件版本，具有AI 算法功能

针对由于场地的限制，没有太多的抓取工位，要在有限的工位上实现多种物料的柔性进场，就需要升级机器人的控制系统版本。版本应具有AI 算法功能，可以利用卷积神经网络进行自学习，实现精准抓放和智能避障功能。

基于 AI 算法，机器人利用卷积神经网络进行自学习，不用再固定抓取动作和顺序。通过对所述码垛训练三维模型进行信息标定，生成训练集；再基于AI 自学习算法，通过对所述训练集进行预设障碍场景识别，生成测试集。再通过所述测试集对模型赋值算法进行开发，生成辅料码垛物料模型的自动抓取算法。最后通过三维模型复合，生成各品种辅料码垛的三维模型。

5、方案应用：

卷烟辅材自动化配盘的 3D 视觉智能码垛系统方案的优化，主要由 3D 工业相机、深度学习算法及RVS-SE 软件、工业PC 及工业机械臂等共同构成。

5.1 图像获取

3D 摄像机安装于辅料托盘的顶部，获取符合测量精度的图像。

方案可采用 PM806 型主动双目摄像机，双摄像头 + 彩色辅助摄像头 + 红处光源的组合，测距范围 1250mm-4300mm ，测量精度 1—5mm，符合卷烟辅料智能码垛现场的要求。

5.2 图像处理

RVS 机器视觉软件平台可以对辅料进行局部特征匹配 , 最后通过中心矩计算，得到卷烟纸、水松纸、玻璃纸的中心位置的 X、Y、Z 坐标。并将图像坐标经过转换，传输给机器人系统。卷烟辅料的图片推理模型和生成的标签，也一并传输给机器人系统。

5.3 机器人 AI 训练

机器人软件系统升级，具有AI 算法功能。