面向工业制造与维修的 XR 可视化辅助装配系统研究

一、引言

在工业制造领域，装配环节作为产品生产的关键阶段，其效率与质量就是企 业生产效益的关键，也是企业市场竞争力最为重要的一个方面。而在走向智能化 的数字化工业制造体系中，装配作业不仅本身越来越复杂，有着越来越多的人机 协同以及合规的要求，而且往往需要在高度信息化集成环境中进行操作。传统的 主要依赖二维图纸、操作手册及工人经验的作业方式对工人严重依赖、存在信息 传递维度低、信息通道不够、信息指示不直观、信息检索效率不够、工人学习成 本高、装配效率低且容易出错等问题。随着智能制造的快速发展，高端、复杂装 配制造对装配过程的智能化、高效化提出了基于操作环境和作业步骤的集成化信 息传递要求。

XR 技术作为融合虚拟现实（VR）、增强现实（AR）与混合现实（MR）的新 一代交互技术，能够将虚拟信息与现实场景深度融合，为用户带来沉浸式、交互 式的体验。将 XR 技术应用于工业制造的装配环节，通过可视化的方式呈现装配 过程中基于操作环境和作业步骤的集成化信息，提供直观的操作引导，可有效解 决传统装配模式对工人严重依赖的弊端，提升操作质量和效率，加快成为推动工 业制造和维修领域装配流程升级的重要方向。因此，研究面向工业制造和维修的 XR 可视化辅助装配系统，就是在高度信息化集成环境中提供多维度的信息传递 并进行操作指引，是智能制造的发展方向之一，具有重要的现实意义。

二、XR 技术概述

2.1 虚拟现实（VR）技术

虚拟现实技术通过计算机生成三维虚拟环境，用户借助头戴式显示设备、数 据手套等硬件设备，完全沉浸在虚拟场景中，实现与虚拟对象的交互。在工业装 配领域，VR 技术可用于搭建虚拟装配环境，让工人在虚拟空间中进行装配模拟 训练，提前熟悉装配流程和操作要点，进行沉浸式的学习和模拟操作。

2.2 增强现实（AR）技术

增强现实技术是将虚拟信息实时叠加到现实场景中，通过智能眼镜、手机等 终端设备呈现给用户。在装配过程中，AR 技术能够将装配步骤、零件信息等虚 拟信息精准地投射到实际装配对象上，工人可以直观地看到每个装配环节的具体 要求和操作指引，无需频繁查阅图纸和手册，提高装配效率。

2.3 混合现实（MR）技术

混合现实技术进一步融合了 VR 和 AR 的优势，它不仅能将虚拟信息与现实 场景进行叠加，还能实现虚拟对象与现实对象之间的自然交互。在工业装配中， MR 技术可使工人在真实的装配环境中，与虚拟的装配指导模型进行互动，例如 通过手势操作调整虚拟模型的视角和位置，拾取模型进行相应的操控，并直接在 虚拟影像中的操作界面进行一些操作；不仅能够更清晰地了解装配操作要求的细 节，而且可以在系统给出的装配指令和要求下进行“边看边做 ”，从而成为复杂 装配任务的高效解决方案。

XR 技术，也称扩展现实技术，是指通过计算机将真实与虚拟相结合，将融 合虚拟现实（VR）、增强现实（AR）与混合现实（MR）等多种技术的综合运用， 打造出来可以人机实时交互的新场景，为工业、商业以及个人消费提供新型解决 方案；它还可以进一步植入AI 人工智能模型或者嵌入各类型工业软件，提供信 息化和智能化程度更高的新应用。

三、系统需求分析

3.1 功能需求

工业制造的装配过程( 也包括维修涉及的拆卸和装配) 涉及多种构型的零部 件、工装、模具、设备、工具在特定的装配步骤、环境与工作参数及规范要求下 复杂的流程，系统需要具备以下核心功能：首先，能够快速、准确地加载零部件、工装 / 模具 / 工具三维模型，涵盖不同产品的各个零部件及装配关系；其次，为工 人提供清晰、直观的装配操作引导，包括装配顺序、零部件安装位置与角度等信 息；再者，实现工人与系统之间的自然交互，如手势控制、语音指令等，方便工 人在装配过程中获取信息和调整操作；最后，具备装配过程监控与错误预警功能， 及时发现装配过程中的问题并提示工人进行修正。

3.2 性能需求

系统需要具备较高的实时性，确保虚拟信息与现实场景的同步更新，避免因 延迟导致工人操作失误；第二，对空间进行实时定位和空间计算，确保模型及其 影像在正确的时点出现在正确的位置上；同时，要保证系统的稳定性，在长时间 的装配作业中持续可靠运行，减少因系统故障对生产造成的影响；此外，系统还 应具有良好的兼容性，能够适配不同类型的 XR 设备和工业制造生产环境。

3.3 安全需求

在工业生产环境中，安全至关重要。系统应具备严格的用户权限管理功能， 防止未经授权的人员操作；同时，虚拟信息的呈现不能干扰工人对实际生产环境 中安全因素的判断，如设备运行状态、周围人员活动等，确保工人在使用系统进 行装配操作时的人身安全。

3.4 合规需求

在复杂装备的制造和维修流程中，通常都会涉及到必要的工作记录、签名、 拍照、数据传递和协同运行。系统应当有对文字、图像、操作员信息进行记录的 功能、具备音视频实时通信的能力，最好能够留有标准化的数据通讯网络传输接 口。

四、系统设计

4.1 系统架构设计

本 XR 可视化辅助装配系统采用分层架构设计，主要包括数据层、模型层、 应用层和交互层。数据层负责存储各类装配相关数据，如三维模型数据、装配工 艺文件、用户操作记录等；模型层基于数据层的数据，预处理已经构建三维装配 模型、装配流程模型等；应用层实现系统的核心功能，包括装配引导、交互控制、 过程监控等；交互层则通过 XR 设备，实现用户与系统之间的信息交互，将应用 层的功能以可视化、交互式的方式呈现给用户。

4.2 三维装配模型预处理

三维装配模型的预处理是系统的内容基础。首先，系统应当可以读取和导入 利用三维建模软件，如 SolidWorks、3DMax 等 ( 或者通过高斯渲染等各种新型建 模方法构建的 3D 模型 )，对产品的各个零部件所完成的精确建模，包括零部件的 几何形状、尺寸、材质等信息；然后，根据产品的装配工艺，将各个零部件组装 成完整的三维装配模型，并标注装配顺序和关键装配参数；在此步骤中需要对模型的装配位和装配关系按照工作步骤进行预处理，以确保确保模型及其影像在正 确的时点出现在正确的位置上 , 从而使得虚拟装配满足实际工业生产的严格要求； 最后，将构建好的三维装配模型进行分类存储，形成模型库，随时供系统进行调 取。 模型的预处理还应该包括格式的确认。为了提高模型的复用性和可扩展性， 采用标准化、一致化的建模规范和数据格式是必要的。

4.3 基于三维装配模型的穿戴设备及智能交互模块

在 XR 技术的基础上，应用基于三维装配模型的穿戴设备是可视化辅助装配 系统建立多维度信息传递通道的方式。该穿戴设备应具有三维模型处理、空间计 算、全息影像显示、等基础功能，具有音视频实时通信的能力，续航能力稍强又 尽可能轻巧，并具有用于智能交互的模块。

智能交互模块是实现工人与系统在 XR 系统中进行实时交互的关键。该模块 集成了手势识别、语音识别和眼动追踪等技术。手势识别技术通过摄像头或传感 器捕捉工人的手势动作，将其转化为系统可识别的指令，如拾取、放大、缩小、 旋转装配模型，切换装配步骤等；穿戴设备的使用者用手可以直接对虚拟影像中 的操作界面进行操控，语音识别技术也允许工人通过语音指令与系统进行交互， 例如查询某个零部件的信息、请求系统重复当前装配步骤等；眼动追踪技术则可 以根据工人的视线方向， 自动聚焦显示相关的装配信息，提高信息获取的效率。

4.4 动态引导流程设计编辑软件

在可视化辅助装配系统运行中，动态引导系统根据装配流程和工人的操作进 度，实时提供装配操作引导。在运行前，系统的应用单位 ( 或组织 ) 首先对装配任 务的工作流程进行分解，制定详细的装配步骤；运行可视化辅助装配系统运行前， 这些工作流程将被编辑成动态引导流程的具体操作步骤，包括：人、机、法、料、 环五个视角操作人员对何种零部件，在何种环境和工具的帮助下，在哪个精确的空间位置状态进行怎样的操作。在 XR 技术的支持下，这样的操作细节是以三维 模型动画、二维视频和图像，以及最常用的文字信息同时显现在穿戴设备使用者 面前的，且是半透明的穿透状态；即：相应的装配引导信息，如虚拟箭头、文字 提示、三维和二维的动画与图像显示等，通过穿戴设备呈现给操作者。也就是说： 操作者是在穿戴设备眼镜端透过全息影像和物理实体的叠加态，也就是虚实结合 的混合环境中，在准确提示信息的帮助下实现对装配任务执行者的操作进行实时 装配引导。

在装配的具体操作中，通过软件读取操作步骤，由虚拟影像操作界面的按键、 或者由传感器实时获取的操作信息，系统辅助判断当前的装配状态，按系统设置 给出下一步操作要求，形成在穿戴设备引导下的“边看边做 ”。如果提前对操作 错误的场景进行 AR 大模型识别训练，还可以在操作者出现操作错误时，由系统 及时发出错误预警，并提供正确的操作提示，帮助工人纠正错误。

五、系统实现与应用

5.1 系统实现

在系统实现的开发环节，选用 Unity 3D 作为开发引擎，结合 XR 设备的 SDK（软件开发工具包）进行开发。利用 Unity 3D 强大的三维渲染能力和跨平 台特性，实现三维装配模型的展示和交互功能；通过接入 XR 设备的 SDK，实现 与设备的通信和数据交互，确保系统在不同 XR 设备上的正常运行。同时，采用 数据库管理系统，如 MySQL，对装配数据进行存储和管理，保证数据的安全性和 完整性。

系统实现所需要的穿戴设备硬件，即基于三维装配模型的穿戴设备可选择微 软公司推出的Hololens II，或者同等类型的穿带眼镜 ( 如 : 国产自研的幻视王 国 Inception II/III)。上述穿戴设备具有较强的三维模型处理、空间计算、全 息影像显示等基础功能，具有音视频实时通信的能力，续航能力稍强又相对轻巧。 但进口设备较为昂贵，且其采购目前存在一些商业障碍。

动态引导系统设计编辑软件需要使用程序语言进行一些相应的开发，语言类 型可选择 Python,C++。将装配工作的流程编辑成动态引导的具体操作步骤，涉 及人、机、法、料、环五个视角的三维和二维信息提示，实现对装配任务执行者 的操作进行实时装配引导的功能实现，可以由模型文件存储、操作步骤编辑、操作步骤操作，特效添加等几个主要模块构成，包括三维模型导入、存储、添加、 位置 / 尺寸锚定；模型分解与绑定、视频 / 音频 / 图片 / 文字插入；空间画笔、对选 中模型部分加亮色或特定颜色特效；增加 / 删除操作步骤页面等菜单项下功能， 预计程序代码长度在三万行至六万行之间。系统可以保留可扩展性，方便进一步 与生产执行系统或者一些自动化设备的数据对接集成。

5.2 应用案例

以某航空发动机公司的发动机装配生产车间为例，既可在产线工位上应用本 XR 可视化辅助装配系统提升操作人员的工作质量和效率，也可以将本系统用于 员工岗位培训。在应用前，新员工需要经过不低于半年的培训才能独立上线对实 体的航空发动机进行装配操作，装配过程中平均每台发动机存在 3-5 处装配错误 ( 不合规或者不规范，且一般操作人员并不能够自我察觉自己的错误 )。应用系统 上线运行后，新员工的岗位培训使用 XR 穿戴设备进行可视化辅助装配模拟训练 1 个月，另外在产线工位使用 XR 穿戴设备继续进行为期 1 个月的适应性训练， 总共只需两个月即可掌握岗位技能，培训效率提升 70% 以上。在效果上看，操作 人员经过培训后，熟悉装配流程而不再依赖于各种纸质的手册和资料( 必要时直 接在穿戴设备端查找 )。

在实际装配过程中，由系统实时提供装配引导，工人能够快速、准确地完成 装配任务，平均每台发动机的装配错误率降低至 0-1 处，装配效率提升了 80% 以 上。此外，通过系统的监控和拍照功能，管理人员可以实时了解装配进度和质量 情况，由系统提交的签名和工单信息为质量问题的追溯提供了极强的便利，也为 及时调整生产计划和解决生产过程中出现的问题提供了依据。

该公司希望进一步拓展开发该系统，使之与物料领用工单形成直连，形成无纸化 物料领用；另外让售后维修人员成为系统操作者，即便在外场进行排故处理时， 远程也能实现本地专家 + 在外维修人员的协同作业。

六、结论

本文设计并实现的面向工业制造的 XR 可视化辅助装配系统，通过融合以 X R 技术为基础的穿戴设备和动态引导流程编辑软件，采用全新的高度信息化系统 的升级了工作方式，并有效解决了传统装配模式中存在的诸多问题。系统实现了 装配流程的可视化、智能化与交互化，显著提升了装配效率，降低了人为失误率，缩短了新员工培训周期，为工业制造企业带来了实际效益。

目前，该系统已经在现实案例中已经实现了全部功能。但系统在复杂装配流 程、尤其是在更多产线工位的应用，以及多用户协同装配等方面仍有待进一步改 进和完善。未来，随着系统功能的持续完善和AI 模型的创新植入，该系统将在 工业制造以及维修领域有更多的应用，在产业界和职业教育界发挥更大的价值， 推动智能制造和高效率生产迈向更高水平。

参考文献

[1] 郭新伟 . 基于多端融合技术的集成供液 XR 平台研究与应用 [J/OL]. 智能矿山 , 1-6[2025-07-05].http://kns.cnki.net/kcms/detail/10.1709.TN.20241202.1 058.004.html.

[2] 王学文, 王孝亭, 谢嘉成, 等. 综采工作面 XR 技术发展综述：从虚拟 3D 可视化 到数字孪生的演化 [J]. 绿色矿山 ,2024,2(01):75-84.

[3] 黄新胜 . 面向工业制造的智能机器人生产线调度优化研究 [J]. 现代制造技术 与装备 ,2023,59(08):148-150.DOI:10.16107/j.cnki.mmte.2023.0524.