智能工厂作业行为安全监测系统的研究及实现

引言

随着工业 4.0 和中国制造 2025 战略推出和升级，制造业数字化、智能化是当今世界制造业发展的大趋势，智能工厂作业行为安全监测系统的研究完全符合我国经济建设和社会发展需求，其能够提高企业管理和工人工作效率，实现工厂全价值透明化管理，便于生产信息的综合管控，为安全生产保驾护航，加速完成产业升级。

1. 国内外研究现状

员工作业行为监测，其本质是人体动作行为识别。得益于大规模数据集和更强大模型的提出，深度学习已经成为动作识别领域的主流方法，其以一种端到端的形式，通过网络自主地学习视频中的行为表征来完成分类。目前主流的深度学习技术，从算法研究方面分别包括：基于单帧的运动识别方法、双流网络动作识别方法、细粒度的动作识别方法[1]。

1.1 基于单帧图的动作识别方法

一种最直接的方法就是将视频进行截帧，然后基于单帧图进行深度学习表达，每帧图对应一个识别结果。但一张单帧图相对视频而言是很小的一部分，特别是当该图没有明显的区分度的时候，则会让分类器的作用大打折扣。因此，学习视频时间域上的表达是提高视频识别的主要方法[3]。

1.2 时空双流网络动作识别方法

目前主流的双流网络只是简单地融合了空间流网络和时间流网络分类器，当视频中的动作场景极其相似时，容易导致整个视频预测错误。采用长短期记忆网络（Long Short-Term Memory，LSTM）聚合视频帧序列的卷积神经网络（Convolutional Neural Network，CNN）能够更加有效地表达视频帧在时间序列上的依赖关系，从而实现对长时间序列进行建模。然而，其对于视频帧之间底层的时间信息建模会造成时序信息的丢失，并且 LSTM 的引入会导致大量的计算开销，不利于模型后期的优化[3]。

1.3 细粒度的动作识别方法

相比于粗粒度动作识别，细粒度动作识别更加注重运动本身和时间的上下文信息，并且要求模型能够区分动作之间存在的微小差距，这在员工作业行为应用场景中更常见。目前一般通过人工标注的方法进行有监督学习，需收集大量带有标签的示例来训练模型，但是由于难以全面准确地收集和注释此类细粒度动作，许多数据集会收集到较长的未修剪序列，造成目前大多数模型在处理细粒度数据集时性能表现一般[4]。

2. 人体动作识别方法的改进研究

2.1 为解决单帧图动作识别方法存在的泛化性能不足问题，进行了如下改进研究：

将人体骨骼点数据转换成一张伪图像，将每个关节点定义为图的节点，关节点之间的物理连接定义为图的边，并且在相邻帧的同一个节点之间加上时间维度，一个动作行为便可以描述为一张时空双流图，时空双流图不受到视角的变化以及复杂背景的干扰，泛化性能强。

2.2 为解决主流的动作识别方法难以准确描述人体运动特征的问题，进行了如下改进研究：

主流的动作识别方法有一个共同缺点，仅靠稀疏的骨架信息难以全面准确地描述人体运动的特征。这种局限性使得现有方法无法精准地识别细粒度动作。因此，增加感兴趣区域权重参数，捕捉每个关节点周围的局部细微运动图像信息作为训练数据，提升细粒度动作识别的准确度。与纯粹的基于骨架的基线相比，这种混合方案有效地提升了性能，同时保持了较低的计算和内存开销。

2.3 为解决有监督学习存在的细粒度动作识别准确度较低的问题，进行了如下改进研究：

目前，一般通过人工标注的方法进行有监督学习实现细粒度动作识别，有监督学习的方法依赖于收集大量带有标签的示例来训练判别模型，但是由于难以全面准确地收集和注释此类细粒度的动作，许多数据集会收集较长的未修剪序列。因此，通过无监督的域自适应方法，将在标记的源域上学习到的模型转移到未标记的目标域，利用多模式自我监督和每个模式的对抗性训练进行细粒度的动作识别，从而提高识别准确度。

3. 智能工厂作业行为安全监测系统的设计与实现

图1、智能工厂作业行为安全监测系统框架图

如图1 所示，系统框架整体上分为数据层、框架层、算法层、通信层和应用层。各层实现的技术方法如下：

（1）数据层：深入某工厂车间的现场环境实地考察分析，并完成基于该工厂车间员工作业行为的视频数据采集、预处理及标注等工作。

（2）框架层：采用深度学习框架（基于 Tensorflow、Pytorch 或百度 Paddle）实现该层功能。

（3）算法层：深入研究及改进适用于该工厂作业行为识别的时空双流结构算法模型，增加感兴趣区域关节周围的图像信息作为模型训练数据，并采用无监督的域自适应方法用于细粒度的动作识别，完成算法建模、测试、优化及开发工作。

（4）通信层：采用WebSocket 或AJAX 技术，实现通信层功能。

（5）应用层：采用 Python Web 框架技术，包括 Flask、Django 或 Dash，完成应用层的开发和测试。

4. 结语

利用深度学习技术实现智能工厂作业行为安全监测系统是当今的研究热点，本文分析了一些常见的人体动作识别方法，总结了不同方法的优缺点。针对这些缺点，进行了改进研究，设计了系统框架图，并介绍了实现方法。本文内容，为员工作业行为安全监测系统提出了一种新的研究思路和实现方法。

参考文献：

[1] 彭明粲 . 基于深度学习的细粒度动作识别研究与实现 [D]. 北京 : 北京邮电大学 ,2024.

[2] 李静 . 高危作业人体异常行为深度数据监测算法研究 [D]. 西安 : 西安建筑科技大学 ,2020.

[3]Yongfeng Q, Jinlin H, Zongtao L Z.MFGCN:an efficient graph convolutional network based on multi-order feature information for human skeleton action recognition[J].Neural computing & applications,2023,35(27):19979-19995.

[4] 韩婷婷 . 视频理解中人体动作的细粒度表示与应用 [D]. 哈尔滨 : 哈尔滨工业大学 ,2019.