基于深度学习的脏污图像分割算法的研究

摘要：随着新能源行业的发展，大批工厂采用自动化检测设备对出厂的硅片，光伏系列产品进行自动化工业自检，出厂的硅片需要严格把控好出厂硅片的质量，伴随着深度学习技术在工业领域的发展，可以通过深度学习分割技术，精准的将硅片中存在的脏污瑕疵分割出来。本文采用UNet++深度学习分割模型，对Unet++分割模型进行了剪枝操作，去除了最后一层上采用的模块，使得网络能够在浅层的网络中将图像中的脏污特征学习到。

关键词：图像分割；硅片；脏污；UNet++

中图分类号：A 文献标识码：A 文章编号：（2023）-46-

1.引言

随着深度学习视觉技术在工业界大放异彩，工业界当中以往出现的一些难以解决的棘手问题能够得以解决。比如在工业界中经常会出现形态、颜色、大小、纹理不定的瑕疵，这些瑕疵诸如隐裂、白点、黑点、内裂、内崩、脏污等等。这些异常的瑕疵样本依靠人眼去观察的话将会耗费大量的人力物力，如果借助于计算机视觉，把一部分人眼判断任务交给计算机，将大大解放人工成本。但出现的瑕疵如果仅依靠以往的手工特征，有些形态不固定、成像微弱的瑕疵难以解决，并且传统算法存在性能低、错检率高、噪声敏感等问题。借助于深度学习算法，大量图像数据，把图像交给网络自动学习提取图像的深度特征，可提高鲁棒性[1]。

图像分割技术是为了解决图像中特定目标所在的具体位置信息，是精准的像素级别分类问题，需要对图像中的每个像素进行分类。

2.UNet++网络结构

UNet网络结构对比UNet网络结构如下图1所示：

UNet++ 在原始的U-Net[2]上做了三个改变：1.重新设计的跳跃路径（显示为绿色）2.密集跳跃连接（显示为蓝色）3.深度监督（显示为红色），UNet++增加了重新设计的跳跃路径（绿色显示） [3]，以弥补编码器和解码器子路径之间的语义差别。这些卷积层的目的是减少编码器和解码器子网络的特征映射间的语义差距。因此，对于优化器来说，可能是一个更直接的优化问题。U-Net采用跳跃连接，直接连接编码器和解码器之间的特征映射，导致把语义上不相似的特征映射相融合。然而，在UNet++中，相同dense block的前一个卷积层的输出与较低层dense block对应的上采样输出进行融合。这使得已编码特征的语义级别更接近于等待在解码器中的特征映射的语义级别。因此，当接收到语义上相似的特征映射时，优化更容易。

3.密集跳跃连接

在UNet++中，密集跳跃连接（用蓝色显示）实现了编码器和解码器之间的跳跃路径。这些Dense blocks是受到DenseNet的启发，目的是提高分割精度和改善梯度流。密集跳跃连接确保所有先验特征图都被累积，并通过每个跳跃路径上的dense卷积块而到达当前节点，这将在多个语义级别生成完整分辨率的特征映射。另外UNet++中增加了深度监督（红色显示），通过修剪模型来调整模型的复杂性，在速度（推理时间）和性能之间实现平衡。

硅片中包含了大面积的脏污瑕疵，本文使用深度学习分割网络Unet++能够将脏污的所在区域给分割出来，即图中用红色细线包裹住的区域。本文不仅能够分割这种大面积的脏污，还可以分割更小的脏污区域。

以上的研究是在广东省普通高校青年创新人才项目，编号（2021KQNCX125），（ZL20221036）以及校级大创项目编号（XJ202313714038和XJ202313714039）的基础上进行研究探讨的，后续会再进一步对这方面提出改进措施。

参考文献

[1] Li X ， Duan C ， Zhi Y ， et al. Wafer Crack Detection Based on Yolov4 Target Detection Method[J]. Journal of Physics Conference Series， 2021， 1802（2）：022101.

[2] Ronneberger O， Fischer P，  Brox T . U-Net： Convolutional Networks for Biomedical Image Segmentation[J]. Springer， Cham， 2015.

[3] Zhou Z， Siddiquee M ，  Tajbakhsh N ， et al. UNet++： A Nested U-Net Architecture for Medical Image Segmentation[J]. 2018.