基于对抗一致性的半监督左心室分割方法

摘要：针对有标签数据稀缺的问题，提出了基于对抗一致性的半监督左心室分割方法。该方法采用平均教师框架，包括两个分割网络和两个鉴别器网络。分割网络使用改进的U-Net模型，通过在U-Net的跳跃连接中引入多阶门控聚合块，对特征进行聚合并提取多阶上下文信息。鉴别器网络和分割网络基于对抗一致性进行训练。在公开数据集上的实验结果证明了该方法在左心室分割任务中的有效性。

关键词：超声心动图；左心室分割；半监督学习；对抗一致性

引言

使用计算机对超声心动图中左心室结构进行准确分割具有重要的研究意义[1]。与传统分割方法不同，基于深度学习的分割方法无需依赖于手工设计的特征，可以直接从原始图像中学习特征，并更好地捕捉图像中所包含的语义信息。随着计算机技术的发展，基于深度学习的分割方法已广泛应用于左心室分割研究中，比较流行的分割网络有U-Net、ResDUnet和TransBridge等。然而，大部分方法都是全监督方法，依赖大量有标签数据。在实际工作中，大量有标签数据难以获得，限制了全监督方法的性能。因此，设计一种半监督左心室分割方法是至关重要的。

受平均教师模型[1]及其变体模型[3-4]的启发，本文提出了基于对抗一致性的半监督左心室分割方法。该方法使用少量有标签数据和大量无标签数据进行训练，减少了模型对大量有标签数据的依赖。

1 半监督左心室分割方法

1.1 整体网络模型结构

本文方法的网络结构如图1所示，包括两个分割网络和两个鉴别器网络。两个分割网络分别被称为教师模型和学生模型。分割网络使用U-Net，并在跳跃连接中引入多阶门控聚合块以提高分割网络对特征的提取能力。多阶门控聚合块对输入特征进行局部感知和上下文聚合，进一步提取有效的特征信息。通过将编码器提取到的特征送入多阶门控聚合块中，并将其提取到的特征与解码器中对应的特征进行拼接，得到包含丰富语义信息的特征图。两个鉴别器、的网络结构相同，但输入不同，要学习的目标也不同。分割网络和鉴别器网络基于对抗一致性学习进行训练，并采用交替训练的方式，不断提升二者的性能。

1.2 多阶门控聚合块

为了解决编码器和解码器的特征拼接时导致信息丢失以及信息融合不均衡的问题，受Li等人[5]和Jiao等人[6]的启发，本文提出了改进的多阶门控聚合块。该模块通过捕捉上下文中的多阶交互，提取丰富的全局特征。其结构如图2所示，包括深度卷积、空间聚合块、通道聚合块和前馈神经网络。

1.2.1 空间聚合块

空间聚合块由特征分解模块和多阶门控聚合模块组成，用于聚合多阶上下文信息，其结构如图3所示。

特征分解模块基于静态和自适应的区域性感知进行设计，帮助网络关注多阶交互作用并提取多阶特征，计算公式如（1）所示：

1.2.2 通道聚合块

通道聚合块对所提取的多阶特征进行重新分配，得到高质量的特征表示，其结构如图4所示，计算公式如（2）所示：

1.3 对抗一致性学习

受Chen等人[4]的启发，本文引入对抗一致性学习，通过在模型中引入两个鉴别器来学习数据中包含的丰富信息。如图1所示，两个鉴别器均由五个卷积层和一个MLP层组成，但二者的学习目标不同。学习网络对有标签数据和无标签数据输出之间的差异。学习无标签数据在添加扰动和未添加扰动下的差异。原始图像作为基准，用来衡量分割结果与基准之间的匹配度。鉴别器的输出为0到1之间的数值。本文设置0为分割结果较差，1为分割结果较好。分割网络和鉴别器交替训练，以实现对抗学习。

对分割网络进行训练时，分割网络被期望生成准确的分割结果，即期望鉴别器的输出越接近1越好。训练分割网络时的损失函数的具体计算如公式（4）所示：

对鉴别器进行训练时，鉴别器被期望对不同的输入进行准确的区分。鉴别器和的损失函数分别如公式（5）和公式（6）所示：

学生模型的参数和鉴别器的参数通过梯度下降进行更新，教师模型的参数被更新为学生模型参数的指数移动平均。

二、实验环境及评价指标

实验使用EchoNet-Dynamic数据集[7]，它由10，030个带注释的超声心动图视频组成。本文使用10030个超声心动图视频中所提供的20060张有标签图像进行实验，其中，14930张图片用于训练，2554张图片用于测试，2576张图片用于验证。

本文实验基于PyTorch框架实现。分割网络使用SGD优化器更新参数，初始学习率为0.01，权重衰减为0.0001，动量为0.9。鉴别器网络使用Adam优化器，学习率为0.0001。批量大小为32，训练迭代次数设置为27900。本文设置1：9和2：8两种不同的有标签数据和无标签数据比例进行实验，并使用Dice和HD两个指标进行评估。

三、实验结果分析

所提出的方法在Echonet-Dynamic数据集上与其他流行的半监督方法进行了比较，实验结果如表1所示。可以看到，所提出的方法在Dice和HD指标上都优于其他半监督分割方法。当有标签数据和无标签数据比例为1：9时，该方法的Dice指标为90.11%，HD指标为5.11mm，Dice指标比ASE-Net高出1.46 %，HD指标比ASE-Net降低了0.23mm。当有标签数据和无标签数据比例为2：8时，该方法的Dice指标为91.28%，HD指标为4.38mm，Dice指标比ASE-Net高出1.5%，HD指标比CNN&Trans降低了0.85mm。实验结果充分证明了所提出方法的有效性。

四、结论

本文提出了基于对抗一致性的半监督左心室分割方法。设计了多阶门控聚合块，将其引入到U-Net网络的跳跃连接中，减少了编码器和解码器间的语义分歧。分割网络和鉴别器网络基于对抗一致性学习进行训练，帮助网络最大化挖掘有标签数据和无标签数据中所包含的有效信息。在EchoNet-Dynamic数据集上进行实验，实验结果证明该方法具有较好的性能。后续的工作中，还可以充分利用超声心动图的时序信息来进一步提高网络的分割精度。

参考文献：

[1]刘梦怡，吴伟春.人工智能在超声心动图中的应用现状及进展[J].中华医学超声杂志（电子版）， 2021， 18（02）： 216-219.

[2]Tarvainen A， Valpola H. Mean teachers are better role models： Weight-averaged consistency targets improve semi-supervised deep learning results[C]. Proceedings of the International Conference on Neural Information Processing Systems. Long Beach， CA： NIPS， 2017， 30.

[3]Yu L， Wang S， Li X， et al. Uncertainty-aware self-ensembling model for semi-supervised 3D left atrium segmentation[C]. Proceedings of the Medical Image Computing and Computer Assisted Intervention. Shenzhen， China： Springer， 2019： 605-613.

[4]Chen G， Ru J， Zhou Y， et al. MTANS： Multi-scale mean teacher combined adversarial network with shape-aware embedding for semi-supervised brain lesion segmentation[J]. NeuroImage， 2021， 244： 118568.

[5]Li S， Wang Z， Liu Z， et al. Efficient multi-order gated aggregation network[J]. arXiv preprint arXiv：2211.03295， 2022.

[6]Jiao J， Tang Y M， Lin K Y， et al. Dilateformer： Multi-scale dilated transformer for visual recognition[J]. IEEE Transactions on Multimedia， 2023， 25： 8906-8919.

[7]Ouyang D， He B， Ghorbani A， et al. Video-based AI for beat-to-beat assessment of cardiac function[J]. Nature， 2020， 580（7802）： 252-256.

[8]Lei T， Zhang D， Du X， et al. Semi-supervised medical image segmentation using adversarial consistency learning and dynamic convolution network[J]. IEEE Transactions on Medical Imaging， 2022， 42（5）： 1265-1277.