多模态图像融合在阿尔茨海默症辅助诊断中的应用

摘要：阿尔茨海默症严重危害老年人健康，如能早期发现并进行干预，可改善患者状况。单模态医学图像难以完整呈现病理过程，而多模态图像融合技术能够整合不同模态图像优势，为疾病早期诊断提供精准信息。首先对获取的病人脑部MRI和PET图像进行预处理，之后通过循环生成对抗网络实现两种模态图像的融合，再利用3D CNN网络对融合图像进行特征提取，最后依据病情程度对图像分类。该方法能提高阿尔茨海默症的识别与分类准确度，提供病情的早期诊断新途径。

关键词：阿尔茨海默症；多模态图像融合；循环生成对抗网络；3D CNN

1. 引言

阿尔茨海默症（AD）是一种中枢神经系统退行性疾病，因脑内β-淀粉样蛋白沉积，Tau蛋白过度磷酸化[1]，致使患者认知、生活及精神行为出现异常，饱受痛苦。这不仅给家庭带来沉重的照料负担和经济压力，还随着全球老龄化加剧，对社会医疗资源和养老保障体系造成巨大挑战。目前AD病因不明且难以根治，不过早期干预能改善患者状况。磁共振成像（MRI）和正电子发射断层扫描（PET）等单一模态医学影像在早期诊断方面虽各有优势，但都存在局限，难以完整呈现AD病理过程。多模态图像融合技术能整合不同模态图像优势，为早期诊断提供更精准信息，意义重大。利用计算机技术合成多模态医学图像，可解决临床获取图像的难题，在医学领域占据重要地位。

本文介绍一种基于多模态图像融合的阿尔茨海默症辅助诊断方法，解决现有诊断方法中存在的特征提取不充分、信息利用不完全及模型结构缺陷等问题。首先利用循环生成对抗网络（CycleGAN）对MRI和PET图像进行配准与融合，然后使用3D CNN模型提取融合图像的特征对病情进行分类，从而实现AD辅助诊断。通过多模态图像融合技术，能更准确识别AD患者大脑细微病变，提高早期诊断准确率，为患者早期治疗和干预争取时间。

2. 研究现状

传统的AD诊断方法，包括临床症状评估、神经心理学测试和单一模态影像学检查，在AD诊断中发挥了重要作用，但也存在诸多局限性。临床症状评估依赖医生与患者及其家属的交流和对患者行为的观察，AD早期症状隐匿易与正常衰老混淆，不同患者症状差异大，患者或家属描述可能有偏差，增加了诊断难度，易导致误诊或漏诊。神经心理学测试涵盖简易智力状态检查量表（MMSE）与蒙特利尔认知评估量表（MoCA），其中MMSE通过从定向力、记忆力等多个维度入手，对个体的认知功能展开全面评估；MoCA对轻度认知障碍更敏感，评估领域更全面，增加了抽象思维等测试内容，神经心理学测试虽能评估患者认知功能，但测试结果受文化背景、教育程度、语言习惯和情绪状态等多种因素干扰，不同测试量表结果缺乏可比性，影响了诊断的准确性和可靠性[2]。单一模态影像学检查方面，MRI虽能清晰显示大脑解剖结构，发现早期脑萎缩等细微结构变化，但对大脑功能代谢信息获取有限；PET可检测大脑特定区域葡萄糖代谢和神经递质变化，以及β-淀粉样蛋白沉积情况，但成像分辨率较低，对大脑精细结构显示欠佳。这些局限性使得现有诊断方法在AD早期诊断中面临挑战，难以满足临床对准确、早期诊断的需求[3]。

3. 相关技术

3.1 多模态医学图像融合

在阿尔茨海默症研究与诊断中，多种医学成像技术提供了丰富大脑信息，其产生的不同模态图像各具特点，发挥着重要作用。MRI利用氢原子核共振信号成像，能清晰呈现大脑解剖结构，在AD诊断中可用于观察颞叶、海马体等区域的萎缩情况，通过定量分析相关指标辅助判断病情，还能检测微小病变。PET借助放射性示踪剂检测大脑代谢和神经递质活动，常用示踪剂如FDG和PIB，前者反映葡萄糖代谢，后者检测β-淀粉样蛋白沉积。不过，单一模态图像存在局限，MRI获取功能代谢信息有限，PET成像分辨率低，难以全面反映AD病理过程。所以，融合不同模态图像，整合其优势，是提高AD诊断准确性的关键。

多模态图像融合旨在整合不同成像模态的图像信息[4]，通过探寻对应关系和规则融合特征，弥补单一模态的不足，生成对临床诊断更具价值的融合图像，为疾病诊断提供更全面准确的参考依据。其常用算法多样，加权平均算法简单直接，依据图像重要性分配权重计算融合像素值，但可能模糊细节；金字塔融合算法基于多尺度分析，如拉普拉斯和高斯金字塔融合，能保留细节和边缘信息，提升融合图像效果；基于小波变换的融合算法通过分解图像为不同频率子带，能有效处理高低频信息，兼顾细节保留和噪声抑制；基于深度学习的融合算法，如卷积神经网络，近年来广泛应用，通过构建神经网络自动学习并融合特征，能在大规模数据训练中提升融合效果和诊断准确性。

3.2 深度学习技术

当前主流深度学习框架多为开源软件，例如PyTorchTensorFlow、Caffe、飞桨等，这些开源框架都能够提供神经网络单元、损失函数和优化器辅助构建训练神经网络模型。2017年1月，人工智能研究院受Torch和Chainer启发，推出PyTorch并使其迅速流行，它继承Torch衣钵，在API设计和模块接口上与Torch高度一致。PyTorch能运行在CPU和GPU上，以解决各种深度学习问题，可看作支持GPU计算和自动微分计算的Numpy库，相比静态的TensorFlow，PyTorch的图是动态的，在灵活性、易用性、速度方面很少有框架能在其中两个方面同时超越它。因PyTorch具有简洁、易扩展、方便使用等特性，本文选择其为实验的代码实现框架。

在AD早期诊断中，深度学习领域的卷积神经网络（CNN）、递归神经网络（RNN）、迁移学习（TL）、图卷积神经网络（GCN）及集成学习方法等均有探索[5，6]。CNN自动提取特征能力出色，但依赖大量数据和优化结构；RNN可处理文本与病史，不过特征多手工提取，对专业知识要求高；TL利用预训练权重和架构检测AD，但应用需优化；GCN结合医学影像和患者信息分析，技术尚不成熟；集成学习方法能减少预测方差，但存在模式一体化的复杂问题。

3.3 循环生成对抗网络

2014年由Goodfellow等人提出的原始生成对抗网络（GAN）生成的图像比传统深度学习模型更逼真。GAN通过生成器G与鉴别器D组合构建，二者呈对抗竞争关系，在训练阶段，生成器G旨在生成逼真图片骗过判别器D，而判别器D则要区分真实图片与生成的图片。

循环生成对抗网络（CycleGAN）由两个生成器和两个判别器构成，凭借独特的循环生成模块与优化的一致性损失函数，能在无需配对图像的情况下实现高效图像转换与融合。每个单向生成器的两个损失函数分别约束生成图像与目标图像在内容和风格上的相似性，生成器和判别器通过对抗训练持续优化，使得生成的融合图像兼具源图像与目标图像的特征，在视觉效果和信息丰富度上达到最佳。

4. 阿尔茨海默症辅助诊断过程

在多模态图像融合辅助阿尔兹海默症诊断过程中，首先获取相关多模态医学图像，对图像进行预处理，再将PET与MRI进行配准，然后使用CycleGAN实现多模态图像融合，最后利用3D CNN进行对融合图像分类，从而达成AD辅助诊断。

4.1 图像预处理

获取病人脑部MRI和PET图像后，首先进行图像预处理，包括去噪、灰度归一化等操作，以提高图像质量，减少干扰因素对后续分析的影响。借助前沿的图像分割算法，能够精确锁定海马体所在位置，进而明确感兴趣区域（ROI）。海马体在AD病理过程中具有关键作用，其结构和功能变化与疾病进展密切相关，准确分割海马体为后续特征提取和诊断奠定基础。

4.2 PET与MRI配准

将PET图像与对应的MRI图像进行配准对齐。配准过程基于图像特征点匹配、变换模型估计等技术，确保多模态图像在解剖结构上的一致性，以便更好地整合不同模态信息，实现信息互补，为后续融合和诊断提供准确的数据基础。

4.3基于CycleGAN的多模态图像融合

利用CycleGAN将MRI和PET图像进行融合。MRI图像能清晰显示脑部软组织解剖结构，PET图像可提供脑部代谢信息，二者融合可全面反映脑部生理病理状态。通过CycleGAN的训练，生成器学习将MRI图像特征转换到PET域，同时将PET图像特征转换到MRI域，判别器则区分真实图像和生成图像，不断进行优化得到融合图像，其包含了更丰富的诊断信息。

4.4 基于3D CNN的诊断分类

在阿尔茨海默症的诊断进程中，基于卷积神经网络衍生出的众多方法都显示出其独特的优劣。2D CNN利用3D MRI的2D切片及自然图像分类优势诊断，但2D切片存在信息与结果问题；3D数据块CNN以3D数据块输入，却因框架、成本等问题难以临床广泛应用；基于ROI的CNN聚焦关键区域提升诊断效率，可ROI区域处理存在挑战；基于完整3D图像的CNN能利用图像信息，却受模型复杂和计算资源需求大的限制。相比之下，基于3D CNN的AD分类框架由四个卷积层组成，每个卷积层输出经最大池化层下采样。卷积核子为适应3D图像输入，沿三个方向滑动，输入和输出数据为四维（在图像三维基础上加通道数）。这种结构设计能够充分利用3D图像的空间信息，避免2D CNN处理3D图像时的信息丢失问题，更好地捕捉脑部各区域之间的关联信息。

在对AD进行诊断时，首先利用卷积层自动提取融合图像的多层次高级特征，借助权重共享和池化层降低网络参数，以此降低计算复杂度并防止过拟合。再通过全连接层对提取的特征进行整合与分析，经softmax层输出AD诊断的标签，实现对AD、CN、sMCI、pMCI等不同状态的分类，为临床诊断提供量化参考。

四、结束语

多模态图像融合技术在阿尔茨海默症诊断领域优势与挑战并存，未来发展潜力巨大。优势上，一方面利用MRI无创特性，通过算法改进合成新图像，减少患者损伤，以概率形式输出诊断结果，提升诊断准确性；另一方面，PET能检测早期大脑功能代谢变化，MRI可发现结构细微改变，二者融合可提高早期病变检测敏感性，争取治疗时间，改善患者生活质量。面临的挑战包括：数据质量与兼容性问题，不同模态图像受多种因素影响，在分辨率、格式等方面存在差异，影响图像配准和信息融合；算法复杂性与效率问题，基于深度学习的融合算法结构复杂、训练耗时，数据量增加时传统算法运算效率低，优化方法存在性能和通信同步等难题；临床验证与标准化问题，相关研究样本量小，实验条件差异大，缺乏统一标准，限制技术推广。

本文介绍的AD辅助诊断系统已取得多方面突破，然而在推广过程中不可避免地面临诸多挑战。后续，会融合迁移学习和小样本学习技术优化算法，增强其适应性，降低对大规模标注数据的依赖。临床应用方面，该技术将与基因检测、人工智能辅助诊断系统联动，达成精准风险预测与自动化诊断，还会用于治疗监测和预后评估，给AD患者带来更多希望。

参考文献

[1]Ju Y ， Tam K Y .Pathological mechanisms and therapeutic strategies for Alzheimer’s disease[J]. Neural Regen Res，2022，17（3）：543-549.

[2]刘丽萍，仲伟伟，董文南，等.基于深度学习的阿尔兹海默症自动诊断方法研究[J].科学咨询，2021，（07）：54-55.

[3]潘翩，鲁际.基于深度学习的磁共振成像在阿尔茨海默病诊断中的应用[J].巴楚医学，2024，7（03）：118-124.

[4]黄渝萍，李伟生.医学图像融合方法综述[J].中国图象图形学报，2023，28（01）：118-143.

[5]林雪峰，李炜.基于深度学习的阿尔兹海默症多模态辅助诊断研究[J].工业控制计算机，2020，33（03）：58-60+109.

[6]汪悦恺，王文伟，孟慧茹.基于注意力和Transformer的阿尔兹海默症分类[J].无线电工程，2024，54（01）：89-97.

基金项目：山东省大学生创新创业训练计划项目（S202410439010）；山东省本科高校教学改革研究项目（Z2022141）