一种基于多尺度特征多路注意力融合机制的海马体三维语义网络分割方法

技术领域

本发明涉及医学图像处理领域，特别涉及一种基于多尺度特征多路注意力融合机制的海马体三维语义网络分割方法。

背景技术

海马体是大脑中的重要结构，位于大脑丘脑和内侧颞叶之间，属于边缘系统的一部分，主要负责长时记忆的存储转换和定向等功能。它的神经细胞非常脆弱，极易受伤害，一旦海马的神经细胞坏死，人的记忆就会丧失。其形态变化是研究长时记忆的重要生物标注物，如基于磁共振影像(Magnetic Resonance Images,MRI)判断海马体体积是否萎缩是诊断阿尔兹海默症的关键技术之一。然而海马体在磁共振图像中与其周围的脑组织结构并没有很好的区分度，并且海马体的大小、位置、结构细节往往因人而异，形态的复杂性使得人工分割海马体变得十分困难。随着深度学习技术的发展，利用基于卷积神经网络的语义分割方法给海马体自动分割带来新的曙光。

申请号“201810775957.1”，名称为“一种基于深度学习的脑部MRI海马体三维分割方法”介绍了一种包括3个一维卷积层、15个三维卷积和4个最大池化层的典型编码-解码语义分割网络结构对海马体结构进行分割，首先将原始影像数据先分割成分辨率为32×32×32的图像再送入网络进行训练，虽然取得了一定的分割精度，但是其网络结构比较简单，在语义网络结构上还具有改进的空间。随着注意力机制的提出，如何更加高效的利用关键特征对感兴趣区进行识别和分割开始被研究者们关注，申请号“201911179566.4”，专利名“基于3D神经网络的人脑核磁共振影像的海马体提取方法”介绍了一种在解码网络结构中使用通道注意力机制的语义分割方法，通过注意力机制对通道特征进行聚合重组，有效突出感兴趣区的显著特征，抑制无关特征的表达，提高网络对海马体的分割精度。但此类方法中只对通道维度特征进行了注意力系数加权，更多特征信息存在于空间维度体素中，在三维分割网络中，对空间体素特征的利用能够带来更好的分割性能提升，应用注意力机制的分割网络还存在改进空间。

针对现有技术的不足，本发明针对脑部核磁共振图像提出一种全新的三维语义分割网络结构对海马体进行分割。网络在编码路径中针对海马体复杂的形态、大小等特点，使用多尺度的特征提取并融合结构，再通过直连路径对融合后的输出进行残差连接来优化网络的特征提取器；网络在解码路径中融合多路注意力机制对通道维度和空间维度特征进行加权处理，充分利用每个维度下的体素特征信息；网络在每层解码器输出端使用了卷积核大小为1的三维卷积构建一组分类器实现集成学习，最后在网络输出端将两路分类器输出结果进行结合，通过集成学习的方式获得最佳的分割性能。

发明内容

本发明旨在提供一种多尺度特征提取融合多路注意力机制的三维语义分割网络结构，通过多尺度残差模块对不同大小的海马体区域进行特征提取，通过多路注意力模块的融合对不同维度中的信息进行汇聚、加权，从而突出表达海马体相关特征并抑制无关特征，通过集成学习路径的分类器输出与解码器路径的输出进行结合，提高网络分割准确率的一种三维海马体自动分割方法。

本发明的技术方案，包括下列步骤：

步骤1：获取数据库中的MRI图像数据并进行预处理；

步骤2：基于多尺度特征多路注意力融合机制的三维海马体语义分割网络结构设计；

步骤3：训练、验证和测试数据集划分；

步骤4：模型训练并保存性能最佳的模型文件；

步骤5：模型测试，评估分割结果。

进一步的，所述步骤1包括：

A、获取ADNI(https://ida.loni.usc.edu/)数据库中的包含海马标注的图像数据并进行左右海马合并处理；

B、对数据集中图像及标签进行海马区域切块，通过从横断、矢状、冠状三个方向选择包含海马体的切片对图像及标签数据进行裁剪，去除数据中的背景信息；

C、对裁剪后的图像数据进行标准化处理。

进一步的，所述步骤2的基于多尺度特征多路注意力机制融合的三维海马体语义分割网络以网络中的功能模块和层为单位，按照实现不同功能的顺序包括：

A、输入层，包括一层数据输入层；

B、多尺度残差模块，网络共包括九个多尺度残差模块，每个多尺度残差模块包括三层卷积核尺寸为1的三维卷积层、一层卷积核尺寸为3的三维卷积层、一层卷积核尺寸为5的三维卷积层、五层批归一化层、四层Relu激活层和一层相加融合层；

C、池化层，网络共包括四个池化层，每个池化层包括池化核大小为2的三维最大池化层；

D、维度调整模块，网络共包括四个维度调整模块，每个维度调整模块包括一层卷积核大小为1的三维卷积层，一层批归一化层、一层Relu激活层；

E、通道注意力模块，网络共包括四个通道注意力模块，每个通道注意力模块包括一层三维全局平均池化层、一层三维全局最大池化层、四层批归一化层、四层全连接层、两层Relu激活层、一层相加融合层、一层Sigmoid激活层、一层重构层、一层元素相乘层；

F、空间注意力模块，网络共包括四个空间注意力模块，每个空间注意力模块包括一层卷积核大小为2的三维卷积层、三层卷积核大小为1的三维卷积层、一层卷积核大小为3的三维反卷积层、一层相加融合层、一层Relu激活层、一层Sigmoid激活层、一层上采样层、一层元素相乘层、一层批归一化层；

G、集成学习分支结构，网络包括一个集成学习分支结构，集成学习分支结构包括四层卷积核大小为1的三维卷积层、三层上采样层、三层元素相加融合层；

H、跳跃连接结构，网络包括四个跳跃连接结构，每个跳跃连接结构包括一层上采样层、一层通道拼接融合层；

I、输出层，包括一层卷积核大小为1的三维卷积层。

进一步的，所述步骤3包括：

A、将获取的ADNI数据集数据按照疾病状态分为阿尔兹海默症、轻度认知障碍和正常人三组；

B、平均从三组中随机选择数据作为训练数据集，在保证不遗漏海马体的情况下，在所述步骤一数据预处理中设置一个随机数作为切片随机移动的参数对原始数据进行裁剪，经过多次裁剪可以扩充训练数据集的规模，起到数据增强的作用；

C、平均从三组剩余数据中选择数据作为验证集；

D、将三组中剩余的数据作为测试集。

进一步的，所述步骤4包括：

A、将训练集与验证集输入网络进行训练；

B、如果使用回调函数进行学习率设置，学习率在训练过程中能根据验证集损失值的下降情况进行衰减；

C、如果在回调函数中设置模型早停，模型在训练过程中根据验证集损失值下降情况停止训练，保存在验证集上损失值最低的模型；

D、

E、训练所得模型在验证集上的Dice系数为0.8379。

进一步的，所述步骤5包括：

A、使用测试集中数据对模型进行三维图像海马体分割测试，在测试集上的Dice系数为0.8269。

本发明的有益效果是：

(1)本发明使用多尺度残差模块对形状复杂的海马体区域进行多尺度特征提取并融合，提升分割精度；

(2)本发明融合多注意力机制模块对多维度信息进行注意力加权汇聚，将具有较高激活值的特征从通道维度到空间维度进行筛选并加权，提升网络对海马目标物的识别分割能力；

(3)本发明构建分支路径分类器与解码器路径分类器输出进行结合，通过集成学习方式提升整体网络的分类、分割能力。

附图说明

图1是本发明的基于多尺度特征多路注意力融合机制的海马体三维语义网络分割方法流程图；

图2是本发明的多尺度残差模块结构示意图；

图3是本发明的通道注意力模块结构示意图；

图4是本发明的空间注意力模块结构示意图；

图5是本发明的整体网络结构结构示意图；

图6是本发明的分割结果与经典三维U型网络分割结果对比示意图。

具体实施方式

本发明可自动处理脑部磁共振图像，实现海马体的三维自动分割；针对海马体的位置变化及形态复杂等问题，利用更有效的图像特征处理模块构建语义分割网络来提高训练所得模型的分割准确性，为阿尔兹海默症病的诊断提供更可靠的信息支持。

如附图1所示，一种基于多尺度特征多路注意力融合机制的三维海马体语义网络分割方法，共包括以下5个步骤：

1、获取ADNI数据库中的海马体图像和标签数据并进行预处理；

2、基于多尺度特征提取和多路注意力融合机制的三维海马体语义分割网络结构设计；

3、训练、验证数据集划分；

4、模型训练并保存性能最佳的模型文件；

5、模型测试，评估分割结果。

进一步的，所述步骤1包括：

1)获取ADNI数据集中的脑部磁共振图像及标签数据，并进行左、右海马标签合并；

2)进一步对原始图像及标签进行海马区域切块，从横断、矢状、冠状三个方向选择包含海马体的切片对图像及标签数据进行裁剪；

3)进一步对裁剪后的数据集进行标准化处理。

进一步的，所述步骤2中的网络结构以层为单位，按照输入到输出的顺序包括以下结构：

1)构建输入层，输入层包括一层Input层，将数据集输入网络，其中数据格式为五维结构，每个维度分别为体素块、像素长度、像素宽度、像素高度、图像通道；

2)构建编码器，将输入层的输出输入编码器第一层，编码器结构由四个多尺度残差模块、四层池化层首尾连接，最后再接一个多尺度残差模块组成；

3)构建多尺度残差模块，一个多尺度残差模块包括一层conv3_3层、一层conv5_5层、一层up层、一层shortcut层和一层res_path层；

4)conv3_3层由两层Conv3D层、BatchNormalization层、Activation层叠加组成，对多尺度残差模块的输入进行卷积核大小为3的三维卷积、批归一化、Relu激活操作；

5)conv5_5层由两层Conv3D层、BatchNormalization层、Activation层叠加组成，对多尺度残差模块的输入进行卷积核大小为5的三维卷积、批归一化、Relu激活操作；

6)up层由一层concatenate层组成，对conv3_3层和conv5_5层的输出进行通道维度拼接融合操作；

7)shortcut层由一层Conv3D层、BatchNormalization层叠加组成，对多尺度残差模块的输入进行卷积核大小为1的三维卷积、批归一化操作；

8)res_path层由一层add层组成，对shortcut层和up层的输出进行Add相加融合操作；

9)构建池化层，池化层包括一层pool_64层、一层pool_32层、一层pool_16层、一层pool_8层联合组成，每层都由一层MaxPooling3D层组成，对多尺度残差模块的输出逐层进行池化核大小为2的三维最大池化操作；

10)构建解码器，将编码器每层的输出对应输入解码器相应层，解码器结构由四个维度调整模块、四个通道注意力模块、四个空间注意力模块、四个跳跃连接结构和四个多尺度残差模块联合组成；

11)构建维度调整模块，一个维度调整模块包括一层x层；

12)x层由一层卷Conv3D层、BatchNormalization层、Activation层叠加组成，对维度调整模块的输入进行卷积核大小为1的三维卷积、批归一化和Relu激活操作；

13)构建通道注意力模块，一个通道注意力模块包括一层x_s_avg层、一层x_e_avg层、一层x_s_max层、一层x_e_max层、一层x_e层、一层result层。结构示意图如附图3所示，图中C、L、W、H、r表示特征图的通道、空间体素长度、宽度、高度和维度压缩比；

14)x_s_avg层由一层GlobalAveragePooling3D层、一层BatchNormalization层叠加组成，对通道注意力模块的输入进行三维全局平均池化和批归一化操作；

15)x_e_avg层由一层Dense层、一层Activation层、一层BatchNormalization层、一层Dense层叠加组成，对x_s_avg层的输出进行维度缩放；

16)x_s_max层由一层GlobalMaxPooling3D层、BatchNormalization层叠加组成，对通道注意力模块的输入进行三维全局最大池化和批归一化操作；

17)x_e_max层由一层Dense层、一层Activation层、一层BatchNormalization层、一层Dense层叠加组成，对x_s_max层的输出进行维度缩放；

18)x_e层由一层add层、一层Activation层、一层Reshape层叠加组成，对x_e_avg层和x_e_max层的输出进行相加融合、sigmoid激活、重构操作；

19)result层由一层multiply层构成，对通道注意力模块的输入与x_e层的输出进行元素相乘操作；

20)构建空间注意力模块，一个空间注意力模块包括一层theta_x层、一层phi_g层、一层upsample_g层、一层concat_xg层、一层act_xg层、一层psi层、一层sigmoid_xg层、一层upsample_psi层、一层y层、一层result层、一层result_bn层；

21)theta_x层由一层Conv3D层组成，对空间注意力模块的输入进行卷积核大小为2，步长为2的卷积操作；

22)phi_g层由一层Conv3D层组成，对空间注意力模块的输入进行卷积核尺寸为1的三维卷积操作；

23)upsample_g层由一层Conv3DTranspose层组成，对phi_g层的输出进行卷积核大小为3的三维反卷积操作；

24)concat_xg层由一层add层组成，对upsample_g层和theta_x层的输出进行相加融合操作；

25)act_xg层由一层Activation层组成，对concat_xg层的输出进行Relu激活操作；

26)psi层由一层Conv3D层组成，对act_xg层的输出进行卷积核大小为1的三维卷积操作；

27)sigmoid_xg层由一层Activation层组成，对psi层的输出进行sigmoid激活操作；

28)upsample_psi层由一层UpSampling3D层组成，对sigmoid_xg层的输出进行上采样操作；

29)y层由一层multiply层组成，对空间注意力模块的输入与upsample_psi层的输出进行元素相乘操作；

30)result层由一层Conv3D层组成，对y层的输出进行卷积核大小为1的三维卷积操作；

31)result_bn层由一层BatchNormalization层组成，对result层的输出进行批归一化操作；

32)构建跳跃连接结构，跳跃连接结构包括一层up_16层、一层up_32层、一层up_64层、一层up_128层联合组成，每层都由一层UpSampling3D层、一层concatenate层叠加组成，对解码器中的特征图进行上采样、拼接融合操作；

33)解码器多尺度残差模块，其结构与编码器多尺度残差模块结构相同；

34)构建集成学习分支，将解码器每层的输出对应输入集成学习分支结构相应层，集成学习分支结构由一层up_conv_16_11层、一层up_conv_32_11层、一层up_16_11层、一层add_01层、一层up_conv_64_11层、一层up_add_01层、一层add_02层、一层up_conv_128_11层、一层up_add_02层、一层add_03层联合组成；

35)up_conv_16_11由一层Conv3D层组成，对解码器中多尺度残差模块的输出进行卷积核尺寸为1的三维卷积操作；

36)up_conv_32_11由一层Conv3D层组成，对解码器中多尺度残差模块的输出进行卷积核尺寸为1的三维卷积操作；

37)up_16_11层由一层UpSampling3D层组成，对up_conv_16_11层的输出进行上采样操作；

38)add_01层由一层add层组成，对up_16_11层和up_conv_32_11层的输出进行相加融合操作；

39)up_conv_64_11层由一层Conv3D层组成，对解码器中多尺度残差模块的输出进行卷积核尺寸为1的三维卷积操作；

40)up_add_01层由一层UpSampling3D层组成，对add_01层的输出进行上采样操作；

41)add_02层由一层add层组成，对up_add_01层和up_conv_64_11层的输出进行相加融合操作；

42)up_conv_128_11层由一层Conv3D层组成，对解码器中多尺度残差模块的输出进行卷积核尺寸为1的三维卷积操作；

43)up_add_02层由一层UpSampling3D层组成，对add_02层的输出进行上采样操作；

44)add_03层由一层add层组成，对up_add_02层和up_conv_128_11层的输出进行相加融合操作；

45)构建输出层，将集成学习分支结构最后一层的输出输入输出层，输出层包括一层conv10层；

46)conv10层由一层Conv3D层组成，对集成学习分支结构的输出进行卷积核大小为1的三维卷积、sigmoid激活操作，输出分割结果；

47)设计使用二分类Dice系数为模型的评价函数，将输出结果与标签进行Dice系数计算；

48)Dice系数定义为：

49)设计使用Dice损失函数为模型的损失函数；

50)Dice损失函数定义为：Loss＝1-Dice。

进一步的，所述步骤3包括：

1)将获得的ADNI数据集中的数据按照疾病状态分为阿尔兹海默症、轻度认知障碍和正常人三组；

2)平均从三组中随机选择数据作为训练数据集，在保证不遗漏海马体的情况下，设置一个随机数作为切片随机移动的参数对原始数据进行裁剪，经过多次裁剪可以扩充训练数据集的规模；

3)平均从三组剩余数据中选择数据作为验证集；

4)三组中剩余的数据作为测试集。

进一步的，所述步骤4包括：

1)将训练集、验证集的图像和标签送入网络进行离线训练；

2)如果使用回调函数进行学习率衰减和模型早停设置，模型在训练过程中能根据验证集损失值的下降情况进行学习率衰减和训练停止，保存在验证集上损失值最低的模型。

进一步的，所述步骤5包括：

1)训练所得的模型在验证集上所得的Dice系数为0.8379；

2)使用测试集中数据对模型进行三维图像海马体分割测试，测试集所得Dice系数为0.8269；

3)模型在测试集上所得分割结果如附图6所示。

综上，一种基于多尺度特征提取、多路注意力融合机制的三维海马体语义网络分割方法，本发明的实验结果表明，通过设计针对海马体结构特点的语义分割网络结构，能够提升网络对多个维度特征信息的利用率，从而提高像素密集预测能力，改善海马体分割性能。