基于多特征融合的乳腺癌新辅助化疗疗效预测装置

技术领域

本发明涉及医学图像处理领域及深度学习领域，具体涉及一种基于多特征融合的乳腺癌新辅助化疗疗效预测装置。

背景技术

乳腺癌是女性最常见的恶性肿瘤之一，每年确诊病例超过200万例，是女性癌症相关死亡的主要原因，严重危害女性的健康。对于局部晚期乳腺癌患者，通常采用肿块切除术或乳房切除术作为标准治疗方法，能够有效降低局部复发率。然而根治性手术可能会带来诸多后遗症及永久性造口，严重时会加速患者死亡，甚至有些具有严重症状表现的恶性肿瘤无法直接通过手术根治或不满足手术条件。研究表明，通过新辅助化疗(NeoadjuvantChemotherapy,NAC)能够缩小原发肿瘤体积、降低肿瘤分期及提高采用保乳术的治疗策略来替代乳房全切除术的可能性，是目前乳腺癌综合治疗中非常重要的手段。

但乳腺癌是一种高度异质性疾病，病人的治疗效果会受到肿瘤分子亚型、治疗方案等多种因素的影响，临床实验发现存在部分患者对NAC不敏感，且疗效个体差异大。精准预测NAC疗效有助于选择可能从NAC中获益的患者，并避免对化疗无效的患者进行过度术前化疗而错失手术时机，另一个优点是可以观察治疗的早期反应，从而在反应差的情况下快速修改治疗方案。因此，及时精准预测NAC疗效、调整治疗方案是临床工作的关键环节。

现阶段对NAC疗效评估的金标准是基于组织病理结果，但病理评估无法在治疗过程中实时监测肿瘤对化疗药物的反应，更不能早期预测肿瘤对NAC的应答情况，且这种有创的组织学活检存在时效性差、继发感染、难以重复检测、对病理科要求高等局限性。因此寻求能有效疗效预测的无创性手段是NAC中亟待解决的问题。无创的影像学检查可在治疗过程中多次进行，磁共振成像(Magnetic Resonance Imaging，MRI)是检测乳腺癌最敏感的影像学方法之一，且具有多种成像方式能从多方面提供有意义的信息。

目前，大部分使用MRI影像对乳腺NAC疗效的研究方法都是利用NAC前后的对比数据进行疗效评估，并不能解决疗效预测问题。绝大多数的疗效评估方法仅仅使用MRI成像方式中的一种成像序列，没有用到MRI多参数序列的优点，同时在特征提取阶段仅利用影像组学方法或者仅使用卷积神经网络方法，准确度有待提高且没有挖掘深层特征并高度融合数据特征。针对以上问题，因此需要提出一种面向多参数乳腺MRI医学影像序列的基于多特征融合的乳腺癌NAC预测病理完全反应方法及系统，为患者制定个性化的精准治疗方案。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于多特征融合的乳腺癌新辅助化疗疗效预测装置，能够高效无创地精准预测NAC疗效，为患者制定个性化的精准治疗方案。

本发明的技术内容包括：

一种基于多特征融合的乳腺癌新辅助化疗疗效预测装置，包括：

图像获取模块，用于获取患者病灶区域的多模态乳腺影像，其中，所述多模态乳腺影像的模态包括：T2W1模态、DCE-MRI模态和DWI模态；

图像预处理模块，用于对每一模态乳腺影像进行图像剪裁，得到该模态乳腺影像的3D感兴趣区；

病灶区域分割模块，用于根据各模态乳腺影像的3D感兴趣区，得到病灶区域；

疗效诊断模块，用于计算并拼接所述病灶区域的放射特征向量与各3D感兴趣区的深度高级特征，并基于各模态乳腺影像的拼接向量，预测乳腺癌新辅助化疗的疗效。

可选地，所述图像预处理模块，还用于：

基于异源图像配准单元，对所述多模态乳腺影像进行异源图像配准；

基于图像去噪单元，对所述多模态乳腺影像进行图像去噪；

基于图像标准化单元，对所述多模态乳腺影像进行图像标准化；

基于图像增强单元，对所述多模态乳腺影像进行图像增强。

可选地，所述异源图像配准单元，用于：

使用基于标准互信息的刚体配准算法，以所述DCE-MRI模态的图像为固定图像，所述T2W1模态和所述DWI模态的图像分别作为浮动图像进行刚体变换，使得图中对应于空间同一位置的点一一对应。

可选地，所述图像去噪单元，用于：

使用的是Python工具包SimpleITK中的N4偏置场校正工具,去除所述乳腺影像中存在的低频强度不均匀的信号。

可选地，所述图像标准化单元，用于：

对所述T2W1模态、所述DCE-MRI模态和所述DWI模态的图像，分别采用Z-score方式进行规范化。

将规范化后的图像中各像素点的灰度值范围归一化。

可选地，所述病灶区域分割模块，用于：

构建基于3D-UNet的语义分割网络，其中，所述语义分割网络的结构为下采样路径的P层三维卷积层与P′次池化层、上采样路径的Q层三维卷积层与Q′次池化层，并将所述下采样路径中的子模块更换为带残差连接的子模块结构；

获取多模态样本乳腺影像，将T2W1模态、DCE-MRI模态和DWI模态的样本乳腺影像分别作为所述语义分割网络的输入图像，并以标记好的掩膜分割图像为训练目标训练所述语义分割网络，得到语义分割模型，其中，训练过程的损失函数Dice Loss＝1-Dice，

将T2W1模态、DCE-MRI模态和DWI模态的乳腺影像分别作为所述语义分割模型的输入图像，以得到所述病灶区域。

可选地，所述获取多模态样本乳腺影像，包括：

数据采集单元，用于按照患者为单位从数据库获取原始影像数据和对应的新辅助化疗疗效类别标签，所述新辅助化疗疗效类别标签包括：病理完全缓解和病理未完全缓解；

数据选择单元，用于根据疗效预测问题设定排除标准，以选择数据，其中，所述排除标准包括：治疗前未实行双侧乳腺磁共振成像检查的患者、未完成全周期新辅助化疗或因故中止治疗的患者、新辅助化疗后未进行手术者、术后病理评价不完善和远处转移患者；

数据标注单元，用于经由专业医师在医学标注软件ITK-SNAP上的标注结果综合得到病灶区域像素级标注；

数据整理单元，用于以患者为单位进行数据整合，将原始数据的DICOM文件格式转换为NIfTI文件。

可选地，所述疗效诊断模块，用于：

初始放射特征提取单元，用于选定需提取的放射特征，并使用开源影像组学分析软件对所述病灶区域进行放射特征提取，以得到初始放射特征；

放射特征计算单元，用于将所述初始放射特征的自编码器网络编码结果，输入若干个全连接层，得到所述病灶区域内的放射特征；

深度高级特征提取单元，用于将每一模态乳腺影像的3D感兴趣区输入基于ResNet50的卷积神经网络，得到该模态的深度高级特征；

向量拼接单元，用于拼接所述放射特征与每一模态的深度高级特征，得到相应模态乳腺影像的拼接向量；

预测单元，用于将各模态乳腺影像的拼接向量输入多实例学习网络，以使所述多实例学习网络中的注意层为每一模态乳腺影像的拼接向量赋予权重，所述多实例学习网络中的分类器基于各模态乳腺影像的拼接向量的加权求和结果，得到乳腺癌新辅助化疗的预测疗效。

可选地，初始放射特征提取单元，用于：

针对样本病灶区域，使用开源影像组学分析软件获取全部放射特征，所述全部放射特征包括：形态学特征、一阶灰度直方图特征、二阶与高阶纹理特征和基于滤波的特征；

使用随机森林算法对各放射特征进行重要性评分，以确定需提取的放射特征；

选定需提取的放射特征。

可选地，所述深度高级特征提取单元，用于：

针对DCE-MRI模态的乳腺影像，取阶段一、阶段三、阶段五的图像分别作为卷积神经网络的输入图像，以得到DCE-MRI模态的深度高级特征；

和，

针对T2W1模态的乳腺影像，将单通道的图像复制3份后，分别作为卷积神经网络的输入图像，以得到T2W1模态的深度高级特征；

和，

针对DWI模态的乳腺影像，将单通道的图像复制3份后，分别作为卷积神经网络的输入图像，以得到DWI模态的深度高级特征。

可选地，训练所述疗效预测模块的损失Loss＝L

本发明与现有技术相比的优点在于：

(1)本发明基于乳腺MRI进行NAC疗效预测，相比于病理检查具有无创性、时效性高的优点；相比于其他无创性影像学检查如CT、超声等，本发明使用的MRI由于具有良好的组织分辨率和多种成像模式使得在乳腺病灶检测方面具有独特优势；相比于其他利用MRI进行疗效预测的研究方法，本发明只使用NAC前的数据就能完成精准NAC疗效预测，应用前景更广。

(2)本发明提出了一种将传统放射特征和使用卷积神经网络提取的深度特征的多特征融合网络。而且相比于很多现有技术使用的2D医学图像，本发明面向3D医学影像数据，全面地考虑到病灶区域的三维结构性质，更加符合医生阅片思维。

(3)本发明提出了一种基于多实例学习的疗效预测模型解决多参数MRI序列中多模态问题，巧妙地将机器学习领域中的多实例学习思想应用到医学多模态图像中，通过使用病灶的不同模态提高疗效预测的识别性能。

(4)本发明将提出的疗效预测方法和模型封装成辅助诊断系统，使用系统诊断时不需要进行精确的病灶分割，从而避免了繁琐的分割步骤，这种端到端的方式自动化程度更高、实用性更强。封装成系统也极大提高了临床医生的可操作性及结果的直观性，与人工阅片相比速度快、效率高且准确率高。

附图说明

图1为本发明实施例所述的乳腺癌新辅助化疗疗效预测方法的总体框架图。

图2为本发明实施例所述的多特征融合网络的结构示意图。

图3为本发明实施例所述的基于多参数MRI序列的多实例学习网络的结构示意图。

图4为本发明实施例所述的乳腺癌新辅助化疗疗效预测诊断系统的组成示意图。

图5为本发明实施例所述的乳腺癌新辅助化疗疗效预测诊断系统的主界面图。

图6为本发明实施例所述的乳腺癌新辅助化疗疗效预测诊断系统的总体流程图。

具体实施方式

以下结合附图对本发明的实施例进一步详细说明。

本发明所采用的技术方案是：一种基于多特征融合的乳腺癌新辅助化疗疗效预测装置，如图1所示，本发明的总体框架包括：

一、图像获取模块

图像获取模块用于获取患者病灶区域的多参数MRI序列(包括多种成像模态如T2W1、DCE-MRI和DWI)的乳腺影像。

二、图像预处理模块

图像预处理模块用于对获取的每个多参数MRI影像数据进行预处理操作，所述预处理操作包括：异源图像配准、图像去噪、图像剪裁、图像标准化及图像增强。

本发明首先使用基于标准互信息的刚性配准算法对DCE-MRI和T2W1、DWI进行配准，然后使用N4BiasFieldCorrection方法来校正MRI扫描过程中偏置场的影响以完成图像去噪。同时围绕病灶区域中心裁剪获得体素大小为W×H×D的3D感兴趣区域块，对区域块的每个模态图像先各自规范化，再将各个像素点的灰度值范围归一化。最后使用随机仿射变换、水平翻转、垂直翻转、随机旋转图像(范围10°)进行图像增强。

具体来说，图像预处理模块包括：

1、异源图像配准单元:因为获取的每个多参数MRI影像数据的T2W1、DCE-MRI和DWI三种模态在图像维度(Dimension)、体素间距(Voxel spacing)、原点(Origin)等信息上具有差异，使用基于标准互信息的刚体配准算法，以DCE-MRI为固定图像，T2W1和DWI分别作为浮动图像进行刚体变换使得两图中对应于空间同一位置的点一一对应起来，从而达到图像配准的目的。

其中标准互信息(Normalization Mutual Information，NMI)利用对图像灰度值的统计数据形成单个图像的灰度值概率函数和两个图像相似部分对应的灰度值联合概率函数，以此来衡量两幅图像的相关程度。标准互信息的计算公式如下：

其中H(R)是单幅图像的熵，H(R,F)是图像R和图像F的联合熵。

其中刚体配准算法是指在变换过程中只涉及平移和转动两种变换，插值方式为线性插值，此过程使用的是greedy开源工具。

2、图像去噪单元:使用N4BiasFieldCorrection方法来校正MRI扫描过程中偏置场的影响，其中偏置场是MRI图像数据中存在的低频强度不均匀的不良信号，会破坏MRI图像，此过程使用的是Python工具包SimpleITK中的N4偏置场校正工具。

3、图像剪裁单元:通过去除乳腺组织外的组织可以显著减少无关信息对后续流程的扰乱，围绕影像中病灶区域中心裁剪获得体素大小为W×H×D的3D感兴趣区(Volum ofInterest，VOI)，获得固定的输入大小为128×128×48的VOI。

4、图像标准化单元:由于要处理的每个模态之间的灰度值差距较大，因此对每个模态图像先采用Z-score方式各自规范化，计算公式如下：

其中，I表示原始图像，Mean(I)表示原始图像的平均像素值，SD(I)表示原始图像像素值的标准差，O表示规范化后图像。

然后再将各个像素点的灰度值范围归一化，将其映射至[0，1]之间的浮点数。

5、图像增强单元:使用随机仿射变换、水平翻转、垂直翻转、轻微随机旋转图像(范围10°)进行图像增强。

三、病灶区域分割模块

病灶区域分割模块用于利用预处理后的多参数MRI样本影像数据构建并训练病灶区域分割模型，并基于病灶分割模型分割出的病灶区域位置。

1、多参数MRI样本影像数据的获取。

获取患者病灶区域的多参数MRI序列(包括多种成像模态如T2W1、DCE-MRI和DWI)的乳腺影像及对应的疗效类别标签(病理是否完全缓解)，然后进行数据选择、数据标注及数据整理工作。

本发明首先从影像设备数据库中导出患者的多参数MRI序列(包括多种成像模态如T2W1、DCE-MRI和DWI)影像数据作为原始数据，同时获取该原始数据对应的NAC后的疗效病理诊断结果作为金标准。然后按照NAC的标准过程制订排除标准以筛选符合要求的高质量数据完成数据选择过程。在数据标注过程中使用常用医学标注软件中对原始数据的DCE-MRI图像进行病灶区域像素级标注，最终在数据整理过程中将原始数据进行格式转换，以患者为单位重新归纳目录和整理文件名。

具体来说，图像获取模块包括：

1、数据采集单元：从合作医院单位按照患者为单位从数据库获取原始影像数据和对应的NAC疗效类别标签，影像数据主要包括多参数MRI序列(T2W1、DCE-MRI、DWI三种模态)的乳腺影像，疗效类别诊断是通过将患者NAC前后病理诊断结果进一步归纳为病理完全缓解(pCR)和病理未完全缓解(non-pCR)两类标签。

2、数据选择单元：根据本发明所关注的NAC疗效预测问题，首先按照以下排除标准：治疗前未实行双侧乳腺MRI检查的患者、未完成全周期NAC或因故中止治疗的患者、NAC后未进行手术者、术后病理评价不完善、远处转移患者进行数据选择。

一示例中，根据纳入排除标准，在实验中回顾性收集了从2018年1月到12月就诊于一医院单位的女性乳腺癌患者308例，年龄18～77岁，平均50.0±10.2，其中pCR肿瘤病例98例，non-pCR肿瘤病例210例。

3、数据标注单元：为了准确获取患者病灶区域，取3名专业医师在医学标注软件ITK-SNAP上的标注结果综合得到病灶区域像素级标注。

4、数据整理单元：以患者为单位进行数据整合，将原始数据的DICOM文件格式转换为NIfTI文件。

一示例中，所述数据整合是按照患者编号命名目录名(例如Breast_Training_001)，按照多参数MRI数据的模态命名文件(例如Breast_Training_001_DWI.nii)。

2.病灶区域分割

本发明将预处理后的3D多参数MRI影像数据作为训练数据，以病灶区域对应的像素级标注为训练目标，构建基于3D-UNet语义分割网络，根据该模型分割结果和训练目标计算损失函数，迭代训练该模型直至损失函数收敛或达到最大迭代次数，保存最优的模型作为病灶区域分割模型。

具体来说，病灶区域分割模块包括：

S301:将预处理后的大小为128×128×48的三个模态的VOI分别作为输入图像的一个通道，所以分割网络的输入为3×128×128×48，以标记好的掩膜分割图像为训练目标构建语义分割网络。网络的主干是著名的3D-UNet网络，该网络包括：下采样路径的4层三维卷积层(滤波器大小为[32,64,128,256,512])和3次池化层、上采样路径的3层三维卷积层(滤波器大小为[512，256,128，64])和3次上采样层以及跳跃连接组成。

S302:本发明对下采样路径中子模块进行了微小的调整，更换为带残差连接的子模块结构，在加深网络的同时避免过拟合。在训练过程中，使用Dice Loss，所述Dice Loss的计算公式为：

Dice loss＝1-Dice

其中，y

一示例中，所述3D-UNet语义分割网络，性能评估指数为IoU，初始学习率为0.001，使用回调函数动态调整学习速率，衰减系数设置为0.5。训练总次数为300次，训练的批次大小为16。

四、疗效诊断模块

本发明提出一个多特征融合网络将来自影像组学的特征和来自卷积神经网络的特征进行融合，第一个分支先将从影像中提取的传统放射特征输入到一个自编码器中来重建特征，第二个分支直接将影像输入到卷积神经网络提取深度特征，最终将这两种特征向量以拼接的方式进行多特征融合。

本发明还提出一个基于多参数MRI序列的多实例学习网络，首先将T2W1、DCE-MRI和DWI三种模态数据分别作为单个实例输入到步骤4中所述的多特征融合网络进行特征提取和融合，然后将得到的三种模态对应的特征实例输入到一个多实例学习网络来聚合患者所有模态的肿瘤病灶信息进行疗效预测。

1.多特征融合

S401:构建一个多特征融合网络将来自影像组学的特征和来自卷积神经网络的特征进行融合，多特征融合网络的具体方式如图2所示。首先网络的输入为三个模态的VOI和掩膜分割图像，VOI的大小经过裁剪后固定为128×128×48，因为DCE-MRI模态包括阶段一到阶段五共5个时序图像，取阶段一、三、五的图像分别作为图像的输入通道，所以DCE-MRI模态的输入为3×128×128×48；而T2W1和DWI模态为单通道，大小为1×128×128×48，为了保证多特征融合网络结构的一致性，此处将T2W1和DWI模态按照单通道转多通道的原理，将单通道的图像复制3份后得到输入为3×128×128×48。

S402：在构建多特征融合网络之前，需要使用开源影像组学分析软件(Pyradiomics)提取病灶区域内的放射特征，并将提取的特征以excel文件形式保存。

具体地，Pyradiomics中特征提取主要包含四类特征：1)形态学特征：描述如感兴趣区域(region of interest，ROI)区域的位置、形状和大小等特征。2)一阶灰度直方图特征：通过计算ROI中不同灰度级的频率分布得到相关统计特征。3)二阶和高阶纹理特征：描述图像中像素及其邻域的灰度值分布以表征纹理特征。4)基于滤波的特征：高斯拉普拉斯算子(LoG)常用于原始图像的边缘检测处理，在使用高斯函数减少噪声的基础上运用不同的滤波宽度来凸显图像的纹理特征。

针对每个病例的MRI多模态图像和分割图像分别进行上述特征的提取，提取出的每个病例的每个模态的初始特征共293个特征，使用特征降维后得到最终的100个特征，特征降维阶段使用的是机器学习中的随机森林算法对特征进行重要性评分，选取评分排序后的前100个特征作为初始放射特征。后续在测试过程中将对每个图像进行这100个特征的提取。

S403：多特征融合网络总体分为两个并行分支，第一个分支为通过自编码器网络f

为了将多特征进行融合，将自编码器网络f

具体地，在训练第一个分支的自编码器网络的过程中，采用的是均方误差损失(MSE Loss)，所述MSE Loss的计算公式为：

其中，x

S404：多特征融合网络总体分为两个并行分支，第二个分支为使用卷积神经网络f

具体地，此步骤通过f

2.疗效预测诊断。

S405:构建一个基于多参数MRI序列的多实例学习网络，多实例学习网络的具体方式如图3所示。

具体地，多实例学习(MIL)是一种弱监督学习方法，最近被应用于深度学习，尤其是在病理学领域，在这里本发明将pCR疗效预测视为MIL问题。本发明的工作和之前的工作的不同之处在于，在多实例学习中，本发明以多参数MRI数据中的T2W1、DCE-MRI和DWI三种模态数据为“实例”(Instance)，以一个病例的多参数MRI数据为“包”(Bag)，通过训练多实例学习网络来聚合来自患者的所有病变的多模态信息进行疗效预测。

如图3所示，本发明将多参数MRI数据中多模态数据{x

为了给每个模态对应的特征向量赋予不同的权重，本发明在多实例学习网络中添加了一个注意层f

其中w是L×1维度，V是L×M维度，都是可训练的参数，M代表特征向量的大小，L＝50。

S406:根据上一步得到的权重α

p(Y

S407：在训练多实例学习网络的过程中，采用的是交叉熵损失(CE Loss)，所述CELoss的计算公式为：

S408:使用联合损失Loss对自编码器f

其中α是重建误差L

S409：模型训练中采用Adam优化器对模型参数进行优化，初始学习率设置为0.001，每2000次迭代减半。最大训练次数为300次，批量大小为16。

实验验证

本发明的模型评估采用ROC曲线下面积(AUC)和准确性(Acc)作为评估指标，通过5次重复的3倍交叉验证来预测pCR疗效。使用两种已知的机器学习算法对提取出来的放射特征进行训练：支持向量机(SVM)、随机森林(RF)，表1为本发明和其他各种模型的分类性能的比较:

表1本发明和其他各种模型的分类性能的比较

参阅图4，本实施例提供了一个基于多特征融合的乳腺癌新辅助化疗疗效预测系统，软件主界面参阅图5，其包括：

第一模块，图像读取与保存模块，主要提供加载MRI影像数据、显示图像和图像保存的功能，在此基础上扩展了三视图展示、切片转换、坐标显示等查看图像的进阶功能。

第二模块，图像预处理模块，主要提供对读取的MRI影像数据进行图像去噪、图像标准化、图像剪裁等预处理操作。

第三模块，病灶区域分割模块，通过将实验过程中训练得到的病灶区域分割模型集成到系统中，可以实现对病灶区域的高精度分割结果。

第四模块，疗效诊断模块，通过将实验过程中训练得到的基于多实例学习的疗效预测模型集成到系统中，可以实现对病灶区域的精准NAC疗效预测。

以下结合图6介绍利用乳腺癌新辅助化疗疗效预测系统实现乳腺癌病灶区域NAC疗效预测方法，包括如下步骤：

S1：点击【加载MRI影像数据】，选择要显示的乳腺MRI图像，支持加载的影像数据格式为DICOM格式。

S2：加载完成后将在右上方的【序列信息显示区】显示DICOM序列信息，在下方的【影像数据显示区】对MRI影像进行横轴位、矢状位和冠状位三视图的显示，并支持切片转换、坐标显示等其他查看图像功能。

S3：判断读取的图像是否需要预处理，包含图像去噪、图像标准化、图像剪裁等操作。如需要调用步骤S4，选择软件提供的预处理方法，否则转向步骤S5。

S4:根据用户选择的预处理方法，调用相应接口完成操作并显示。

S5:点击【NAC疗效预测】，软件后台将读取图像输入至病灶区域分割模型完成病灶区域分割。

S6：后台将得到病灶区域和图像一同输入至基于多实例学习的疗效预测模型进行多特征提取并融合后生成最终的疗效预测结果。

S7:输出并显示最终诊断结果，点击【图像保存】，选择要保存的影像视图(横轴位、矢状位、冠状位)，将会保存当前展示区内所选的影像视图为.jpg格式存储至系统。

以上所述实施例仅表达了本发明的实施方式，其描述较为具体，但并不能因此理解为对本发明专利范围的限制。应当指出，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应当以所附权利要求为准。