一种用于癌症诊断的多模态影像分析方法及系统

技术领域

本发明涉及影像数据分析技术领域，尤其涉及一种用于癌症诊断的多模态影像分析方法及系统。

背景技术

癌症早期筛查与治疗已成为全世界的重大卫生问题，影像学检查则是实现乳腺癌、甲状腺癌等癌症早期发现和治疗的主要医疗手段。目前常用的影像技术包括乳腺X线摄影、超声、MRI等，不仅可以实现病灶的定位也可以对整个肿瘤组织进行观察和评估，如位置、数目、大小、形状、边缘形态、密度、内部回声、信号或增强程度。医生通过对医学影像图片的观察对癌灶进行定位判断以及进一步尽可能的肿瘤病理类型评估，但在医疗影像领域，存在着医生供需缺口大、进入门槛高、医疗资源分布不均衡、数据量急速增长等难题。随着人工智能技术的不断突破以及与医疗领域的逐渐融合，人工智能成为解决这些挑战的关键而有效的手段。此项技术能够为医师提供客观有效的诊断依据。同时，在减轻医师工作负担、降低误诊和漏诊风险、提高检出率和诊断准确率等方面也可发挥作用。例如像乳腺癌的癌症分子标记物的表达及生物学行为。根据癌症分子标记物的表达及生物学行为，可分为几种临床亚型，这些基于分子生物学的分型是临床上选择最适当治疗方法的重要参考，并在个体化治疗方面颇有价值。在所有分子标记物中，雌激素受体(estrogen receptor，ER)、孕激素受体(progesterone receptor，PR)及人表皮生长因子受体2(human epidermalgrowth factorreceptor 2，HER-2)的表达状态在个体化治疗决策中最重要，已有针对这些分子标记物阳性表达的内分泌治疗及靶向治疗。因此，能及早发现并鉴别诊断此类恶性程度高的乳腺癌、甲状腺癌等癌症对患者预后及临床诊治具有较大指导价值。

以乳腺癌为例，不同类型的乳腺癌在影像上有着不同的特征，比如HER2、过表达型的乳腺癌往往表现为边缘模糊不光整及后方回声衰减，三阴性乳腺癌(TNBC)通常表现为边缘较光整和后方回声增强，这就给了我们使用人工智能(AI)及早发现乳腺癌并判别病理类型提供可能。然而，目前乳腺癌影像组学的分析采用与单一的高频超声或X线钼钯或核磁共振(MRI)影像学检查模式相结合，对乳腺癌病理分型评估的准确性仍然较低，临床效果差，往往需要进一步有创的组织病理学检查。然而，活检或术后的病理检测只采取一部分肿瘤样本组织，忽略了肿瘤尤其是较大肿块组织可能存在的异质性，存在一定的局限性。

因此，亟需一种准确性高的用于癌症诊断的多模态影像分析方案。

发明内容

本发明的主要目的在于提供一种用于癌症诊断的多模态影像分析方法及系统，旨在辅助医生提升筛查效率，有效降低漏诊和误诊。

本发明提供一种用于癌症诊断的多模态影像分析方法，所述方法包括以下步骤：

采集病灶区影像，通过特征金字塔网络提取疑似病灶区域；

对疑似病灶候选区域采用基于上下文特征的假阳性衰减网络进行分类，提取出真阳性ROI；

将提取到的真阳性ROI多尺寸变换后输入到集成神经网络中，进行特征提取并构建预测模型，结合临床病理信息预测病理类型概率，输出集成神经网络中病理类型概率的加权平均值。

在上述技术方案的基础上，采集病灶区影像，通过特征金字塔网络提取疑似病灶区域，具体包括以下步骤：

采用特征金字塔网络对输入图像进行划窗处理，自动提取划窗的特征；

靠近输入图像的浅层的提取采用小尺度特征，靠近输出的深层的提取采用大尺度特征；

对每个分辨率的特征图叠加后一分辨率放大两倍的特征图，生成融合不同分辨率、不同语义强度特征的预测特征图；

针对预测特征图，采用Focal loss进行疑似病灶区域提取；

所述Focal loss公式为：

FL(p

其中p

在上述技术方案的基础上，对疑似病灶候选区域采用基于上下文特征的假阳性衰减网络进行分类，提取出真阳性ROI，具体包括以下步骤：

采用上一步检测提供的中心点(X,Y)，以W×H的固定尺寸取出一块区域Ω

将融合后的特征输入到全连接层中，通过Softmax分类判断疑似区域是否为真正ROI，Softmax计算公式如式(2)：

其中P

在上述技术方案的基础上，将提取到的真阳性ROI多尺寸变换后输入到集成神经网络中，进行特征提取并构建预测模型，结合临床病理信息预测病理类型概率，输出集成神经网络中病理类型概率的加权平均值，具体包括以下步骤：

将提取到的真阳性ROI以大、中、小三个尺寸输入到集成神经网络中；所述集成神经网络由多个分类网络组成，包括ResNet网络、DenseNet网络以及SENet网络；

在每个网络分别对输入的图像进行卷积、池化操作，提取影像特征f

对其临床病理信息进行量化获得特征f

f＝f

将融合后的特征层f输入到全局平均池化层中，将全局平均池化层中每个特征图中的值加起来求平均值；

将结果传递给Softmax层得到淋巴结转移概率P

设三个网络输出的病理类型概率分别为P

在上述技术方案的基础上，所述病理类型概率P计算公式为：

P＝μP

其中μ、ω、φ分别为三个概率的权重，且μ+ω+φ＝1。

在上述技术方案的基础上，所述临床病理信息包括性别、年龄段、肿瘤史。

本发明还提供一种用于癌症诊断的多模态影像分析系统，包括：

疑似病灶区域提取模块，其用于：采集病灶区影像，通过特征金字塔网络提取疑似病灶区域；

真阳性ROI提取模块，其用于：对疑似病灶候选区域采用基于上下文特征的假阳性衰减网络进行分类，提取出真阳性ROI；

病理类型概率分析模块，其用于：将提取到的真阳性ROI多尺寸变换后输入到集成神经网络中，进行特征提取并构建预测模型，结合临床病理信息预测病理类型概率，输出集成神经网络中病理类型概率的加权平均值。

在上述技术方案的基础上，所述疑似病灶区域提取模块具体用于：

采用特征金字塔网络对输入图像进行划窗处理，自动提取划窗的特征；

靠近输入图像的浅层的提取采用小尺度特征，靠近输出的深层的提取采用大尺度特征；

对每个分辨率的特征图叠加后一分辨率放大两倍的特征图，生成融合不同分辨率、不同语义强度特征的预测特征图；

针对预测特征图，采用Focal loss进行疑似病灶区域提取；

所述Focal loss公式为：

FL(p

其中p

在上述技术方案的基础上，所述真阳性ROI提取模块具体用于：

采用上一步检测提供的中心点(X,Y)，以W×H的固定尺寸取出一块区域Ω

将融合后的特征输入到全连接层中，通过Softmax分类判断疑似区域是否为真正ROI，Softmax计算公式如式(2)：

其中Pi为真假ROI概率，i代表特征经过全连接层后对应真阳性和假阳性类别的输出值，j代表第j个ROI的网络输出值。

在上述技术方案的基础上，所述病理类型概率分析模块具体用于：

将提取到的真阳性ROI以大、中、小三个尺寸输入到集成神经网络中；所述集成神经网络由多个分类网络组成，包括ResNet网络、DenseNet网络以及SENet网络；

在每个网络分别对输入的图像进行卷积、池化操作，提取影像特征f

对其临床病理信息进行量化获得特征f

f＝f

将融合后的特征层f输入到全局平均池化层中，将全局平均池化层中每个特征图中的值加起来求平均值；

将结果传递给Softmax层得到淋巴结转移概率P

设三个网络输出的病理类型概率分别为P

所述病理类型概率P计算公式为：

P＝μP

其中μ、ω、φ分别为三个概率的权重，且μ+ω+φ＝1。

与现有技术相比，本发明的优点在于：

本申请通过特征金字塔网络提取疑似病灶区域，采用基于上下文特征的假阳性衰减网络进行分类，提取出真阳性ROI；采用基于残差网络的分类神经网络，稳定准确地预测病理类型，实现辅助医生提升筛查效率，有效降低漏诊和误诊，有助于基层医院基于医学影像的癌症诊断与合理治疗。

附图说明

图1为本发明实施例的用于乳腺癌诊断的多模态影像分析方法的总体框架示意图；

图2为本发明实施例的用于癌症诊断的多模态影像分析方法的总体流程示意图；

图3为本发明实施例的用于乳腺癌诊断的多模态影像分析方法的FPN网络结构示意图；

图4为本发明实施例的用于乳腺癌诊断的多模态影像分析方法的假阳性网络衰减结构示意图；

图5为本发明实施例的用于乳腺癌诊断的多模态影像分析方法的基于多类特征的多尺寸集成神经网络示意图。

具体实施方式

参见图1和图2所示，本发明实施例提供一种用于癌症诊断的多模态影像分析方法，所述方法包括以下步骤：

采集病灶区影像，通过特征金字塔网络提取疑似病灶区域；

对疑似病灶候选区域采用基于上下文特征的假阳性衰减网络进行分类，提取出真阳性ROI；

将提取到的真阳性ROI多尺寸变换后输入到集成神经网络中，进行特征提取并构建预测模型，结合临床病理信息预测病理类型概率，输出集成神经网络中病理类型概率的加权平均值。

本发明实施例的方法可以适用于乳腺癌、甲状腺癌等癌症的诊断。以下以乳腺癌为例详细说明本发明实施例的多模态影像分析方法的具体实施步骤。

(1)临床数据收集

本发明实施例筛选符合以下入选标准的乳腺癌患者纳入研究：

(a)患者均为术后病理证实；(b)病理资料完整，具有明确的ER、PR和HER2检查结果；(c)患者术前在我院行乳腺X线钼靶、超声及MRI检查且检查资料完整。排除标准：影像检查前患者接受过乳腺癌放化疗；患者无其他恶性肿瘤病史；图像质量差，不能满足分析要求。

所有超声影像的收集均采用GE LogiqE9彩色超声诊断仪，线阵探头，频率8～12MHz。患者取仰卧位，根据乳腺病灶特点选择适当频率、深度、焦点、增益及时间增益补偿曲线，以达到最佳灰阶超声成像质量。对每个乳腺病灶选取最大长轴切面的声像图。X线钼靶检查采用全数字化乳腺X线摄影机及配套的后处理工作站，选择Auto-Filter模式进行曝光，拍摄标准双侧乳腺头尾位(craniocaudal，CC)和内外斜位(mediolateral obique，MLO)片。所有病人MRI检查使用3.0T磁共振扫描仪，使用乳腺专用相控阵线圈采集信号。检查时患者取俯卧位、脚先进，将双侧乳腺自然悬垂于专用乳腺相控阵线圈的凹形孔内，同时扫描双侧乳腺。扫描序列包含轴位T1WI、脂肪抑脂T2WI和三维乳腺容积成像动态增强扫描。)

(2)特征金字塔网络

为了解决图像中乳腺癌病灶大小不同的问题，利用特征金字塔网络(FeaturePyramid Networks，FPN)对输入图像进行划窗处理，自动提取划窗的特征。靠近输入图像的浅层提取的是小尺度特征，靠近输出的深层提取的是大尺度特征。对每个分辨率的特征图叠加后一分辨率放大两倍的特征图，通过这种连接，每一层预测所用的特征图都融合了不同分辨率、不同语义强度的特征。网络在利用融合后的特征图在多个尺度上预测，可以有效的解决乳腺癌病灶区域尺寸变化的问题。FPN网络结构如图3所示。

而在提取疑似乳腺癌病灶区域时，FPN网络可能会生成许多的候选框，但是其中只有很少一部分包含真实病灶，这会导致FPN网络的检测效果降低。针对模型训练时真阳性样本与假阳性样本不均衡问题，使用Focal loss进行难例挖掘。

Focal loss的公式在标准交叉熵损失基础上修改得到，Focal loss公式如下式(1)所示，

所述Focal loss公式为：

FL(p

其中p

(3)假阳性衰减网络

利用FPN网络提取疑似乳腺癌病灶区域时，为了避免漏检，会检出许多不包含病灶的区域，即假阳性样本。尽管FPN网络在训练时使用Focal loss降低假阳性样本的检出，但是Focal loss的效果有限，假阳性率依然比较高。为了进一步降低假阳性率，将第一步得到的疑似病灶候选区域使用假阳性衰减网络进行分类。假阳性衰减网络结构如图4所示。

具体流程是采用上一步检测提供的中心点(X,Y)，以W×H的固定尺寸取出一块区域Ω

将融合后的特征输入到全连接层中，通过Softmax分类判断疑似区域是否为真正ROI，Softmax计算公式如式(2)：

其中Pi为真假ROI概率，i代表特征经过全连接层后对应真阳性和假阳性类别的输出值，j代表第j个ROI的网络输出值。

(4)基于多类特征的多尺寸集成神经网络

为了解决乳腺癌病灶区域影像特征难提取以及单一影像特征预测效果不佳的问题，提出了一种基于多类特征的多尺寸集成神经网络。网络的框架如下图4所示，并以其中一个网络为例具体介绍预测过程。

将提取到的真阳性ROI以大、中、小三个尺寸输入到集成神经网络中；所述集成神经网络由多个分类网络组成，包括ResNet网络、DenseNet网络以及SENet网络；

在每个网络分别对输入的图像进行卷积、池化操作，提取影像特征f

对其临床病理信息进行量化获得特征f

f＝f

将融合后的特征层f输入到全局平均池化层中，将全局平均池化层中每个特征图中的值加起来求平均值；

将结果传递给Softmax层得到淋巴结转移概率P

参见图5所示，设三个网络输出的病理类型概率分别为P

所述病理类型概率P计算公式为：

P＝μP

其中μ、ω、φ分别为三个概率的权重，且μ+ω+φ＝1。

本申请整合和应用多模态影像数据(MRI、钼靶X线及超声)，发挥不同影像优势，通过深度信息挖掘准确判定乳腺癌病灶、图像隐匿性症状，减少检查盲区。充分利用影像特征，发挥深度学习神经网络强大的学习与预测能力，并结合临床数据输入到多个网络中预测，提升病理类型预测的准确度和稳定性。

医学图像的分辨率低、背景噪声大，并且图像中癌灶大小不一。为了能够得到准确的乳腺癌病灶区域，本申请使用特征金字塔网络提取图像的多尺度特征，并在多个尺度上预测乳腺癌病灶区域的位置与概率，保证大小病灶区域都可以检测到，避免漏检的发生。同时，为了过滤不包含病灶区域的假阳性样本，后续利用假阳性衰减网络结合图像的全局特征和局部特征，对检测出的疑似病灶区域进行筛选，实现病灶区域的准确提取。

单一的网络因为结构大小受限以及训练样本不够丰富等原因导致模型无法充分学习与乳腺癌及其病理类型相关的影像学特征。本申请运用不同分类网络的优势，取长补短，集成一个强大的预测模型提升整体性能。而单一的影像特征也不能充分发挥深度学习神经网络强大的学习与预测能力，因此本申请将获取的乳腺癌病灶在多尺寸上提取影像特征，并结合临床数据输入到多个网络中预测，综合所有网络的预测结果，提升乳腺癌及其病理类型预测的准确度和稳定性。

本发明实施例还提供一种用于癌症诊断的多模态影像分析系统，包括：

疑似病灶区域提取模块，其用于：采集病灶区影像，通过特征金字塔网络提取疑似病灶区域；

真阳性ROI提取模块，其用于：对疑似病灶候选区域采用基于上下文特征的假阳性衰减网络进行分类，提取出真阳性ROI；

病理类型概率分析模块，其用于：将提取到的真阳性ROI多尺寸变换后输入到集成神经网络中，进行特征提取并构建预测模型，结合临床病理信息预测病理类型概率，输出集成神经网络中病理类型概率的加权平均值。

作为优选的实施方式，所述疑似病灶区域提取模块具体用于：

采用特征金字塔网络对输入图像进行划窗处理，自动提取划窗的特征；

靠近输入图像的浅层的提取采用小尺度特征，靠近输出的深层的提取采用大尺度特征；

对每个分辨率的特征图叠加后一分辨率放大两倍的特征图，生成融合不同分辨率、不同语义强度特征的预测特征图；

针对预测特征图，采用Focal loss进行疑似病灶区域提取；

所述Focal loss公式为：

FL(p

其中p

作为优选的实施方式，所述真阳性ROI提取模块具体用于：

采用上一步检测提供的中心点(X,Y)，以W×H的固定尺寸取出一块区域Ω

将融合后的特征输入到全连接层中，通过Softmax分类判断疑似区域是否为真正ROI，Softmax计算公式如式(2)：

其中Pi真假ROI概率，i代表特征经过全连接层后对应真阳性和假阳性类别的输出值，j代表第j个ROI的网络输出值。

作为优选的实施方式，所述病理类型概率分析模块具体用于：

将提取到的真阳性ROI以大、中、小三个尺寸输入到集成神经网络中；所述集成神经网络由多个分类网络组成，包括ResNet网络、DenseNet网络以及SENet网络；

在每个网络分别对输入的图像进行卷积、池化操作，提取影像特征f

对其临床病理信息进行量化获得特征f

f＝f

将融合后的特征层f输入到全局平均池化层中，将全局平均池化层中每个特征图中的值加起来求平均值；

将结果传递给Softmax层得到淋巴结转移概率P

设三个网络输出的病理类型概率分别为P

所述病理类型概率P计算公式为：

P＝μP

其中μ、ω、φ分别为三个概率的权重，且μ+ω+φ＝1。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。