公开/公告号CN113052186A
专利类型发明专利
公开/公告日2021-06-29
原文格式PDF
申请/专利权人 华中科技大学同济医学院附属协和医院;
申请/专利号CN202110287453.7
申请日2021-03-17
分类号G06K9/46(20060101);G06K9/62(20060101);G06N3/04(20060101);G06N3/08(20060101);G16H50/80(20180101);
代理机构42264 武汉信合红谷知识产权代理事务所(特殊普通合伙);
代理人蒋明
地址 430022 湖北省武汉市江汉区解放大道1277号
入库时间 2023-06-19 11:39:06
技术领域
本发明涉及医学诊断和追踪模型技术领域，特别涉及一种基于影像学的新冠肺炎诊断和病情追踪方法及系统。
背景技术
目前，对于新冠肺炎的诊断和病情追踪大多采用人工检测或者设备检测，比如基于咽拭子采集的核酸检测，需要医务人员近距离接触，工作量大、检测耗时长，且存在交叉感染风险。虽然现有技术也出现了一些可以减轻交叉感染风险的防护设施，比如采样亭，可以将医患进行空间隔离，但是仍然存在采样工作量大、成本较高的问题。目前，还没有一种用于新冠肺炎的诊断和病情追踪的AI模型，可以减轻医务人员工作量。
申请号CN202010907271.0的专利公开了一种基于深度图的新冠肺炎多模态特征提取融合方法及系统，融合过程由数据表征和数据融合两个阶段构成，在数据表征阶段，综合利用CT影像数据和临床生理指标数据，采用基于图神经网络的语义分割模型来提取肺炎感染部位的高级ROI特征，接着将提取到的ROI特征和其他临床数据转化为图的结构，利用图嵌入技术构建统一的多模态数据表征空间；在特征融合阶段，基于自注意力机制在医学影像图、生理指标图、医疗报告文本之间进行多模态特征融合和逻辑推理，为新冠肺炎诊断提供数据支撑。
但是，上述专利在进行特征提取融合中，需要借助于临床生理指标数据、生理指标图、医疗报告文本等，而临床生理指标数据仍然需要人工检测或者设备检测，同样存在工作量大、检测耗时长，且存在交叉感染风险的问题。
发明内容
(一)解决的技术问题
本发明的目的在于提供一种基于影像学的新冠肺炎诊断和病情追踪方法及系统，以解决现有技术没有用于新冠肺炎的诊断和病情追踪的AI模型，诊断和病情追踪需要人工检测或者设备检测得出生理指标数据，存在工作量大、检测耗时长，且存在交叉感染风险的问题。
(二)技术方案
为实现上述基于影像学的新冠肺炎诊断和病情追踪方法及系统解决现有技术没有用于新冠肺炎的诊断和病情追踪的AI模型，诊断和病情追踪需要人工检测或者设备检测得出生理指标数据，存在工作量大、检测耗时长，且存在交叉感染风险的问题，本发明提供如下技术方案：
一种基于影像学的新冠肺炎诊断和病情追踪方法，包括以下步骤：
将患者CT图像载入卷积神经网络中提取浅层特征；
将所述浅层特征通过D层残差密集块RDB均进行局部特征融合，得到稠密残差特征；
将所述D层残差密集块RDB的每层对应的稠密残差特征串联后并通过一个1*1卷积核的卷积进行融合，得到全局特征；
将所述浅层特征与全局特征通过残差连接融合在一起进行全局特征学习，得到全局学习特征并进行放大操作，堆叠一个向上缩放层以获得特征提取后的图像；
最终通过softmax分类器对特征提取后的图像进行分类，输出所述特征提取后的图像的分类结果所对应患者是否属于新冠肺炎患者，如果是则提取病灶区域。
优选的，所述将CT图像载入卷积神经网络中进行浅层特征提取，使用两个卷积层来提取浅层特征，具体为公式为：
公式中，W
优选的，所述D层残差密集块RDB中第d层残差密集块RDB输出的稠密残差特征F
F
公式中f
优选的，所述D层残差密集块RDB中每层残差密集块RDB包括五个3*3卷积核的卷积，所述卷积核通过稠密网络连接，并将通过稠密网络连接后的卷积核串联后并通过1×1卷积层进行局部特征融合，最后将第d层残差密集块RDB局部特征融合后的稠密残差特征与第d-1层残差密集块RDB的稠密残差特征进行局部残差连接；其中，所述局部特征融合定义为：
公式中
F
其中F
优选的，所述将所述通过D层残差密集块RDB处理得到稠密残差特征串联后并通过一个1*1卷积核的卷积进行融合，得到全局特征，表示为：
公式中
优选的，所述将所述浅层特征与全局特征通过残差连接融合在一起进行全局特征学习，得到全局学习特征并进行放大操作，堆叠一个向上缩放层以获得特征提取后的图像，其中：
所述浅层特征与全局特征通过残差连接融合在一起进行全局特征学习，表示为：
F
将全局学习特征进行放大操作，堆叠一个向上缩放层以获得特征提取后的图像，表示为：
I
优选的，所述患者CT图像输入n次，提取出n次病灶特征，并将所述n次病灶特征赋予权重α1～αn，联合输出判断结果进行病情追踪，其中α1+α2+…+αn＝1。
本发明还提供一种基于影像学的新冠肺炎诊断和病情追踪系统，包括：
浅层特征提取模块，用于将患者CT图像载入卷积神经网络中提取浅层特征；
稠密残差特征提取模块，用于将所述浅层特征通过D层残差密集块RDB进行局部特征融合得到稠密残差特征；
全局特征融合模块，用于将通过所述通过D层残差密集块RDB处理得到稠密残差特征串联后并通过一个1*1卷积核的卷积进行融合，得到全局特征；
全局残差学习模块，用于将所述浅层特征与全局特征通过残差连接融合在一起进行全局特征学习，并进行放大操作，堆叠一个向上缩放层以获得特征提取后的图像；
图像分类模块，用于通过softmax分类器对特征提取后的图像进行分类，输出所述特征提取后的图像的分类结果所对应患者是否属于新冠肺炎患者，如果是则提取病灶区域。
优选的，还包括病情追踪模块，用于将患者CT图像输入n次，提取出n次病灶特征，并将所述n次病灶特征赋予权重α1～αn，联合输出判断结果进行病情追踪，其中α1+α2+…+αn＝1。
(三)有益效果
与现有技术相比，本发明提供了一种基于影像学的新冠肺炎诊断和病情追踪方法及系统，具备以下有益效果：本发明基于患者CT图像，通过卷积神经网络技术进行各类特征提取，通过特征提取结果，判断所对应患者是否属于新冠肺炎患者，如果是则提取病灶区域。同时，还可以将患者多次CT图像结果按照时间序列导入至病情追踪网络中，对于每次输入的CT图像结果，都使其经过RDN网络并提取出病灶特征，联合输出判断结果。本发明基于医学图像和神经网络技术，通过智能方式实现新冠肺炎病症的诊断和病情追踪，可以避免采用人工检测或者设备检测等手段得出临床生理数据，减轻医生工作量，减少了人力物力成本。
附图说明
图1为本发明一种基于影像学的新冠肺炎诊断系统原理图；
图2为本发明一种基于影像学的新冠肺炎诊断系统的残差密集块RDB的原理图；
图3为本发明一种基于影像学的新冠肺炎病情追踪系统的原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本实施例提供一种基于影像学的新冠肺炎诊断和病情追踪方法，包括以下步骤：
将患者CT图像载入卷积神经网络中提取浅层特征；
将浅层特征通过D层残差密集块RDB均进行局部特征融合，得到稠密残差特征；
将所述D层残差密集块RDB的每层对应的稠密残差特征串联后并通过一个1*1卷积核的卷积进行融合，得到全局特征；
将浅层特征与全局特征通过残差连接融合在一起进行全局特征学习，得到全局学习特征并进行放大操作，堆叠一个向上缩放层以获得特征提取后的图像；
最终通过softmax分类器对特征提取后的图像进行分类，输出特征提取后的图像的分类结果所对应患者是否属于新冠肺炎患者，如果是则提取病灶区域。
本实施例中，将CT图像载入卷积神经网络中进行浅层特征提取，使用两个卷积层来提取浅层特征，具体为公式为：
公式中，W
本实施例中，D层残差密集块RDB中第d层残差密集块RDB输出的稠密残差特征F
F
公式中f
本实施例中，D层残差密集块RDB中每层残差密集块RDB包括五个3*3卷积核的卷积，卷积核通过稠密网络连接，并将通过稠密网络连接后的卷积核串联后并通过1×1卷积层进行局部特征融合，最后将第d层残差密集块RDB局部特征融合后的稠密残差特征与第d-1层残差密集块RDB的稠密残差特征进行局部残差连接；其中，局部特征融合定义为：
公式中
F
其中F
本实施例中，将通过D层残差密集块RDB处理得到稠密残差特征串联后并通过一个1*1卷积核的卷积进行融合，得到全局特征，表示为：
公式中
本实施例中，将浅层特征与全局特征通过残差连接融合在一起进行全局特征学习，得到全局学习特征并进行放大操作，堆叠一个向上缩放层以获得特征提取后的图像，其中：
浅层特征与全局特征通过残差连接融合在一起进行全局特征学习，表示为：
F
将全局学习特征进行放大操作，堆叠一个向上缩放层以获得特征提取后的图像，表示为：
I
如图3所示，本实施例还提供基于影像学的新冠肺炎病情追踪方法，具体为：将患者多次CT图像结果按照时间序列导入至病情追踪网络中，多次CT图像结果分别计为1～n次，对于每次输入的CT图像结果，都使其经过上述卷积神经网络并提取出病灶特征，并分别给输入1～n次所提取的病灶特征赋予权重α1～αn，其中α1+α2+…+αn＝1，联合输出判断结果进行病情追踪，以得到患者是否存在肺累及情况加重、无明显改变或者病情减轻，如果肺累及情况加重，进一步判断其是否有危重型风险。
实施例2
如图1、2所示，一种基于影像学的新冠肺炎诊断和病情追踪系统，包括：
浅层特征提取模块，即卷积(Conv)操作，用于将患者CT图像载入卷积神经网络中提取浅层特征；本实施例中拟定仅使用一个卷积核为3*3的卷积操作；
稠密残差特征提取模块，用于将浅层特征通过D层残差密集块RDB进行局部特征融合得到稠密残差特征；本实施例使用3个RDB，如图2所示，每个RDB分别由五个3*3卷积核的卷积(Conv)、串联(Concat)、稠密网络、一个1*1卷积核的卷积(Conv 1*1)和残差(图2中以
全局特征融合模块，用于将通过通过D层残差密集块RDB处理得到稠密残差特征串联后并通过一个1*1卷积核的卷积进行融合，得到全局特征；如图1所示，将三个RDB的输出进行串联(Concat)后，通过一个1*1卷积核的卷积(Conv)；
全局残差学习模块，用于将浅层特征与全局特征通过残差连接融合在一起进行全局特征学习，并进行放大操作，堆叠一个向上缩放层以获得特征提取后的图像；如图1所示，即通过求残差(图1中以
图像分类模块，用于通过softmax分类器对特征提取后的图像进行分类，输出特征提取后的图像的分类结果所对应患者是否属于新冠肺炎患者，如果是则提取病灶区域；其中，使用Softmax分类器进行二分类，将深度神经网络中的学习结果作为softmax分类器的输入数据，Softmax回归是面向多类分类问题的Logistic回归，针对本实施例其具体实现方法为：
将特征提取后的图像数据I
其中，θ
代价函数对第j个类别的第1个参数的偏导数为：
式中，j为类别数，m为训练集的类别数，P(y
如图3所示，还包括病情追踪模块，用于将患者多次CT图像结果按照时间序列导入至病情追踪网络中，多次CT图像结果分别计为1～n次，对于每次输入的CT图像结果，都使其经过上述卷积神经网络并提取出病灶特征，并分别给输入1～n次所提取的病灶特征赋予权重α1～αn，其中α1+α2+…+αn＝1，联合输出判断结果进行病情追踪，以得到患者是否存在肺累及情况加重、无明显改变或者病情减轻，如果肺累及情况加重，进一步判断其是否有危重型风险。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
机译： 基于多模式神经影像学的诊断系统和检测耳鸣的方法
机译： 基于多模态神经影像学的诊断系统和方法
机译： 基于无线传感器监测数据的病情监测诊断系统及方法
