一种肺部CT图像的识别分类方法

技术领域

本发明涉及医疗图像处理技术领域，尤其是涉及一种肺部CT图像的识别分类方法识别。

背景技术

肺部CT影像分层薄、高清、低噪声，众多研究者利用神经网络的学习能力，通过计算机辅助系统在CT图像的分类和识别领域进行了大量工作，并且取得了一定成果，目前，对肺部CT图像的识别已经取得了非常好的发展，但是对于肺部CT图像的识别和分类鲜有涉及。

肺部CT图像的分类通常分为三步：首先对肺部CT图像进行感兴趣区域的识别，然后对假阳感兴趣区域进行筛除，即对第一步中识别得到的感兴趣区域进行进一步识别，筛除其中的正常区域，最后对剩下的真阳性感兴趣区域进行分类。

然而基于传统机器学习的方法，在图像中只能提取预先定义的形态特征，导致识别出来的假阳感兴趣区域数量仍然很多。2015年Olaf Ronneberger等人提出U-Net网络，该网络结构在多种医学图像分割任务上均取得了不错的成果，而在假阳性识别任务上，QiDou等人于2017年提出的3D CNN网络不仅解决了样本不平衡的问题，也在判别假阳区域上取得了优异成果，该网络图以候选位置坐标为中心切割三个不同大小的立方体并送入网络，分别训练三个包含不同层次上下文信息的三维卷积网络，将这些网络的后验预测融合在一起，得到最终的分类结果，但该网络结构存在需要手动控制每个尺度权重的问题。Bum-ChaeKim等人于2019年提出了“Multi-scale gradual integration CNN for falsepositive reduction in Pulmonary nodule detection”则将三个网络融合到一起，在3DCNN网络的基础上增加了多级特征融合部分和渐变特征提取部分，也提高了假阳识别的准确率，但直接利用3D网络来识别和分类，即在肺部CT图像内以立方体大小采用滑窗机制扫过并将其送入网络进行识别和分类，整个过程的时间长，识别和分类操作被严重拖慢，并且GPU占比较高，可落地实用性和可拓展性不大。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种速度快、实用性高的肺部CT图像的识别分类方法。

本发明的目的可以通过以下技术方案来实现：

一种肺部CT图像的识别分类方法，包括以下步骤：

1)获取肺部CT图像数据集并进行预处理，得到训练样本；

2)利用训练样本训练二维卷积神经网络，构建分割模型，用于识别肺部CT图像多类别的感兴趣区域；

3)利用分割模型识别的多类别感兴趣区域，在原肺部CT图像中裁剪出多个不同大小的三维图像块并进行分类类别标注；

4)利用三维图像块及其标注训练三维多尺度融合神经网络，构建假阳识别分类模型，用于筛除假阳感兴趣区域并对真阳感兴趣区域进行分类；

5)利用训练完成的分割模型和假阳识别分类模型对待分类的肺部CT图像进行分类和假阳筛除。

优选地，所述的二维卷积神经网络采用U-Net网络，所述的三维多尺度融合神经网络采用MGI-CNN融合网络。

进一步地，步骤2)具体包括：

21)对训练样本数据进行数据增强；

22)对训练样本数据进行数据类型转换，将图片像素值转换成float类型并进行通道归一化；

23)构建U-Net网络结构及其损失函数；

24)将训练样本的标准分割图像作为标签，对U-Net网络进行训练，得到分割模型。

更进一步地，所述的U-Net网络模型包括收缩路径和扩展路径，所述的收缩路径用于捕捉肺部CT图像中的上下文信息，所述的扩展路径用于对肺部CT图像中的感兴趣区域进行定位。

更进一步地，所述的训练样本中包括肺部CT图像的真值mask图，所述的真值mask图通过CT数据集中的标注文件提取，所述的分割模型用于对原始肺部CT图像进行感兴趣区域分割，并输出预测mask图。

更进一步地，所述的U-Net网络的损失函数的表达式为：

其中，y

进一步地，步骤1)具体包括：

11)根据肺部CT数据集中的标注文件，读取感兴趣区域的坐标以及半径；

12)进行世界坐标到体像素坐标之间的转换，得到2D图片；

13)根据转换后的坐标读取3D图片，并进行标准化操作；

14)根据步骤11)中得到的坐标及半径信息，确定感兴趣区域的中心点和长宽，并以此来生成mask图，其中，感兴趣兴趣区域内的像素值设为1，感兴趣区域外的像素值设为0。

进一步地，步骤4)具体包括：

41)获取预测mask图，并找到其中心坐标；

42)根据中心坐标在原肺部CT图像中裁剪出三个不同大小的三维图像块；

43)根据原肺部CT图像中人为标注的感兴趣区域类别，分别标注每个三维图像块的类别，并区分真阳感兴趣区域和假阳感兴趣区域；

44)构建MGI-CNN融合网络结构及其损失函数；

45)利用各类别对应的三维图像块及其标签作为训练集，对MGI-CNN融合网络进行训练，得到假阳识别分类模型。

更进一步地，所述的MGI-CNN融合网络首先获取三个不同大小的三维图像块，并将三个三维图像块调整为大小相同的尺寸后进行信息融合，得到Zoom-in特征和Zoom-out特征，然后将Zoom-in特征和Zoom-out特征通过卷积层调整到设定大小的特征并进行融合，最后得到分类信息和假阳识别信息。

更进一步地，所述的MGI-CNN融合网络的损失函数的表达式为：

其中，Loss

与现有技术相比，本发明具有以下优点：

1)本发明采用2D神经网络来构建分割模型，对感兴趣区域进行初步识别，相比于现有技术中直接采用3D神经网络进行感兴趣区域的识别，2D神经网络来构建的分割模型参数少、速度快、耗费资源少且对感兴趣区域的查全率高，尤其对于医院来说，对设备的要求低，有效提高了应用范围和可拓展性，实用用性高。

2)本发明在2D神经网络对感兴趣区域进行初步识别后，再采用3D神经网络来用于假阳感兴趣区域筛除和类别分类的假阳识别分类模型，弥补由于2D神经网络来构建的分割模型识别的感兴趣区域中假阳性感兴趣区域数量多问题，提高识别和分类的准确率，且在该阶段需要识别的数量相比于直接采用3D的卷积神经网络来识别而言少近三个数量级，有效提高对肺部CT图像的识别和分类的效率和准确率。

附图说明

图1为本发明方法的流程图；

图2为本发明方法训练流程示意图；

图3为本发明实施例中对各类别肺部CT图像的感兴趣区域识别结果示意图，其中，图(3a)、(3c)、(3e)和(3g)分别为四种类别的肺部CT图像，图(3b)、(3d)、(3f)和(3h)分别对应的mask图；

图4为本发明分割模型的U-Net网络结构示意图；

图5为本发明U-Net网络查全率示意图；

图6为本发明步骤3)的示意图；

图7为MGI-CNN融合网络对三种不同尺度进行信息融合的示意图；

图8为假阳识别分类模型的MGI-CNN融合网络结构示意图；

图9为假阳识别分类模型的AUC曲线图；

图10为本发明实施例中对肺结节类别和索条类别的分类结果示意图，其中，图(10a)为原始肺部CT图像，图(10b)为对应的mask图，图(10c)为结果图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

本发明公开了一种肺部CT图像的识别分类方法，为了适应肺部CT图像的识别和分类需求，解决现有技术的不足，本发明提供一种利用深度卷积神经网络来检测肺部CT中多类型区域的方法，它首先利用2D分割网络模型来定位感兴趣区域，达到高查全率且快速的目的，再利用3D检测网络来判别感兴趣区域，去除假阳性区域并对真阳性区域进行分类，克服了传统识别和分类算法在肺部CT图像中构建大量3D立方体检测的费时费资源的缺点。

如图1和图2所示，该方法包括以下步骤：

1)获取肺部CT图像数据集并进行预处理，得到训练样本；具体包括：

11)根据肺部CT数据集中的标注文件，读取感兴趣区域的坐标以及半径；

12)进行世界坐标到体像素坐标之间的转换，得到2D图片；

13)根据转换后的坐标读取3D图片，并进行标准化操作；

14)根据步骤11)中得到的坐标及半径信息，确定感兴趣区域的中心点和长宽，并以此来生成mask图，其中，感兴趣兴趣区域内的像素值设为1，感兴趣区域外的像素值设为0。

2)利用训练样本训练二维卷积神经网络，构建分割模型，用于识别肺部CT图像多类别的感兴趣区域，其中二维卷积神经网络采用U-Net网络；具体包括：

21)对训练样本数据进行数据增强；

22)对训练样本数据进行数据类型转换，将图片像素值转换成float类型并进行通道归一化；

23)构建U-Net网络结构及其损失函数；

24)将训练样本的标准分割图像作为标签，对U-Net网络进行训练，得到分割模型。

3)利用分割模型识别的多类别感兴趣区域，在原肺部CT图像中裁剪出多个不同大小的三维图像块并进行分类类别标注；

4)利用三维图像块及其标注训练三维多尺度融合神经网络，构建假阳识别分类模型，用于对肺部CT图像进行分类并筛除假阳感兴趣区域，其中三维多尺度融合神经网络采用MGI-CNN融合网络，具体包括：

41)获取预测mask图，并找到其中心坐标；

42)根据中心坐标在原肺部CT图像中裁剪出三个不同大小的三维图像块；

43)根据原肺部CT图像中人为标注的感兴趣区域类别，分别标注每个三维图像块的类别，并区分真阳感兴趣区域和假阳感兴趣区域；

44)构建MGI-CNN融合网络结构及其损失函数；

45)利用各类别对应的三维图像块及其标签作为训练集，对MGI-CNN融合网络进行训练，得到假阳识别分类模型。

5)利用训练完成的分割模型和假阳识别分类模型对待分类的肺部CT图像进行分类和假阳筛除。

训练样本中包括肺部CT图像的真值mask图，真值mask图通过CT数据集中的标注文件提取，分割模型用于对原始肺部CT图像进行感兴趣区域分割，并输出预测mask图，U-Net网络的损失函数的表达式为：

其中，y

MGI-CNN融合网络的损失函数的表达式为：

其中，Loss

本发明主要包括以下三个部分：

(1)肺部CT图像数据集的预处理得到训练样本，具体包括，对luna16数据集和天池数据集进行类别提取、坐标转换、大小放缩和真值mask图提取，包含如下步骤：

①首先根据luna16的数据集标注文件和天池数据集标注文件读取感兴趣区域坐标以及半径，并进行世界坐标到体像素坐标之间的转换：

上述公式中，voxelCoord是体像素坐标，origin表明图像中心点在肺部CT图像中的位置，spacing是两个像素之间的间隔。

②根据得到的转换坐标读取MHD文件中Z轴上的2D图片，进行标准化操作，将每个像素值标准化为0到1之间的数值并缩放到320*320大小：

其中，MIN和MAX分别为像素点最小值和最大值，I

③根据感兴趣区域的坐标及半径信息，就能确定一个感兴趣区域的中心点和长宽，我们以此来生成mask图，感兴趣区域内像素值为1，感兴趣区域外像素值为0。

(2)训练二维卷积神经网络U-Net形成分割模型，预测肺部多类别的分割图像，得到预测mask图，这一部分的目的是为了训练二维卷积神经网络U-Net分割模型，预测肺部多类别的分割图像，得到预测mask图，具体包含如下步骤：

①构建数据集

用训练样本的标准分割图像作为标签，对二维卷积神经网络U-Net进行训练，训练过程中要对训练样本进行数据增强，具体的数据增强方法包括：旋转、弹性变换以及改变图片明暗颜色和对比度等。

②数据类型转换

训练样本数据集在送入网络之前，要进行数据类型转换，即将图片像素值转换成float类型并进行通道归一化。

③网络模型的构建

U-Net网络由两个部分组成：一个是收缩路径，一个是扩展路径。收缩路径主要是用来捕捉医学影像中的上下文方面的信息的，而扩展路径的目的是为了对图片中所需要分割出来的部分进行精确的定位。为了达到精确定位的作用，收缩路径提取出来的高像素的特征会在上采样过程中与新的特征图进行结合，这样的操作可以最大程度保留前面模型在下采样过程中的一些重要信息。

④损失函数的构建

对于真值mask图和预测mask图，我们将两者得到的图像矩阵展开为y

K为平滑数，在这里设置为1，防止Loss分母为0的情况。

(3)训练三维多尺度融合神经网络MGI-CNN，预测多类型感兴趣区域的真假阳性概率，去除假阳感兴趣区域并对感兴趣区域进行精确识别和分类，具体包含如下步骤：

①数据准备与预处理

通过第(2)部分，得到预测mask图，再根据预测mask图找到中心坐标，用中心坐标在原MHD文件中裁剪出三个不同大小三维图像块，得到大小分别为40*40*26,30*30*10，20*20*6的三个立方体。再根据人为在这些训练样本原始图像中标注的感兴趣位置，对每个三维图像块进行标注，区分真阳感兴趣区域及假阳感兴趣区域。

②MGI-CNN融合网络结构构建

对40*40*26,30*30*10，20*20*6三个不同大小的立方体，分别记为S1，S2，S3，首先将他们调整为大小相同的尺寸：20*20*6，将三个不同尺度的信息进行融合，具体为：按照S1+S2+S3的方法和S3+S2+S1的拼接方法得到9*9*192大小的Zoom-in信息和Zoom-out信息，作为Zoom-in特征和Zoom-out特征，并将Zoom-in特征和Zoom-out特征先通过卷积层调整到9*9*256大小的特征并融合，训练结束能得到两种信息：分类信息和假阳识别信息。

③MGI-CNN融合网络模型训练

我们将四个类别的立方体及对应标签作为训练集，根据构建的三维多尺度融合3D神经网络来得到分类信息及假阳识别信息。网络训练基于随机梯度下降算法，并采用五折交叉验证方式，假阳损失函数采用sigmoid交叉熵损失函数：

其中，N为样本数，y

分类损失函数为多分类交叉熵损失函数，并且使用Adam优化器：

其中，N为样本数，M为类别数，本发明中为5(分别为正常、肺结节类别、肺部索条类别、动脉硬化或钙化类别以及淋巴结钙化类别)，y

最后假阳识别分类模型的损失函数为上述两类损失函数Loss

下面给出具体实施例：

一、数据预处理

(1)本实施例具体实施中所用的数据来自LUNA16和TIANCHI数据集，其中LUNA数据集包含885个肺部CT图像，共计1186个肺结节类别，该数据是4位有经验的胸部放射科医师在对肺部CT图像进行两次图像感兴趣区域标注而得的，天池数据集包含1470个肺部CT图像，四种类别数量共计12218，其中肺结节类别、索条类别、动脉硬化或钙化类别和淋巴结钙化类别的数量分别为：3264，3613，4201，1140。

(2)读取LUNA16和天池数据集对应的csv文件，将文件中的世界坐标转换为体像素坐标，并结合文件中的感兴趣区域直径长度定位感兴趣区域位置和大小,mask图中感兴趣区域区域像素标为1，其他区域标为0，并将mask图和2D图片统一放缩到320*320大小作为网络训练集，四种类别的训练集图片和对应的mask图如图3所示。

二、分割网络模型构建

这一阶段采用U-Net分割网络模型，如图4，因为LUNA16数据集只包含肺结节类别，所以将LUNA16预处理得到的训练集用来预训练网络。再将天池数据集经过预处理得到的训练集送入U-Net网络训练，其中采用ReduceLROnPlateau回调函数在模型无法改善时降低学习率。得到的训练结果用查全率accuracy作为指标来衡量，如图5。

三、筛除假阳性病灶与分类。

这一阶段采用三维多尺度融合神经网络MGI-CNN，我们在U-Net分割网络中能得到大量候选感兴趣区域，通过得到的感兴趣区域中心点位置得到40*40*26，30*30*10，20*20*6三个不同大小的立方体并将他们调整为20*20*6的相同尺寸，分别记为S1，S2，S3，如图6所示。

将三个不同尺度的信息进行融合，即按照S1+S2+S3的方法和S3+S2+S1的拼接方法得到9*9*192大小的Zoom-in信息和Zoom-out信息，如图7所示。网络输出结果为假阳识别信息和分类信息如图8所示，衡量指标为AUC信息如图9所示。本发明采用AUC(Area UnderCurve)曲线，AUC曲线被定义为ROC曲线下与坐标轴围成的面积，显然这个面积数值不会大于1，又由于y＝x这条直线围成的AUC面积为0.5，等于随机概率，没有应用价值。所以常见的ROC曲线一般都处于y＝x直线上方，取值范围在0.5到1之间，AUC越接近1.0表明识别方法准确性越高。

四、肺部CT多病种自动识别与分类结果

本发明提供的基于2D网络分割和3D网络假阳性判别及分类的肺部CT图像多类别感兴趣区域识别和分类方法，能够在分割阶段具有较高查全率的同时又具有较高假阳性病灶检出率，其中查全率为91.1％,检出及分类率为95.5％，准确率为87％，如图10所示为本实施例中对肺结节类别和索条类别的识别分类结果。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。