脑部CT图像的分割模型的训练方法、分割方法和训练装置

技术领域

本发明属于医学图像处理技术领域，具体地讲，涉及一种用于CT图像的分割模型的训练方法、分割方法、训练装置、分割装置、计算机可读存储介质、计算机设备。

背景技术

脑梗死是临床发病率较高的脑血管疾病，该病症会因脑部血液循环受阻，致使局部脑组织缺血、缺氧，进而出现软化坏死的情况。超急性期大面积脑梗死是脑梗死中较为严重的类型，若未能及时为患者进行诊断及治疗则会对患者生命安全构成严重威胁。因为计算机断层扫描(CT)成像快、成本低的优势，其在临床中被广泛用于快速诊断缺血性脑梗死。当前，CT影像分析主要由医生根据经验完成的，受过良好训练的放射科医生能够较好地辨认，但对缺血程度的判断一致性较差。同时在临床上，医生很难判别早期缺血变化的程度，尤其在超急性期中。除此之外，当前多才用手动的方法分割缺血病灶，但手动分割十分耗时，同时分割结果也依赖操作者的主观判断。然而，现有的超急性期脑缺血图像处理的精度低，误差大，检测不准确；同时如果对脑卒中不能够及时的评估风险，导致不能及时的治疗，贻误病情。

值得注意的是，在现有的关于脑卒中CT影像的研究工作中，包括相关的研究论文和相关专利中，大部分脑缺血分割和检测方法都是基于传统图像处理算法的基于传统图像处理方法，往往需要花大量算力去计算图像的形状，灰度，纹理特征等，检测速度和精度都不高。

另外也有部分学者提出采用深度学习方法，基于卷积神经网络进行分割任务，克服前期的图像特征提取困难，提高了分割速度，同时也有较好的分割精度。然而目前深度学习中采用的卷积神经网络较为单一，且全连接层的加入使得网络整体训练参数较为庞大，计算较为复杂，信息量大，网络训练时间较长，分割精度较差。后基于此改进的全卷积网络的整体分割精度依然较低，且基于像素的分类没有考虑像素之间的关系，缺乏空间一致性。

发明内容

(一)本发明所要解决的技术问题

本发明解决的技术问题是：如何提供一种能充分关注图像的空间信息和通道间联系的分割模型。

(二)本发明所采用的技术方案

一种脑部CT图像的分割模型的训练方法，待训练的分割模型包括编码网络和解码网络，所述训练方法包括：

获取待训练的编码网络根据带标签信息的脑部CT样本图像得到的输入特征图，所述输入特征图包括若干不同通道数的特征图；

获取待训练的解码网络根据所述输入特征图得到的分割结果，其中所述解码网络对若干不同通道数的特征图进行空间信息融合处理和通道信息融合处理，并对得到的空间融合特征和通道融合特征进行聚合处理，得到分割结果；

计算所述分割结果与脑部CT样本图像的标签信息之间的差异，并根据所述差异更新所述编码网络和所述解码网络的模型参数。

优选地，所述待训练的编码网络根据带标签信息的脑部CT样本图像得到的输入特征图的方法包括：

对所述带标签信息的脑部CT样本图像进行卷积处理得到底层特征图；

对所述底层特征图依次进行若干次卷积池化处理，得多若干份通道数递增的中间层特征图，其中第一次卷积池化处理的输入为所述底层特征图，每次卷积池化处理后输出一份中间层特征图并作为下一次卷积池化处理的输入；

对最后一次卷积池化处理后输出的中间层特征图进行非局部注意力处理，得到高层特征图，所述底层特征图、除最后一次卷积池化处理后输出的中间层特征图之外的其他中间层特征图、所述高层特征图构成所述输入特征图。

优选地，所述卷积池化处理的方法包括：

对输入依次进行两次卷积处理和一次最大池化处理，得到待输出特征；

将所述待输出特征的通道数增加一倍，得到中间层特征图。

优选地，所述解码网络包括由高级别至低级别依次级联的若干融合模块，每个所述融合模块包括空间融合单元、通道融合单元、聚合单元和上采样卷积单元，所述空间融合单元用于对特征图的空间信息进行加权处理，所述通道融合单元用于对特征图的通道信息进行加权处理，所述聚合单元用于聚合所述空间融合单元和所述通道融合单元的输出数据，所述上采样卷积单元用于对上一级所述融合模块的聚合单元输出的数据进行上采样、反卷积和卷积处理，并将得到的数据作为所述通道融合单元的输入数据，其中最高级的融合模块的上采样卷积单元的输入数据为所述高层特征图，各个融合模块的空间融合单元的输入数据为所述输入特征图中除所述高层特征图之外的其他特征图，且空间融合单元的输入数据的通道数随着级别递减，最低级的融合模块的聚合单元的输出数据为分割结果。

优选地，所述空间融合单元对特征图的空间信息进行加权处理的方法包括：

分别计算输入的特征图各像素的空间信息集合的平均值和最大值，得到平均值特征图和最大值特征图；

分别对所述平均值特征图和所述最大值特征图进行卷积处理，并通过PReLu函数激活，得到空间信息权重；

根据将所述空间信息权重与所述输入的特征图进行矩阵乘法运算，得到所述空间融合单元的输出数据。

优选地，所述通道融合单元对特征图的通道信息进行加权处理的方法包括：

分别对输入的特征图进行全局最大化处理和全局平均池化处理，并对全局最大化处理和全局平均池化处理得到结果进行矩阵加法运算，得到通道信息权重；

根据所述通道信息权重对所述输入的特征图进行sigmoid变换，得到所述通道融合单元的输出数据。

本申请还公开了一种用于脑部CT图像的分割方法，所述分割方法包括：

获取待检测的脑部CT图像；

将所述脑部CT图像输入到根据上述的训练方法进行训练得到的脑部CT图像的分割模型，分割模型输出检测结果。

本申请还公开了一种脑部CT图像的分割模型的训练装置，所述训练装置包括：

第一获取单元，用于获取待训练的编码网络根据带标签信息的脑部CT样本图像得到的输入特征图，所述输入特征图包括若干不同通道数的特征图；

第二获取单元，用于获取待训练的解码网络根据所述输入特征图得到的分割结果，其中所述解码网络对若干不同通道数的特征图进行空间信息融合处理和通道信息融合处理，并对得到的空间融合特征和通道融合特征进行聚合处理，得到分割结果；

训练单元，用于计算所述分割结果与脑部CT样本图像的标签信息之间的差异，并根据所述差异更新所述编码网络和所述解码网络的模型参数。

本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种方法。

本申请还公开了一种计算机设备，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的计算机程序，所述计算机程序被处理器执行时实现上述任一种方法。

(三)有益效果

本发明公开了一种脑部CT图像的分割模型的训练方法、分割方法，相对于现有方法，具有如下技术效果：

在训练过程中利用空间融合单元提取了编码阶段丰富的空间信息，使得解码层也能利用浅层丰富的空间信息，提高了分割的精度，同时利用通道融合单元建立了通道之间的动态非依赖关系，简化了学习过程，显著地增强了模型的表征能力。

附图说明

图1为本发明的实施例一的脑部CT图像的分割模型的训练方法的流程图；

图2为本发明的实施例一的编码网络的提取输入特征图的流程图；

图3为本发明的实施例一的分割模型的数据处理过程示意图；

图4为本发明的实施例一的空间融合单元的数据融合示意图；

图5为本发明的实施例一的通道融合单元的数据融合示意图；

图6为本发明的实施例三的脑部CT图像的分割模型的训练装置的示意图；

图7为本发明的实施例四的计算机设备示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在详细描述本申请的各个实施例之前，首先简单描述本申请的发明构思：现有技术中采用深度学习方法对脑部CT图像进行分割时，未充分考虑图像的空间信息和像素间的通道联系，模型的分割精度不高。为此，本申请提供了一种脑部CT图像的分割模型的训练方法，首先利用编码网络从脑部CT样本图像中提取若干具有丰富图像信息的特征图，接着利用解码网络对若干不同通道数的特征图进行空间信息融合处理和通道信息融合处理，并对得到的空间融合特征和通道融合特征进行聚合处理，得到分割结果，最后根据分割结果和脑部CT样本图像的标签信息之间的差异来调整模型参数。

具体地，如图1所示，本实施例一的脑部CT图像的分割模型包括编码网络和解码网络两部分，其中脑部CT图像的分割模型的训练方法包括如下步骤：

步骤S10：获取待训练的编码网络根据带标签信息的脑部CT样本图像得到的输入特征图，所述输入特征图包括若干不同通道数的特征图；

步骤S20：获取待训练的解码网络根据所述输入特征图得到的分割结果，其中所述解码网络对若干不同通道数的特征图进行空间信息融合处理和通道信息融合处理，并对得到的空间融合特征和通道融合特征进行聚合处理，得到分割结果；

步骤S30：计算所述分割结果与脑部CT样本图像的标签信息之间的差异，并根据所述差异更新所述编码网络和所述解码网络的模型参数。

其中，本实施例一的脑部CT图像以超急性期大面积脑缺血CT影像为例，在进行本实施例一的训练方法之前，首先要进行数据处理，包括如下过程：

1、数据收集和预处理：收集超急性期大面积脑缺血CT影像数据，并进行标注；由于不同机器采集的CT影像大小不一致，需要将CT影像切片裁剪到相同大小(512×512)。同时，由于在CT图像中各组织的Hounsfield Unit(HU)相差较大，需要选定窗口以更好表现脑实质中的缺血区域。在本实施例一中，我们选定的窗口值为-30-100HU(图像像素值大于100Hu的设置为100，小于-30的设置为-30，其余不变)，以便更好地显示病变组织。之后再将数据集划分成相应的训练集、验证集和测试集。

2、数据增强：原始的训练数据较为单调，对于网络的信息丰富度来说会较为欠缺，少且单调的数据信息会导致网络学习的泛化性降低，所以需要对原始图像数据进行数据扩充与增强。我们对每张影像切片进行随机裁剪、旋转、位移等几何变换，同时也随机对切片进行50％概率的模糊、锐化、扭曲、边缘检测、加噪等操作。同时由于病例中也存在大量的健康组织切片，造成数据的极度不平衡。若将健康组织全部去除，又降低了网络的泛化性。为了减少上述问题，我们针对性的扩充数据，5次对有病变的切片进行一次增广操作，就对无病变区域进行一次增广操作。

3、数据归一化：为了方便网络训练，需要对原始脑CT影像以及脑部缺血区域金标准进行归一化处理。这里使用的是线性归一化，将灰度数据归一化到[0，1]区间，其公式为：

其中X

进一步地，在步骤S10中，待训练的编码网络根据带标签信息的脑部CT样本图像得到的输入特征图的方法包括如下步骤：

步骤S101：对带标签信息的脑部CT样本图像进行卷积处理得到底层特征图；

步骤S102：对底层特征图依次进行若干次卷积池化处理，得多若干份通道数递增的中间层特征图，其中第一次卷积池化处理的输入为底层特征图，每次卷积池化处理后输出一份中间层特征图并作为下一次卷积池化处理的输入；

步骤S103：对最后一次卷积池化处理后输出的中间层特征图进行非局部注意力处理，得到高层特征图，底层特征图、除最后一次卷积池化处理后输出的中间层特征图之外的其他中间层特征图、高层特征图构成输入特征图。

示例性地，如图3所示，本实施例一编码网络是基于U型深度网络U-Net加以拓展改进得到的，首先对脑部CT样本图像进行一次3×3卷积操作获得32通道的特征图像Conv1/32，后续再通过四次卷积池化处理操作来提取图像特征。每次卷积池化处理包含两个3×3的卷积的重复应用，在每个卷积层后都有一个批处理归一化层和非线性激活函数PReLu，在两次卷积后再通过一个2×2的最大池化操作，并且在在每次池化操作后，我们都将特征的通道数进行翻倍，以提取更为丰富的影像特征，得到四份通道数分别为64、128、256和512的中间层特征图Conv2/64、Conv3/128、Conv4/256、Conv1/512。在第四次卷积池化处理后引入非局部注意力模块(Non-local)，得到高层特征图。这样可以利用全局上下文信息来增加对特征的提取，该模块在计算某个位置的响应时，会考虑所有通道位置和空间位置的特征的加权，以此来提高对脑缺血区域的检测，抑制假阳性。

在步骤S20中，如图3所示，解码网络包括由高级别至低级别依次级联的若干融合模块，每个融合模块包括空间融合单元SIF、通道融合单元CIF、聚合单元CAT和上采样单元UWC，空间融合单元用于对特征图的空间信息进行加权处理，通道融合单元CIF用于对特征图的通道信息进行加权处理，聚合单元CAT用于聚合空间融合单元SIF和通道融合单元CIF的输出数据，上采样卷积单元UWC用于对上一级融合模块的聚合单元CAT输出的数据进行上采样、反卷积和卷积处理，并将得到的数据作为通道融合单元CIF的输入数据，其中最高级的融合模块的上采样卷积单元UWC的输入数据为高层特征图，各个融合模块的空间融合单元SIF的输入数据为输入特征图中除高层特征图之外的其他特征图，且空间融合单元SIF的输入数据的通道数随着级别递减，最低级的融合模块的聚合单元CAT的输出数据为分割结果。

示例性地，融合模块的数量为四个，如图4所示，空间融合单元对特征图的空间信息进行加权处理的方法包括：分别计算输入的特征图各像素的空间信息集合的平均值和最大值，得到平均值特征图和最大值特征图；分别对平均值特征图和最大值特征图进行卷积处理，并通过PReLu函数激活，得到空间信息权重；根据将空间信息权重与输入的特征图进行矩阵乘法运算，得到所述空间融合单元的输出数据。其中，X是当前空间融合单元的输入特征，F

示例性地，对于同一级联的编码部分特征数据作为该空间融合单元的输入，在通道维度上进行压缩，分别对特征图各像素的空间信息集合求其平均值和最大值，分别获得两个单通道二维的特征图。之后再将这两个特征图经过1*1的卷积，通过PReLu函数激活，得到最终的空间信息权重。最后将获得的空间信息权重通过简单的矩阵乘法加权到该空间融合单元的输入，将该加权过的空间信息作为该空间融合单元的输出。

如图5所示，通道融合单元CIF对特征图的通道信息进行加权处理的方法包括：分别对输入的特征图进行全局最大化处理和全局平均池化处理，并对全局最大化处理和全局平均池化处理得到结果进行矩阵加法运算，得到通道信息权重；根据通道信息权重对所述输入的特征图进行sigmoid变换，得到通道融合单元的输出数据。

示例性地，对特征图上的每一个通道的空间信息进行压缩融合到同一个通道上。对于更低层获得的解码后的特征信息作为该模块的输入，在空间维度上进行压缩，提高各通道对通道有效信息的敏感度。利用全局最大池化和全局平均池化将各个通道的空间信息融合得到加权系数。然后在利用PReLu函数对得到的通道信息权值激活，以此控制对每个通道的激励。但同时在通道间的信息并不是孤立存在的，并且这些信息之间存在非线性的相互作用。为了在获得全局信息的同时关注多个通道信息，加强通道的相互依赖性，可以在获得通道信息权重后，利用“sigmoid”变换将其映射到[0，1]，以此来捕捉通道信息的相关性。通过建立通道之间的依赖关系，更好地进行自适应重新校准与通道相关的特征和响应。最后将获得的通道信息权重通过简单的矩阵乘法加权到该通道融合单元CIF的输入，得到通道融合单元CIF的输出数据。

进一步地，上采样卷积单元UWC将上层的特征信息通过的2*2反卷积得到分辨率更高的特征图，同时再通过两个卷积层将特征信息的通道数减半，以减少信息冗余。聚合单元CAT将通道融合单元CIF得到的通道信息和空间融合单元SIF得到的空间信息进行简单的连接，在本实施例一中是将两种信息进行简单的叠加操作。

在步骤S30中，计算分割结果与脑部CT样本图像的标签信息之间的差异时，需要选择合适的损失函数，其中在医学图像分割任务中，Dice损失函数是使用最广泛的损失函数，被用于衡量预测结果与金标准之间的差异。这种方法直接在评价标准上进行优化，可以得到较高的准确度。但在脑缺血区域分割问题上，缺血区域往往占整个影像较小的部分，也就造成了数据类别的极度不平衡的现象。为了弱化这种不平衡的现象，在牺牲一定的精度条件下，提高像素分类的召回率。因此，本实施例一优先选用Tversky损失函数作为网络训练的损失函数。利用预处理过的脑缺血CT影像数据进行模型训练，达到最佳收敛状态，从而获得分割模型。其中，损失函数的具体计算过程和模型参数的更新过程为本领域技术人员熟知的技术，在此不进行赘述。

本实施例一脑部CT图像的分割模型的训练方法，利用空间融合单元提取了编码阶段丰富的空间信息，使得解码层也能利用浅层丰富的空间信息，提高了分割的精度。同时利用了通道融合单元建立了通道之间的动态非依赖关系，简化了学习过程，显著地增强了模型的表征能力。并且在模型中引入非局部注意力模块(Non-local)，利用全局上下文信息来增加对特征的提取。非局部注意力模块在计算某个位置的响应时，会考虑所有通道位置和空间位置的特征的加权。以此来提高对脑缺血区域的检测，抑制假阳性。因此本实施例一提供的的训练方法大大提高了分割模型在临床中对大面积脑缺血的分割和检测性能和效率。

实施例二还提供了一种用于脑部CT图像的分割方法，所述分割方法包括如下步骤：步骤S100、获取待检测的脑部CT图像；步骤S200、将脑部CT图像输入到根据实施例一的训练方法进行训练得到的脑部CT图像的分割模型，分割模型输出检测结果。

进一步，在实际诊断过程中，还包括缺血区域量化与预测步骤以及结果可视化步骤。具体来说，将脑部CT影像输入到训练完成的分割模型中，最终将得到切片每个像素的缺血概率。然后将概率大于0.5的像素视为缺血像素，将其他像素视为背景像素，从而得到缺血区域的分割图。其次使用所有像素的分割图来计算分割图中的3D连通分量并去除小的连通分量以减少误报的影响。接着计算所有剩余连接分量的像素总和，并根据实际体素值获得缺血体积。最后我们将缺血体积超过71cm

为了验证本实施例一的训练方法训练得到的分割模型的分割性能和检测形状，在采集的超急性期HLI数据集和超急性期缺血性脑卒中分割数据集上进行实验验证。具体算法是基于Keras框架与Tensorflow后端的Python语言实现的，并使用4个24G的TITAN RTXGPU进行训练。将训练数据的85％随机划分为训练集数据，其余数据划分为验证集数据。利用训练集数据对网络训练了50个epoch，batch_size设置为16。同时使用自适应矩估计(adaptive moment estimation，Adam)优化器训练分割网络，其中beta_1设置为0.9，beta_2设置为0.999，epsilon被设置为10

表1.不同方法在超急性期脑缺血数据集上的分割性能

表2.不同方法在超急性期HLI数据集上的检测性能

因此，训练参数一致的前提下用不同方法对超急性期脑缺血数据集进行分割评估，DSC(Dice similarity coefficient)和IOU coefficient(Intersection over union)结果如表1，不同方法在超急性期HLI数据集上的检查结果如表2。通过这两个实验有效验证本实施例一得到分割模型在超急性期大面积脑缺血的自动分割和检测的优越性。

如图6所示，本实施例三公开了一种脑部CT图像的分割模型的训练装置，训练装置包括第一获取单元300、第二获取单元400和训练单元500。第一获取单元300用于获取待训练的编码网络根据带标签信息的脑部CT样本图像得到的输入特征图，输入特征图包括若干不同通道数的特征图；第二获取单元400用于获取待训练的解码网络根据输入特征图得到的分割结果，其中解码网络对若干不同通道数的特征图进行空间信息融合处理和通道信息融合处理，并对得到的空间融合特征和通道融合特征进行聚合处理，得到分割结果；训练单元500用于计算分割结果与脑部CT样本图像的标签信息之间的差异，并根据差异更新编码网络和解码网络的模型参数。

本实施例四还公开了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现实施例一的脑部CT图像的分割模型的训练方法或者实施例二的用于脑部CT图像的分割方法。

本实施例五还公开了一种计算机设备，在硬件层面，如图7所示，该计算机设备包括处理器12、内部总线13、网络接口14、计算机可读存储介质11。处理器12从计算机可读存储介质中读取对应的计算机程序然后运行，在逻辑层面上形成请求处理装置。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。计算机可读存储介质11上存储有计算机程序，计算机程序被处理器执行时实现实施例一的脑部CT图像的分割模型的训练方法或者实施例二的用于脑部CT图像的分割方法。

计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

上面对本发明的具体实施方式进行了详细描述，虽然已表示和描述了一些实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改和完善，这些修改和完善也应在本发明的保护范围内。