首页> 中国专利> 基于厚层CT图像生成薄层CT图像的系统及方法

基于厚层CT图像生成薄层CT图像的系统及方法

摘要

本发明提出的基于厚层CT图像生成薄层CT图像的系统及方法,包括图像获取模块,用于获取厚层CT图像以及薄层CT图像;切片处理模块,用于对厚层CT图像进行切片处理,获得厚层CT图像集;网络训练模块,用于采用级联神经网络模型对所述厚层CT图像集以及所述薄层CT图像集进行训练,获得级联神经网络模型的最优模型参数;薄层CT预测图像获取模块,用于基于厚层CT图像集以及最优模型参数通过级联神经网络模型进行薄层CT图像的预测,获得薄层CT预测图像。通过级联神经网络模型的训练和预测,能够使生成的薄层CT图像的质量提高,有效避免出现失真的情况,提高重建得到的DRR图像的质量、与X‑ray图像的配准精度和成功率。

著录项

  • 公开/公告号CN112991341A

    专利类型发明专利

  • 公开/公告日2021-06-18

    原文格式PDF

  • 申请/专利权人 江苏瑞尔医疗科技有限公司;

    申请/专利号CN202110464632.3

  • 发明设计人 菅影超;马善达;

    申请日2021-04-28

  • 分类号G06T7/00(20170101);G06K9/46(20060101);G06N3/04(20060101);G06N3/08(20060101);

  • 代理机构32369 无锡永乐唯勤专利代理事务所(普通合伙);

  • 代理人章陆一

  • 地址 214000 江苏省无锡市锡山区锡山经济开发区芙蓉中三路99号

  • 入库时间 2023-06-19 11:29:13

说明书

技术领域

本发明涉及图像处理技术领域,特别是涉及一种基于厚层CT图像生成薄层CT图像的系统及方法。

背景技术

厚层CT(Computed Tomography,电子计算机断层扫描)的DRR(DigitallyReconstructured Radiograph,数字重建放射影像)图像质量较差,影响其与X-ray图像进行配准的精度和成功率。薄层CT的DRR图像虽然质量较高,但是患者受到的电离辐射较大。基于厚层CT图像生成的薄层CT图像,可应用于放射治疗过程中的患者的摆位验证,特别是基于X-ray图像与CT图像进行2D-3D配准,既能够避免了强制进行薄层CT扫描的要求,又减少了电离辐射,同时还可以保证CT以及DRR图像的成像质量,从而进一步提高了配准的精度和成功率,缩短了患者的摆位时间。

传统的放射治疗过程中对层厚比较大的CT图像大多采用基于灰度或者基于形状和基于灰度的图像断层间数据插值的方法生成薄层CT图像。即首先给定两幅断层图像u

发明内容

基于此,针对传统的基于厚层CT图像生成的薄层CT图像容易出现的失真以及基于该薄层CT图像重建得到的DRR图像质量低的技术问题,提出了一种基于厚层CT图像生成薄层CT图像的系统及方法。

本发明提出的一种基于厚层CT图像生成薄层CT图像的系统,所述系统包括以下模块:

图像获取模块,所述图像获取模块用于获取厚层CT图像以及薄层CT图像;

切片处理模块,所述切片处理模块用于对所述厚层CT图像进行切片处理,获得厚层CT图像集;

网络训练模块,所述网络训练模块用于采用级联神经网络模型对所述厚层CT图像集以及所述薄层CT图像集进行训练,获得所述级联神经网络模型的最优模型参数;

薄层CT预测图像获取模块,所述薄层CT预测图像获取模块用于基于所述厚层CT图像集以及所述最优模型参数通过所述级联神经网络模型进行薄层CT图像预测,获得薄层CT预测图像。

在其中的一个实施例中,所述网络训练模块包括以下子模块:

薄层CT图像预测子模块,所述薄层CT图像预测子模块用于通过级联神经网络模型对所述厚层CT图像集进行迭代特征提取以及预测,获取薄层CT预测图像;

误差获取子模块,所述误差获取子模块用于通过损失函数对所述薄层CT预测图像以及薄层CT图像进行误差处理,获取薄层CT预测图像误差数据;

反向传播子模块,所述反向传播子模块用于通过优化函数对所述薄层CT预测图像误差数据进行反向传播;

迭代优化子模块,所述迭代优化子模块用于迭代进行所述薄层CT图像预测步骤、误差获取步骤、反向传播步骤,直至获得最优薄层CT预测图像以及与所述最优薄层CT预测图像对应的级联神经网络模型的最优模型参数。

在其中的一个实施例中,所述级联神经网络模型包括第一级联卷积操作、池化操作、上采样操作、第二级联卷积操作以及第三卷积操作;

所述第一级联卷积操作包括第一卷积操作以及第一膨胀卷积操作;所述第一卷积操作通过若干个卷积核对所述厚层CT图像集进行特征提取,获得第一卷积操作特征图;所述第一膨胀卷积操作通过若干个膨胀卷积核对所述厚层CT图像集进行特征提取,获得第一膨胀卷积操作特征图;所述第一级联卷积操作还用于将所述第一卷积操作特征图以及所述第一膨胀卷积操作特征图进行特征联合,获得第一级联卷积操作特征图;

所述池化操作是对所述第一级联卷积操作特征图进行特征提取,获得池化操作特征图;

所述上采样操作采用插值方法对所述池化操作特征图进行恢复处理,获得上采样操作恢复图;

所述第二级联卷积操作包括第二卷积操作以及第二膨胀卷积操作;所述第二卷积操作通过若干个卷积核对所述上采样恢复图进行特征提取,获得第二卷积操作特征图;所述第二膨胀卷积操作通过若干个膨胀卷积核对所述上采样恢复图进行特征提取,获得第二膨胀卷积操作特征图;所述第二级联卷积操作还用于对所述第二卷积操作特征图以及所述第二膨胀卷积操作特征图进行特征提取,获得第二级联卷积操作特征图;

所述第三卷积操作用于对所述第二级联卷积操作特征图进行特征提取,获得薄层CT预测图像。

在其中的一个实施例中,在所述薄层CT预测图像输出前,在所述网络训练模块中进行批标准化处理。

本发明还提出了一种基于厚层CT图像生成薄层CT图像的方法,所述方法包括以下步骤:

图像获取步骤,获取厚层CT图像以及薄层CT图像;

切片处理步骤,对所述厚层CT图像进行切片处理,获得厚层CT图像集;

网络训练步骤,所述网络训练模块用于采用级联神经网络模型对所述厚层CT图像集以及所述薄层CT图像集进行训练,获得所述级联神经网络模型的最优模型参数;

薄层CT预测图像获取步骤,基于所述厚层CT图像集以及所述最优模型参数通过所述级联神经网络模型进行薄层CT图像预测,获得薄层CT预测图像。

在其中的一个实施例中,所述网络训练步骤包括以下子步骤:

薄层CT图像预测步骤,所述薄层CT图像预测步骤通过级联神经网络模型对所述厚层CT图像集进行迭代特征提取以及预测,获取薄层CT预测图像;

误差获取步骤,所述误差获取子步骤通过损失函数对所述薄层CT预测图像以及薄层CT图像进行误差处理,获取薄层CT预测图像误差数据;

反向传播步骤,所述反向传播步骤通过优化函数对所述薄层CT预测图像误差数据进行反向传播;

迭代优化步骤,所述迭代优化步骤迭代进行所述薄层CT图像预测步骤、误差获取步骤、反向传播步骤,直至获得最优薄层CT预测图像以及与所述最优薄层CT预测图像对应的级联神经网络模型的最优模型参数。

在其中的一个实施例中,所述级联神经网络模型包括第一级联卷积操作、池化操作、上采样操作、第二级联卷积操作以及第三卷积操作;

所述第一级联卷积操作包括第一卷积操作以及第一膨胀卷积操作;所述第一卷积操作通过若干个卷积核对所述厚层CT图像集进行特征提取,获得第一卷积操作特征图;所述第一膨胀卷积操作通过若干个膨胀卷积核对所述厚层CT图像集进行特征提取,获得第一膨胀卷积操作特征图;所述第一级联卷积操作还用于将所述第一卷积操作特征图以及所述第一膨胀卷积操作特征图进行特征联合,获得第一级联卷积操作特征图;

所述池化操作是对所述第一级联卷积操作特征图进行特征提取,获得池化操作特征图;

所述上采样操作采用插值方法对所述池化操作特征图进行恢复处理,获得上采样操作恢复图;

所述第二级联卷积操作包括第二卷积操作以及第二膨胀卷积操作;所述第二卷积操作通过若干个卷积核对所述上采样恢复图进行特征提取,获得第二卷积操作特征图;所述第二膨胀卷积操作通过若干个膨胀卷积核对所述上采样恢复图进行特征提取,获得第二膨胀卷积操作特征图;所述第二级联卷积操作还用于对所述第二卷积操作特征图以及所述第二膨胀卷积操作特征图进行特征提取,获得第二级联卷积操作特征图;

所述第三卷积操作用于对所述第二级联卷积操作特征图进行特征提取,获得薄层CT预测图像。

在其中的一个实施例中,在所述薄层CT预测图像输出前,在所述网络训练模块中进行批标准化处理。

上述基于厚层CT图像生成薄层CT图像的系统及方法,通过级联神经网络模型的训练和预测,能够使基于厚层CT图像生成的薄层CT图像的质量提高,有效避免出现失真的情况,进而提高重建得到的DRR图像的质量,进一步提高了与X-ray图像的配准精度和成功率,不仅能够减少了患者受到的电离辐射,还缩短了患者的摆位验证。

附图说明

为了更清晰地说明本发明实施例与所设计的系统架构中的技术方案,下面结合附图对系统实施例与系统架构和技术方案中所需要的使用的附图进行简单介绍,显而易见,下面描述的附图仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明基于厚层CT图像生成薄层CT图像的系统的结构示意图;

图2为本发明基于厚层CT图像生成薄层CT图像的方法的流程图;

图3为本发明基于厚层CT图像生成薄层CT图像的系统及方法的级联神经网络模型的流程图;

图4为本发明基于厚层CT图像生成薄层CT图像的系统及方法的级联神经网络模型架构图。

具体实施方式

应当指明,以下详细说明的内容都是示例性的,目的是对本发明的内容进行指示性的说明,需要注意的是,本发明使用的所有技术和科学术语具有与发明所属技术领域的普通技术人员通常理解的相同含义。

下面将结合本发明实施例中的附图说明,对本发明实施例中的系统架构与现有技术中的解决方案进行清晰、完整的描述,需要注意的是,所描述的实施例仅是为了对本发明进行解释与说明,而不是全部的内容。在本发明所提供的实施例的基础上,本领域内的普通技术人员在没有做出创造性劳动的前提下所得到的其他所有实施例,都在本发明申请的保护范围之内。

请参阅图1至图4所示,本发明提出了一种基于厚层CT图像生成薄层CT图像的系统,该系统包括以下模块:

图像获取模块,图像获取模块用于获取厚层CT图像以及薄层CT图像;

切片处理模块,切片处理模块用于对厚层CT图像进行切片处理,获得厚层CT图像集;

网络训练模块,所述网络训练模块用于采用级联神经网络模型对所述厚层CT图像集以及所述薄层CT图像集进行训练,获得所述级联神经网络模型的最优模型参数;

薄层CT预测图像获取模块,薄层CT预测图像获取模块用于基于厚层CT图像集以及最优模型参数通过级联神经网络模型进行薄层CT图像预测,获得薄层CT预测图像。

上述基于厚层CT图像生成薄层CT图像的系统,通过级联神经网络模型的训练和预测,能够使基于厚层CT图像生成的薄层CT图像的质量提高,有效避免出现失真的情况,进而提高重建得到的DRR图像的质量,进一步提高了与X-ray图像的配准精度和成功率,不仅能够减少了患者受到的电离辐射,还缩短了患者的摆位验证。

其中,图像获取模块用于获取厚层CT图像以及薄层CT图像;其中,厚层CT图像和薄层CT图像用于输入级联神经网络模型并对其进行训练,厚层CT图像还用于输入级联神经网络模型进行薄层CT图像预测。厚层CT图像的层厚可选地为2mm~20mm,优选为3mm~10mm,例如可以是10mm、8mm、5mm、4mm、3mm等。进一步地的,基于该厚层CT图像生成的薄层CT图像的层厚可选地为1.0mm~3.0mm,优选为1.5mm~2.5mm,例如可以是2.5mm、2.0mm和1.5mm等。

其中,切片处理模块用于对厚层CT图像进行切片处理,获得厚层CT图像集。即在厚层CT图像的图像与图像之间插入空白的黑色图像,以保证形成的厚层CT图像集与薄层CT图像有相同的切片。

其中,网络训练模块用于采用级联神经网络模型对所述厚层CT图像集以及所述薄层CT图像集进行训练,获得所述级联神经网络模型的最优模型参数。即通过级联神经网络模型对厚层CT图像集和薄层CT图像集进行训练,通过迭代直至得到最接近薄层CT图像的薄层CT预测图像为止,此时的神经网络模型的模型参数为最优模型参数。

其中,薄层CT预测图像获取模块用于基于厚层CT图像集以及最优模型参数通过级联神经网络模型进行薄层CT图像预测,获得薄层CT预测图像。即在级联神经网络模型的最优模型参数的情况下,基于厚层CT图像通过该级联神经网络模型进行预测,以获得薄层CT预测图像。

作为一种可选实施方式,网络训练模块包括以下子模块:

薄层CT图像预测子模块,薄层CT图像预测子模块用于通过级联神经网络模型对厚层CT图像集进行迭代特征提取以及预测,获取薄层CT预测图像;

误差获取子模块,误差获取子模块用于通过损失函数对薄层CT预测图像以及薄层CT图像进行误差处理,获取薄层CT预测图像误差数据;

反向传播子模块,反向传播子模块用于通过优化函数对薄层CT预测图像误差数据进行反向传播;

迭代优化子模块,迭代优化子模块用于迭代进行薄层CT图像预测步骤、误差获取步骤、反向传播步骤,直至获得最优薄层CT预测图像以及与最优薄层CT预测图像对应的级联神经网络模型的最优模型参数。

该网络训练模块,通过获取误差并进行反向传播,能够对级联神经网络模型进行迭代优化,以获得级联神经网络模型的最优模型参数,进而能够通过该最优模型参数下的级联神经网络模型进行薄层CT图像的预测,以获得最接近薄层CT图像的薄层CT预测图像。

其中,误差获取子模块用于通过损失函数对薄层CT预测图像以及薄层CT图像进行误差处理,获取薄层CT预测图像误差数据。

可选的,采用MAE函数(平均绝对误差)作为损失函数,以获得误差数据。MAE函数为:

其中,Y

其中,反向传播子模块用于通过优化函数对薄层CT预测图像误差数据进行反向传播。可选的,应用Adam随机优化函数进行反向传播,能够用于进一步对级联神经网络模型的参数进行优化处理。

其中,迭代优化子模块用于迭代进行薄层CT图像预测步骤、误差获取步骤、反向传播步骤,即对级联神经网络模型的参数进行优化处理的过程,通过迭代直至获得最优薄层CT预测图像以及与最优薄层CT预测图像对应的级联神经网络模型的最优模型参数。

作为一种可选实施方式,所述级联神经网络模型包括第一级联卷积操作、池化操作、上采样操作、第二级联卷积操作以及第三卷积操作;

所述第一级联卷积操作包括第一卷积操作以及第一膨胀卷积操作;所述第一卷积操作通过若干个卷积核对所述厚层CT图像集进行特征提取,获得第一卷积操作特征图;所述第一膨胀卷积操作通过若干个膨胀卷积核对所述厚层CT图像集进行特征提取,获得第一膨胀卷积操作特征图;所述第一级联卷积操作还用于将所述第一卷积操作特征图以及所述第一膨胀卷积操作特征图进行特征联合,获得第一级联卷积操作特征图;

所述池化操作是对所述第一级联卷积操作特征图进行特征提取,获得池化操作特征图;

所述上采样操作采用插值方法对所述池化操作特征图进行恢复处理,获得上采样操作恢复图;

所述第二级联卷积操作包括第二卷积操作以及第二膨胀卷积操作;所述第二卷积操作通过若干个卷积核对所述上采样恢复图进行特征提取,获得第二卷积操作特征图;所述第二膨胀卷积操作通过若干个膨胀卷积核对所述上采样恢复图进行特征提取,获得第二膨胀卷积操作特征图;所述第二级联卷积操作还用于对第二卷积操作特征图以及所述第二膨胀卷积操作特征图进行特征提取,获得第二级联卷积操作特征图;

所述第三卷积操作用于对所述第二级联卷积操作特征图进行特征提取,获得薄层CT预测图像。

例如,在第一卷积操作中,每个卷积特征图通过3×3×3卷积核对厚层CT图像集进行特征提取,随着网络深度的增加,所提取的特征从简单向复杂方向转变。即第一卷积操作可采用3D卷积神经网络,采用3D卷积神经网络可以有效应用厚层CT图像的三维信息,从而提高了对薄层CT预测图像预测的准确性。

例如,在第一膨胀卷积操作中,每个膨胀卷积特征图通过5×5×5膨胀卷积核对厚层CT图像集进行特征提取,同样,随着网络深度的增加,所提取的特征亦从简单向复杂方向转变。即第一膨胀卷积操作可采用膨胀卷积神经网络,其在对厚层CT图像集进行特征时,可直接训练三维图像中有图像的地方,图像与图像之间插入的空白黑色图像不参加训练,从而可减少训练参数。

第一级联卷积操作将第一卷积操作特征图以及第一膨胀卷积操作特征图进行特征联合(Concatenat),即第一级联卷积操作采用的是卷积神经网络与膨胀卷积神经网络进行级联的级联神经网络,可有效联合两者得到的特征图,以增加图像特征,并且与复制函数(copy)相比,联合函数(Concatenat)有自己的训练参数,而不是与卷积共享训练参数,从而增加了图像信息,进一步提高了预测的准确性。

其中,由于池化特征图唯一对应一个第一级联卷积操作特征图,从而池化操作的特征图个数不会发生改变,池化操作具有二次特征提取的作用,并通过降低特征图的分辨率来获得具有空间不变性的特征。

其中,上采样操作采用内插值方法对池化操作特征图进行恢复处理,逐步恢复图像的细节和大小,获得上采样操作恢复图,进一步地通过第二级联卷积操作以及第三卷积操作进行卷积处理,进而获得薄层CT预测图像。与上池化(unpooling)操作相比,级联神经网络模型采用上采样(upsampling)操作能够增加图像信息,进而提高预测的准确性。

如图4所示,级联神经网络模型采用第一级联卷积操作、池化操作、上采样操作、第二级联卷积操作以及第三卷积操作交织的端到端的神经网络架构,其中黑色方块表示最大池化层,并列的白色同时具有黑色阴影的方块分别表示卷积层和膨胀卷积层,并列的白色方块分别表示级联卷积特征图和上采样层,特征图的数量已在方块上面标出。其中图4左侧为编码器部分,右侧为解码器部分。编码器部分由卷积层、膨胀卷积层以及池化层组成。其中卷积层由多个3×3×3卷积核进行特征提取,采用局部连接和权值共享加深网络以有效的降低网络上网采用的复杂度,减少训练参数的数目;膨胀卷积层同样由多个特征图组成,每个特征图通过5×5×5膨胀卷积核进行特征提取。随后将卷积操作和膨胀卷积操作得到的特征图进行concatenate处理,获得第一级联卷积操作特征图,然后通过最大池化层对第一级联操作特征图进行二次特征提取,并将特征图的大小减小一倍,起到减少计算量和内存消耗的作用。解码器部分包由卷积层、膨胀卷积层以及上采样层组成,其中采用upsampling层逐步恢复图像的细节和大小,与unpooling相比,可以得到更多图像信息,除此之外,用concatenate进行特征联合,与copy相比,该concatenate操作有自己的训练参数,从而使网络更容易重建图像的细节,而前者与编码器部分的卷积处理共享训练参数。

作为一种可选实施方式,第一级联卷积操作之后获得的若干级联卷积操作特征图需传递给非线性Relu函数,进行过滤处理;同时,第二级联卷积操作之后获得的若干级联卷积操作特征图需传递给非线性Relu函数,进行过滤处理。

非线性Relu函数如下所示:

f(x)=max(0,x)

其中,其中x为输入,f(x)为输出。对于Relu函数而言,若输入大于0,则输出与输入相等,否则输出为0,通过非线性Relu函数的特征过滤处理可以过滤掉极其不明显的特征,能够进一步克服梯度消失问题,同时加快了收敛速度。

作为一种可选实施方式,在薄层CT预测图像输出前,在所述网络训练模块中进行了批标准化(BatchNormalization)处理。通过批标准化处理,能够对级联神经网络模型的输出进行标准化,保证级联神经网络模型的输出与输入具有相同的统计分布,避免网络梯度消失或梯度爆炸,并加快级联神经网络模型的收敛速度,减少参数初始化的要求。

请参阅图1至图4所示,本发明还提出了一种基于厚层CT图像生成薄层CT图像的方法,该方法包括以下步骤:

图像获取步骤,获取厚层CT图像以及薄层CT真实图像;

切片处理步骤,对厚层CT图像进行切片处理,获得厚层CT图像集;

网络训练步骤,采用级联神经网络模型对所述厚层CT图像集以及所述薄层CT图像集进行训练,获得所述级联神经网络模型的最优模型参数;

薄层CT预测图像获取步骤,用于基于厚层CT图像集以及最优模型参数通过级联神经网络模型进行薄层CT图像预测,获得薄层CT预测图像。

上述基于厚层CT图像生成薄层CT图像的方法,通过级联神经网络模型的训练和预测,能够使基于厚层CT图像生成的薄层CT图像的质量提高,有效避免出现失真的情况,进而提高重建得到的DRR图像的质量,进一步提高了与X-ray图像的配准精度和成功率,不仅能够减少了患者受到的电离辐射,还缩短了患者的摆位验证。

其中,图像获取步骤用于获取厚层CT图像以及薄层CT真实图像;其中,厚层CT图像和薄层CT图像用于输入级联神经网络模型并对其进行训练,厚层CT图像还用于输入级联神经网络模型进行薄层CT图像预测。厚层CT图像的层厚可选地为2mm~20mm,优选为3mm~10mm,例如可以是10mm、8mm、5mm、4mm、3mm等。进一步地的,基于该厚层CT图像生成的薄层CT图像的层厚可选地为1.0mm~3.0mm,优选为1.5mm~2.5mm,例如可以是2.5mm、2.0mm和1.5mm等。

其中,切片处理步骤用于对厚层CT图像进行切片处理,获得厚层CT图像集。即在厚层CT图像的图像与图像之间插入空白的黑色图像,以保证形成的厚层CT图像集与薄层CT图像有相同的切片。

其中,网络训练步骤采用级联神经网络模型对所述厚层CT图像集以及所述薄层CT图像集进行训练,获得所述级联神经网络模型的最优模型参数。即通过级联神经网络模型对厚层CT图像集和薄层CT图像集进行训练,通过迭代直至得到最接近薄层CT图像的薄层CT预测图像为止,此时的神经网络模型的模型参数为最优模型参数。

其中,薄层CT预测图像获取步骤用于基于厚层CT图像集以及最优模型参数通过级联神经网络模型进行薄层CT图像预测,获得薄层CT预测图像。即在级联神经网络模型的最优模型参数的情况下,基于厚层CT图像通过该级联神经网络模型进行预测,以获得薄层CT预测图像。

作为一种可选实施方式,网络训练步骤包括以下子步骤:

薄层CT图像预测子步骤,通过级联神经网络模型对厚层CT图像集进行迭代特征提取以及预测,获取薄层CT预测图像;

误差获取子步骤,通过损失函数对薄层CT训练预测图像以及薄层CT图像进行误差处理,获取薄层CT训练预测图像误差数据;

反向传播子步骤,通过优化函数对薄层CT训练预测图像误差数据进行反向传播;

迭代优化子步骤,迭代进行薄层CT图像预测步骤、误差获取步骤、反向传播步骤,直至获得最优薄层CT训练预测图像以及与最优薄层CT训练预测图像对应的级联神经网络模型的最优模型参数。

该网络训练步骤,通过获取误差并进行反向传播,能够对级联神经网络模型进行迭代优化,以获得级联神经网络模型的最优模型参数,进而能够通过该最优模型参数下的级联神经网络模型进行薄层CT图像的预测,以获得最接近薄层CT真实图像的薄层CT预测图像。

其中,误差获取子步骤用于通过损失函数对薄层CT预测图像以及薄层CT图像进行误差处理,获取薄层CT预测图像误差数据。

可选的,采用MAE函数(平均绝对误差)作为损失函数,以获得误差数据。MAE函数为:

其中,Y

其中,反向传播子步骤用于通过优化函数对薄层CT训练预测图像误差数据进行反向传播。可选的,应用Adam随机优化函数进行反向传播,能够用于进一步对级联神经网络模型的参数进行优化处理。

其中,迭代优化子步骤用于迭代进行薄层CT图像预测步骤、误差获取步骤、反向传播步骤,即对级联神经网络模型的参数进行优化处理的过程,通过迭代直至获得最优薄层CT训练预测图像以及与最优薄层CT训练预测图像对应的级联神经网络模型的最优模型参数。

作为一种可选实施方式,所述级联神经网络模型包括第一级联卷积操作、池化操作、上采样操作、第二级联卷积操作以及第三卷积操作;

所述第一级联卷积操作包括第一卷积操作以及第一膨胀卷积操作;所述第一卷积操作通过若干个卷积核对所述厚层CT图像集进行特征提取,获得第一卷积操作特征图;所述第一膨胀卷积操作通过若干个膨胀卷积核对所述厚层CT图像集进行特征提取,获得第一膨胀卷积操作特征图;所述第一级联卷积操作还用于将所述第一卷积操作特征图以及所述第一膨胀卷积操作特征图进行特征联合,获得第一级联卷积操作特征图;

所述池化操作是对所述第一级联卷积操作特征图进行特征提取,获得池化操作特征图;

所述上采样操作采用插值方法对所述池化操作特征图进行恢复处理,获得上采样操作恢复图;

所述第二级联卷积操作包括第二卷积操作以及第二膨胀卷积操作;所述第二卷积操作通过若干个卷积核对所述上采样恢复图进行特征提取,获得第二卷积操作特征图;所述第二膨胀卷积操作通过若干个膨胀卷积核对所述上采样恢复图进行特征提取,获得第二膨胀卷积操作特征图;所述第二级联卷积操作还用于对第二卷积操作特征图以及所述第二膨胀卷积操作特征图进行特征提取,获得第二级联卷积操作特征图;

所述第三卷积操作用于对所述第二级联卷积操作特征图进行特征提取,获得薄层CT预测图像。

例如,在第一卷积操作中,每个卷积特征图通过3×3×3卷积核对厚层CT图像集进行特征提取,随着网络深度的增加,所提取的特征从简单向复杂方向转变。即第一卷积操作可采用3D卷积神经网络,采用3D卷积神经网络可以有效应用厚层CT图像的三维信息,从而提高了对薄层CT预测图像预测的准确性。

例如,在第一膨胀卷积操作中,每个膨胀卷积特征图通过5×5×5膨胀卷积核对厚层CT图像集进行特征提取,同样,随着网络深度的增加,所提取的特征亦从简单向复杂方向转变。即第一膨胀卷积操作可采用膨胀卷积神经网络,其在对厚层CT图像集进行特征时,可直接训练三维图像中有图像的地方,图像与图像之间插入的空白黑色图像不参加训练,从而可减少训练参数。

第一级联卷积操作将第一卷积操作特征图以及第一膨胀卷积操作特征图进行特征联合(Concatenat),即第一级联卷积操作采用的是卷积神经网络与膨胀卷积神经网络进行级联的级联神经网络,可有效联合两者得到的特征图,以增加图像特征,并且与复制函数(copy)相比,联合函数(Concatenat)有自己的训练参数,而不是与卷积共享训练参数,从而增加了图像信息,进一步提高了预测的准确性。

其中,由于池化特征图唯一对应一个第一级联卷积操作特征图,从而池化操作的特征图个数不会发生改变,池化操作具有二次特征提取的作用,并通过降低特征图的分辨率来获得具有空间不变性的特征。

其中,上采样操作采用内插值方法对池化操作特征图进行恢复处理,逐步恢复图像的细节和大小,获得上采样操作恢复图,进一步地通过第二级联卷积操作以及第三卷积操作进行卷积处理,进而获得薄层CT预测图像。与上池化(unpooling)操作相比,级联神经网络模型采用上采样(upsampling)操作能够增加图像信息,进而提高预测的准确性。

如图4所示,级联神经网络模型采用第一级联卷积操作、池化操作、上采样操作、第二级联卷积操作以及第三卷积操作交织的端到端的神经网络架构,其中黑色方块表示最大池化层,并列的白色同时具有黑色阴影的方块分别表示卷积层和膨胀卷积层,并列的白色方块分别表示级联卷积特征图和上采样层,特征图的数量已在方块上面标出。其中图4左侧为编码器部分,右侧为解码器部分。编码器部分由卷积层、膨胀卷积层以及池化层组成。其中卷积层由多个3×3×3卷积核进行特征提取,采用局部连接和权值共享加深网络以有效的降低网络上网采用的复杂度,减少训练参数的数目;膨胀卷积层同样由多个特征图组成,每个特征图通过5×5×5膨胀卷积核进行特征提取。随后将卷积操作和膨胀卷积操作得到的特征图进行concatenate处理,获得第一级联卷积操作特征图,然后通过最大池化层对第一级联操作特征图进行二次特征提取,并将特征图的大小减小一倍,起到减少计算量和内存消耗的作用。解码器部分包由卷积层、膨胀卷积层以及上采样层组成,其中采用upsampling层逐步恢复图像的细节和大小,与unpooling相比,可以得到更多图像信息,除此之外,用concatenate进行特征联合,与copy相比,该concatenate操作有自己的训练参数,从而使网络更容易重建图像的细节,而前者与编码器部分的卷积处理共享训练参数。

作为一种可选实施方式,第一级联卷积操作之后获得的若干级联卷积操作特征图需传递给非线性Relu函数,进行过滤处理;同时,第二级联卷积操作之后获得的若干级联卷积操作特征图需传递给非线性Relu函数,进行过滤处理。

非线性Relu函数如下所示:

f(x)=max(0,x)

其中,其中x为输入,f(x)为输出。对于Relu函数而言,若输入大于0,则输出与输入相等,否则输出为0,通过非线性Relu函数的特征过滤处理可以过滤掉极其不明显的特征,能够进一步克服梯度消失问题,同时加快了收敛速度。

作为一种可选实施方式,在薄层CT预测图像输出前,在所述网络训练模块中进行了批标准化(BatchNormalization)处理。通过批标准化处理,能够对级联神经网络模型的输出进行标准化,保证级联神经网络模型的输出与输入具有相同的统计分布,避免网络梯度消失或梯度爆炸,并加快级联神经网络模型的收敛速度,减少参数初始化的要求。

对所公开的上述实施例的说明,为了便于本领域专业技术人员能够实现或使用本发明,对上述实施例的修改或拓展到其他电子商务平台的应用对本领域的专业技术人员来说是显而易见的,本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其他实施例中应用。因此,本发明将不会被限制于上述的实施例,而是符合本发明所公开的技术原理和新颖特点相一致的最宽的范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号