基于EPID的图像引导放疗中DR和DRR影像跨模态自动配准方法

技术领域

本发明涉及图像引导放疗技术领域，尤其涉及基于EPID的图像引导放疗中DR和DRR影像跨模态自动配准方法。

背景技术

放射治疗是当今治疗肿瘤的重要方法。在放疗中，精确摆位具有重要意义，能够保证放疗计划的有效实施，在降低周围器官剂量的同时最大化目标剂量，保护瘤周正常组织，提高放疗质量。因此，提高放射治疗中的摆位精度是十分必要的。

图像引导放疗IGRT将放疗时的影像与放疗前的影像进行配准，以减少摆位误差，这是放射治疗成功的必要步骤。兆伏级的EPID在IGRT的日常实践中得到广泛应用，虽然有全新的CBCT技术，但是EPID有效利用了加速器资源，与治疗束同坐标系，并直接从治疗束中获取正交图像，从而减少了机械误差并允许在治疗期间进行实时验证。更重要的是，EPID的操作效率更高，只需要两个角度，而CBCT需要旋转一圈。通常情况下，基于EPID的IGRT将兆伏级EPID采集的正交二维平面数字射线影像DR配准到由计划CT生成的千伏级数字重建射线影像DRR上。在EPID验证中，由于DR中软组织的分辨率较低，因此医师通常使用骨性标记作为配准DR与DRR的参考。这种人工配准方法不仅费时，而且难以保证分次放疗摆位的一致性。

因此需要多模态自动配准方法来指导精准的摆位并且保证一致性，一般将放疗时影像设置为固定图像，放疗前影像设置为移动图像。多模态医学图像的配准通常存在一个共有的问题，那就是不同成像方式产生的图像存在固有的差异，放疗前影像具有清晰的解剖结构，但放疗时影像的质量通常受到放疗要求的限制，如便携性、可访问性和有限的成像时间等。千伏级的DRR影像是高质量的放疗前图像，具有清晰的骨解剖结构，但兆伏级的DR影像通常存在低对比度成像、解剖边界模糊、遮挡和照度变化等问题。造成的原因包括MV射线的康普顿效应，定位设备的遮挡，以及治疗时的时间限制阻止更好成像技术的使用。此外，由于空间和时间的变化，DR和DRR之间固有的像素级强度分布差异，使得它们之间的配准对于临床医生或自动方法来说都非常具有挑战性。

经典的基于图像像素强度的配准方法通过优化一个手工设计的相似性度量指标，例如互信息，来迭代改善图像之间的强度对应关系。然而，DR-DRR图像对固有的强度分布差异已经超出了常用相似度量的捕捉范围，无法获得满意的结果。最近深度卷积神经网络CNN技术因其自动学习能力和大数据泛化能力快速发展，带来了优于手工设计的潜力，可以自动学习复杂的对应。这些方法通过学习相似性度量、预测空间变换关系或提高图像质量来实现配准。虽然这些自动学习度量的方法展示了一定的多模态医学图像配准应用前景，但是它们的配准成功率严重依赖于训练数据集的对齐情况，对齐的越完美效果越好，而这在大数据临床应用时很难实现，只能在科学研究中取得不错的结果。基于CNN的替代方法最近被提出，通过预测高层次的对应特征，例如相同的器官、病理区域和其他解剖结构，超越了脆弱的像素级对应。然而，这些方法仍然存在放疗时图像质量差的问题，即DR图像视觉上依然模糊，并未得到改善。

发明内容

本发明的目的是为了解决现有技术中DR图像质量差和缺乏像素级金标准的缺点，而提出的基于EPID的图像引导放疗中DR和DRR影像跨模态自动配准方法。

为了实现上述目的，本发明采用了如下技术方案：

基于EPID的图像引导放疗中DR和DRR影像跨模态自动配准方法，包括以下步骤：

S1采集图像：在放疗前中，首先采集患者的CT三维图像，通过数字重建出正交方向的两张二维DRR影像，分别为前后向视图0°和侧视图90°，放疗时，利用EPID采集正交的平面X光片DR影像，将DICOM格式的数据全部转化为JPG格式，预处理后存储为训练和测试数据集；

S2构建深度学习模型：建立自动分割配准网络模型，由DeepLabV3+、跨模态注意力模块和跨模态优化模块组成，输入为S1中采集的DR-DRR影像组，在GPU上进行深度学习训练，保存最佳网络模型权重；

S3骨性边界分割：将S2训练好的网络用于分割骨性边界，并输出边界轮廓，实现可视化；

S4 图像配准：利用经典的互信息方法计算S3中获得的DR和DRR中边界轮廓的相似度，并得出X，Y两个方向的位移值，根据结果计算配准率；

S5 EPID图像引导放疗临床应用：将模型应用于EPID图像引导放疗，在患者放疗时，实时分割DR-DRR图像组骨性边界并可视化，配准计算X，Y两个方向的位移值，根据位移和可视化结果调整摆位，进行治疗。

优选的，所述的S2中，训练深度学习网络需要的DR-DRR图像组数据集，无需完美的逐像素对齐，通过高阶特征进行配准。

优选的，所述的S2中，利用高质量的DRR影像来改善DR影像的质量，优化DR影像的骨性边界预测，最终提升DR和DRR图像之间的配准。

优选的，所述的S2中，设计并实现了一个跨模态网络，以促进跨模态的互补性，该网络广泛适用于治疗前图像与治疗时图像之间表示学习的一般问题。

优选的，所述的S4中，使用预测的未标注图像对的骨性边界，来实现更加鲁棒的配准。

与现有技术相比，本发明的有益效果是：

1、本发明在基于深度学习的高阶对应特征配准的基础上，通过利用高质量的放疗前CT重建的千伏级DRR影像来改进兆伏级EPID获取的治疗时DR图像，通过深度学习模型实现影像信息跨模态的交互，增强对相同解剖结构的表示，预测对应的骨性边界轮廓并可视化，通过更鲁邦的轮廓配准实时计算X，Y方向的位移值，调整患者摆位，提高图像引导放疗的质量。

2、本发明对数据集无对齐需求，自动预测了高阶对应特征，实现跨模态交互，改善了模糊的DR影像的质量问题，优化了轮廓预测，提升了配准率，此外，定位时先勾画轮廓再对齐轮廓的思路与临床实践的思路相一致，方便医生验证轮廓对准或进一步调整轮廓。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提出的基于EPID的图像引导放疗中DR和DRR影像跨模态自动配准方法的流程图；

图2是患者的正交两个方向的DR和DRR图像组；

图3是放射科医生标注勾画的骨性边界数据，与原图像一起组成数据集；

图4是深度学习模型的结构图；

图5是模型训练过程中的可视化结果；

图6是测试集输出的骨性边界分割结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

参照图1-3，本发明的实施例提供了基于EPID的图像引导放疗中DR和DRR影像跨模态自动配准方法，包括以下步骤：

（1）采集图像：在放疗前中，首先采集患者的CT三维图像，通过数字重建出正交方向的两张二维DRR影像，分别为前后向视图0°和侧视图90°。放疗时，利用EPID采集正交的平面X光片DR影像。将DICOM格式的数据全部转化为JPG格式，预处理后存储为训练和测试数据集；

（2）构建深度学习模型：建立自动分割配准网络模型，主要由DeepLabV3+、跨模态注意力模块和跨模态优化模块组成。输入为步骤（1）中采集的DR-DRR影像组，在GPU上进行深度学习训练，保存最佳网络模型权重；

（3）骨性边界分割：将步骤（2）训练好的网络用于分割骨性边界，并输出边界轮廓，实现可视化；

（4）图像配准：利用经典的互信息方法计算步骤（3）中获得的DR影像和DRR影像中边界轮廓的相似度，并得出X，Y两个方向的位移值，根据结果计算配准率。

（5）EPID图像引导放疗临床应用：将模型应用于EPID图像引导放疗，在患者放疗时，实时分割DR-DRR图像组骨性边界并可视化，配准计算X，Y两个方向的位移值，根据位移和可视化结果调整摆位，进行治疗。

其中，（2）中，训练深度学习网络需要的DR-DRR图像组数据集，无需完美的对齐，并利用高质量的DRR影像来改善DR影像的质量，最终实现了一个跨模态网络，广泛适用于治疗前图像与治疗时图像之间表示学习的一般问题。（4）中，使用预测的骨性边界，来实现更加鲁棒的配准。

具体实施方式中，操作流程如下：

1、采集图像

兆伏级DR影像由直线加速器上的EPID系统，在1-2个处方剂量值MU下进行采集，获得的是正交的2D平面数字x线照片。本实施例中DR的图像大小为1344像素×1344像素，扫描视野FoV为270mm×270mm；千伏级DRR的图像大小为512像素×512像素，扫描视野FoV为500mm×500mm。DR影像和DRR影像都经过重采样，然后裁剪成480像素×480像素，扫描视野FoV为240mm×240mm（像素间距0.5毫米）。DR-DRR图像组如图2所示，放疗时影像(DR)的清晰度与对比度要比放疗前影像(DRR)低很多。所有图像都由一名高级放射科医生和两名初级放射科医生仔细标注，为模型训练提供轮廓描绘，即金标准，如图3所示，红色表示轮廓边界，尽管是由经验丰富的医生手动标准，但是标签依然存在一定的噪声；

2、构建深度学习模型

为了解决DR影像质量低和缺乏像素级金标准的问题，我们提出了一种基于深度学习的自动分割配准网络，利用高质量DRR图像来补充和改进由低质量DR图像预测的骨性边界轮廓。其核心思想是促进跨模态表示交互，以增强对相同解剖结构的表示，并细化从DR影像预测的模糊特征，例如骨骼边界。模型的架构图如图4所示，将步骤（1）中采集的DR-DRR图像对作为输入，双路径的输入到DeepLabV3+主干网络、跨模态注意力模块、跨模态细化模块和互信息配准模块，输出细化的DR-DRR骨性边界和配准结果。

模型设计了跨模态注意力模块和跨模态优化模块来实现跨模态交互，自动分割、优化骨性边界。跨模态注意力模块在特征编码阶段通过实现注意力机制对跨模态特征图进行融合，输出粗预测的轮廓和关键点。进一步的，该模块采用的注意机制是交叉注意力机制，它融合了DR-DRR图像对的跨模态特征图，以强调两种模态之间的共同特征，并抑制不相关的特征，这样，DRR中的高分辨率特征可以为DR中高阶解剖结构的学习和识别提供有意义的参考。跨模态优化模块在解码阶段，在DRR模态相应的高质量预测基础上，进一步改进DR特征图，给予DR更精确的解剖结构预测。进一步的，该模块使用空间变换功能块直接学习空间变换关系，通过上一阶段预测的关键点来对齐特征图和轮廓，然后计算DR-DRR粗轮廓之间的余弦相似度得分，再根据得分加权优化融合优化对齐后的特征图，并输出精细的DR轮廓。

模型在自动分割网络之后加入互信息来配准细化的DR轮廓和DRR轮廓，实现了高阶语义特征之间的高鲁棒性配准。

进一步的，在GPU上训练网络模型，为了改进训练，设计了一种主动轮廓损失函数，它结合了BCE损失和长度损失来约束轮廓的边界和区域损失。使用Adam优化方法进行迭代训练，本实例中初始学习率为1e-4，读取图像的批次大小为5。当训练损失收敛时，保存最佳网络模型权重。模型训练过程中的特征图可视化如图5所示，(a)和(b)分别为0°的DR-DRR图像组，其中红线表示医生标注的金标准，蓝线表示网络预测的边界轮廓。(c)和(d)分别为DR经过跨模态注意力模块处理前后的特征图，可以看出，该模块极大地压缩了不相关信息，使得改进后的DR特征图中感兴趣的像素更加突出。通过跨模态优化模块对齐了DR和DRR的特征图，得到变换后的DRR特征图（e），并测量对齐质量，得到本例中的相似性得分为0.79。（f）是由相似度得分加权后的优化DR特征图。通过(c)(d)和(e)(f)中特征图的比较，验证了交叉模态注意力模块和细化模块的效果。(d)中突出显示了相关像素，(h)中也减少了边界像素的不确定性，降低了轮廓厚度，这些都得益于DRR模态信息的获取；

3、骨性边界分割

将未标注的DR-DRR图像组输入到步骤（2）训练好的网络用于分割骨性边界，调用TensorBoard工具包实现分割结果可视化，如图6所示，白色代表了预测轮廓，红色十字代表预测的关键点，粗预测轮廓由于不确定性而变得又粗又模糊。与之相比，细轮廓减少了不确定性，更加精细。

此外还通过配准分割结果和金标准，计算了它们X和Y方向上的位移，当偏差小于3mm时，符合放疗要求。我们统计了X和Y方向上位移均小于3mm的概率，即配准准确率Acc；

4、图像配准

利用经典的互信息方法计算步骤（3）中获得的优化后的DR和DRR中边界轮廓的相似度。当成像方式不同两幅图像配准时，如果基于相同的人体解剖结构，那么就可以使用互信息来进行多模态配准。对于图像M，图像N，互信息定义为：

5、EPID图像引导放疗临床应用：将模型应用于EPID图像引导放疗，放疗前，首先将CT重建的DRR影像导入到模型指定输入位置，在患者放疗时，EPID实时采集DR影像并导入到指定位置，当形成DR-DRR图像组后，启动模型，快速分割DR-DRR图像组骨性边界并可视化，医生根据可视化结果判断是否需要调整轮廓，之后通过配准边界轮廓计算X，Y两个方向的位移值，根据位移调整摆位，进行图像引导放疗。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”、“设置”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，根据具体情况理解上述术语在本发明中的具体含义。在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

此外，术语“第一”、 “第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。