图像配准方法和图像配准装置

技术领域

本公开涉及医疗技术领域，尤其涉及图像配准方法、图像配准装置、电子设备和计算机可读存储介质。

背景技术

在手术导航领域，术中获取病人的三维空间信息是极为关键的一个环节。目前获取三维信息的方案，主要有两种，第一种是基于术中三维图像直接获得三维信息的方法；第二种是基于术中二维信息加术前三维信息确定病人的三维空间信息。在第二种方式中，最常见的是利用术中的二维X光图像和术前的CT图像进行配准融合，来获得术中病人的三维空间信息。

将二维X光图像和术前的CT图像进行配准，有多种实现方案：

基于标记点的配准，在人体骨骼上打入标记点，然后再进行CT扫描，术中通过CT中的三维标记点和X光图像中的二维标记点进行配准。这种方式需要在人体内打入标记球，属于有创，并增加了一次手术，在实际临床中不太接受该方案；

基于单张X光图像的配准，通过术中X光图像寻找特征点或者特征线和CT中对应的特征点或特征线完成配准。这种方式由于一张X光图像只有二维信息，因此配准结果在缺少的第三个维度上精度较差；

基于多张图像的配准，将多张X光图像重建成三维CT图像，再用该重建CT和术前CT完成配准。这种方式由于X光图像较少三维信息，重建的CT质量较差，因此配准精度也不高。

发明内容

本公开提供图像配准方法、图像配准装置、电子设备和计算机可读存储介质，以解决相关技术中的不足。

根据本公开实施例的第一方面，提出一种图像配准方法，包括：

通过采集设备在n个位姿下分别对目标物体进行拍摄，以得到n张X光图像，其中，n为大于1的整数；

确定所述n张X光图像中每张X光图像，分别相对于所述n张X光图像中参考图像的n个空间关系；

根据待定转换关系和所述n个空间关系，确定n个中间转换关系；

通过所述n个中间转换关系分别对预先为所述目标物体拍摄的CT图像进行转换，以得到n张数字重建放射影像DRR；

确定所述n张DRR与所述n张X光图像的目标相似性函数；

通过优化算法调整所述待定转换关系，直至所述目标相似性函数达到最大值；

输出调整后的所述待定转换关系。

可选地，所述优化算法包括以下至少之一：

梯度下降法、退火算法、拟牛顿法、L-BFGS-B算法。

可选地，所述采集设备包括C臂机。

可选地，所述确定所述n张DRR与所述n张X光图像的目标相似性函数包括：

从i＝1到i＝n，确定所述n张DRR中第i张二维图像，与所述n张X光图像中第i张X光图像的第i相似性函数，以得到n个相似性函数，其中，1≤i≤n；

对所述n个相似性函数进行加权求和，以得到所述目标相似性函数。

可选地，所述相似性函数包括以下至少之一：

相关系数函数、互信息函数、模式强度函数、梯度相关函数。

根据本公开实施例的第二方面，提出一种图像配准装置，包括：

X光拍摄模块，用于通过采集设备在n个位姿下分别对目标物体进行拍摄，以得到n张X光图像，其中，n为大于1的整数；

关系确定模块，用于确定所述n张X光图像中每张X光图像，分别相对于所述n张X光图像中参考图像的n个空间关系；以及根据待定转换关系和所述n个空间关系，确定n个中间转换关系；

图像转换模块，用于通过所述n个中间转换关系分别对预先为所述目标物体拍摄的CT图像进行转换，以得到n张数字重建放射影像DRR；

函数确定模块，用于确定所述n张DRR与所述n张X光图像的目标相似性函数；

函数优化模块，用于通过优化算法调整所述待定转换关系，直至所述目标相似性函数达到最大值；输出调整后的所述待定转换关系。

可选地，所述优化算法包括以下至少之一：

梯度下降法、退火算法、拟牛顿法、L-BFGS-B算法。

可选地，所述采集设备包括C臂机。

可选地，所述函数确定模块，用于从i＝1到i＝n，确定所述n张DRR中第i张二维图像，与所述n张X光图像中第i张X光图像的第i相似性函数，以得到n个相似性函数，其中，1≤i≤n；以及对所述n个相似性函数进行加权求和，以得到所述目标相似性函数。

可选地，所述相似性函数包括以下至少之一：

相关系数函数、互信息函数、模式强度函数、梯度相关函数。

根据本公开实施例的第三方面，提出一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为可执行指令以实现上述任一实施例所述的方法。

根据本公开实施例的第四方面，提出一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述任一实施例所述方法中的步骤。

根据本公开的实施例，通过拍摄n张X光图像，可以确定n个空间关系，然后可以通过n个空间关系对待定转换关系先进行转换，得到n个中间转换关系，进而通过n个中间转换关系分别对CT图像进行转换，得到n张DRR。从而确定的相似性函数，是n张DRR与n张X光图像的目标相似性函数，而由于n张DRR图像是基于n个中间转换关系得到的，n个中间转换关系又是基于n个空间关系得到的，所以n个空间关系在通过优化算法调整的待定转换关系的过程中，充当了约束条件。

相对于相关技术中的配准方式，无创，并且将n个空间关系作为约束条件，有利于确保输出的待定转换关系更为合理，确保根据输出的待定转换关系对CT图像进行转换得到的DRR图像，可以与X光图像准确配准。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据本公开的实施例示出的一种图像配准方法的示意流程图。

图2是根据本公开的实施例示出的误差示意图。

图3是根据本公开的实施例示出的另一种图像配准方法的示意流程图。

图4是根据本公开的实施例示出的一种图像配准装置的示意框图。

图5是根据本公开的实施例示出的一种电子设备的示意结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据本公开的实施例示出的一种图像配准方法的示意流程图。本实施例所示的方法可以适用于采集X光图像的采集设备，例如C臂机，也可以适用于能够与采集设备通信的外部设备，例如C臂机以外的处理器。

如图1所示，所述图像配准方法可以包括以下步骤：

在步骤S101中，通过采集设备在n个位姿下分别对目标物体进行拍摄，以得到n张X光图像，其中，n为大于1的整数；

在步骤S102中，确定所述n张X光图像中每张X光图像，分别相对于所述n张X光图像中参考图像的n个空间关系；

在步骤S103中，根据待定转换关系和所述n个空间关系，确定n个中间转换关系；

在步骤S104中，通过所述n个中间转换关系分别对预先为所述目标物体拍摄的CT图像进行转换，以得到n张数字重建放射影像DRR；

在步骤S105中，确定所述n张DRR与所述n张X光图像的目标相似性函数；

在步骤S106中，通过优化算法调整所述待定转换关系，直至所述目标相似性函数达到最大值；

在步骤S107中，输出调整后的所述待定转换关系。

在一个实施例中，目标物体可以是需要进行手术的患者，包括但不限于人和动物。针对目标物体，在术前可以先拍摄CT(Computed Tomography，电子计算机断层扫描)图像，CT图像是三维CT图像。然后在术中可以执行上述步骤，调整采集设备的位姿并对目标物体进行拍摄，在n个位姿下分别对目标物体进行拍摄，得到n张X光图像。

其中，n为大于1的整数，为了提高配准精度，可以选取较大的数值n，但是由于拍摄X光图像对患者存在一定损害，所以n不宜设置的较大，例如在对配准精度要求不是很高的情况下，n可以取值2，例如在对配准精度要求很高的情况下，n可以取值5。具体n的取值，可以根据需要设置，本公开并不限制。

在得到n张X光图像后，可以将n张X光图像中的一张X光图像作为参考图像，然后确定n张X光图像中每张X光图像，分别相对于n张X光图像中参考图像的n个空间关系。

其中，所述空间关系可以通过6个参数表示，其中3个参数表示在空间三个方向上的平移，另外3个参数表示在空间三个方向上的旋转角度。

本公开实施例为了配准，最终要得到的是待定转换关系，也可以称作待定空间变换。待定转换关系可以通过6个参数表示，其中3个参数表示在空间三个方向上的平移，另外3个参数表示在空间三个方向上的旋转角度。

待定转换关系可以在配准过程中进行调整，在本实施例，可以先根据待定转换关系和n个空间关系，确定n个中间转换关系，然后通过所述n个中间转换关系分别对预先为目标物体拍摄的CT图像进行转换，以得到n张数字重建放射影像DRR(DigitallyReconstructured Radiograph)。其中CT图像是三维图像，得到的DRR图像是二维图像，从而将三维图像转换为二维图像，以用于与X光图像进行配准。

具体配准方式可以是确定n张DRR与n张X光图像的目标相似性函数，然后通过优化算法调整所述待定转换关系，直至所述目标相似性函数达到最大值。当目标相似性函数达到最大值时，可以确定根据调整后的待定转换关系得到的DRR图像与X光图像配准了，进而可以输出调整后的待定转换关系。当然，也可以根据需要输出根据调整后的待定转换关系对CT图像进行转换得到的DRR。

根据本公开的实施例，通过拍摄n张X光图像，可以确定n个空间关系，然后可以通过n个空间关系对待定转换关系先进行转换，得到n个中间转换关系，进而通过n个中间转换关系分别对CT图像进行转换，得到n张DRR。从而确定的相似性函数，是n张DRR与n张X光图像的目标相似性函数，而由于n张DRR图像是基于n个中间转换关系得到的，n个中间转换关系又是基于n个空间关系得到的，所以n个空间关系在通过优化算法调整的待定转换关系的过程中，充当了约束条件。

相对于相关技术中的配准方式，无创，并且将n个空间关系作为约束条件，有利于确保输出的待定转换关系更为合理，确保根据输出的待定转换关系对CT图像进行转换得到的DRR图像，可以与X光图像准确配准。

图2是根据本公开的实施例示出的误差示意图。

在相关技术中，基于一张X光图像A和CT图像配准，配准的误差范围例如为图2中误差范围a所示。以n＝2为例，也即拍摄得到2张X光图像，X光图像A和X光图像B，若单独使用X光图像A与CT图像配准，误差为误差范围a，若单独使用X光图像B与CT图像配准，误差为误差范围b，而根据本公开的实施例，将X光图像A和X光图像B相对于参考图像(例如就是X光图像A)的空间关系作为约束条件，使得得到的误差是误差范围a与误差范围b的交集，如图2所示，相对于误差范围a和误差范围b，都明显地缩小了误差。

可选地，所述优化算法包括以下至少之一：

梯度下降法、退火算法、拟牛顿法、L-BFGS-B算法。

需要说明的是，优化算法可以根据需要进行选择，并不限于上述算法。

可选地，所述采集设备包括C臂机。

需要说明的是，采集设备只要是能在术中采集X光图像的设备即可，并不限于上述C臂机。

图3是根据本公开的实施例示出的另一种图像配准方法的示意流程图。如图3所示，所述确定所述n张DRR与所述n张X光图像的目标相似性函数包括：

在步骤S1051中，从i＝1到i＝n，确定所述n张DRR中第i张二维图像，与所述n张X光图像中第i张X光图像的第i相似性函数，以得到n个相似性函数，其中，1≤i≤n；

在步骤S1052中，对所述n个相似性函数进行加权求和，以得到所述目标相似性函数。

在一个实施例中，基于n张DRR与n张X光图像，可以得到n个相似性函数，针对n个相似性函数，可通过加权求和的方式得到目标相似性函数，也可以通过其他方式，例如计算均值，计算均方根等方式。

可选地，所述相似性函数包括以下至少之一：

相关系数函数、互信息函数、模式强度函数、梯度相关函数。

需要说明的是，相似性函数可以根据需要进行选择，并不限于上述函数。

与上述图像配准方法的实施例相对应地，本公开还提出了关于图像配准装置的实施例。

图4是根据本公开的实施例示出的一种图像配准装置的示意框图。本实施例所示的装置可以适用于采集X光图像的采集设备，例如C臂机，也可以适用于能够与采集设备通信的外部设备，例如C臂机以外的处理器。

如图4所示，所述图像配准装置可以包括：

X光拍摄模块101，用于通过采集设备在n个位姿下分别对目标物体进行拍摄，以得到n张X光图像，其中，n为大于1的整数；

关系确定模块102，用于确定所述n张X光图像中每张X光图像，分别相对于所述n张X光图像中参考图像的n个空间关系；以及根据待定转换关系和所述n个空间关系，确定n个中间转换关系；

图像转换模块103，用于通过所述n个中间转换关系分别对预先为所述目标物体拍摄的CT图像进行转换，以得到n张数字重建放射影像DRR；

函数确定模块104，用于确定所述n张DRR与所述n张X光图像的目标相似性函数；

函数优化模块105，用于通过优化算法调整所述待定转换关系，直至所述目标相似性函数达到最大值；输出调整后的所述待定转换关系。

可选地，所述优化算法包括以下至少之一：

梯度下降法、退火算法、拟牛顿法、L-BFGS-B算法。

可选地，所述采集设备包括C臂机。

可选地，所述函数确定模块，用于从i＝1到i＝n，确定所述n张DRR中第i张二维图像，与所述n张X光图像中第i张X光图像的第i相似性函数，以得到n个相似性函数，其中，1≤i≤n；以及对所述n个相似性函数进行加权求和，以得到所述目标相似性函数。

可选地，所述相似性函数包括以下至少之一：

相关系数函数、互信息函数、模式强度函数、梯度相关函数。

本公开的实施例还提出一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为可执行指令以实现上述任一实施例所述的方法。

本公开的实施例还提出一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述任一实施例所述方法中的步骤。

图5是根据本公开的实施例示出的一种电子设备的示意结构图。本公开的图像配准装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，为本公开图像配准装置所在设备的一种硬件结构图，除了图5所示的处理器、网络接口、内存以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等；从硬件结构上来讲该设备还可能是分布式的设备，可能包括多个接口卡，以便在硬件层面进行报文处理的扩展。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。