一种医疗器械控制与数据融合的手术全流程赋能方法及系统

技术领域

本申请属于医疗器械领域，具体涉及一种医疗器械控制与数据融合的手术全流程赋能方法及系统。

背景技术

随着社会技术的发展，外科手术经历了从传统的开放性手术到微创手术再到机器人手术的过程。能有如此迅猛的发展离不开几个重要的技术支柱的发展，分别是：影像增强，器械智能，医用机器人，数据分析及机器学习以及云互联，但是目前这些技术支柱之间是相对闭塞的，各自的作用领域也是不相交的。例如影像增强有其自身独立的医学系统，更多的体现在术前的诊断上，对于术中的帮助很少。器械智能以及医用机器人更多的作用于手术过程，而手术难度的判断、手术方案的制定，甚至手术过程的指导更多的还是依靠医生本身的经验。

因此现有各器械均各自独立，未形成统一的技术融合交互平台，无法形成互联，数据的利用率低，阻碍了整个器械行业的生态循环，单一系统或者器械将越来越不能满足手术需要。本申请提出将这些技术融合到一个系统中，利用各自的核心能力实现术前手术规划；术中实时跟踪指引，辅助指导手术过程；术后资料回顾，归档；最终通过记录大量手术的数据，系统自我学习，以达到未来指导教学临床培训、缩短医生的培养周期、提高手术精度、降低手术风险的作用。

发明内容

本申请的目的在于提供一种医疗器械控制与数据融合的手术全流程赋能方法及系统，为外科手术提供高效率、多视角的数据呈现方式，显著提高数据利用率。

为实现上述目的，本申请所采取的技术方案为：

一种医疗器械控制与数据融合的手术全流程赋能方法，所述医疗器械控制与数据融合的手术全流程赋能方法，包括：

接收外部数据并将外部数据转化为标准格式数据，所述外部数据包括来源于医疗器械的器械数据以及来源于医院信息系统的信息数据，所述器械数据包括影像学的图像数据以及手术器械的器械位姿数据；

对所述标准格式数据进行归档和自我学习，并在术前根据所述信息数据和图像数据得到规划路径和手术操作指导，在术中根据所述器械位姿数据进行手术器械的实时跟踪获取实时位置，并且根据所述规划路径和手术操作指导结合实时位置在手术中得到手术意见；

在手术全流程展示对应的图像数据，并在手术前在图像数据上叠加所述规划路径以及手术操作指导进行展示，供医生术前参考，在手术中实时在图像数据上叠加所述实时位置以及手术意见进行展示，以辅助医生进行手术；

根据医生输入的控制指令控制手术器械改变相应的器械位姿以进行手术。

以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。

作为优选，所述根据信息数据和图像数据得到规划路径和手术操作指导，包括：

接收医生在图像数据上标记的病灶区域，生成病灶区域的一组位置信息B；

从所述信息数据中调用同类手术的手术记录，确定针对当前病灶区域的一组手术起点位置信息，并根据医生在该组手术起点位置信息中的指定确定最终的手术起点位置信息A；或者接收医生输入的手术起点位置信息作为最终的手术起点位置信息A；

计算手术起点位置信息A至位置信息B的手术器械姿态，选择最佳的1～2个手术器械姿态生成手术器械术前的规划路径；

以位置信息B作为手术范围，从所述信息数据中调用同类手术的手术记录，确定针对当前病灶区域的手术步骤展示在图像数据上；

接收医生输入的手术范围调整信息以及手术步骤调整信息对手术范围和手术步骤进行调整，得到最终的手术范围和手术步骤作为手术操作指导。

作为优选，所述根据所述规划路径和手术操作指导结合实时位置在手术中得到手术意见，包括：

在从手术起点位置至病灶区域的过程中，若实时位置位于术前的规划路径上，则根据实时位置以及术前的规划路径给出下一步手术操作建议；否则根据实时位置偏离术前的规划路径的程度给出风险提示；

在病灶区域进行手术的过程中，若实时位置为所述手术操作指导中的一个位置点，则根据实时位置以及手术操作指导给出下一步手术操作建议；否则根据实时位置偏离手术操作指导的程度给出不同的风险提示。

作为优选，所述根据所述器械位姿数据在进行手术器械的实时跟踪获取实时位置，包括：

在手术前进行位置较准：获取医生在患者体表图像中标记的多个位置信息C，同时获取医生在患者的影像学图像中同步标记的位置信息D，根据位置对应的位置信息C和位置信息D计算得到较准偏差；

在进行实时跟踪时利用较准偏差纠正所述器械位姿数据得到对应的实时位置。

作为优选，所述对标准格式数据进行归档，包括：获取手术过程中的所有器械位姿数据以及实时位置，将器械位姿数据以及实时位置作为一个手术集合存放在关系数据库中，并以手术ID和手术类型作为唯一标识；

所述自我学习，包括：定时对归档的资料进行筛选，将相同的手术类型的数据做整合，整合包括将位置相近的点做整理，形成正态分布，统计出该类手术中手术器械、手术起点的位置中位置集中的点位；将位置集中的点位和对应的手术类型单独保存在另一个关系数据库表中，长期不间断对该关系数据库表做补充，使其形成对医生有帮助的手术规划数据。

本申请还提供一种医疗器械控制与数据融合的手术全流程赋能系统，所述医疗器械控制与数据融合的手术全流程赋能系统包括数据子系统、成像子系统、控制子系统以及接入模块，其中：

所述接入模块，用于接收外部数据并将外部数据转化为标准格式数据并发送至数据子系统、成像子系统、控制子系统，所述外部数据包括来源于医疗器械的器械数据以及来源于医院信息系统的信息数据，所述器械数据包括影像学的图像数据以及手术器械的器械位姿数据；

所述数据子系统，用于对所述标准格式数据进行归档和自我学习，并在术前根据所述信息数据和图像数据得到规划路径和手术操作指导，在术中根据所述器械位姿数据进行手术器械的实时跟踪获取实时位置，并且根据所述规划路径和手术操作指导结合实时位置在手术中得到手术意见；

所述成像子系统，用于在手术全流程展示对应的图像数据，并在手术前在图像数据上叠加所述规划路径以及手术操作指导进行展示，供医生术前参考，在手术中实时在图像数据上叠加所述实时位置以及手术意见进行展示，以辅助医生进行手术；

所述控制子系统，用于根据医生输入的控制指令控制手术器械改变相应的器械位姿以进行手术。

作为优选，所述根据信息数据和图像数据得到规划路径和手术操作指导，执行如下操作：

接收医生在图像数据上标记的病灶区域，生成病灶区域的一组位置信息B；

从所述信息数据中调用同类手术的手术记录，确定针对当前病灶区域的一组手术起点位置信息，并根据医生在该组手术起点位置信息中的指定确定最终的手术起点位置信息A；或者接收医生输入的手术起点位置信息作为最终的手术起点位置信息A；

计算手术起点位置信息A至位置信息B的手术器械姿态，选择最佳的1～2个手术器械姿态生成手术器械术前的规划路径；

以位置信息B作为手术范围，从所述信息数据中调用同类手术的手术记录，确定针对当前病灶区域的手术步骤展示在图像数据上；

接收医生输入的手术范围调整信息以及手术步骤调整信息对手术范围和手术步骤进行调整，得到最终的手术范围和手术步骤作为手术操作指导。

作为优选，所述根据所述规划路径和手术操作指导结合实时位置在手术中得到手术意见，执行如下操作：

在从手术起点位置至病灶区域的过程中，若实时位置位于术前的规划路径上，则根据实时位置以及术前的规划路径给出下一步手术操作建议；否则根据实时位置偏离术前的规划路径的程度给出风险提示；

在病灶区域进行手术的过程中，若实时位置为所述手术操作指导中的一个位置点，则根据实时位置以及手术操作指导给出下一步手术操作建议；否则根据实时位置偏离手术操作指导的程度给出不同的风险提示。

作为优选，所述根据所述器械位姿数据在进行手术器械的实时跟踪获取实时位置，执行如下操作：

在手术前进行位置较准：获取医生在患者体表图像中标记的多个位置信息C，同时获取医生在患者的影像学图像中同步标记的位置信息D，根据位置对应的位置信息C和位置信息D计算得到较准偏差；

在进行实时跟踪时利用较准偏差纠正所述器械位姿数据得到对应的实时位置。

作为优选，所述对标准格式数据进行归档，执行如下操作：获取手术过程中的所有器械位姿数据以及实时位置，将器械位姿数据以及实时位置作为一个手术集合存放在关系数据库中，并以手术ID和手术类型作为唯一标识；

所述自我学习，执行如下操作：定时对归档的资料进行筛选，将相同的手术类型的数据做整合，整合包括将位置相近的点做整理，形成正态分布，统计出该类手术中手术器械、手术起点的位置中位置集中的点位；将位置集中的点位和对应的手术类型单独保存在另一个关系数据库表中，长期不间断对该关系数据库表做补充，使其形成对医生有帮助的手术规划数据。

本申请提供的医疗器械控制与数据融合的手术全流程赋能方法及系统，是一种集成化、平台化的医疗器械数据融合通信的系统，以为外科手术提供高效率，多视角的数据呈现方式，还可以与大数据手术分析平台对接，完成影像重构、影像增强、智能导航、数据分析、手术建议、器械控制等功能的智能化设备，给出一系列经循证证实有效的优化处理措施，以减轻患者心理和生理的创伤应激反应，从而减少并发症，缩短住院时间，降低再入院风险及死亡风险，同时降低医疗费用以及降低手术难度。

附图说明

图1为本申请的医疗器械控制与数据融合的手术全流程赋能方法的流程图；

图2为本申请的医疗器械控制与数据融合的手术全流程赋能系统的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。

其中一个实施例中，提供一种医疗器械控制与数据融合的手术全流程赋能方法。医疗器械控制与数据来源于硬件和软件，硬件指医疗器械、医用机器人、CT设备等医学辅助设备；软件包括但不限于医院成熟的或者待成熟的信息系统，如HIS、CIS、PACS、RIS。本实施例将相互独立的硬件软件相融合，利用这些多维信息对手术全流程赋能，赋能应理解为技术与实践相结合的过程，本申请将医学领域的技术支柱应用至外科手术中，形成技术的应用融合。

具体的，如图1所示，本实施例的医疗器械控制与数据融合的手术全流程赋能方法，包括以下步骤：

步骤1、接收外部数据并将外部数据转化为标准格式数据，外部数据包括来源于医疗器械的器械数据以及来源于医院信息系统的信息数据，器械数据包括影像学的图像数据以及手术器械的器械位姿数据。

本实施例将来源于不同对象的外部数据统一转化为标准格式数据，以便于对多维信息的综合利用。需要说明的是，本申请更强调对于外部数据的融合，而非对外部数据本身的技术研究，而数据格式的统一也为数据处理领域的常规技术，本实施例中不具体分析如何针对每一数据格式进行标准化。

本实施例根据具有不同作用的外部数据，将外部数据分为信息数据、图像数据和器械位姿数据三类，其中信息数据为来源于医院信息系统的数据，通常该数据用于作为历史数据，其可以包括历史图像数据、历史手术类型、历史手术路径、历史手术操作等等。

而本次获取的图像数据和器械位姿数据为针对本次手术的图像数据和器械位置数据，具体为哪种类型的图像数据和器械根据本次手术涉及的影像学器械(CT、MRI等)以及手术器械(传统手术器械、手术机器人等)而定。

为了全面反映器械位姿，通常器械位姿数据包括4部分：βx(X方向转动角度)、βy(Y方向转动角度)、βz(自身转动角度)、Dz(Z方向的行程)。同时图像格式是标准的DICOM格式，除了图像本身数据以外，图像上脏器区域、病灶区域等区域在以世界坐标系的Xw(X方向坐标)，Yw(Y方向坐标)，Zw(Z方向坐标)的方式存储在关系型数据库中。DICOM、世界坐标系为广泛应用的标准概念，其之间的转换不再具体给出。

步骤2、对标准格式数据进行归档和自我学习，并在术前根据所述信息数据和图像数据得到规划路径和手术操作指导，在术中根据所述器械位姿数据进行手术器械的实时跟踪获取实时位置，并且根据所述规划路径和手术操作指导结合实时位置在手术中得到手术意见。

本申请在术前对两方面进行规划，一个是从手术起点位置至病灶区域的路径规划，另一个是在病灶区域进行手术的手术操作指导。本实施例事先对这两方面进行规划，以便于医生直观确定手术方案。

其中，根据信息数据和图像数据得到规划路径和手术操作指导，包括：

接收医生在图像数据(例如CT图)上标记的病灶区域，生成病灶区域的一组位置信息B。

从所述信息数据中调用同类手术的手术记录，确定针对当前病灶区域的一组手术起点位置信息，并根据医生在该组手术起点位置信息中的指定确定最终的手术起点位置信息A；或者接收医生输入的手术起点位置信息作为最终的手术起点位置信息A。

计算手术起点位置信息A至位置信息B的手术器械姿态，由于位置信息B为一组位置信息的集合，因此计算得到的手术器械姿态也是一组集合，在一组集合中比较不同手术器械姿态涉及的运动范围以及耗时选择最佳的1～2个手术器械姿态生成手术器械术前的规划路径。

得到规划路径后可以到达预定的手术视野，接着可以在预定的手术视野下模拟手术过程，具体为：以位置信息B作为手术范围，从所述信息数据中调用同类手术的手术记录，确定针对当前病灶区域的手术步骤展示在图像数据上。

接收医生输入的手术范围调整信息以及手术步骤调整信息对手术范围和手术步骤进行调整，得到最终的手术范围和手术步骤作为手术操作指导。

容易理解的是，规划路径和手术操作指导中本质上是一组位置点，以及到达位置点的先后顺序组成，不同的位置点对应于手术器械的不同姿态，因此在规划完成后，可以以动画展示整个手术过程，供医务人员参考。

完成术前的规划后，若能够在手术过程中实时提醒并纠正医生进行手术，则能够更大程度上降低医生的手术压力、降低手术风险。而手术过程中的指导需要依托于手术器械的实时位置，因此本实施例还对手术器械进行位置跟踪：

首先在手术前进行位置较准：获取医生在患者体表图像中标记的多个位置信息C，同时获取医生在患者的影像学图像中同步标记的位置信息D，根据位置对应的位置信息C和位置信息D计算得到较准偏差；然后在进行实时跟踪时利用较准偏差纠正所述器械位姿数据得到对应的实时位置。

为了便于理解，在一个实施例中以CT图像为例对实时位置的获取进一步描述：

步骤a：患者脏器位置信息与图像中位置信息校准；手术开始之前，医生分别人机界面中手动标记5-10个患者体表位置信息，相当于记录了这些位置的世界坐标系，同时在CT图像中同步标记这些位置信息。通过DICOM和世界坐标系的转换来校准因个体差异产生的位置偏差。校准的方式主要是调整时间坐标系的圆点位置：通过人机界面的标记的点位得到世界坐标系圆点A，通过CT图像标记得到世界坐标系圆点B，A和B之间X,Y,Z的偏差就是因个体差异产生的位置偏差。

步骤b：手术器械进入人体之后实时获得其器械位姿数据(针对传统手术器械可以通过外置传感器获得器械位姿数据，或者增加电动机械臂(手术机器人自带)等方式获得其器械位姿数据)，并根据步骤1的偏差调整为世界坐标系中对应的位置，实现器械位置的实时跟踪。

基于获取的实时位置，本实施例在手术过程中对医生的提醒和纠正可以是如下形式：

在从手术起点位置至病灶区域的过程中，若实时位置位于术前的规划路径上，则根据实时位置以及术前的规划路径给出下一步手术操作建议；否则根据实时位置偏离术前的规划路径的程度给出风险提示。

在病灶区域进行手术的过程中，若实时位置为所述手术操作指导中的一个位置点，则根据实时位置以及手术操作指导给出下一步手术操作建议；否则根据实时位置偏离手术操作指导的程度给出不同的风险提示。

步骤3、在手术全流程展示对应的图像数据，并在手术前在图像数据上叠加所述规划路径以及手术操作指导进行展示，供医生术前参考，在手术中实时在图像数据上叠加所述实时位置以及手术意见进行展示，以辅助医生进行手术。

本申请对于图像数据或者术前规划的规划路径、手术操作指导，以及术中的实时威视、手术意见等均以图像形式直观的展示给医生，以便于医生在术前、术中对手术操作进行核对、修改、参考，保证手术有效、安全的进行。

步骤4、根据医生输入的控制指令控制手术器械改变相应的器械位姿以进行手术。医生输入的控制指令可以是与手术意见相同的控制指令，也可以是医生主观判断输出的控制指令，手术意见仅用于辅助医生进行手术，不直接作为控制手术器械进行手术的依据，通过医生输入控制指令控制手术器械进行手术的方式可确保手术的安全性，同时结合了手术意见，保证为手术最佳操作。

本实施例对手术全过程的赋能，从术前、术中一直贯穿到术后，在手术各个阶段都能使用；将所有手术所需数据融合为一体，同一进行功能展示和使用，实现数据一体化、操作一体化。

并且本申请在术后基于归档和自我学习不断收集手术数据以及优化规划指导，从而提升术前和术中的功能效果，实现自我提升和完善。

其中对标准格式数据进行归档，包括：获取手术过程中的所有器械位姿数据以及实时位置，将器械位姿数据以及实时位置作为一个手术集合存放在关系数据库中，并以手术ID和手术类型作为唯一标识(手术ID在术前自动生成1个不重复的值；手术类型通过HIS信息获得患者相关的数据接口获得)，为后续自我学习以及术后回顾提供数据。

其中自我学习，包括：定时对归档的资料进行筛选，将相同的手术类型的数据做整合，整合包括将位置相近的点做整理，形成正态分布，统计出该类手术中手术器械、手术起点的位置中位置集中的点位；将位置集中的点位和对应的手术类型单独保存在另一个关系数据库表中，长期不间断对该关系数据库表做补充，使其形成对医生有帮助的手术规划数据。

如图2所示，在另一个实施例中，还提供一种医疗器械控制与数据融合的手术全流程赋能系统，所述医疗器械控制与数据融合的手术全流程赋能系统包括数据子系统、成像子系统、控制子系统以及接入模块，其中：

所述接入模块，用于接收外部数据并将外部数据转化为标准格式数据并发送至数据子系统、成像子系统、控制子系统，所述外部数据包括来源于医疗器械的器械数据以及来源于医院信息系统的信息数据，所述器械数据包括影像学的图像数据以及手术器械的器械位姿数据。

所述数据子系统，用于对所述标准格式数据进行归档和自我学习，并在术前根据所述信息数据和图像数据得到规划路径和手术操作指导，在术中根据所述器械位姿数据进行手术器械的实时跟踪获取实时位置，并且根据所述规划路径和手术操作指导结合实时位置在手术中得到手术意见。

所述成像子系统，用于在手术全流程展示对应的图像数据，并在手术前在图像数据上叠加所述规划路径以及手术操作指导进行展示，供医生术前参考，在手术中实时在图像数据上叠加所述实时位置以及手术意见进行展示，以辅助医生进行手术。

所述控制子系统，用于根据医生输入的控制指令控制手术器械改变相应的器械位姿以进行手术。

本实施例的系统的载体不拘泥于某一种形态，可以是纯硬件方案；也可以是纯软件方案；甚至软硬件方案相结合的模式。

由于本系统的融合特性，导致对于外部数据的接入和控制接口可能是五花八门的(不同的厂家出产的器械、图像或者信息系统的数据格式都可能不一致)，所以本申请引入一个接入模块，它主要是将外部数据转换成标准格式的器械姿态或者位置信息，不同的外部数据转换过程不同。

若每对接一个外部数据就需要新增加一个接入模块势必会导致系统的不稳定性，所以为了保证系统的稳定性，对于外部不同类型数据来源采用不同接入模块，即每个接入模块用于接收不同格式的外部数据。在该方式下可以确保系统运行过程中增加新的类型的外部数据不用修改已经存在的系统架构，而只需要增加一个接入模块即可，而一个接入模块可以对接多个同类型的外部数据来源，类似于路由器。

关于医疗器械控制与数据融合的手术全流程赋能系统的具体限定可参见上述对于医疗器械控制与数据融合的手术全流程赋能方法的限定，这里就不再进行赘述。

在另一个实施例中，所述根据信息数据和图像数据得到规划路径和手术操作指导，执行如下操作：

接收医生在图像数据上标记的病灶区域，生成病灶区域的一组位置信息B；

从所述信息数据中调用同类手术的手术记录，确定针对当前病灶区域的一组手术起点位置信息，并根据医生在该组手术起点位置信息中的指定确定最终的手术起点位置信息A；或者接收医生输入的手术起点位置信息作为最终的手术起点位置信息A；

计算手术起点位置信息A至位置信息B的手术器械姿态，选择最佳的1～2个手术器械姿态生成手术器械术前的规划路径；

以位置信息B作为手术范围，从所述信息数据中调用同类手术的手术记录，确定针对当前病灶区域的手术步骤展示在图像数据上；

接收医生输入的手术范围调整信息以及手术步骤调整信息对手术范围和手术步骤进行调整，得到最终的手术范围和手术步骤作为手术操作指导。

在另一个实施例中，所述根据所述规划路径和手术操作指导结合实时位置在手术中得到手术意见，执行如下操作：

在从手术起点位置至病灶区域的过程中，若实时位置位于术前的规划路径上，则根据实时位置以及术前的规划路径给出下一步手术操作建议；否则根据实时位置偏离术前的规划路径的程度给出风险提示；

在病灶区域进行手术的过程中，若实时位置为所述手术操作指导中的一个位置点，则根据实时位置以及手术操作指导给出下一步手术操作建议；否则根据实时位置偏离手术操作指导的程度给出不同的风险提示。

在另一个实施例中，所述根据所述器械位姿数据在进行手术器械的实时跟踪获取实时位置，执行如下操作：

在手术前进行位置较准：获取医生在患者体表图像中标记的多个位置信息C，同时获取医生在患者的影像学图像中同步标记的位置信息D，根据位置对应的位置信息C和位置信息D计算得到较准偏差；

在进行实时跟踪时利用较准偏差纠正所述器械位姿数据得到对应的实时位置。

在另一个实施例中，所述对标准格式数据进行归档，执行如下操作：获取手术过程中的所有器械位姿数据以及实时位置，将器械位姿数据以及实时位置作为一个手术集合存放在关系数据库中，并以手术ID和手术类型作为唯一标识；

所述自我学习，执行如下操作：定时对归档的资料进行筛选，将相同的手术类型的数据做整合，整合包括将位置相近的点做整理，形成正态分布，统计出该类手术中手术器械、手术起点的位置中位置集中的点位；将位置集中的点位和对应的手术类型单独保存在另一个关系数据库表中，长期不间断对该关系数据库表做补充，使其形成对医生有帮助的手术规划数据。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。