颅颌面CT图像分割的方法、模型训练的方法与设备

技术领域

本发明涉及医学影像技术领域，特别涉及一种颅颌面CT图像分割的方法、模型训练的方法与设备。

背景技术

医学图像分割是医学图像处理领域的一个重要方向，它的研究具有很高的实际意义和学术价值。近年来，随着计算机视觉和机器学习技术的不断发展，医学图像分割领域取得了长足的进展。许多基于深度学习的图像分割方法如U-Net、SegNet和FCN等已经被广泛应用于医学图像分割任务。这些方法通过使用卷积神经网络(CNN)和反卷积神经网络(deconvolutional neural network)等技术，在图像分割任务中取得了较高的准确性和稳定性。

尽管医学图像分割领域的研究取得了显著的进展，但仍存在一些不足之处。一方面，大多数现有的医学图像分割方法都需要大量的标记数据，而医学图像标记是一项非常困难和耗时的任务，因此很难收集到足够的标记数据来训练模型。另一方面，现有的医学图像分割方法在处理复杂的医学图像时仍有一定的困难，例如图像中存在复杂的结构、不同类型的肿瘤或病变等。这些因素对分割精度造成了一定的影响，需要更深入的研究来解决这些问题。

颅颌面肿瘤是一种常见的肿瘤，它可以影响颅颌面部的任何部位。CT图像是诊断颅颌面肿瘤的常用手段。通过对CT图像进行分割，医生可以更准确地评估肿瘤的大小、形状和位置，从而确定最佳的治疗方案。由于颅颌面肿瘤CT图像通常具有较高的空间复杂度和灰度不均衡等问题，而现有的医学图像分割网络并未针对颅颌面CT图像特征进行针对性设计。

发明内容

鉴于现有技术中的问题，本发明提供了一种颅颌面CT图像分割模型训练的方法，所述方法包括：

获取颅颌面肿瘤CT图像数据集，所述颅颌面肿瘤CT图像数据集由有标签数据集和无标签数据集组成；

基于同一图像分割深度神经网络骨干模型分别构建主网络和教师网络；

所述主网络在每一次训练迭代中使用所述有标签数据集进行学习；

所述教师网络在预设的开始阶段和结束阶段使用所述有标签数据集进行学习，在中间阶段则通过平均当前所述主网络的所有权重来模拟所述主网络的学习过程，并且对所述无标签数据集中的图形数据通过不同视角的分割一致性进行约束。

进一步地，所述有标签数据集中的颅颌面肿瘤CT图像标注有肿瘤区域、上颌骨区域和下颌骨区域。

进一步地，所述颅颌面肿瘤CT图像数据集经过预处理操作以确保其中的各图像数据的一致性。

进一步地，所述图像分割深度神经网络骨干模型包括卷积部分、反卷积部分和特征层拼接部分，所述特征层拼接部分将所述卷积部分提取的特征和所述反卷积部分恢复的信息进行合并。

进一步地，在测试集上采用Dice相似系数进行评估，计算公式为

其中，R

进一步地，所述不同视角是基于颅颌面肿瘤CT图像的横断面、冠状面、矢状面的三种视角。

进一步地，所述教师网络采用的损失函数为

L

其中，L

本发明还提供了一种颅颌面CT图像分割的方法，其采用经上述颅颌面CT图像分割模型训练的方法训练的模型对颅颌面CT图像进行图像分割。

本发明还提供了一种电子设备，所述电子设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述的颅颌面CT图像分割模型训练的方法或颅颌面CT图像分割的方法的操作。

本发明还提供了一种存储指令的计算机可读介质，所述指令在被执行时使得系统执行上述的颅颌面CT图像分割模型训练的方法或颅颌面CT图像分割的方法的操作。

本发明的颅颌面CT图像分割的方法、模型训练的方法，其中模型训练的方法基于半监督深度神经网络的颅颌面CT图像分割算法，针对颅颌面CT图像标记的困难性，现有医学图像分割网络对小物体分割不准确，三维数据分割一致性低等问题，采用以三维卷积模块为基础，构建起编解码的深度神经网络，以提取图像从粗粒度到细粒度的各组织特征；同时采用教师网络为基础的半监督结构，将CT图像的横断面、冠状面、矢状面三种视角图像的分割一致性作为监督方式训练未标记数据，极大地缓解了三维医学图像标记困难的问题。

从而，本发明的颅颌面CT图像分割的方法、模型训练的方法可以直接应用于颅颌面CT图像组织分割领域，提高了颅颌面CT图像分割的精确度和准确率，在辅助医生进行颅颌面疾病诊断时为其提供了便捷性和可靠度，并且不需要大量的有标记数据，大大减少了人工标记成本。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明一个实施例的架构示意图；

图2示出可用于本发明各实施例的一种示例性系统的功能模块。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本发明作进一步详细描述。

在本发明的一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如，中央处理器(Central Processing Unit,CPU))、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory,RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory,ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change Memory,PCM)、可编程随机存取存储器(Programmable Random Access Memory,PRAM)、静态随机存取存储器(Static Random-Access Memory,SRAM)、动态随机存取存储器(Dynamic Random AccessMemory,DRAM)、其他类型的随机存取存储器(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、电可擦除可编程只读存储器(Electrically-ErasableProgrammable Read-Only Memory,EEPROM)、快闪记忆体(Flash Memory)或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本发明所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如Android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit,ASIC)、可编程逻辑器件(Programmable Logic Device,PLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、数字信号处理器(Digital Signal Processor,DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc Network)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。

当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。

在本发明的实施方式的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。

参考图1，本发明的一个实施例中提供的一种颅颌面CT图像分割模型训练的方法，包括：

S10、获取或准备一定数量的颅颌面肿瘤CT图像数据作为样本，形成颅颌面肿瘤CT图像数据集，选择其中一部分作为有标签数据，组成有标签数据集，其余部分则组成无标签数据集。

优选地，将有标签数据与无标签数据按照1：4的比例组成batch，以进行后续的训练。

对于有标签数据集，为其中的各颅颌面肿瘤CT图像标注出相应的肿瘤区域、上颌骨区域和下颌骨区域。基于后续训练需要，将有标签数据集中的图像数据按照预定比例划分出训练集、测试集和验证集。

在一些实施例中，为确保颅颌面肿瘤CT图像数据集中各图像数据的一致性，对颅颌面肿瘤CT图像数据集中的图像数据进行必要的预处理操作，上述预处理操作包括图像去噪、滤波、归一化等。

S20、构建一个用于图像分割的深度神经网络骨干模型，该深度神经网络骨干模型的结构主要由卷积部分、反卷积部分以及特征层拼接部分组成。

卷积部分主要由多个卷积层和池化层组成，以提取颅颌面肿瘤CT图像的特征，如肿瘤、上颌骨、下颌骨。每个卷积层以一组卷积核对图像进行卷积，从而提取不同的特征。

反卷积部分用于将池化层中丢失的信息恢复回图像中，其主要由多个反卷积层组成，这些层通过学习从低分辨率图像到高分辨率图像的映射，从而恢复图像的信息。

特征层拼接部分用于将卷积部分提取的特征和反卷积部分恢复的信息合并起来，从而提高分割的准确性。拼接部分由多个拼接层组成，每个拼接层将两个部分的特征结合起来，并将其传递给下一个层。

通过上述这些部分的组合，该深度神经网络骨干模型可以通过从原始图像中提取特征，再将其通过反卷积和拼接部分恢复回图像，从而对图像进行分割。

S30、构建一个半监督神经网络模型，以颅颌面肿瘤CT图像的横断面、冠状面、矢状面三种视角图像的分割一致性作为监督方式。

该半监督神经网络模型包括主网络和教师网络，主网络和教师网络采用相同的网络构建，具体地，是采用步骤S20中的深度神经网络骨干模型分别构建主网络和教师网络。

主网络在每一次训练迭代中使用有标签数据集进行学习。

教师网络仅在预设的开始阶段和结束阶段使用有标签数据集进行学习，在中间阶段，教师网络则通过平均当前主网络的所有权重来模拟主网络的学习过程。

在一些实施例中，平均过程采用指数加权平均，具体公式如下：

P

其中，p是当前的参数值，P

同时，教师网络对无标签数据集中的图形数据通过不同视角的分割一致性进行约束，具体地，是对于颅颌面肿瘤CT图像的横断面、冠状面、矢状面的三种视角图像的分割一致性进行约束。

在一些实施例中，采用L

L

其中，L

S40、将有标签数据和无标签数据按比例组成的batch输入步骤30中的半监督神经网络模型进行训练。

在一些实施例中，在测试集上采用Dice相似系数进行评估，计算公式如下：

其中，R

经步骤S10～S40训练完成后的上述半监督神经网络模型可以应用于实际的颅颌面肿瘤CT图像分割任务，以辅助医生进行诊断和治疗决策。

本发明的一个实施例提供了一种颅颌面CT图像分割的方法，其采用如上述步骤S10～S40的操作所训练的半监督神经网络模型来对颅颌面CT图像进行图像分割。

本发明的一个实施例提供了一种电子设备，所述电子设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使处理器执行上述步骤S10～S40的颅颌面CT图像分割模型训练的方法的操作，或是上述的颅颌面CT图像分割的方法的操作。

本发明的一个实施例提供了一种存储指令的计算机可读介质，所述指令在被执行时使得系统执行上述步骤S10～S40的颅颌面CT图像分割模型训练的方法的操作，或是上述的颅颌面CT图像分割的方法的操作。

图2示出了可被用于实施本发明中所述的各个实施例的示例性系统。

如图2所示，在一些实施例中，系统1000能够作为各所述实施例中的任意一个用户终端设备。在一些实施例中，系统1000可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备1020)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本发明中所述的动作的一个或多个处理器(例如，(一个或多个)处理器1005)。

对于一个实施例，系统控制模块1010可包括任意适当的接口控制器，以向(一个或多个)处理器1005中的至少一个和/或与系统控制模块1010通信的任意适当的设备或组件提供任意适当的接口。

系统控制模块1010可包括存储器控制器模块1030，以向系统存储器1015提供接口。存储器控制器模块1030可以是硬件模块、软件模块和/或固件模块。

系统存储器1015可被用于例如为系统1000加载和存储数据和/或指令。对于一个实施例，系统存储器1015可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器1015可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。

对于一个实施例，系统控制模块1010可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备1020及(一个或多个)通信接口1025提供接口。

例如，NVM/存储设备1020可被用于存储数据和/或指令。NVM/存储设备1020可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(Hard Disk,HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。

NVM/存储设备1020可包括在物理上作为系统1000被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备1020可通过网络经由(一个或多个)通信接口1025进行访问。

(一个或多个)通信接口1025可为系统1000提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统1000可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。

对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器(例如，存储器控制器模块1030)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。

在各个实施例中，系统1000可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统1000可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统1000包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。

需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。

通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。

作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。

在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。