一种甲状腺细胞辅助诊断方法、设备和存储介质

技术领域

本发明涉及计算机视觉和深度学习领域，尤其是一种甲状腺细胞辅助诊断方法、设备和存储介质。

背景技术

甲状腺穿刺细胞学诊断是国内外指南推荐作为术前评估甲状腺结节良恶性的最佳方案，术前进行甲状腺穿刺检测能够有效减少非必要的甲状腺手术、最大程度降低患者的身心创伤并减少医疗资源浪费。但由于病理医生缺乏等问题，部分基层医院未开展该项检查，仍然使用传统的诊断方法进行诊断。然而随着甲状腺结节发病率的不断攀升，镜下阅片的方式很难承载现有的甲状腺穿刺细胞学诊断工作；同时由于人工误操作，容易出现误诊漏诊、过度治疗、标准不一等情况，传统的人工诊断方式越来越不能满足客观需求。

发明内容

有鉴于此，本发明实施例提供一种甲状腺细胞辅助诊断方法、设备和存储介质。

本发明的第一方面提供了一种甲状腺细胞辅助诊断方法，包括以下步骤：

制作甲状腺细胞数字涂片，所述数字涂片上有若干个甲状腺细胞；

通过分类网络对甲状腺细胞进行分类，识别细胞类型，所述细胞类型包括甲状腺乳头状癌和甲状腺滤泡上皮细胞；

对细胞类型为甲状腺乳头状癌和甲状腺滤泡上皮细胞的甲状腺细胞进行细胞核分割，提取细胞核特征；

根据细胞核特征识别数字涂片的整体癌变程度。

进一步地，所述制作甲状腺细胞数字涂片，具体包括：

获取甲状腺细胞玻片，通过巴氏染色方法对玻片进行染色；

使用全切片扫描技术，基于甲状腺细胞玻片制作甲状腺细胞数字涂片。

进一步地，通过分类网络对甲状腺细胞进行分类之前，所述一种甲状腺细胞辅助诊断方法还包括以下步骤：

以甲状腺细胞为中心，将数字涂片划分为多个patch块；

根据细胞数量对patch块进行分级，分级包括一级细胞、二级细胞和三级细胞；其中，一级细胞表示散落的单个甲状腺细胞；二级细胞表示小于预设阈值的甲状腺细胞组成的细胞团；三级细胞表示大于预设阈值的甲状腺细胞组成的细胞团。

进一步地，所述通过分类网络对甲状腺细胞进行分类，识别细胞类型，具体包括：

根据甲状腺细胞病理学Bethesda报告系统的解析数据，建立分类指标，

使用Efficientnet-v2分类网络，根据所述分类指标，对甲状腺细胞进行分类；其中，对一级细胞、二级细胞和三级细胞使用不同的分类指标进行细胞分类。

进一步地，所述细胞核分割，具体包括以下步骤：

通过StarDist分割模型，识别甲状腺细胞中的星状凸面多边形；

将识别到的星状凸面多边形确定为细胞核，将细胞核从甲状腺细胞的细胞膜和细胞质中分割。

进一步地，所述提取细胞核特征，具体包括：

通过核分类模型提取细胞核特征，所述核分类模型包括卷积神经网络，细胞核特征包括浅层信息和深层信息；其中浅层信息用于描述细胞核的形态结构，包括核沟和假包涵体；深层信息用于描述细胞核的语义信息。

进一步地，所述根据细胞核特征识别数字涂片的整体癌变程度，具体包括以下步骤：

比较数字涂片中甲状腺乳头状癌与甲状腺滤泡上皮细胞的数量；

计算甲状腺乳头状癌的数量是否超过预设第一门限值；

计算核沟和假包涵体的数量是否超过预设第二门限值；

当甲状腺乳头状癌数量大于甲状腺滤泡上皮细胞的数量、甲状腺乳头状癌的数量超过第一门限值且核沟和假包涵体的数量超过预设第二门限值时，输出阳性结果；

否则，输出阴性结果。

进一步地，所述一种甲状腺细胞辅助诊断方法通过以下训练得到：

收集甲状腺病理学切片，以切片中甲状腺标本图像作为目标细胞进行标注；标注信息包括细胞的坐标信息和类别信息；

以标注的细胞为为中心截取多个patch块；将多个patch块按8:1:1比例划分为训练集、验证集和测试集；

将训练集输入Efficientnet-v2分类网络中进行训练，得到细胞分类结果；

将训练集输入StarDist分割模型进行训练，得到分割细胞核作为核分类模型测试图片；

对测试图片进行半自动标注，输入核分类模型中得到核分类结果；

设定逻辑规则，根据核分类结果给出数字涂片的整体癌变程度诊断结果。

本发明第二方面公开了一种电子设备，包括处理器以及存储器；

所述存储器用于存储程序；

所述处理器执行所述程序实现一种甲状腺细胞辅助诊断方法。

10.一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现一种甲状腺细胞辅助诊断方法。

本发明具有如下有益效果：本发明一种甲状腺细胞辅助诊断方法、设备和存储介质针对甲状腺穿刺细胞学涂片进行全片分析，识别所有可疑的病变细胞，可最大程度减少漏诊误诊情况；另一方面采用统一诊断标准学习大量甲状腺穿刺细胞学涂片样本，诊断结果可靠且客观性强。本发明可大幅度提高诊断速度，提高病理医生的工作效率，广泛应用于甲状腺诊断治疗中。

本发明的附加方面和优点将在下面的描述部分中给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种甲状腺细胞辅助诊断方法的基本流程。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本实施例介绍了一种甲状腺细胞辅助诊断方法的基本流程，如图1所示，包括以下步骤：

S1.制作甲状腺细胞数字涂片，所述数字涂片上有若干个甲状腺细胞。

步骤S1具体包括：

S1-1:获取甲状腺细胞玻片，通过巴氏染色方法对玻片进行染色；

S1-2:使用全切片扫描技术，基于甲状腺细胞玻片制作甲状腺细胞数字涂片。

本实施例中自临床病理诊断中获取数字涂片，使用巴氏染色方法染色后，使用全切片扫描技术(whole slide images，WSI)将物理涂片扫描成像为数字涂片。

S2.以甲状腺细胞为中心，将数字涂片划分为多个patch块；根据细胞数量对patch块进行分级，分级包括一级细胞、二级细胞和三级细胞；其中，一级细胞表示散落的单个甲状腺细胞；二级细胞表示小于预设阈值的甲状腺细胞组成的细胞团；三级细胞表示大于预设阈值的甲状腺细胞组成的细胞团。

步骤S2中，由于甲状腺细胞学切片中细胞形态各异，有成团状的，也有单个散落的细胞。为了目标检测器能够更好地检测到感兴趣目标，本实施例根据细胞数量，将甲状腺乳头状癌(Papillary Thyroid Carcinoma，PTC)分为三个等级PTC-S、PTC-M、PTC-L。其中，PTC-S代表散落的单个细胞；PTC-M代表少于10个细胞组成的细胞小团块；PTC-L代表数量众多的细胞，细胞数量往往在10个以上，可形成较大的细胞团块，也包括具有完整乳头状结构或具有部分乳头状结构的细胞团块。同样地，TFEC-S、TFEC-M、TFEC-L分别代表对应数量的甲状腺滤泡上皮细胞(Thyroid Follicle Epithelial Cell，TFEC)。

S3.通过分类网络对甲状腺细胞进行分类，识别细胞类型，所述细胞类型包括甲状腺乳头状癌和甲状腺滤泡上皮细胞。

步骤S3具体包括：

S3-1.根据甲状腺细胞病理学Bethesda报告系统的解析数据，建立分类指标，

S3-2.使用Efficientnet-v2分类网络，根据所述分类指标，对甲状腺细胞进行分类；其中，对一级细胞、二级细胞和三级细胞使用不同的分类指标进行细胞分类。

步骤S3中，使用Efficientnet-v2分类网络，对步骤S2中检测到的各级细胞进行初步分类。根据甲状腺细胞病理学Bethesda报告系统中甲状腺疾病的诊断要点，可分为包括甲状腺乳头状癌、甲状腺滤泡上皮细胞、微滤泡、多核巨细胞、含铁血黄素细胞、炎细胞以及碎片等。Efficientnet-v2分类网络会给出各个patch块属于每一类的预测概率值，将预测概率值最高所对应的那一类作为该patch块的预测类别进行输出。

S4.对细胞类型为甲状腺乳头状癌和甲状腺滤泡上皮细胞的甲状腺细胞进行细胞核分割，提取细胞核特征。

步骤S4具体包括：

S4-1.通过StarDist分割模型，识别甲状腺细胞中的星状凸面多边形；

S4-2将识别到的星状凸面多边形确定为细胞核，将细胞核从甲状腺细胞的细胞膜和细胞质中分割。

在步骤S3中已经初步将PTC和TFEC分开，但仍然会有小部分的混淆，这会导致假阳或者假阴。步骤S4使用StarDist分割模型对步骤S3中分类为PTC和TFEC的细胞进行核分割，从而将细胞水平上的分析转为更加精细的细胞核水平上的分析。由于细胞核一般是星状凸面的，StarDist通过该先验，具有更好的形状表示，可以对各种复杂情况的细胞或细胞核进行分割。

S4-3.通过核分类模型提取细胞核特征，所述核分类模型包括卷积神经网络，细胞核特征包括浅层信息和深层信息；其中浅层信息用于描述细胞核的形态结构，包括核沟和假包涵体；深层信息用于描述细胞核的语义信息。

将上述步骤S4-2中分割出来的细胞核输入核分类模型，该模型通过一系列的卷积、池化操作提取、选择细胞核特征，包括浅层的形态结构信息如核沟结构和假包涵体等可进行辅助诊断的特征，以及更深层的语义信息等。

S5.根据细胞核特征识别数字涂片的整体癌变程度。

步骤S5中，设置核分类中每分类相应的数量阈值，根据步骤S4中的核分类结果，给出该数字涂片阴、阳性诊断结果。得出阳性结果需要同时满足以下三个条件：1.PTC数量＞TFEC数量；2.PTC数量＞已设置的阈值；3.核沟、假包涵体数量大于已设置阈值。否则输出阴性结果。

本实施例描述了一种甲状腺细胞辅助诊断方法的训练过程。

A、收集大量用于训练的甲状腺细胞学病理切片，借助于数字病理扫描仪，病理医师团队会对甲状腺标本图像进行确认性的人工标注，标注的内容有各类细胞的坐标信息及细胞的类别信息，以备目标检测器和分类器的训练之用。

B、在计算机上使用Aslide打开一张切片(Aslide除了包含openslide能读取的切片扫描格式外，也能够兼容更多扫描仪厂商扫描的切片)，以病理医师标注(框选)的一个个目标细胞为中心，在切片上截取1216×1216的小区域patch，随后resize到608×608大小，由此得到用于YOLO-v5目标检测模型的数据集并将该数据集按照8:1:1的比例划分为训练集、验证集、测试集。模型在训练集上训练并通过验证集不断地迭代优化，使得模型收敛，最后模型在测试集上进行推理。

C、在甲状腺病理切片中通常会包含除PTC和TFEC外的其他细胞，如中性粒细胞、间质细胞等。在细胞分类器的训练数据集中引入这些类型的细胞作为负样本进行对照训练，有助于分类器更好的区分PTC和TFEC。另外，为了排除一些垃圾对分类器性能的影响，将垃圾类也纳入分类器的训练数据集中。最终，整个分类器的训练数据集包括了中性粒细胞、间质细胞、垃圾类、PTC-L、PTC-M、PTC-S、TFECA-L、TFEC-M、TFEC-S等。

D、选择u-net作为StarDist模型的主干，在python库调用StarDist模型中的StarDist2D，在StarDist提供的预训练模型权重基础上，用病理医生制作的分割数据集对该模型进行重新训练，所用训练图片尺寸均被预处理成256×256大小。模型训练的损失函数选择Cross-entropy loss，使用Adam优化器进行模型的迭代优化直至收敛，得到最终的核分割模型。将C中分类为PTC和TFEC的细胞输入上述训练好的StarDist核分割模型，模型会预测输出分割的每个细胞核的轮廓信息。在分割出细胞核的同时，以细胞核轮廓为边界，截取最小外接矩形框中的内容，用作E中核分类模型的测试图片。

E、核分类模型的训练数据，一部分由病理医师在相应的细胞中手动勾画得到，另一部分由半自动的方法得到。其中，半自动方法的具体实现步骤是：由预训练好的核分割模型对新的细胞图片进行测试，测试结果反馈给专业的病理医师团队进行结果的校正，然后将校正后的数据与手动勾画的数据一并纳入训练数据集中。半自动标注的方法可以大大减少人工标注的工作量，提高标注效率。核分类的数据共有5类：核沟、假包涵体、毛玻璃样核、阴性细胞核(即甲状腺滤泡上皮细胞核)以及垃圾。

F、根据病理医生提前设定好的诊断逻辑规则，结合E中的核分类结果，给出该甲状腺数字化切片阴、阳性诊断结果。

本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。