口腔鳞状细胞癌分化程度预测系统

技术领域

本申请属于疾病诊断和人工智能领域。

背景技术

口腔鳞状细胞癌(OSCC)是指发生于口腔内，以鳞状细胞为主的恶性肿瘤，癌细胞可以发生于牙龈、硬腭、舌体、颊粘膜、嘴唇等等器官，属于头颈部恶性程度最高、危害性最大的肿瘤。

OSCC按照分化程度可分为高分化OSCC和低分化OSCC。高分化OSCC的细胞增殖速度慢，转移机会低，预后较为良好；而低分化OSCC的细胞增殖速度快，易转移，治疗效果较差，预后不良。

临床上对OSCC的分化程度进行区分主要依赖人工读组织病理切片(人工读片)，对低分化和高分化OSCC的区分标准：肿瘤分化程度反映的是肿瘤组织在组织结构和细胞形态上与其来源的正常组织细胞间不同程度的形态差异，根据其病理切片的组织形态，临床上常用G1(1级，高分化)、G2(2级，中分化)、G3(3级，低分化)与G4(4级，未分化)来表示，其恶性程度逐渐升高。

人工读片耗时、费力，且对医生的经验要求较高，已经不能满足当前日益增长的医疗诊断需求；目前急需一种可区分低分化和高分化OSCC且准确性高的读片技术。

通过深度学习对肿瘤病理切片进行识别，自动评估肿瘤分化程度，可以在一定程度上提高读片速度，降低病理医生的工作强度，为诊断提供辅助和参考依据。目前，深度学习模型已经被应用于肺癌、食管癌、胃癌、脑胶质瘤、肾透明细胞癌等多种癌症的病理切片图像的识别，得到相关的辅助诊断系统。但是，深度学习对病理切片的分析准确性受限于算法本身特性以及切片组织的类型，准确性不够高，尚不能完全代替人工读片。例如，中国专利申请CN111554381A公开了一种基于深度学习的肾透明细胞癌人工智能病理诊断方法及其诊断模型，其方法包括对病理显微图像进行分割处理，获得模块化图像，再进行归一化处理，确定主要识别对象和次要识别对象，提取模块化图像的特征信息，再采用Lasso回归拟合广义线性模型确定与肾透明细胞癌病理诊断显著相关的模块的图像特征信息，以此为基础构建基于深度学习的肾透明细胞癌诊断模型，其在测试集中的特异性为92.4％，灵敏度为93.1％。中国专利申请CN111079862A通过改进VGG-f卷积神经网络的结构(即移除最后2个全连接层，将第五个卷积层的卷积核数目设置为512，并在卷积层后加入一个池化层，将全连接层的神经元数目设置为2)等方式，得到改进的甲状腺乳头状癌病理图像分类方法，该方法进行甲状腺癌病理分类时，特异性和灵敏度可同时达到95％；该申请还对比了其他现有分类方法，例如Resnet-50、VGG-16、VGG-f等，发现这些方法难以兼顾特异性和灵敏度，总体上准确性不够高。

EfficientNets是谷歌(Google)研究人员提出的一种用于深度学习的卷积神经网络(CNN)模型，此模型比之前的卷积神经网络拥有更高的精度和速度，在2019年被称为“迄今为止最好的CNN模型”。Swiderska-Chadaj等使用EfficientNets对已经人工鉴定的前列腺癌相关病理切片进行深度学习，发现其对验证集的预测灵敏度为89％，特异性为97％(Impact of rescanning and normalization on convolutional neural networkperformance in multi-center,whole-slide classification of prostate cancer[J].Scientific Reports,2020,10(1).)。可见EfficientNets在前列腺癌相关病理切片识别上，仍然不能很好地兼顾灵敏度和特异性。

目前尚无深度学习方法用于OSCC分化程度的预测，但根据深度学习方法针对其他癌症相关病例切片的识别可以看出，深度学习方法的特异性和灵敏度还有待进一步提高。

发明内容

本申请要解决的问题是：提供一种基于深度学习的特异性、灵敏度高的OSCC分化程度预测系统。

本申请的技术方案如下：

一种口腔鳞状细胞癌分化程度预测系统，所述系统包括输入模块、预测模块和输出模块；

所述输入模块用于输入病理切片图像数据；

所述预测模块内置EfficientNets模型，用于将口腔鳞状细胞癌病理切片的图片切割成正方形图块，根据图块进行识别口腔鳞状细胞癌分化程度的深度学习；

所述输出模块用于将不同分化程度的图块进行区别标识后，复原到一张切片图上，并将该切片图输出。进一步地，所述EfficientNets模型具有如下网络构架：

2D卷积层Conv2D1——批标准化层BN1——限制层7个——2D卷积层Conv2D2——批标准化层BN2——全局池化层GAP——损失层——全连接层；

所述批标准化层BN1和BN2内置激活函数；

所述限制层指一个MBConv卷积块；

所述损失层用于随机舍弃神经元；

所述全连接层的神经元数为2，该层用激活函数计算Softmax值；

优选地，所述批标准化层BN1和BN2内置的激活函数的表达式为f(x)＝x*sigmoid(βx)，其中β是一个常数或可训练的参数；

优选地，2D卷积层Conv2D1的卷积核大小为(3,3)，卷积操作中的滑动步长为2；

优选地，2D卷积层Conv2D2的卷积核大小为(1,1)，卷积操作中的滑动步长为1；

优选地，所述损失层随机舍弃神经元的比例是0.2；

优选地，所述全连接层用激活函数tf.keras.activations.softmax计算Softmax值，所述Softmax值为：

进一步地，所述EfficientNets模型的宽度系数和深度系数均为1.0，切割图片后单个正方形图块的宽为200～250像素；优选地，切割图片后单个正方形图块的宽为224像素。

进一步地，所述模型进行深度学习的学习率为0.007，训练轮数为70。

进一步地，所述系统的输出模块可将不同分化程度的图块进行背景色标识，复原到一张切片图上。

一种通过口腔鳞状细胞癌病理切片识别口腔鳞状细胞癌分化程度的深度学习训练方法，所述方法包括如下步骤：

1)取一批等数量的高分化和低分化口腔鳞状细胞癌病理切片的图片，分为训练集、验证集和测试集三个子集，将图片切割成数个正方形图块；

2)使用EfficientNets模型对训练集进行训练，期间通过验证集对模型效果进行检查，调节训练超参数，训练出模型的权重，得到优化的训练模型；

3)使用测试集对结果进行验证。

进一步地，所述EfficientNets模型具有如下网络构架：

2D卷积层Conv2D1——批标准化层BN1——限制层7个——2D卷积层Conv2D2——批标准化层BN2——全局池化层GAP——损失层——全连接层；

所述批标准化层BN1和BN2内置激活函数；

所述限制层涵括一个计算模块；

所述损失层用于随机舍弃神经元；

所述全连接层的神经元数为2，该层用激活函数计算Softmax值；

优选地，所述批标准化层BN1和BN2内置的激活函数的表达式为f(x)＝x*sigmoid(βx)，其中β是一个常数或可训练的参数；

优选地，2D卷积层Conv2D1的卷积核大小为(3,3)，卷积操作中的滑动步长为2；

优选地，2D卷积层Conv2D2的卷积核大小为(1,1)，卷积操作中的滑动步长为1；

优选地，所述损失层随机舍弃神经元的比例是0.2；

优选地，所述全连接层用激活函数tf.keras.activations.softmax计算Softmax值，所述Softmax值为：

进一步地，所述EfficientNets模型的宽度系数和深度系数均为1.0，切割图片后单个正方形图块的宽为200～250像素。

进一步地，切割图片后单个正方形图块的宽为224像素。

进一步地，所述模型进行深度学习的学习率为0.007，训练轮数为70。

本申请中，“图块”是由完整组织病理切片图像分割得到的小图片。

本发明具有如下有益效果：

本发明的预测系统主要使用特定网络构架的EfficientNets模型对口腔鳞状细胞癌这一特定癌种的病理切片进行深度学习，其对低分化和高分化口腔鳞状细胞癌的分辨能力较强，敏感性可达0.966，同时特异性可达0.989，相对于现有的深度学习模型分辨病理切片的敏感性和特异性(难以同时超过90％)有十分显著提升。

本发明的预测系统还能呈现给医生经过标记的病理切片图，便于医生直观、便利地评估口腔鳞状细胞癌的分化程度。

显然，根据本申请的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本申请上述基本技术思想前提下，还可以做出其它多种形式的修改、替换或变更。

以下通过实施例形式的具体实施方式，对本申请的上述内容再作进一步的详细说明。但不应将此理解为本申请上述主题的范围仅限于以下的实例。凡基于本申请上述内容所实现的技术均属于本申请的范围。

附图说明

图1：模型训练的技术路线图。

图2：图块经预测后复原到一张切片的例图。

具体实施方式

实施例1本申请的预测系统对OSCC相关组织病理切片的训练

1.预测系统的组成

本申请的预测系统包括输入模块、预测模块和输出模块。

其中输入模块用于输入病理切片图像数据，输出模块用于输出预测模块所得预测OSCC分化程度高或者低的结果。

所述预测模块内置EfficientNets模型，该模型具有如下具体参数：

width_coefficient＝1.0,depth_coefficient＝1.0,resolution＝224,dropout_rate＝0.2；

网络构架：2D卷积层Conv2D1——批标准化层BN1——限制层(Block层7)个——2D卷积层Conv2D2——批标准化层BN2——全局池化层GAP——损失层(Dropout层)——全连接层(Dense层)；

各层相关参数：

①2D卷积层Conv2D1：kernel_size＝(3,3),strides＝2,padding＝"same",use_bias＝False。

②批标准化层BN1：激活函数：swish。

③2D卷积层Conv2D2：kernel_size＝(1,1),strides＝1,padding＝"same",use_bias＝False。

④批标准化层BN2：激活函数：swish。

⑤全局池化层：Default，为EfficientNets的默认参数。

⑥损失层：dropout_rate＝0.2。

⑦全连接层：units＝2,activation＝tf.keras.activations.softmax。

注：width_coefficient：宽度系数，即通道(channel)的数量，网络中同层卷积层中卷积核的个数；depth_coefficient：深度系数，即网络中卷积层的个数；resolution：切割图片后单个图片(必须为正方形)的宽度，单位为像素；dropout_rate：随机舍弃的神经元比例；kernel_size：卷积核的大小；strides：卷积操作中的滑动步长；padding：卷积核边缘的填充方式；use_bias：是否使用偏置向量；swish：激活函数，函数表达式为f(x)＝x*sigmoid(βx)，其中β是一个常数或可训练的参数；Units：该层的神经元数；Activation：激活函数；tf.keras.activations.softmax：Tensorflow内置的激活函数的一种，函数定义为：在一个数组中，V，Vi表示V中的第i个元素，这个元素的Softmax值是

此为预训练模型，在此基础上通过数据集的训练，还需训练两个超参数：学习率Learning rate和训练轮数epoch。

2.训练方法

(1)获取TCGA数据库(https://www.cancer.gov/about-nci/organization/ccg/research/structural-genomics/tcga)，整理出高低分化程度的数据集。

前述的不同分化程度具体分为：高分化(G1-G2)与低分化(G3-G4)，具体含义参考背景技术。

(2)平衡数据集，切割并将原始数据预处理，转化为单个图块的图集用以训练。具体地：

共有高分化切片568张，低分化189张。随机选取低分化切片136张；并在高分化切片中随机选取136张切片，两类共272张切片作为数据集。其中182张用于训练模型，称为训练集(train set)。60张用于模型训练中的交叉验证，称为验证集(valid set)；此集的作用于在训练过程中，每进行一遍训练集的迭代训练(即完成一轮epoch后)，对模型效果进行检查，输出对该验证集的测试效果，方便观察模型的训练效果。30张用于对模型的预测，称为测试集(test set)。该集的作用在于模型训练完成后，对模型的效果进行检验。将分类后的切片切割为数个224*224(像素大小)的正方形图块，并筛选掉背景区域大于50％的无效图块。

(3)使用预训练模型，通过调节训练超参数，训练出最佳的用以分类分级状况的模型权重。具体地：

关注的主要超参数为Learning Rate(学习率，指模型的学习进度。过高导致难以收敛，过低导致过拟合)、Epoch(训练轮数，指每个数据用于训练的次数，过低导致预测效果不佳，过高导致过拟合)

Learning Rate分别使用0.0001、0.0005、0.001、0.005、0.01、0.05和0.1，并在效果最好的参数及其邻近的效果较好的参数之间再选取4个参数进行训练和验证。

Epoch与模型精度的关系为逐渐增高，在最高点波动后单调降低的曲线。因此将epoch设为较高值80，每训练完1个epoch后保存模型，最后将80个不同epoch参数的模型进行验证的方法，作出曲线并观察其高点所对应的epoch。

(4)整合训练结果，并用整理后的模型在切片上进行验证。

模型训练的技术路线图如图1所示。

3.预测结果

对模型的效果进行整合分析发现，模型在70个epoch时拥有最好的预测效果。达到该效果的超参数为训练轮＝70，学习率＝0.007

对切片的图块进行分类预测，发现与金标准病理医生检验相比，诊断OSCC分化程度的敏感性为0.966，特异性为0.989，均在很高的水平上，有很高的可信度(表1)。

表1测试集30张切片的图块集的预测情况

本申请的系统可以将系统对已经预测为低分化的图块进行标记，复原到一张切片图上，呈现到医生眼前，复原的图如图2所示，深色背景的图块即为低分化部分，正常颜色(无深色背景)的为高分化部分。医生可根据复原图直观、便利地评估口腔鳞状细胞癌的分化程度，并能十分快速地对一些错误标记的图块仔细核查，进一步减少假阳性或假阴性的出现。

综上，本申请的系统内置的深度学习算法区分高分化和低分化OSCC的灵敏度、特异性均显著高于现有深度学习模型；该系统最终能将产生经标记的病理切片复原图，便于医生快速直观、便利评估口腔鳞状细胞癌的分化程度。