一种甲状腺的结节TI-RADS分级系统及方法

技术领域

本发明涉及计算机人工智能深度学习技术领域，尤其是涉及一种甲状腺的结节TI-RADS分级系统及方法。

背景技术

甲状腺结节在超声诊断中十分常见，并且多为良性，并不需要干预治疗，但是少部分良性结节可能会慢慢变成恶性，最终演变为肿瘤或间接导致癌症，因此有必要通过一些辅助诊断方法进行结节检测和尽可能地正确分类。在甲状腺结节检测初期，由于甲状腺结节的超声图像非常复杂多样，因此甲状腺结节良恶性诊断方式也非常多样化，不同机构、专家根据自己的经验开发出各自的检测手段和判断标准，这直接复杂化甲状腺结节分级并在无形中提升了分级难度。

如今也有很多不同的特征算子如ORB、SURF、SIFT、HOG等，给定一幅甲状腺超声影像，使用何种算子提取何种特征需要一个非常有经验的专家来完成，并在迭代过程中不断通过现有结果进行优化，这是一件耗时耗力的事情——需要更多经验丰富的技术员和大量时间。

发明内容

本发明的目的在于提供一种甲状腺的结节TI-RADS分级系统及方法，该结节分级系统能够解决现有技术中甲状腺结节五种因素自动分类效果不佳的问题。

为了实现上述目的，本发明提供如下技术方案：

一种甲状腺的结节TI-RADS分级方法，所述方法具体包括：

S101，通过应用图像形态学方法对第一图像数据集降噪；

S102，对第一图像数据集进行数据增强形成第二图像数据集；

S103，训练深度学习网络组形成第一模型组；

S104，将训练好的所述第一模型组通过领域适配方法提升识别效果；

S105，通过参数搜索对所述第一模型组融合得到第二模型。

在上述技术方案的基础上，本发明还可以做如下改进：

进一步地，通过应用图像形态学方法对第一图像数据集降噪具体包括：通过应用图像形态学方法对所述第一图像数据集中的第一甲状腺超声图像灰度化处理，得到二值化的第二甲状腺超声图像；将所述第二甲状腺超声图像进行图像开运算，对第二甲状腺超声图像先腐蚀再膨胀，用于去除第二甲状腺超声图像中的噪音。

进一步地，对第一图像数据集进行数据增强形成第二图像数据集具体包括：当第一图像数据集为小数据集时，在训练深度学习网络组之前对所述第一图像数据集中的第一甲状腺超声图像进行增强处理。

进一步地，对第一图像数据集进行数据增强形成第二图像数据集具体还包括：当第一图像数据集为大数据集时，在训练深度学习网络组时对所述第一图像数据集中的第一甲状腺超声图像进行增强处理。

进一步地，训练深度学习网络组形成第一模型组具体包括：通过ResNet网络结构、GoogLeNet网络结构、VGG16网络结构、AlexNet网络结构和DenseNet网络结构分别作为骨干网络对所述第二图像数据集中的第二甲状腺超声图像进行甲状腺结节特征提取。

一种计算机设备，包括：

处理器，其被配置为执行权利要求1至5任一所述的甲状腺的结节TI-RADS分级方法；

存储器，其用于存储所述处理器的可执行指令。

一种可读存储介质，所述可读存储介质中存储有指令，当所述可读存储介质在处理组件上运行时，使得处理组件执行权利要求1至5任一所述的甲状腺的结节TI-RADS分级方法。

一种甲状腺的结节TI-RADS分级系统，包括：

降噪模块，用于通过应用图像形态学方法对第一图像数据集降噪；

增强模块，其与所述降噪模块电性相连，用于对第一图像数据集进行数据增强形成第二图像数据集；

训练模块，其与所述增强模块电性相连，用于训练深度学习网络组形成对应的第一模型组；

适配模块，其与所述训练模块电性相连，将训练好的所述第一模型组通过领域适配方法提升识别效果；

集成模块，其与所述适配模块电性相连，通过参数搜索对所述第一模型组融合得到第二模型。

进一步地，所述深度学习网络组包括ResNet网络结构、GoogLeNet网络结构、VGG16网络结构、AlexNet网络结构和DenseNet网络结构；所述ResNet网络结构、所述GoogLeNet网络结构、所述VGG16网络结构、所述AlexNet网络结构和所述DenseNet网络结构分别作为骨干网络对所述第二图像数据集中的第二甲状腺超声图像进行甲状腺结节特征提取。

进一步地，所述降噪模块通过应用图像形态学方法对第一图像数据集降噪具体包括：所述降噪模块应用图像形态学方法对所述第一图像数据集中的第一甲状腺超声图像灰度化处理，得到二值化的第二甲状腺超声图像；将所述第二甲状腺超声图像进行图像开运算，对第二甲状腺超声图像先腐蚀再膨胀，用于去除第二甲状腺超声图像中的噪音。

本发明具有如下优点：

本发明中的甲状腺的结节TI-RADS分级系统，通过一种新的数据降噪方式，在训练甲状腺结节良恶性分类模型之前对数据进行降噪提升分类性能。对甲状腺结节图像采用传统图片数据增强，生成更多带有测试集风格的图片，增加模型鲁棒性。使用最先进的ResNet、DenseNet并结合曾经流行的GoogLeNet、AlexNet、VGG16图像识别框架分别作为骨干网络进行甲状腺结节TIRADS分级，最终通过对每个模型加权汇集其分级结果。使用领域适配方法拉近训练集与测试集效果，提升识别效果。本发明提出使用参数搜索方法遍历参数空间，寻找最优集成方式。解决了现有技术中甲状腺结节五种因素自动分类效果不佳的问题。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中结节TI-RADS分级方法的流程示意图；

图2为本发明实施例中结节TI-RADS分级系统的示意图。

附图标记说明：

降噪模块10，增强模块20，训练模块30，适配模块40，集成模块50。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种甲状腺的结节TI-RADS分级方法，所述方法具体包括：

S101，数据降噪；

本步骤中，通过应用图像形态学方法对第一图像数据集降噪；对第一图像数据集进行降噪。由于第一甲状腺超声图像带有仪器型号、日期、刻度线等信息，对图像特征提取和识别效果有较大影响，因此需要对数据使用图像形态学进行降噪处理，剔除这些无效的信息并尽可能不影响图像本身。

第一甲状腺超声图像上有相当部分如仪器、时间、简略图等噪音信息，这些噪音信息在训练时会让网络学到无用的特征，从而影响测试效果，因此在训练测试之前有必要去除这些噪音。应用图像形态学方法可以做到这一点，首先对第一甲状腺超声图像进行灰度化处理，阈值为0，得到二值化的第二甲状腺超声图像；在二值化的第二甲状腺超声图像基础上，进行图像开运算。图像开运算与闭运算与膨胀和腐蚀运算有关，由膨胀和腐蚀两个运算的复合与集合操作(并、交、补等)组合成的所以运算构成。开运算即为先对图像腐蚀后膨胀，这样可以起去除噪音，保留原有图像信息不变。

S102，数据增强；

本步骤中，对第一图像数据集进行数据增强形成第二图像数据集；数据增强(DataAugmentation)。数据增强是一种用于提升深度学习模型效果的简单实用手段。在深度学习任务中，首当其冲的就是数据，没有数据之源，我们根本无法进行训练模型，虽然我们明白数据质量和量级的重要性，但是我们经常难以找到充足或者多样的数据来完成既有的任务，为了更好地训练模型完成任务，我们一般都需要使用数据增强。这样不仅可以创造新的数据，并且也能增加模型健壮性。在除传统的图像数据增强方法，如随机裁剪、旋转、调整RGB通道数值、翻转、缩放、多图裁减拼接等，现如今在深度学习领域我们还可使用基于生成对抗网络(GAN)的方法进行数据增强。

数据增强可以分为两类，一类是离线增强，一类是在线增强。离线增强是在训练之前对第一图像数据集进行处理，数据的数目会变成原数据集的几倍甚至更多，常用于第一图像数据集为小数据集时。在线增强，这种增强的方法用是一边训练一边对数据增强，然后对这些数据进行增强，如旋转、平移、翻折等相应的变化，由于有些第一数据集不能接受线性级别的增长，这种方法常用于第一图像数据集为大数据集时。

S103，训练分类模型；

本步骤中，训练深度学习网络组形成对应的第一模型组；训练不同的网络模型。本发明使用先进的ResNet、DenseNet、GoogLeNet、AlexNet和VGG16网络结构分别作为每个分支的骨干网络进行特征提取，这些网络都为了解决某一问题而被发明，如：VGG16减少了卷积层的超参数、AlexNet第一个深度卷积网络在ImageNet上达到84.7％的高精度、GoogLeNet加宽网络使用不同大小的kernel进行特征提取，而我们的策略是使用多个网络进行模型训练并集成。由图可见，我们使用五个网络结构，分别是ResNet、DenseNet、GoogLeNet、AlexNet和VGG16。

本研究使用先进的ResNet、DenseNet、VGG16、AlexNet和GoogLeNet作为骨干网络进行甲状腺结节特征提取并用于甲状腺结节TIRADS分级。在ResNet之前出现的网络如VGG16和AlexNet，学者们在使用中发现CNN网络深度堆叠到一定量级后再不假思索地增加层数并不能提高模型的分类能力，反而会导致整个网络的训练变得更慢，严重影响收敛速度，甚至无法收敛，此外，层数过深很可能还会导致分类准确度下降，影响模型的准确率，因此，出现在ResNet之前的VGG16和AlexNet并未有太深的层数，随着ResNet的问世，其使用残差结构解决了这个模型层数过深而带来的难以收敛的问题，并一举成为计算机视觉任务中最流行的框架。

S104，领域适配；

本步骤中，将训练好的所述第一模型组通过领域适配方法提升识别效果；在完成模型训练后一般会需要对模型进行一些验证和测试，我们将这部分归为领域适配。在识别任务上，简单的可以将训练集称为源域、测试集称为目标域，源域与目标域在数据分布上存在差异，因此在识别上往往会有在训练集上效果很好，而在测试集上效果不佳，因此，拉近训练集和测试集的距离可以提升效果，领域适配即可完成相关工作。

在甲状腺识别任务中，往往训练集与测试集不服从同一数据分布，如训练集从A仪器采集，但测试集从B仪器采集，因此训练出的模型在训练集上表现效果良好，而在测试集上效果则相差甚远。因此，为了在测试集上提升准确率，一种有效的手段即拉近训练集与测试集之间分布的距离。领域自适应(DomainAdaptation)是迁移学习(TransferLearning)的一种，思路是将不同领域的数据特征映射到同一个特征空间，这样可利用其它领域数据来增强目标领域训练。

S105，得到第二模型；

本步骤中，通过参数搜索对所述第一模型组融合得到第二模型。模型集成(Ensemble)。模型集成也是一个提升效果简单有效的方法，通过对这些模型的结果按照某种手段进行融合，如加权投票等，可以提升识别效果，本文使用参数搜索的方式对五个网络模型给出的结果进行融合以得到最优的Ensemble强模型，Ensemble强模型为第二模型。

集成学习(Ensemble)是一种机器学习范式。在集成学习中，我们会训练多个模型解决相同的问题，并将它们结合起来以获得更好的结果。这些模型可用作设计更复杂模型的构件。在大多数情况下，这些基本模型本身的性能并不是非常好，这要么是因为它们具有较高的偏置要么是因为他们的方差太大导致鲁棒性不强，模型集成是通过将这些弱学习器的偏置和方差结合起来，从而获得更好的性能。本研究采用参数搜索的方法进行模型集成：

Score＝a*resnet+b*densenet+c*googlenet+d*alexnet+e*vgg16

其中a+b+c+d+e＝1,且1>a>0,1>b>0,1>c>0,1>d>0,1>e>0，表示每个模型给出的结果可信度。

resnet、densenet、googlenet、alexnet、vgg16分别为每个网络模型输出的TIRADS分级(共五组成分)的概率值。

本发明的目的在于提出一种甲状腺结节TI-RADS分级方法，使用最新卷积神经网络框架(CNN)并汇集不同的先进网络如：ResNet、GoogLeNet、VGG16、AlexNet和DenseNet作为骨干网络，以一种端对端的方式对甲状腺超声图像进行TI-RADS自动分级任务，提升TI-RADS多分类效果，使得其能尽可能地辅助医生尤其是经验不足的医生轻松完成对甲状腺结节的TI-RADS分级，更能避免因分级不够准确而导致的不必要穿刺手术，减轻病人负担等。

深度学习主要实现了特征提取自动化，由一个个“黑盒子”(卷积操作)进行特征提取，而我们只需提供足够多的数据，通过训练一个深度学习网络就可得到一个模型，即某种意义上的“专家”——基于经验给出诊断结果，对每幅甲状腺超声图像进行诊断，给出TIRADS分级结果。然而对于一些特别复杂的超声图像，单个专家很可能无法给出比较精准的诊断结果，而此时多位专家联合会诊会带来更好的效果，当然对于简单的超声图像，多个专家给出的诊断结果也更精确，我们借鉴这种模式，同样训练出多个模型，每个模型的关注点稍有不同，比如一个模型针对是成分因素专家、一个模型是边缘因素专家，然后汇集(Ensemble)每个模型给出的结论，并对它们进行加权得到最后的诊断结论。这种Ensemble的方式相较于单模型提升了精度。

通过应用图像形态学方法对所述第一图像数据集中的第一甲状腺超声图像灰度化处理，得到二值化的第二甲状腺超声图像；将所述第二甲状腺超声图像进行图像开运算，对第二甲状腺超声图像先腐蚀再膨胀，用于去除第二甲状腺超声图像中的噪音。

当第一图像数据集为小数据集时，在训练深度学习网络组之前对所述第一图像数据集中的第一甲状腺超声图像进行增强处理。

当第一图像数据集为大数据集时，在训练深度学习网络组时对所述第一图像数据集中的第一甲状腺超声图像进行增强处理。

通过ResNet网络结构、GoogLeNet网络结构、VGG16网络结构、AlexNet网络结构和DenseNet网络结构分别作为骨干网络对所述第二图像数据集中的第二甲状腺超声图像进行甲状腺结节特征提取。

解决在甲状腺结节五种因素(结构、回声、形态、边缘、钝化点)自动分类效果不佳问题，应用深度学习图像自动识别技术，使用最新网络框架提取图像特征，结合多分类技术，以一种端对端的方式同时完成甲状腺五种因素自动分类任务，同时保证较高准确率。

一种计算机设备，包括：

处理器，其被配置为执行权利要求1至5任一所述的甲状腺的结节TI-RADS分级方法；

存储器，其用于存储所述处理器的可执行指令。

一种可读存储介质，所述可读存储介质中存储有指令，当所述可读存储介质在处理组件上运行时，使得处理组件执行权利要求1至5任一所述的甲状腺的结节TI-RADS分级方法。

如图2所示，一种甲状腺的结节TI-RADS分级系统，包括：

降噪模块10，用于通过应用图像形态学方法对第一图像数据集降噪；

增强模块20，其与所述降噪模块10电性相连，用于对第一图像数据集进行数据增强形成第二图像数据集；

训练模块30，其与所述增强模块20电性相连，用于训练深度学习网络组形成对应的第一模型组；

适配模块40，其与所述训练模块30电性相连，将训练好的所述第一模型组通过领域适配方法提升识别效果；

集成模块50，其与所述适配模块40电性相连，通过参数搜索对所述第一模型组融合得到第二模型。

所述深度学习网络组包括ResNet网络结构、GoogLeNet网络结构、VGG16网络结构、AlexNet网络结构和DenseNet网络结构；所述ResNet网络结构、所述GoogLeNet网络结构、所述VGG16网络结构、所述AlexNet网络结构和所述DenseNet网络结构分别作为骨干网络对所述第二图像数据集中的第二甲状腺超声图像进行甲状腺结节特征提取。

所述通过降噪模块10应用图像形态学方法对所述第一图像数据集中的第一甲状腺超声图像灰度化处理，得到二值化的第二甲状腺超声图像；将所述第二甲状腺超声图像进行图像开运算，对第二甲状腺超声图像先腐蚀再膨胀，用于去除第二甲状腺超声图像中的噪音。

该甲状腺的结节TI-RADS分级系统使用过程如下：

使用时，操作人员选取通过应用图像形态学方法对第一图像数据集降噪；对第一图像数据集进行数据增强形成第二图像数据集；训练深度学习网络组形成对应的第一模型组；将训练好的所述第一模型组通过领域适配方法提升识别效果；通过参数搜索对所述第一模型组融合得到第二模型。

在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。