基于实时获得的胃内窥镜图像诊断胃病变的内窥镜装置及方法

技术领域

本发明主张对2018年10月2日申请的韩国专利申请号第10-2018-0117824号的优先权，公开于该申请的说明书及附图的所有内容通过引用包含在本发明中。

本发明涉及基于实时获得的胃内窥镜图像诊断胃病变的内窥镜装置及方法。

背景技术

作为构成人体的最小单位的细胞，在正常细胞的情况下，通过细胞内调节功能，经分裂成长，死亡消灭等维持细胞数的均衡。因某种原因细胞受损时，经过治疗得到回复，就可起到正常细胞的作用，但无法回复时，将自我消亡。但是，因各种原因无法调节上述增值和抑制的非正常的细胞过多增值，而且，侵入周围的组织和脏器导致肿块的形成及正常组织的破坏的状态定义为癌症(cancer)。癌症因上述无法抑制的细胞的增值，破坏正常的细胞和脏器的结构和功能，因此其诊断和治疗的重要性非常高。

癌症是因细胞的非正常增值妨碍正常细胞的功能的疾病，代表性的有肺癌、胃癌(gastric cancer，GC)、乳腺癌(breast cancer，BRC)、大肠癌(colorectal cancer，CRC)等，但任何组织上都可以发生癌症。其中，在胃癌的情况下，在全世界范围内，韩国、日本等发生得多，但在在美国、欧洲等西方的发病率低。在韩国的情况下，胃癌的发病率第一，而死亡率仅次于肺癌位于第二，因此是在癌症中对国民健康的影响最大的癌症之一。从胃癌的分类可知，全部的95％为在胃壁的黏膜的腺细胞中发生的腺癌，另外，还有在淋巴系统中发生的淋巴瘤、在间质组织中发生的胃肠道间质瘤。早期胃癌(ECG)的大部分没有临床症状或征兆，发生没有筛查策略的话难以及时检查和治疗的问题。与此同时，患有胃的异型增生等癌前病变的患者患胃癌的危险相当高。

最普遍采用的癌症诊断方法是利用通过活体组织检查获得的组织样本的诊断或利用胃内窥镜检查，可利用计算机断层扫描(computed tomography，CT)或核磁共振(nuclear magnetic resonance，NMR)等影像。其中，活体组织检查给患者带来很大的痛苦，价格昂贵，而且直至诊断位置消耗很长的时间。另外，是给患者的组织带来损伤的侵害性检查，在患者实际患癌的情况下，在活体组织检查中存在癌症转移的危险，因此，过度的检查对患者有害。利用计算机断层扫描或核磁共振的诊断根据临床的或解读的熟练度存在误诊的可能性，存在很大程度上以来获得影像的仪器的精度的缺点。进一步地，最精密的仪器也不能检测出小于数mm的肿瘤，存在发病初期阶段难以检测的缺点。另外，为获得影像，患者或有可能患病的人员暴露于可能诱发基因突变的高能量的电磁波中，从而引起其他疾病。

因此，在现行的医疗中，胃部产生的赘生物的检查大部分一般一次性地由医生通过胃内窥镜检查发现，考虑包含于内窥镜图像的胃内部的形状及大小判断胃癌与否。另外，其中对疑似癌症的病变，大部分通过胃内窥镜检查采集组织，并通过病理学组织检查确诊。但是，胃内窥镜检查因患者需要吞咽内窥镜，该内窥镜在通过食道到达胃的过程中引起很多不适，存在引起食道穿孔或胃穿孔等并发症的可能性，因此，对于患者而言需要在减少检查次数的同时诊断胃赘生物。

因此，较之医生为发现胃赘生物进行胃内窥镜检查，在分析其结果之后为进行组织检查再次进行胃内窥镜检查，非常需要在一次胃内窥镜检查期间，在胃内窥镜图像中发现胃赘生物，实时评价其危险度，立即决定对何种病变进行组织检查，对存在癌症危险的病变就地进行组织检查。这样逐渐减少胃内窥镜检查次数是当前的趋势。在实时评价胃赘生物病变的危险性方面，若对其危险度评价为比实际情况低，则导致因错过癌病变而无法进行癌症治疗的重大的结果，而若对其危险度评价为比实际情况高，则因进行不必要的组织检查而对患者的组织带来危害。

但是，这样实施通过胃内窥镜图像评价胃病变的危险度的方法目前为止不存在标准。当前，上述危险度评价几乎依靠实施胃内窥镜检查的医生的主观判断。但是，上述方法因每个医生的经验不同而得到不同的诊断，而在没有充分经验的医生的地区，存在无法准确诊断的问题。

通过内窥镜装置获得的非正常病变的发现，一般取决于病变的异常形状或黏膜的颜色变化，而诊断准确度通过训练及光学技术及色素内镜(chromoendoscopy)得到改善。窄带成像(narrow band imaging)、共焦成像(confocal imaging)及放大技术(所谓图像增强内窥镜)等内窥镜成像技术的使用，能够提高诊断准确度。

但是，只通过白色内窥镜的检查是最常见的检查方式，在影响增强内窥镜检查中，需要用于解决服务器间及内窥镜内变动性的步骤及解析流程的标准化。

作为本发明的背景的技术公开于韩国公开专利公报第10-2018-0053957号。

发明内容

发明要解决的问题

本发明的目的在于克服现有技术之不足而提供一种可收集从内窥镜拍摄装置获得的白色光胃内窥镜图像(影像)，实时使用深度学习算法，从而在胃内窥镜检查过程中实时诊断胃病变的内窥镜装置。

本发明的目的在于克服现有技术之不足而提供一种可提供基于胃内窥镜影像自动分类胃肿瘤的深度学习模型的内窥镜装置。

本发明的目的在于克服现有技术之不足而提供一种可实时评价医生(使用者)利用内窥镜装置检查胃肿瘤时获得的多个图像数据，从而可诊断有可能忽略的胃肿瘤的内窥镜装置。

本发明的目的在于克服现有技术之不足而提供一种基于实时获得的胃内窥镜图像自动分类胃赘生物，从而可诊断及预测胃癌或胃异型增生等的内窥镜装置。

但是，本发明及本发明的实施例所要实现的技术课题不限于上述技术课题，还可存在其他的技术课题。

解决问题的方法

作为解决上述技术课题的技术方案，根据本发明一实施例的利用实时获得的胃内窥镜图像诊断病变的内窥镜装置，可包括：主体部，收容多个单元装置并插入检测对象的体内；操作部，具备于上述主体部的后端并基于使用者的输入信息操作上述主体部；病变诊断部，通过将多个胃病变图像作为输入，将关于胃病变诊断结果的项目作为输出的学习构建人工神经网络系统，将实时获得的新胃内窥镜图像与患者信息连接生成新数据集，通过构建的上述人工神经网络系统执行胃病变诊断；及显示部，显示上述病变诊断部的诊断结果及实时获得的新胃内窥镜图像。

根据本发明一实施例，内窥镜装置还可包括基于从上述操作部提供得到的使用者的输入信息及上述病变诊断专职的诊断结果，生成控制上述主体部的动作的控制信号的控制部。

根据本发明一实施例，上述主体包括具备于上述主体部的前端，拍摄新胃病变图像并将拍摄的上述新胃病变图像提供至上述病变诊断部的拍摄部；上述控制部可从上述操作部接收控制上述拍摄部的动作的使用者的输入，生产控制上述拍摄部的控制信号。

根据本发明一实施例，还包括将上述拍摄部提供的上述新胃内窥镜图像与位置信息连接生成胃病变信息的病变位置获得部；上述控制部可基于上述病变诊断装置的诊断结果及上述胃病变信息，生成控制用于采集对象体的组织的一部分的活检(biopsy)单元的动作的控制信号。

根据本发明一实施例，上述病变诊断部，可包括：图像获得部，获得上述新胃病变图像；数据生成部，连接新胃病变图像和患者信息生成新数据集；数据预处理部，预处理上述新数据集以可用于深度学习算法；人工神经网络构建部，通过将多个胃病变图像作为输入，将关于胃病变诊断结果的项目作为输出的学习构建人工神经网络系统；及胃病变诊断部，对新数据集经过预处理过程之后，通过上述人工神经网络系统执行胃病变诊断。

根据本发明一实施例，上述数据生成部可将上述各多个胃病变图像与患者信息连接生成数据集，而上述数据集分为上述人工神经网络系统的学习所需的学习用数据集及用于验证上述人工神经网络系统的学习的进行程度的验证用数据集生成。

根据本发明一实施例的上述验证用数据集可为不与上述学习用数据集重复的数据集。

根据本发明一实施例，上述预处理部可利用包含于上述新数据集的胃病变图像，以上述胃病变为中心，对不包含上述胃病变的图像的周边部区域执行裁切(crop)、移动(shift)、旋转(rotation)、翻转(flipping)及色彩调整(color adjustment)中的一个预处理，将上述胃病变图像预处理为可用于上述深度学习算法的状态。

根据本发明一实施例，上述预处理部包括放大用于增加新胃病变图像数据的数据数的放大部，上述放大部可使用上述新胃病变图像数据的旋转、翻转、裁切及增噪中的至少一个放大上述新胃病变图像数据。

根据本发明一实施例，上述人工神经网络构建部可通过将经过预处理过程的上述数据集作为输入，将关于胃病变诊断结果的项目作为输出的卷积神经网络(ConvolutionalNeural Networks)及全连接神经网络(Fully-connected Neural Networks)的学习构建训练模型。

根据本发明一实施例，上述经过预处理过程的数据集可作为上述卷积神经网络的输入，上述全连接神经网络将上述积神经网络的输出及上述患者信息作为输入。

根据本发明一实施例，上述积神经网络可从上述多个胃病变图像输出多个特征图案，上述多个特征图案通过全连接神经网络最终得到分类。

根据本发明一实施例，上述胃病变诊断部可将胃病变分为晚期胃癌(advancedgastric cancer)、早期胃癌(early gastric cancer)、高度异型增生(high-gradedysplasia)、低度异型增生(low-grade dysplasia)及肺肿瘤(non-neoplasm)中的至少一种。

根据本发明一实施例，一种由包括插入检测对象的体内的主体部及具备于上述主体部的后端并基于使用者的输入信息操作上述主体部的操作部的内窥镜装置，利用实时获得的胃内窥镜图像诊断病变的方法，包括：通过将多个胃病变图像作为输入，将关于胃病变诊断结果的项目作为输出的学习构建人工神经网络系统，将实时获得的新胃内窥镜图像与患者信息连接生成新数据集，通过构建的上述人工神经网络系统执行胃病变诊断的步骤；及显示诊断结果及实时获得的新胃内窥镜图像的步骤。

上述课题解决方案只是示例性的，而不能解释为限制本发明。除上述示例性的实施例之外，附图及发明的详细说明可存在追加的实施例。

发明效果

根据前述本发明的课题解决方案，可收集从内窥镜拍摄装置获得的白色光胃内窥镜图像(影像)，使用深度学习算法诊断胃病变。

根据前述本发明的课题解决方案，可提供基于胃内窥镜影像自动分类胃肿瘤并评价生成的人工神经网络的深度学习模型。

根据前述本发明的课题解决方案，可实时学习医生(使用者)利用内窥镜装置检查胃肿瘤时获得的多个图像数据，从而可诊断有可能忽略的胃肿瘤。

根据前述本发明的课题解决方案，较之需要有经验的以上的现有的胃内窥镜解读，学习用内窥镜拍摄装置获得的图像，分类胃病变，从而具有大幅节省费用及人力成本的效果。

根据前述本发明的课题解决方案，利用从内窥镜拍摄装置获得的胃内窥镜图像，通过上述诊断胃病变的装置预测及诊断胃病变，从而可获得客观、一贯的解读结果，减少医生解读时有可能出现的失误及解读错误的可能性，可用作临床决定辅助工具。

但是，本发明的效果不限于上述列举的效果，还可存在其他效果。

附图概述

图1为根据本发明一实施例的内窥镜装置的概略结构图；

图2为根据本发明一实施例的内窥镜装置的概略框图；

图3为根据本发明一实施例的内窥镜装置的病变诊断部的概略框图；

图4为根据本发明一实施例的在内窥镜装置利用实时获得的胃内窥镜图像诊断病变的方法的运行流程图。

具体实施方式

下面，结合附图对本发明的实施例进行详细说明，以帮助本领域技术人员容易实施本发明。本发明可通过各种不同的形式实现而不受在此说明的实施例的限制。为了更明确地说明本发明，省略与说明无关的内容，而且，在整个说明书中的相同或类似的结构赋予相同的标记。

在全部说明书中，说某个部分与其他部分“连接”时，不仅包括“直接连接”的情况，而且，还包括其中间通过其他部件“电连接”或“间接连接”的情况。

在本发明的整个说明书中，说某个部件位于其他部件“上”、“上部”、“上端”、“下”、“下部”、“下端”时，这不仅包括某个部件与另一个部件连接的情况，还包括在两个部件之间存在其他部件的情况。

在本发明的整个说明书中，说某个部分“包括”某个构件时，除非有特别相反的记载，不是排出其他构件，而还可包括其他构件。

本发明涉及包括基于从内窥镜装置获得的胃内窥镜图像分类胃肿瘤并评价其性能的深度学习模型的诊断胃病变的装置及方法。本发明可基于卷积神经网络(Convolutional Neural Networks)解读胃内窥镜照片，自动诊断胃的赘生物。

本发明可在胃内窥镜照片图像数据集中应用称为卷积神经网络的深度学习算法通过计算机进行学习之后，解读新输入的胃内窥镜照片，通过此过程在相应照片中自动分类胃赘生物，诊断或预测胃癌或胃异型增生等。

本发明可在基于多个胃病变图像构建的人工神经网络系统中，解读实时获得的新胃病变图像，以诊断及预测胃癌或胃异型增生。

图1为根据本发明一实施例的内窥镜装置的概略结构图，而图2为根据本发明一实施例的内窥镜装置的概略框图。

如图1及图2所示，内窥镜装置1可包括病变诊断部10、操作部21、主体部22、控制部23、病变位置获得部24、显示部25。

内窥镜装置1可通过网络发送或接收数据(图像、影像、文本)及各种通信信号。病变诊断系统1可包括具有数据存储及处理功能的所有种类的服务器、终端或设备。

内窥镜装置1可以是在胃内窥镜检查时使用的装置。如图1所示，内窥镜装置1包括操作部21，以基于使用者的输入信息操作主体部22。另外，内窥镜装置1可以是胶囊形式。胶囊型内窥镜装置1包括超小型摄像头，可插入对象体(患者)的身体内部获得胃病变图像。内窥镜装置1的形状不限于上述说明的形状。

病变诊断部10通过将多个胃病变图像作为输入，将关于胃病变诊断结果的项目作为输出的学习构建人工神经网络系统，将新胃内窥镜图像与患者信息连接生成新数据集，可通过构建的人工神经网络系统执行胃病变诊断。换言之，病变诊断部10通过构建的人工神经网络系统学习胃病变图像之后，执行胃病变诊断。病变诊断部10通过将要后述的图3进行详细的说明。

根据本发明一实施例，操作部21具备于主体部22的后端并基于使用者的输入信息进行操作。操作部21为被内窥镜操作者握持的部分，可操作插入检测对象的体内的主体部22。另外，操作部21可操作主体部22收容的内窥镜手术时需要的多个单元装置的动作。操作部21可包括旋转控制部。旋转控制部可包括负责生成控制信号的功能及提供旋转力的功能(例如，马达)的部分。操作部21可包括用于操作拍摄部(未图示)的按钮。按钮为用于控制拍摄部(未图示)的位置的按钮，可以是供使用者变更上下左右、前进、后退等主体部22的位置的按钮。

主体部22为插入检测对象的体内的部分，可收容多个单元装置。多个单元装置可包括拍摄检测对象的体内的拍摄部(未图示)、向体内供应空气的空气供应单元、向体内供应水的水供应单元、向体内照射光的照明单元、采集或治疗体内的组织的一部分的活检(biopsy)单元及从体内吸入空气或异物的抽吸单元中的至少一种。活检(biopsy)单元可包括从活体采集部分组织的外科手术刀、针等各种医疗器械，外科手术刀、针等活检(biopsy)单元由内窥镜操作者通过活检(biopsy)通道插入体内并采集体内的细胞。

拍摄部(未图示)可收容具备对应于主体部22的直径的大小的摄像头。拍摄部(未图示)具备于主体部22的前端并拍摄胃病变图像，通过网络向病变诊断部10及显示部25提供拍摄的胃病变图像。拍摄部(未图示)可实时获得新胃病变图像。

控制部23可基于从操作部21提供得到的使用者的输入信息及病变诊断装置10的诊断结果，生成控制主体部22的动作的控制信号。控制部23在从包含于操作部21的按钮接收来自使用者的某个选择输入时，对应于相应按钮生成控制主体部22的动作的控制信号。例如，控制部23在使用者输入使主体部22前进的按钮时，生成控制信号以使主体部22以一定速度在对象体(患者)的体内前进。主体部22可基于控制部23的控制信号，在对象体(患者)的体内前进。

另外，控制部23可生成控制拍摄部(未图示)的动作的控制信号。控制拍摄部(未图示)的动作的控制信号可以是位于病变区域的拍摄部(未图示)捕获胃病变图像的信号。换言之，在使用者通过操作部21希望位于特定病变区域的拍摄部(未图示)获得图像时，可点击捕获获得按钮。控制部23可基于从操作部21得到的输入信息生成控制信号，以使拍摄部(未图示)在相应病变区域获得图像。控制部23可生成使拍摄部(未图示)从正在拍摄的影像中获得特定胃病变图像的控制信号。

另外，控制部23基于病变诊断装置10的诊断结果生成控制信号，以控制采集对象体的组织的一部分的活检(biopsy)单元的动作。控制部23在病变诊断装置10的诊断结果属于晚期胃癌(advanced gastric cancer)、早期胃癌(early gastric cancer)、高度异型增生(high-grade dysplasia)、低度异型增生(low-grade dysplasia)及中的至少一种时，生成控制活检(biopsy)单元的动作的控制信号以实施切除术。活检(biopsy)单元可包括从活体采集部分组织的外科手术刀、针等各种医疗器械，外科手术刀、针等活检(biopsy)单元由内窥镜操作者通过活检(biopsy)通道插入体内并采集体内的细胞。另外，控制部23基于从操作部21提供得到的使用者输入信号生成控制信号，以控制活检(biopsy)单元的动作。采集、切除、去除体内的细胞的动作可以是使用者利用操作部21执行的。

根据本发明一实施例，病变位置获得部24可连接从拍摄部(未图示)提供得到的胃病变图像和位置信息生成胃病变信息。位置信息可以是主体部22当前在体内所处的位置信息。换言之，在主体部22位于对象体(患者)的胃的第一地点并从第一地点获得胃病变图像时，病变位置获得部24可连接上述胃病变图像和位置信息生成胃病变信息。

病变位置获得部24可将连接获得的胃病变图像和位置信息生成的胃病变信息提供给使用者(医生)。通过将病变诊断部10的诊断结果及病变位置获得部24的胃病变信息通过显示部25提供给使用者，在进行切除(去除)相应病变的手术时，防止在非该病变位置的地点进行切除术的情况的发生。

另外，控制部23利用从病变位置获得部24提供的位置信息，在活检(biopsy)单元不位于相应病变位置时，可生成控制上述活检(biopsy)单元的位置的控制信号。

图3为根据本发明一实施例的内窥镜装置的病变诊断部的概略框图。

如图3所示，病变诊断部10可包括图像获得部11、数据生成部12、数据预处理部13、人工神经网络构建部14及胃病变诊断部15。但是，病变诊断部10的结构不限于上述公开的内容。例如，病变诊断部10还可包括用于存储信息的数据库。

图像获得部11可获得新胃病变图像。图像获得部11可从拍摄部(未图示)接收新胃病变图像。图像获得部11可获得通过用于胃内窥镜诊疗的内窥镜拍摄装置(数码相机)获得的新胃病变图像。图像获得部11可收集病理学上确认的胃病变的内窥镜白色光图像。胃病变图像可以是内窥镜检查(治疗)时通过拍摄部(未图示)实时获得的胃病变图像。

另外，图像获得部11可获得改变检测对象的胃的第一区域的角度、方向及距离中的任一个拍摄的影像(图像)。图像获得部11可获得JPEG形式的新胃病变图像。新胃病变图像可以是以1280x640像素的分辨率，应用35度角度的域的模式的图像。另外，图像获得部11可获得取出对新胃病变图像的离散标志符信息的图像。图像获得部11可获得病变位于中央，去除胃病变图像中黑色框架区域的新胃病变图像。

与此相反，图像获得部11在图像获得过程中获得跑焦、伪影、音域等质量低或低分辨率的图像时，可丢弃该图像。换言之，图像获得部11在不适合用于深度算法的图像的情况下，可丢弃该图像。

根据本发明另一实施例，内窥镜装置1可以是以胶囊形式形成的装置。胶囊内窥镜装置1插入对象(检测对象)的人体内部并可远程操作。从胶囊内窥镜装置获得的新胃病变图像，不仅是使用者希望捕获的区域的图像，还可以是将通过视频拍摄获得的所有影像的转换为图像获得的数据。

数据生成部12可连接新胃病变图像和患者信息生成新数据集。患者信息可包括对象(检测对象)的性别、年龄、身高、体重、人种、国籍、吸烟量、饮酒量、家族史等各种信息。另外，患者信息可包括临床信息。临床信息是指进行诊断的医生用于特定诊断的所有数据。尤其是，包括由在诊疗过程中生成的性别、年龄构成的资料、特定治疗与否资料、薪资申请及处方资料等的电子义务记录资料。另外，临床信息可包括基因信息等生物学数据资料。生物学数据资料可包括具备心率数、心电图、运动量、氧饱和度、血压、体重、糖尿等数值数据的个人健康信息。

患者信息可以是在下面说明的人工神经网络构建部14中，与卷积神经网络结构的结果一同输入至全连接神经网络的数据，通过将胃病变图像之外的信息输入至人工神经网络，可进一步提高准确度。

预处理部13预处理新数据集以可用于深度学习算法。预处理部13可为在深度学习算法中提高识别性能，减少与患者间影像的相似性预处理新数据集。深度学习算法可由卷积神经网络(Convolutional Neural Networks)结构和全连接神经网络(Fully-connectedNeural Networks)结构两个部分构成。

根据本发明一实施例，预处理部13可执行五个步骤的预处理过程。首先，预处理部13可执行裁切(crop)步骤。裁切(crop)步骤可在从图像获得部11获得的新胃病变图像中，以病变为中心裁切边缘的不必要的部分(黑色北京)。其一例为，预处理部13可设定任意指定的像素大小(例如，299x299像素、244x244像素)裁切胃病变图像。换言之，预处理部13可以可用于深度学习算法的大小裁切新胃病变图像。

接着，预处理部13可执行平行移动(shift)步骤。预处理部13可沿上下左右方向平行移动新胃病变图像。另外，预处理部13可执行翻转(flipping)步骤。例如，预处理部13可垂直翻转胃病变图像。另外，预处理部13可执行将胃病变图像先沿上下方向翻转之后，再沿左右方向翻转的过程。

另外，预处理部13可执行色彩调整(flipping)步骤。例如，在颜色调整步骤中，预处理部13可基于以全部数据集的平均RGB值利用平均减法方法提取的色彩，执行图像的色彩调整。另外，预处理部13可随机调整新胃病变图像的色彩。

预处理部13可通过执行五步骤的预处理过程的全部过程，将新胃病变图像生成为可用于深度学习算法的数据集。另外，预处理部13可通过执行五步骤的预处理过程中的某一过程，将新胃病变图像生成为可用于深度学习算法的数据集。

另外，预处理部13还可执行缩放(resizing)步骤。缩放(resizing)步骤可以是将胃病变图像放大及缩小为预设大小的步骤。

预处理部13可包括放大用于增加新胃病变图像的数据数的图像数据的放大部(未图示)。

根据本发明一实施例，在利用包括卷积神经网络的深度学习算法时，数据量越大越有利于获得好的性能，但新胃内窥镜照片图像较之其他检查其检查数量相当少，在图像获得部11获得的新胃病变图像数据收集量远不足用于卷积神经网络中。放大部(未图示)可使用新胃病变图像的旋转、翻转、裁切及增噪中的至少一个方法执行数据放大(augmentation)过程。

预处理部13执行预处理过程以对应于预设的基准值。预设的基准值可以是使用者任意指定的值。另外，预设的基准值可以是根据获得的新胃病变图像的平均值确定的值。经过预处理部13的新数据集可提供至人工神经网络构建部14。

下面，说明人工神经网络构建部14的人工神经网络系统构建的实施例。

根据本发明一实施例，人工神经网络构建部14是由图像获得部11获得多个胃病变图像，由数据生成部12连接各多个胃病变图像数据和患者信息并基于数据集构建人工神经网络构建部。

人工神经网络构建部14是由图像获得部11利用从多个医院的影像保管装置及数据库系统接收的胃病变图像构建人工神经网络系统。多个医院的影像保管装置可以是保管在多个医院执行胃内窥镜检查时获得的胃病变图像的装置。

另外，人工神经网络构建部14可经过预处理上述数据集以可用于深度学习算法的过程。此时的预处理过程可在上面说明的预处理部13中执行。例如，人工神经网络构建部14利用包含于数据集的胃病变图像，经过上述说明的在预处理部13执行的五步骤的预处理过程，预处理数据集以可用于深度学习算法。

其一例为，数据生成部12可生成用于深度学习算法的学习用数据集及验证用数据集。将数据集分为人工神经网络的学习所需的学习用数据集及用于验证人工神经网络的学习的进行信息的验证用数据集生成数据集。

另外，数据生成部12可在从图像获得部11获得的多个胃病变图像中，随机分类用于学习用数据集的图像及用于验证用数据集的图像。另外，数据生成部12可将选择验证用数据集剩下的数据集用作学习用数据集。验证用数据集可随机选择。验证用数据集及学习用数据集的比率可根据预设的基准值确定。此时，预设的基准值可设定为验证用数据集的比率为10％，学习用数据集的比率为90％，但非限制。

数据生成部12为防止过适状态，区分学习用数据集及验证用数据集生成数据集。例如，根据神经网络结构的学习特性，学习用数据集可成为过适状态，数据生成部12可利用验证用数据集防止人工神经网络变成过适状态。

此时，验证用数据集可为不与学习用数据集重复的数据集。因验证用数据为不用于构建人工神经网络的数据，因此是在进行验证作业时，首次接触人工神经网络的数据。因此，验证用数据集为在存在新图像(未用于学习的新图像)输入时，适合于人工神经网络的性能评价的数据集。

人工神经网络构建部14可通过将经过预处理过程的数据集作为输入，将关于胃病变分类结果的项目作为输出的学习构建人工神经网络。

根据本发明一实施例，人工神经网络构建部14可使用由卷积神经网络(Convolutional Neural Networks)结构和全连接神经网络(Fully-connected NeuralNetworks)结构两个部分构成的深度学习算法输出胃病变分类结果。全连接神经网络为在节点之间横向/纵向构成二维连接，在位于相同层的节点之间不存在连接关系，只在位于相邻层的节点之间存在连接关系为特征的神经网络。

人工神经网络构建部14可通过将经过预处理过程的学习用数据集作为输入的卷积神经网络，将卷积神经网络的输出作为全连接神经网络的输入的学习构建训练模型。

根据本发明一实施例，卷积神经网络可输出分析胃病变图像的多个特定特征图案。此时，提取的特定特征图案可用于在全连接神经网络中进行最终分类。

卷积神经网络(Convolutional Neural Networks)为主要用于语音识别或图像识别的神经网络的一种。可处理多维排列数据，因此特别适合于彩色图像等多维排列处理。因此，在图像识别领域中，使用深度学习的技术大部分以卷积神经网络作为基础。

卷积神经网络(CNN)将图像分为非单一数据的多个进行处理。这样，即使图像失真可也提取图像的部分特性，从而可获得正确的性能。

卷积神经网络的可由多个层构成。构成各层的因素可由卷积层、激活函数、maxpooling层、dropout层构成。卷积层起到称为kernel的过滤器作用，使部分处理整个图像(或生成的心特征图案)的操作提取与图像相同大小的心特征图案(feature pattern)。卷积层可修改为便于在特性图案中通过激活函数处理特征图案的值。max pooling层可对部分胃病变图像进行抽样(sampling)调整大小，从而减少图像的大小。卷积神经网络虽然经过卷积层及max pooling层减少特征图案(feature pattern)的大小，但可通过使用kernel提取多个特征图案(feature pattern)。dropout层可以是在训练卷积神经网络的权重值时，为有效的训练而故意不考虑部分权重值的方法。另外，dropout层在通过经过训练的模型进行实际测试时不使用。

从卷积神经网络提取的多个特征图案(feature pattern)可传递至作为下一个步骤的全连接神经网络以用于分类作业。卷积神经网络可调节层的个数。卷积神经网络的层的个数可根据用于模型训练的训练用数据的量进行调节，从而构建更稳定的模型。

另外，人工神经网络构建部14可通过将经过预处理过程的学习用数据集作为卷积神经网络的输入，将卷积神经网络的输出及患者信息作为全连接神经网络的输入的学习构建诊断(训练)模型。与之不同，人工神经网络构建部14可使经过预处理过程的图像数据优先输入至卷积神经网络，使经过卷积神经网络输出的结果输入至全连接神经网络。另外，人工神经网络构建部14可使任意提取的特征(feature)不经过卷积神经网络而直接输入至全连接神经网络。

此时，患者信息可包括对象(检测对象)的性别、年龄、身高、体重、人种、国籍、吸烟量、饮酒量、家族史等各种信息。另外，患者信息可包括临床信息。临床信息是指进行诊断的医生用于特定诊断的所有数据。尤其是，包括由在诊疗过程中生成的性别、年龄构成的资料、特定治疗与否资料、薪资申请及处方资料等的电子义务记录资料。另外，临床信息可包括基因信息等生物学数据资料。生物学数据资料可包括具备心率数、心电图、运动量、氧饱和度、血压、体重、糖尿等数值数据的个人健康信息。

患者信息是在人工神经网络构建部14中与卷积神经网络结构的结果一同输入至全连接神经网络的数据，通过将患者信息作为人工神经网络的输入，较之只用胃病变图像导出的结果，可进一步提高准确度。

其一例为，通过学习用数据集的临床信息学到癌症多存在于高龄人群之后，在与图像特征一起输入42岁或79岁的年龄时，在胃病变分类结果中难以区分癌症或良性病变时，高龄患者的结果可偏向于癌症的一面。

人工神经网络构建部14可通过比较将训练数据用于深度学习算法结构(由卷积神经网络和全连接神经网络构成的结构)导出的结果和实际结果的误差，逐渐增加相当于误差的神经网络结构的权重值的反向传播(backpropagation)算法反馈结果进行学习。反向传播(backpropagation)算法可以是为减少结果的误差(实际值和结果值的差异)调节从各节点到下一个节点的权重值的算法。学习部14可利用学习用数据集和验证用数据集学习神经网络并求得权重值媒介变量，从而导出最终诊断模型。

胃病变诊断部15对新数据集经过预处理过程之后，通过人工神经网络执行胃病变诊断。换言之，胃病变诊断部15可利用从上述说明的人工神经网络构建部14导出的最终诊断模型导出对新胃内窥镜图像的诊断。

新胃内窥镜图像可以是通过内窥镜装置1的拍摄部获得的实时胃内窥镜图像。新胃内窥镜图像可以是包含使用者希望诊断的胃病变图像的数据。新数据集可以是将新胃病变图像与患者信息连接生成的数据集。新数据集可经过预处理部12的预处理过程预处理成为可用于深度学习算法的状态。之后，经过预处理的新数据集输入至学习部14并基于学习参数诊断胃病变图像。

根据本发明一实施例，胃病变诊断部15可将胃病变分为晚期胃癌(advancedgastric cancer)、早期胃癌(early gastric cancer)、高度异型增生(high-gradedysplasia)、低度异型增生(low-grade dysplasia)及肺肿瘤(non-neoplasm)中的至少一种。另外，胃病变诊断部15可分为癌和非癌。另外，胃病变诊断部15可分为赘生物和非赘生物两种范围区分胃病变诊断。赘生物分类可包括AGC、EGC、HGD及LGD。非种类范围可包括胃炎、良性溃疡、畸形、息肉、肠化生或上皮性肿瘤等病变。

病变诊断部10为分类及诊断模糊的病变并减少因不必要的活体检查或内窥镜切除导致副作用，分析通过拍摄部(未图示)获得的图像并自动分类及诊断模糊的病变，在赘生物(危险肿瘤)的情况下，生成信息以利用包含于主体部22的多个单元装置进行内窥镜切除手术。

下面，基于上述详细说明的内容简单介绍本发明的动作流程。

图4为根据本发明一实施例的在内窥镜装置利用实时获得的胃内窥镜图像诊断病变的方法的运行流程图。

如图4所示的利用内窥镜装置实时获得的胃内窥镜图像诊断病变的方法可通过上述说明的内窥镜装置1执行。因此，即使是下面省略的内容，对内窥镜装置1说明的内容，在对利用内窥镜装置实时获得的胃内窥镜图像诊断病变的方法的说明中同样适用。

在S401步骤中，内窥镜装置1可通过人工神经网络执行新数据集的胃病变图像的胃病变诊断。在S401步骤之前，内窥镜装置1可获得多个胃病变图像。胃病变图像可以是白色光图像。另外，内窥镜装置1可连接多个胃病变图像和患者信息生成数据集。内窥镜装置1分为人工神经网络的学习所需的学习用数据集及用于验证人工神经网络的学习的进行信息的验证用数据集生成数据集。此时，验证用数据集可为不与学习用数据集重复的数据集。上述验证用数据集在新数据集经过上述预处理过程之后成为人工神经网络的输入时，可为用于上述人工神经网络的性能评价的数据。

另外，内窥镜装置1预处理新数据集以可用于深度学习算法。内窥镜装置1可执行利用包含于新数据集的新胃病变图像，以胃病变为中心裁切不包含胃病变的图像的周边部区域，裁切(crop)为可用于深度学习算法的大小的过程。另外，内窥镜装置1可沿上下左右方向平行移动(Shift)新胃病变图像。另外，内窥镜装置1可翻转(flipping)新胃病变图像。另外，内窥镜装置1可调节新胃病变图像的色彩。内窥镜装置1可通过执行多个预处理过程中的某一过程，将新胃病变图像预处理为可用于深度学习算法的状态。

另外，内窥镜装置1可为增加新胃病变图像的数据数放大图像数据。内窥镜装置1可为放大新图像数据，可使用胃病变图像的旋转、翻转、裁切及增噪中的至少一个放大胃病变图像数据。

内窥镜装置1可通过将经过预处理过程的数据集作为输入，将关于胃病变分类结果的项目作为输出的学习构建人工神经网络。内窥镜装置1可通过上述将经过预处理过程的上述数据集作为输入，将关于胃病变分类结果的项目作为输出的卷积神经网络(Convolutional Neural Networks)及全连接神经网络(Fully-connected NeuralNetworks)的学习构建训练模型。

另外，内窥镜装置1将经过预处理过程的数据集输入至卷积神经网络，而全连接神经网络将卷积神经网络的输出及患者信息作为输入构建训练模型。积神经网络可从多个胃病变图像输出多个特征图案，多个特征图案通过全连接神经网络最终得到分类。

内窥镜装置1对新数据集经过预处理过程之后，通过人工神经网络执行胃病变诊断。内窥镜装置1可将对新胃内窥镜图像的胃病变分为晚期胃癌(advanced gastriccancer)、早期胃癌(early gastric cancer)、高度异型增生(high-grade dysplasia)、低度异型增生(low-grade dysplasia)及肺肿瘤(non-neoplasm)中的至少一种。

在S402步骤中，内窥镜装置1可输出通过实时获得的新胃内窥镜图像及人工神经网络输出的胃病变诊断结果。

在上述说明中，S401至S402步骤可根据本发明的实施例，可进一步分为追加的步骤或组合为更少的步骤。另外，部分步骤可根据需要省略，步骤间的顺序也可变更。

本发明一实施例的利用内窥镜装置实时获得的胃内窥镜图像诊断病变的方法可实现为可通过各种计算机设备执行的程序命令形式并记录于计算机可读的记录媒体。上述计算机可读媒体可单独或组合包括程序命令、数据文件、数据结构等。记录于上述媒体的程序命令可以是为本发明特殊设计构成的，也可以是计算机软件领域公开使用的。计算机可读记录媒介包括硬盘、软盘及磁带等磁性媒体(Magnetic Media)、CD-ROM、DVD等光媒体(Optical Media)、光磁软盘(Floptical Disk)等磁光媒体(Magneto-Optical Media)及ROM、RAM、闪存等可存储及执行程序命令的硬件设备。程序命令不仅包括编译器中产生的机器语言代码，而且还包括使用翻译器等在计算机中执行的高级语言代码。上述硬件装置可由实施本发明的动作的一个以上的软件模块组成，反之亦然。

另外，前述的利用内窥镜装置实时获得的胃内窥镜图像诊断病变的方法也可实现为存储于记录媒介并由计算机实施的计算机程序或应用的形式。

上述实施例仅用以说明本发明而非限制，本领域的普通技术人员应当理解，可以对本发明进行修改、变形或者等同替换。而在不脱离本发明的精神和范围内，其均应涵盖在本发明的权利要求范围当中。例如，单一型的各结构要素可分散实施，同样，分散的结构要素可以结合形式实施。

本发明的范围较之说明的说明更由权利申请范围来限定，从权利申请范围的意思及范围和等同概念推导出的所有变更或变形形式都应解释为属于本发明的范围。