异常阴影候选检测方法、异常阴影候选检测装置

具体实施方式

在以下的说明中，将权利要求1～8的实施例作为实施例1，将权利要求9～18的实施例作为实施例2。另外，在实施例1和实施例2中共通的情况下，称为本实施例。

首先，参考图1和图2，说明本实施例的结构。

图1表示本实施例的医用图像系统100的全体结构。如图1所示那样，医用图像系统100经由网络N与图像生成装置1、图像处理装置2等连接，使得能够相互进行数据发送接收。

另外，在本实施例中，说明图像生成装置1与图像处理装置2进行网络连接的例子，但并不只限于此，也可以是直接进行有线连接的系统结构。另外，各装置的台数和设置位置并没有特别限制。进而，其结构也可以是将医用图像系统100与以下的装置连接起来：对由图像生成装置1生成的医用图像的图像数据进行保存、管理的服务器；对在图像处理装置2中具有应该检测出的病变部位的大小的异常阴影候选的检测结果和处理后的图像进行显示输出的监视器；对在图像处理装置2中具有应该检测出的病变部位的大小的异常阴影候选的检测结果和处理后的图像进行电影(film)输出的电影输出装置等。

网络N可以适用LAN(局域网)、WAN(广域网)、因特网等各种线路形式。另外，如果在医院等医疗机构内允许，则也可以是无线通信、红外线通信，但由于包含重要的患者信息，所以理想的是对发送接收的信息进行加密。

图像生成装置1例如包括CR(Computed Radiography)、FPD(Flat Panel Detector)、CT(Computed Tomography)、MRI(MagneticResonance Imaging)等类型，是对人体进行摄影，对摄影的图像进行数字变换，生成医用图像的图像数据的装置。在本实施例中，说明图像生成装置1进行乳房的放射线摄影，生成乳房图像的图像数据。另外，图像生成装置1可以针对乳房图像，输入图像附带信息(以下称为附带信息)，或者自动生成。图像生成装置1将该附带信息与所生成的乳房图像的图像数据一起作为图像数据的头信息，经由网络N输出到图像处理装置2。

作为乳房图像的附带信息，例如包含摄影了的患者的患者姓名、患者ID、年龄、乳腺量等与患者有关的患者信息、摄影日、检查ID、摄影部位、摄影条件(左右的乳房的区别、摄影方向、压迫压力等)、图像生成装置的(型号种类)信息等摄影信息。

图像处理装置2是对从图像生成装置1提供的图像数据实施异常阴影候选检测处理的异常阴影候选检测装置。

以下，说明图像处理装置2的内部结构。

图2表示图像处理装置2的功能结构。如图2所示，图像处理装置2具备CPU21、操作部件22、显示部件23、RAM24、存储部件25、通信控制部件26等而构成，各部件通过总线27连接。

CPU21读出存储在存储部件25中的系统程序，并展开到在RAM24内形成的工作区域中，依照该系统程序控制各部件。另外，CPU21读出存储在存储部件25中的以异常阴影候选检测处理程序为代表的各种处理程序并展开到工作区域中，执行后述的异常阴影候选检测处理(参考图3)为代表的各种处理。

操作部件22具备具有光标键、数字输入键以及各种功能键等的键盘、鼠标等指示设备而构成，将通过对键盘的键操作和鼠标操作输入的指示信号输出到CPU21。另外，操作部件22也可以在显示部件23的显示画面上具备触摸屏，在该情况下，将经由触摸屏输入的指示信号输出到CPU21。

显示部件23包括LCD(Liquid Crystal Display)、CRT等监视器，依照从CPU21输入的显示信号的指示，进行图像的显示。

RAM24形成有在由CPU21执行控制的各种处理中暂时存储从存储部件25读出的可以由CPU21执行的各种程序、输入或输出数据、以及参数等的工作区域。

存储部件25包括HDD(硬盘驱动器)、非易失性半导体存储器等，存储由CPU21执行的系统程序、与该系统程序对应的以异常阴影候选检测处理程序为代表的各种程序、各种数据等。以可读取的程序代码的形式存储这些各种程序，CPU21依照该程序代码逐次执行动作。

另外，存储部件25还对应地存储摄影了的医用图像的数据、对该医用图像的异常阴影候选检出数据(该医用图像的附带信息(包括患者信息)、在该医用图像中与作为检测对象的病变部位的大小有关的信息(例如作为检测对象的病变部位的大小的范围、抽出检测对象区域时所使用的第一平滑化过滤器和第二平滑化过滤器的掩模大小等)、以及该医用图像中的异常阴影候选的检出结果(检出个数等)等)。

通信控制部件26具备LAN适配器、路由器、TA(TerminalAdapter)等，控制和与网络N连接的各装置之间的通信。

接着，说明本实施例的动作。

图3是表示由图像处理装置2的CPU21执行的实施例1的异常阴影候选检测处理的流程图。CPU21通过与存储在存储部件25中的异常阴影候选检测处理程序的协作而进行的软件处理，执行该处理。

在此，作为在乳房图像中诊断的主要病变，例如可以列举肿瘤阴影、微小石灰化团等。肿瘤阴影被显示为具有某种程度大小的块，在乳房图像上为接近高斯分布的发白圆阴影。微小石灰化团在乳房图像上被显示为具有大致圆锥构造的小白的阴影。即，在乳房图像上，在病变部位可以看到浓度值的下降。在以下的异常阴影候选检测处理中，在根据该乳房图像上的病变部位图像的特性，抽出异常阴影候选的检测对象区域后，对检测对象区域进行异常阴影候选的检测。在本实施例中，以检测肿瘤阴影的情况为例子进行说明。

首先，经由通信控制部件26输入在图像生成装置1中摄影乳房而生成的乳房图像的图像数据D，并存储到RAM24的工作区域中(步骤S1)。

接着，对输入的图像数据D实施区域抽出处理(步骤S2)。区域抽出处理是从图像数据D的全体区域中抽出与应该检测出的病变部位的大小对应的检测对象区域的处理。

以下，参考图4、5详细说明区域抽出处理。

图4是用于说明实施例1的动作的流程图是表示在图3的步骤S2中由CPU21执行的区域抽出处理的流程图。另外，也是用于说明以后说明的实施例2的动作的流程图，是表示在图9的步骤S24中由CPU21执行的区域抽出处理的流程图。

图5是模式地表示图4的区域抽出处理前的图像和该图像的区域抽出处理的各步骤中的处理结果的图。在图5(a)～(d)中，将图像数据(图像数据D1～D4)的1列(图5(a)～(d)全部表示相同的列)中的像素位置表示为横轴，将像素值(浓度值)表示为纵轴。

在图4的区域抽出处理中，首先对图像数据D实施缩小处理，生成采样间距1.6mm左右的图像数据D1(步骤S11)。例如，如果图像数据D的采样间距为100μm，则将纵、横分别缩小为1/16。缩小处理算法可以是取近旁的像素值的平均、以一定像素间隔进行间隔抽取等任意的方法。在此，通过缩小图像数据D，能够缩短以后处理中的处理时间。

在乳房图像中，如图5(a)所示那样，包含具有与应该检测出的病变部位相同程度的大小并且浓度比周围低的区域(检测对象区域)、比应该检测出的病变部位小并且浓度比周围低的区域(微小区域)、比应该检测出的病变部位大并且浓度比周围低的区域(比对象大的区域)。在区域抽出处理以后的处理步骤中，从缩小了的图像数据D1上抽出具有与应该检测出的病变部位相同程度大小的低浓度区域作为检测对象区域。另外，在以后的处理中，以检测5mm～15mm左右大小的肿瘤阴影候选的情况为例子进行说明。

如果缩小图像数据D而生成了图像数据D1，则对缩小了的图像数据D1实施第一平滑化处理，生成图像数据D2(步骤S12)。

第一平滑化处理对图像数据D1实施掩模大小3×3的第一平滑化过滤(参考图6)而生成图像数据D2。第一平滑化过滤是以图像数据D1的关注的像素为中心设置正方形区域(掩模：mask)，按照从大到小的顺序排列掩模内的像素值，将中央值作为关注像素的像素值的介质过滤(media filter)。在掩模大小3×3的介质过滤的情况下，按照从大到小的顺序排列图6所示的区域1～9的像素值，将其中央值作为区域5的像素值。一边逐一像素地错开掩模位置，一边循环进行，并且针对图像数据D1的全部像素进行。由此，如图5(b)所示那样，对纵宽度、横宽度分别为到4.8mm左右(1.6mm×3)为止的微小区域进行平滑化。

接着，对图像数据D2实施第二平滑化处理，生成图像数据D3(步骤S13)。

在第二平滑化处理中，对图像数据D2实施掩模大小为7×7的第二平滑化过滤，生成图像数据D3。

该第二平滑化过滤具有在掩模大小内的像素值中将最大值作为中央的关注像素的值的最大值过滤、在掩模大小内的像素值中将最小值作为中央的关注像素的值的最小值过滤，在对图像数据D2适用了最大值过滤后，再适用最小值过滤，由此填补具有掩模大小程度大小的像素值的下降(下陷)。一般，肿瘤阴影具有X射线透射浓度朝向其中心下降的特征，通过第二平滑化处理，对图像数据D2实施与同应该检测出的肿瘤阴影相同程度的大小对应的掩模大小的第二平滑化过滤，由此能够填补与应该检测出的肿瘤阴影相同程度的低浓度区域。

在此，参考图7，以1维的数据列为例子说明第二平滑化过滤的原理。在图7中，横轴表示1维的数据列中的像素位置，纵轴表示1维的数据列中的像素值(浓度值)。

图7的L1是原始图像的数据列。从位于该原始图像的数据列的左边的像素开始顺序地作为关注像素，以关注像素为中央设置掩模大小为纵1×横7的最大值过滤器，将掩模的范围内的最大值作为关注像素的像素值。通过逐一像素地使其向右偏移，能够得到图7的L2所示的数据列。输入该L2所示的数据列，从位于左边的像素开始顺序地作为关注像素，以关注像素为中央设置掩模大小为纵1×横7的最小值过滤器，将掩模的范围内的最小值作为关注像素的像素值。由此，如图7的L3所示，能够得到对原始的数据列L1的浓度值下降进行了平滑化的数据列。

这样，通过第二平滑化过滤器能够对具有与应该检测出的异常阴影候选区域同等程度的大小的低浓度区域进行平滑化。

如果第二平滑化处理结束，则执行差分图像生成处理，通过取得图5(c)所示的图像数据D3与图5(b)所示的图像数据D2的同一像素位置的像素值的差分，生成图5(d)所示的差分图像(图像数据D4)(步骤S14)。然后，根据预先设置的阈值对图像数据D4进行阈值处理，只抽出具有超过阈值的像素值的数据(步骤S15)，生成具有与应该检测出的异常阴影候选区域同等程度的大小的低浓度区域的图像数据D5。

另外，在上述区域抽出处理中，根据第一平滑化过滤器的掩模大小和采样间距，决定抽出的检测对象区域的最小大小，根据第二平滑化过滤器的掩模大小和采样间距，决定抽出的检测对象区域的最大大小。即，通过变更在图4的步骤S12中的第一平滑化处理中使用的第一平滑化过滤器的掩模大小和在图4的步骤S13中的第二平滑化处理中使用的第二平滑化过滤器的掩模大小，能够变更作为异常阴影候选的检测对象的区域的大小。

另外，如图8所示，通过变更在图4的步骤S12中的第一平滑化处理中使用的第一平滑化过滤器的掩模大小和在图4的步骤S13中的第二平滑化处理中使用的第二平滑化过滤器的掩模大小而进行多次处理，能够按照大小分类地抽出检测对象区域。例如，首先在图4的步骤S12中使用掩模大小3×3的第一平滑化过滤器生成图像数据D2，对该图像数据D2实施掩模大小7×7的第二平滑化过滤器生成图像数据D3，通过取得图像数据D3与图像数据D2的差分而进行阈值处理，抽出5mm～15mm左右的检测对象区域。接着，针对图像数据D2进一步实施掩模大小7×7的第一平滑化过滤而生成图像数据D2`，对该图像数据D2`实施掩模大小为11×11的第二平滑化过滤而生成图像数据D3`，取得图像数据D3`与图像数据D2`的差分而进行阈值处理，由此可以抽出15mm～30mm左右的检测对象区域。这样，能够分别抽出5mm～15mm左右的检测对象区域和15mm～30mm左右的检测对象区域。

由于肿瘤阴影大致是圆形，所以图像数据的纵横方向可以是同样的处理，另外由于容易使抽出的区域与肿瘤阴影对应，所以特别理想的是实施上述区域抽出处理。

在图3中，如果区域抽出处理结束，则对图像数据D中的抽出的图像数据D5的区域进行异常阴影候选的检测(步骤S3)。

作为异常阴影候选检测的算法，与作为检测目标的病变种类对应地开发出了各种算法，作为最适于肿瘤阴影检测的算法，提出了使用膜片过滤器的方法等。另外，作为最适于微小石灰化团阴影检测的算法，提出了使用形态学过滤器的方法等(参考特开2001-346787号公报)。另外，作为最适于肿瘤阴影和微小石灰化团阴影的双方的检测的算法，还提出了使用了曲率的方法。在本实施例中，说明使用膜片过滤器作为异常阴影候选检测算法检测肿瘤阴影候选的方法的情况。

已知在乳房的放射线图像中，肿瘤阴影一般与周围的图像部分相比浓度值低，其浓度值的分布具有从大致圆形的周缘部分向中心部分浓度值变低那样的浓度值斜率。因此，在肿瘤阴影中，识别出局部的浓度值的斜率，该斜率线向肿瘤的中心方向集中。膜片过滤器计算该浓度值所代表的图像信号的斜率作为斜率向量，输出该斜率向量的集中度，根据该集中度和其他特征量检测出肿瘤阴影的候选区域。

首先，在图像数据D中的异常阴影候选的检测对象区域(作为图像数据D5而抽出的图像区域)中，设置任意的关注像素。接着，在设置了的关注像素中，计算出图像的特征量。首先，求出关注像素周围(例如规定的掩模大小内的区域)的浓度斜率的方向成分和强度成分的集中度等特征量。另外，作为其他特征量，求出关注像素周围的对比度、标准偏差、fractale维等特征量。如果计算出各种特征量，则与预先对各特征量设置的用于检测异常阴影候选的阈值进行比较，根据其比较结果，判断关注像素周围区域是异常阴影的可能性是否高。在判断出是异常阴影的可能性高的情况下，将该关注像素周围区域检测为异常阴影的候选区域。在全部的检测对象区域中设置关注像素，循环进行异常阴影候选的检测。

这样，在异常阴影候选的检测中，作为关注像素一个一个地探索检测对象区域内的像素，判断该周围区域是异常阴影的可能性是否高。

在检测出异常阴影候选后，处理转移到图3的步骤S4，在显示部件23上显示异常阴影候选检测结果(步骤S4)。例如，在显示部件23上显示基于图像数据D的乳房图像，在该乳房图像上用箭头(注释)指出显示被检测为异常阴影候选的候选区域，或者进行彩色显示等，而进行识别显示。另外，也可以输出异常阴影候选的特征量。然后，将摄影了的医用图像的数据与该异常阴影候选检出数据(该医用图像的附带信息、与在该医用图像中作为检测对象的肿瘤阴影的大小有关的信息、该医用图像中的异常阴影候选的检测结果的信息等)对应地存储在存储部件25中(步骤S5)，结束本处理。

如以上说明的那样，根据实施例1的图像处理装置2，缩小原图像的图像数据D而生成图像数据D1，对图像数据D1实施第一平滑化过滤而生成对微小的低浓度区域进行了平滑化后的图像数据D2，对图像数据D2实施第二平滑化过滤而生成具有与应该检测出的异常阴影候选区域同等程度的大小的对低浓度区域进行了平滑化后的图像数据D3，通过取得图像数据D3与图像数据D2的同一像素位置的像素值的差分而生成差分图像数据D4，通过对该图像数据D4进行阈值处理而抽出具有检测对象的大小的低浓度区域的图像数据D5。然后，对用图像数据D5抽出的区域进行异常阴影候选的检测。

因此，由于与应该检测出的异常阴影候选的大小对应地限定由图像生成装置1生成的乳房图像中的用于检测出异常阴影候选的探索区域，所以能够预先将与应该检测出的异常阴影候选对应的大小以外的低浓度区域，例如噪声等的微小区域或更大的正常组织的区域从探索对象排除，与现有技术那样对乳房图像全体进行异常阴影候选的检测处理的情况相比，能够抑制伪阳性数，同时能够极大地缩短处理时间。另外，通过改变第一平滑化处理和第二平滑化处理中的过滤器的掩模大小，能够变更与应该检测出的异常阴影候选区域的大小对应地抽出的检测对象区域。进而，通过改变掩模大小而循环执行图4的步骤S12～S15的处理，能够按照应该检测出的异常阴影候选区域的大小分类地抽出检测对象区域，因此能够检测出多个检测模型的异常阴影候选。

接着，说明实施例2的动作。图9是表示由图像处理装置2的CPU21执行的实施例2的异常阴影候选检测处理的流程图。

首先，经由通信控制部件26输入在图像生成装置1中对乳房进行摄影而生成的乳房图像的图像数据D，并存储到RAM24的工作区域中(步骤S21)。接着，在显示部件23上显示用于输入应该从图像数据D中检测出的病变部位的大小的范围的输入画面，从该输入画面经由操作部件22输入应该检测出的病变部位的大小的范围(步骤S22：输入单元)。

肿瘤阴影一般随着病状的加深而阴影变大。在步骤S2中，在输入画面中显示出与病状发展的阶段对应的大小的范围，可以由操作者选择输入与摄影了的患者的病状发展的阶段对应的大小，也可以由操作者输入应该检测出的病变部位的大小的范围的上限值和下限值。在本实施例中，说明在输入画面中显示出与病状发展的阶段对应的大小的范围(5～15mm、15mm～30mm)，由操作者选择与摄影了的患者的病状发展的阶段对应的大小的范围。

另外，在初诊的情况下，首先需要检测出是否有初始阶段的大小的病变，因此例如检索存储部件25，判断是否存储有与同一患者对应的异常阴影候选检测数据，在没有存储的情况下，即到现在为止没有接受过乳房图像异常阴影候选检测的诊断的情况下(初诊)，不进行上述输入画面的显示，可以在图像处理装置2中自动地选择与初始阶段对应的大小的范围。

如果输入了应该检测出的病变部位的大小的范围，则设置与输入的大小的范围对应的第一平滑化过滤器和第二平滑化过滤器(步骤S23：过滤器设置单元)。

第一平滑化过滤器和第二平滑化过滤器在后述的区域抽出处理中使用，根据第一平滑化过滤器的掩模大小和图像数据的采样间距，决定抽出的检测对象区域的最小大小，根据第二平滑化过滤器的掩模大小和图像数据的采样间距，决定抽出的检测对象区域的最大大小。因此，第一平滑化过滤器的掩模大小被设置得与应该检测出的病变部位的最小的大小(下限)对应，第二平滑化过滤器的掩模大小被设置得与应该检测出的病变部位的最大的大小(上限)对应。

在实施例2中，作为第一平滑化过滤器，预先准备掩模大小3(像素)×3(像素)和7×7，在选择输入了5～15mm作为应该检测出的病变部位的大小范围的情况下，设置掩模大小3×3的第一平滑化过滤器，在选择输入了15mm～30mm的情况下，设置掩模大小7×7的第一平滑化过滤器，实施第一平滑化处理。另外，作为第二平滑化过滤器，预先准备掩模大小7×7和11×11，在选择输入了5～15mm作为应该检测出的病变部位的大小范围的情况下，设置掩模大小7×7的第一平滑化过滤器，在选择输入了15mm～30mm的情况下，设置掩模大小11×11的第一平滑化过滤器，实施第二平滑化处理。

接着，使用在步骤S23中设置了的第一平滑化过滤器和第二平滑化过滤器，对图像数据D实施区域抽出处理(步骤S24：抽出单元)。区域抽出处理是从图像数据D的全体区域中抽出与应该检测出的病变部位的大小对应的检测对象区域的处理。

对于区域抽出处理，与实施例1的说明一样。

在图9中，如果区域抽出处理结束，则对图像数据D中的抽出的图像数据D5的检测对象区域进行异常阴影候选的检测(步骤S25：异常阴影候选检测单元)。

作为异常阴影候选检测的算法，与实施例1一样。

在异常阴影候选的检测后，处理转移到图9的步骤S26，在显示部件23上显示异常阴影候选检测结果(步骤S26)。例如在显示部件23上显示出基于图像数据D的乳房图像，在该乳房图像上用箭头(注释)指出显示被检测为异常阴影候选的候选区域，或者进行彩色显示等，而进行识别显示。另外，也可以输出异常阴影候选的特征量。然后，将摄影了的医用图像的数据与该异常阴影候选检出数据(该医用图像的附带信息、与在该医用图像中作为检测对象的肿瘤阴影的大小有关的信息、该医用图像中的异常阴影候选的检测结果的信息等)对应地存储在存储部件25中(步骤S27)，结束本处理。

如以上说明的那样，根据实施例2的图像处理装置2，设置与应该检测出的病变部位的大小对应的第一平滑化过滤器和第二平滑化过滤器，缩小原图像的图像数据D而生成图像数据D1，使用与应该检测出的病变部位的大小对应的第一平滑化过滤器对图像数据D1实施第一平滑化处理，而生成对微小的低浓度区域进行了平滑化后的图像数据D2，使用与应该检测出的病变部位的大小对应的第二平滑化过滤器对图像数据D2实施第二平滑化处理，而生成具有与应该检测出的病变部位的上限同等程度的大小的对低浓度区域进行了平滑化后的图像数据D3，通过取得图像数据D3与图像数据D2的同一像素位置的像素值的差分而生成差分图像数据D4，通过对该图像数据D4进行阈值处理而抽出具有检测对象的大小的低浓度区域的图像数据D5。然后，对用图像数据D5抽出的区域进行异常阴影候选的检测。

因此，由于与应该检测出的病变部位的大小对应地限定由图像生成装置1生成的乳房图像中的用于检测出异常阴影候选的探索区域，所以能够预先将与应该检测出的异常阴影候选对应的大小以外的低浓度区域，例如噪声等的微小区域或更大的正常组织的区域从探索对象中排除，与现有技术那样对乳房图像全体进行异常阴影候选的检测处理的情况相比，能够抑制伪阳性数，同时能够极大地缩短处理时间。另外，通过改变掩模大小而循环执行图4的步骤S12～S15的处理，能够按照应该检测出的异常阴影候选区域的大小分类地抽出检测对象区域，因此能够检测出多个检测模型的异常阴影候选。

另外，上述实施例的记述内容是本发明的医用图像系统100的适合的一个例子，并不只限于此。

例如，在上述实施例中，说明了从乳房图像中检测出肿瘤阴影的例子，但也可以适用于检测微小石灰化团阴影的情况，还可以适用于从摄影了其他部位的医用图像中检测出该部位的异常阴影的情况。进而，不只是乳房的放射线图像，也可以将本发明适用于CT图像、超声波图像、MRI图像。

其他，对于构成医用图像系统100的各装置的细节部分结构和细节部分动作，在不脱离本发明的宗旨的范围内可以适当地进行变更。