用于使用HDR成像和高光去除进行口腔内成像的方法和系统

发明领域

本申请大体上涉及一种用于口腔内成像的方法和系统，具体涉及使用高动态范围(HDR)成像和高光去除以便去除镜面反射并获得高度清晰的HDR图像。

发明背景

在牙科领域中，重要的是在治疗过程期间获得牙齿图像。口腔内窥镜可为对口腔环境中的牙齿直接成像提供便利，且被广泛用于医院。

然而，因为通过灌肠剂(其即使在干涸时也是极光滑又透明的)修补牙齿表面，所以极容易捕捉来自光滑表面的一些镜面反射。对于自动曝光和固定曝光两者，镜面反射将总是导致图像中的一些过饱和高光区域，其极大地破坏图像的细节且使最终显示的图像的密度极不清晰。在某些牙科实践中(诸如检查一些汞合金区域和牙齿光滑表面的水分)，过饱和高光区域使得不可能对反射区域中的病变作出任何诊断且使目视观察极不舒服。

更重要的是，由镜面反射造成的过饱和镜面高光区域使所有基于计算机的自动病变检测系统无法用于所述区域，其将被视为假阳性或假阴性。

尽管HDR成像技术已被广泛用于图像处理领域，但其很少被应用于2D口腔内成像领域。此外，在某些情况下，即使口腔内成像技术方案采用HDR技术，但其无法抑制前述镜面反射和去除过饱和高光区域。

因此，将需要提供一种去除镜面反射使得可呈现高度清晰牙齿图像的方法。

发明内容

本发明旨在解决上文所描述的问题。

根据本发明的一个方面，提供了一种用于口腔内成像的方法，且这种方法包括以下步骤：

生成牙齿的第一高动态范围(HDR)照射图，其中在不同曝光下对相同口腔内场景捕捉多个图像；和

以细节保留方式从所述第一HDR照射图去除由镜面反射造成的高光以便获得第二HDR照射图，在所述第二HDR照射图中所述镜面反射至少部分受抑制。

根据本申请的实施方案的方法，生成所述第一HDR照射图的步骤包括以下步骤：

在不同曝光下对相同口腔内场景捕捉所述多个图像；

确定所述多个图像中的一个图像为关键曝光帧；

基于所述多个图像恢复照射映射曲线；和

基于所述多个图像和所述照射映射曲线恢复所述第一HDR照射图，其包括以下步骤：

对于所述多个图像中的每个，基于所述照射映射曲线将像素值映射为照射值，和

通过针对每个像素对所述多个图像中的所有图像的所述照射值进行加权平均，获得所述第一HDR照射图。

根据本发明的另一方面，提供了一种用于口腔内成像的系统，且这个系统包括：

HDR成像装置，其用于生成牙齿的第一高动态范围(HDR)照射图，其中在不同曝光下对相同口腔内场景捕捉多个图像；和

细节保留滤波器，其用于从所述第一HDR照射图去除由镜面反射造成的高光以便获得第二HDR照射图，在所述第二HDR照射图中所述镜面反射至少部分受抑制。

根据本发明的又一方面，提供了一种用于抑制所述镜面反射的方法，且这种方法包括以下步骤：

生成牙齿的第一高动态范围(HDR)照射图，其中在不同曝光下对相同口腔内场景捕捉多个图像；和

以细节保留方式从所述第一HDR照射图去除由镜面反射造成的高光以便获得第二HDR照射图，在所述第二HDR照射图中所述镜面反射至少部分受抑制。

根据本发明的又一方面，提供了一种计算机程序产品，且所述计算机程序产品包括计算机可读介质，所述计算机可读介质包括用于执行以下步骤的指令：

生成牙齿的第一高动态范围(HDR)照射图，其中在不同曝光下对相同口腔内场景捕捉多个图像；和

以细节保留方式从所述第一HDR照射图去除由镜面反射造成的高光以便获得第二HDR照射图，在所述第二HDR照射图中所述镜面反射至少部分受抑制。

附图简述

从下文详述并参考附图，将完全了解本发明的上述和其它目的和优点，其中相同或相似元件是由相同参考符号表示。

图1示出了使用现有技术口腔内窥镜所得的单次曝光图像的示意图。

图2是根据本发明的实施方案的用于口腔内成像的方法的工作流程；

图3示出了对应于如图2中所说明的方法的口腔内成像的示意图。

具体实施方式

本发明的诸多可能的实施方案中的一些将在下文作描述以便基本了解本发明而非识别本发明的重要或决定性因素或者界定保护范围。可容易了解，根据本发明的技术方案，本领域普通技术人员可在不背离本发明的真实精神的情况下提议其它替代实施方式。因此，以下实施方案和附图是本发明的技术方案的说明性描述，且不应被解释为构成本发明的全部或者被解释为限制或界定本发明的技术方案。

图1示出了使用现有技术口腔内窥镜所得的单次曝光图像的示意图。从图1的实施方案将清楚地了解本申请的发明背景部分中所指出的问题。具体来说，图1(a)示出了当LED在口腔内环境中进行照明时实际上产生的漫反射和镜面反射；图1(b)示出了表示口腔内窥镜的实际输入照射的原始照射图；图1(c)示出了在单次曝光之后获得的低动态范围的显示图像。在单次曝光成像的过程中，口腔内窥镜无法完全捕捉图1(b)中所示的原始照射图。

因为口腔内环境存在一些镜面反射，所以来自某个口腔内场景的实际反射可被分解为如图1(a)中所说明的漫反射和镜面反射。显然，镜面反射的照射值大于漫反射的照射值，这使强度范围宽于无镜面反射的场景的强度范围。自然地，实际反射产生对应于镜面反射的高光区域，其被示出为波峰。此外，对于常规口腔内窥镜，在单次曝光的情况下，其仅可生成有低动态图像的图像，其中高光区域的强度在曝光过度下处于过饱和状态，而对应于漫反射的其它低强度区域被表示为曝光不足；因此，图1(c)中的图像显得失真又不清晰。

对于细节，在口腔环境中，光滑牙齿表面、唾液、牙龈和其它器官组织一起共存，且其发射和照明(所谓照射)反射是极不相同的。因为数字图像中的像素值实际上是场景照射的非线性映射，所以常规口腔内窥镜不可能在单次爆光下提供足够高以便描述一个图像中的全场景照射(图1(c)中所示)的动态范围。因此，不可避免的是，将对应于镜面反射的高光区域映射到由常规窥镜在单次爆光下捕捉的最后数字图像中的过饱和区域中。

如图2和3中所说明，提供抑制镜面反射的实施方案。同时，所述实施方案还相应地公开了一种用于口腔内成像的方法，根据所述方法，最后可实时生成无过饱和高光区域的HDR图像。因此，可在2DHDR图像中清晰地显示牙齿，其将极大地有助于口腔的诊断。所述方法基于图2和3如下般作详述。

在步骤S210中，通过口腔内窥镜在不同曝光下捕捉如图3(a)中所示的一系列图像。

在这个实施方案中，在使用口腔内窥镜来观察至少包括牙齿的场景时，其照明器可为但不限于白光，诸如LED。口腔内窥镜将来自照明器的光投射到场景上且然后使反射的光成像。作为说明的实例，口腔内窥镜可参考发布的专利，即，RongguangLiang的申请号US2010/0268069，“DentalSurfaceImagingUsingPolarizedFringeProjection”，其全部内容以引用方式并入本文中。

口腔内窥镜还被配置为在捕捉图像时可针对曝光进行调整。在这个实施方案中，对应于相应图像的每次曝光可通过其曝光持续时间来确定。当然，可使用其它方式以在捕捉图像时处理每次曝光。可在n个递增的曝光持续时间内对相同场景捕捉带有数字n的多个图像，即，311、312至31n。或者，数字n可被设为4、8或16。捕捉的图像越多，最后显示的HDR图像越清晰。同时，所有这些曝光的范围会影响最后HDR图像的清晰度，且其可通过镜面反射的具体化强度来确定。

还应注意，在捕捉如图3(a)中所示的一系列图像的过程中，除曝光外的所有参数是不变的，且口腔内窥镜还保持在口腔内始终静止。因此，多个成像场景可被视为静止场景。

此外，在步骤S213中，确定多个图像中的一个为关键曝光帧。

在这个实施方案中，比较多个图像的所有曝光与所有曝光的平均值，从而确定其中曝光最接近平均值的图像为关键曝光帧。即，在口腔环境中进行相同照明下，关键曝光帧的曝光持续时间接近相同口腔内窥镜的平均自动曝光。

此外，关键曝光帧看起来很像常规的自动曝光图像，其中不同区域(诸如牙齿区域、牙龈区域和背景)可通过熟知的迭代自适应阈值计算程序进行分割。作为颜色分割的特定实例，可对红色分量/绿色分量的图像进行自适应阈值分割，通过其可分割出牙齿区域。因此，可确定并从关键曝光帧提取在曝光过度下的过饱和高光区域。同样地，还可按相同方式确定并从关键曝光帧提取用户意图观察的其它区域，诸如牙齿区域和牙龈区域。

此外，在步骤S215中，基于图3(a)中所示的多个图像恢复图3(b)中所示的照射映射曲线

在这个实施方案中，为了恢复照射映射曲线，如果给定恢复最优化方程式，有不同曝光持续时间的图像中的所有像素将促进统计最优解，那么这将引进大量计算。因此，几乎不可能实时实施，但实际上，对应相同材料的同质像素相似地有助于最优解且过多像素作出少量贡献。即，涉及整个同质区域中的所有像素的计算结果与涉及少数代表性像素的计算结果相似。从而，计算曲线仅涉及整个同质区域中的少数像素已足够。

为了实时恢复照射映射曲线，可在步骤213中所描述的关键曝光帧中分割牙齿区域、牙龈区域和高光区域，且可分别提取牙齿区域、牙龈区域和高光区域中的像素。

因此，将采用少得多像素来解方程式和恢复照射映射曲线，同时可获得相似解。因此，使实时恢复照射映射曲线成为可能。此外，为了确保涉及的计算实时进行，本文中使用基于形状的空间自适应下采样方法，因为没必要将所有像素均涉及到映射的曲线计算中，且牙齿区域、牙龈区域和高光区域中的每个区域中的一些代表性像素可提供足够准确的计算。在基于形状的空间自适应下采样方法中，首先计算不同分割区域的面积；然后，对于每个单独区域，生成下采样率和相关下采样网格以便使每个分割区域将提供相等数量的像素。因此，容易实现整个场景的重建曲线的高计算效率和高准确度，且可实时恢复照射映射曲线。

此外，在步骤S220中，根据图3(a)中所示的多个图像和图3(b)中所示的照射映射曲线恢复图3(c)中所示的第一HDR照射图。

在这个实施方案中，首先，对于多个图像中的每个，根据照射映射曲线将每个像素值映射为照射值。然后，可通过针对每个像素对多个图像中的所有图像的照射值进行加权平均，恢复并获得第一HDR照射图。图3(c)中所示的第一HDR照射图可表示漫反射和镜面反射的汇总，因此，其基本上相当于如图1(b)中所示的原始照射图。因而，通过多次曝光，基本上可在第一HDR照射图中获得并具体化口腔内窥镜的实际输入照射。

恢复第一HDR照射图的上述步骤如下般作详细说明。

在恢复的照射颜色图像中，镜面区域显得高光，其中照射强度值是由2个分量组成，包括漫射分量和镜面反射分量，其意指由RGB窥镜捕捉的反射光颜色图像中的位置(x，y)处的像素值可被表示为漫射颜色分量和镜面颜色分量的线性组合；其中假设白光为照明源，那么(x，y)表示像素的空间位置。其中是像素值，I_R(x，y)是红色分量的像素值，I_G(x，y)是绿色分量的像素值，I_B(x，y)是红色分量的像素值，是漫射颜色分量，是漫射红色分量的像素值，是漫射绿色分量的像素值，是漫射蓝色分量的像素值；是镜面颜色分量，是镜面红色分量的像素值，是镜面绿色分量的像素值，是镜面蓝色分量的像素值。

高光去除技术将从恢复的照射颜色图像中的颜色分量估计漫射颜色图像。漫射色度可通过以下公式(1)来计算。

其中θ(x，y)是漫射色度，θ_R(x，y)是红色分量的漫射色度，θ_G(x，y)是绿色分量的漫射色度，θ_B(x，y)是蓝色分量的漫射色度。

最大漫射色度可通过以下公式(1)来计算。

θ_max(x，y)＝max[(x，y)，θ_G(x，y)，θ_B(x，y)](2)。

其中θ_max(x，y)是最大漫射色度。

此外，存在用来估计每个像素的漫射颜色分量的经验公式(3)。

$>\left(\begin{array}{c}{I}_R^D(x,y)\\ I_G^D(x,y)\\ I_B^D(x,y)\end{array}\right)=\left(\begin{array}{c}{I}_R(x,y)-\frac{\max [I_R(x,y),I_G(x,y),I_B(x,y)]-{\theta }_{\max }(x,y)[I_R(x,y)+I_G(x,y)+I_B(x,y)]}{1-3·{\theta }_{\max }(x,y)}\\ I_R(x,y)-\frac{\max [I_R(x,y),I_G(x,y),I_B(x,y)]-{\theta }_{\max }(x,y)[I_R(x,y)+I_G(x,y)+I_B(x,y)]}{1-3·{\theta }_{\max }(x,y)}\\ I_R(x,y)-\frac{\max [I_R(x,y),I_G(x,y),I_B(x,y)]-{\theta }_{\max }(x,y)[I_R(x,y)+I_G(x,y)+I_B(x,y)]}{1-3·{\theta }_{\max }(x,y)}\end{array}\right)---\left(3\right)$>

在其中颜色一致的小局部区域中，每个像素的θ_max(x，y)改变极少，但对于镜面像素，镜面反射导致在有相同表面颜色的局部区域中颜色间断，且可使用细节保留滤波器(包括著名的双边滤波器)来去除局部间断。

此外，在步骤S230中，使用双边滤波器从第一HDR照射图去除由镜面反射造成的高光以便获得第二HDR照射图。

在这个实施方案中，在前述内容中，可在关键曝光帧中分割牙齿区域、牙龈区域和高光区域，尤其是每个高光区域，其可从关键曝光帧提取。在确定高光区域的最大几何尺寸(即，从高光区域的边界到中轴的最大距离)之后，可将这个最大几何尺寸设为双边滤波器的尺度参数；然后，双边滤波器关于第一HDR照射图的θ_max(x，y)重复地运行直到达到最小变化标准为止。基于最小变化标准，容易去除看起来间断又突然的任何镜面反射。因此，可从第一HDR照射图去除过饱和高光区域，且继续获得图3(d)中所示的第二HDR照射图，在所述第二HDR照射图中镜面反射极大地受抑制且对应于漫反射的细节被完全保留。

因此，用于步骤S230的滤波器不局限于上述实施方案中的双边滤波器，且在本文中可将任何其它细节保留滤波技术应用于去除高光。在使用细节保留滤波器时，可成功地保持小于最小变化标准的细节，同时可容易去除大于最小变化标准的高光。

到目前为止，已去除镜面反射，同时将漫反射保持在口腔内场景的第二HDR照射图中。

此外，在步骤S240中，为了将HDR图像显示在低动态范围显示装置上，使用色调映射重建关于第二HDR照射图的图3(e)中所示的可显示的HDR图像。

在这个实施方案中，为了重建可被显示在有低动态范围的数字显示器中的最后白光图像，使用色调映射以将高动态范围照射值映射到常规图像动态范围中。此外，将在关键曝光帧中所提取的牙齿区域的最大几何尺寸(其被定义为从牙齿区域的边界到中轴的最大距离)用作另一双边滤波器的尺度参数，且使用这个双边滤波器以将第二HDR照射图分解成粗糙级和精细级。因为粗糙级支配主要动态范围，所以其应被下缩放以便使所述动态范围适于重建常规图像。在对精细级进行相似操作之后，将缩放的粗糙级和精细级组合在一起以产生可便于牙医观察的最后牙齿图像。

最后，获得其中同时清晰地捕捉变亮物体和变暗物体的HDR牙齿图像，其中镜面反射极大地受抑制。

可了解，在其它实施方案中，在第二HDR照射图可被直接显示在被调适来显示任何HDR照射图的显示器中的情况下，可省略步骤S240。

已描述本发明的优选实施方案，现将对一般技术人员显而易见的是，可以使用并入这些优选实施方案的其它实施方案。此外，被包括作为本发明的部分的软件可以在包括计算机可用介质的计算机程序产品中具体化。例如，这个计算机可用介质可包括上面存储有计算机可读程序代码段的可读存储器装置，诸如硬盘驱动装置、CD-ROM、DVD-ROM或计算机磁盘。计算机可读介质还可包括在上面携带程序代码段作为数字或模拟信号的通信链路(光学链路、有线链路或无线链路)。因此，应认为，本发明不应限于所描述的实施方案，但相反，应仅受所附权利要求书的精神和范围的限制。本文中所引用的所有发布案和参考案的全部内容明确地以引用方式并入本文中。