影像感测坏像素点的检测方法

技术领域

本发明涉及一种影像处理，特别是涉及一种影像感测坏像素点(bad  pixel)的检测方法。

背景技术

彩色影像的每一个像素可以使用含三颜色成分的向量来表示，例如使 用可见光谱中的红、绿、蓝波段的光强度。为了降低尺寸大小及成本，在 一般影像传感器中，针对每一个像素仅使用一个光滤波单元以撷取单一的 色彩(chromatic)值。接着，再根据邻近相同颜色的像素值以内插方法来 得到其它的色彩值。

图1示出影像传感器的感光元件(photosensor)阵列10，其上覆盖有 彩色滤波阵列(CFA)12。彩色滤波阵列12的每一彩色滤波器(CF)仅能 让一种颜色光受到相应感光元件的感测。由于彩色滤波阵列12的特殊嵌合 (mosaic)图样(pattern)排列并非人眼一般所观看的完整图像，所以必须 通过色彩内插以重建出人眼可观看的图像。因此，色彩内插一般又称为CFA 内插、色彩重建或去嵌合(demosaicking)。

图1所示的彩色滤波阵列12为拜耳(Bayer)滤波器的一种，其普遍使 用于数字相机或摄影机。拜耳滤波器的图样由红(R)、绿(G)、蓝(B) 滤波器依图标规则排列，其含有50％绿(G)、25％红(R)、25％蓝(B)滤 波器。每一像素点位置的其它颜色可由其四周像素点来得到。即使拜耳图 案内插法在影像处理领域被普遍使用，然而其具有一些缺点，例如因色彩 混迭(aliasing)现象造成高频细节的消失，甚至产生新频率而严重破坏影 像。

此外，影像传感器通常会具有瑕疵的像素点或坏点。传统内插法无法 有效分辨坏点与边缘(edge)影像，因此容易将边缘影像误判为坏点，或者 将坏点误认为边缘影像。

因此亟需提出一种有效分辨坏点与边缘影像的方法，在补偿坏点时也 能保留影像细节。

发明内容

鉴于上述，本发明实施例的目的之一在于提出一种影像感测坏点的检 测方法，用以有效分辨坏点与边缘影像，因而得以正确地进行坏点校正或 补偿。

根据本发明实施例，检视待检测像素值与多个邻近位置像素值的差异 性。接着，检视待检测像素值与多个邻近同色像素值在特定方向的连续性 并得到特定方向。最后，根据得到的特定方向，检视待检测像素值在该特 定方向的平滑性。当该待检测像素值被判定为坏点时，还可根据坏点的多 个邻近同色像素值以进行坏点的补偿。

附图说明

图1示出影像传感器的感光元件阵列及彩色滤波阵列。

图2示出本发明实施例的影像感测坏像素点检测方法的流程图。

图3A至图3D示出待检测像素值与邻近位置像素值。

图4示出图2的步骤21的细部流程图。

图5A至图5C示出待检测像素值与邻近同色像素值。

图6A及图6B示出水平方向增强权重、垂直方向增强权重、右上方向 增强权重及左上方向增强权重。

图7示出图2的步骤22的细部流程图。

图8示出图2的步骤23的细部流程图。

图9示出当坏点为蓝色或红色时的补点流程。

图10示出当坏点为绿色时的补点流程。

图11示出绿色坏点像素值与邻近同色像素值。

【主要元件符号说明】

10感光元件阵列

12彩色滤波阵列

21-23   步骤

211-215 步骤

221-224 步骤

231-232 步骤

91-92   步骤

101-104 步骤

Nc      待检测像素/坏点

N0-N7   像素

R       红色

G       绿色

B       蓝色

具体实施方式

图2示出本发明实施例的影像感测坏像素点检测方法的流程图。本实 施例可适用于各种影像传感器，例如互补式金属氧化物半导体(CMOS)影 像传感器。在本实施例中，各像素点的感测影像值经由拜耳(Bayer)图案 彩色滤波阵列所得到。若检测有坏像素点(简称“坏点”)，可进一步对坏点 进行校正或补偿。经校正后的坏点像素值在输出后，可储存、显示或作进 一步影像处理。

在步骤21，检视待检测像素值与邻近位置像素值的差异性，其中，邻 近位置像素点可与待检测像素点分属不同颜色。在本实施例中，若以待检 测像素点作为中心，则其与邻近位置像素点将形成3x3阵列，如图3A所示 的蓝色(B)待检测像素值Nc与绿色(G)、红色(R)邻近位置像素值N0-N7。

图4示出步骤21的细部流程图。首先，在步骤211，取得待检测像素 值Nc与垂直邻近位置像素值N1、N6平均值的差值，作为垂直邻近度量值 BM1。其中，若该差值小于0，则令垂直邻近度量值BM1为0。本步骤211 可表示如下：

BM1＝Nc-(N1+N6)/2如果BM1＜0则BM1＝0.

在步骤212，取得待检测像素值Nc与水平邻近位置像素值N3、N4平 均值的差值，作为水平邻近度量值BM2。其中，若该差值小于0，则令水 平邻近度量值BM2为0。本步骤212可表示如下：

BM2＝Nc-(N3+N4)/2如果BM2＜0则BM2＝0.

在步骤213，取得待检测像素值Nc与四个角落邻近位置像素值N0、 N2、N5、N7平均值的差值，作为角落邻近度量值BM3。其中，若该差值 小于0，则令角落邻近度量值BM3为0。本步骤213可表示如下：

BM3＝Nc-(N0+N2+N5+N7)/4如果BM3＜0则BM3＝0.

接着，在步骤214，根据垂直邻近度量值BM1、水平邻近度量值BM2 及角落邻近度量值BM3，以得到综合邻近度量值BM4。其中，若该值大于 待检测像素值Nc，则令综合邻近度量值BM4等于待检测像素值Nc。本步 骤214可表示如下：

BM4＝(BM1+BM2)/2+BM3如果BM4＞Nc则BM4＝Nc.

最后，在步骤215，判定综合邻近度量值BM4与待检测像素值Nc的 绝对差值是否小于邻近度量临界值B_TH。若判定为是，则待检测像素点可 能为坏点。本步骤215可表示如下：

如果ABS(BM4-Nc)＜B_TH则Nc可能为坏点.

上述步骤211-215虽以待检测像素值Nc为蓝色(B)时作为说明，然 而，这些步骤同样适用于待检测像素值Nc为红色(R)的情形，如图3B 所示的红色(R)待检测像素值Nc与绿色(G)、蓝色(B)邻近位置像素 值N0-N7。不同的地方仅在于将BM1-BM4置换为RM1-RM4，且B_TH置 换为R_TH。

当待检测像素值Nc为绿色(G)时，如图3C或图3D所示，其中，图 3C中的绿色待检测像素值Nc与蓝色水平相邻，而图3D中的绿色待检测像 素值Nc则与红色水平相邻。对于图3C所示情形，需将BM1-BM4置换为 GM1-GM4，B_TH置换为GB_TH，且步骤214可表示如下：

GM4＝GM 1+GM2+GM3如果GM4＞Nc则GM4＝Nc.

对于图3D所示情形，需将BM1-BM4置换为GM1-GM4，B_TH置换 为GR_TH，且步骤214可表示如下：

GM4＝GM1+GM2+GM3如果GM4＞Nc则GM4＝Nc.

接下来，回到图2所示流程，在步骤22，检视待检测像素值与邻近同 色像素值在特定方向的连续性(continuity)。本步骤22可减少或避免前一 步骤21所造成的误判情形。举例来说，如果通过待检测像素值Nc存在斜 向的亮线条，其经前一步骤21检视后，可能误判该待检测像素值Nc为坏 点。通过执行本步骤22后，如果待检测像素值Nc具非连续性，则可能为 坏点，否则就不是坏点。在本实施例中，若以待检测像素点作为中心，则 其与邻近同色像素点将形成3x3阵列，如图5A所示的蓝色(B)待检测像 素值Nc与邻近同色像素值D0-N7。

在本实施例中，特定方向指水平方向(H)、垂直方向(V)、右上方向 (NE)及左上方向(NW)。为了检视特定方向的特性，本实施例使用增强 权重对所欲检视方向增强其像素值。图6A分别示出水平方向增强权重 (B_H)、垂直方向增强权重(B_V)、右上方向增强权重(B_NE)及左上 方向增强权重(B_NW)。

图7示出步骤22的细部流程图。首先，在步骤221使用B_H对每一行 像素值进行加权后，取其绝对和值。本步骤221可表示如下：

BH_1＝ABS[(-1)·D0+2·D3+(-1)·D5]；

BH_2＝ABS[(-1)·D1+2·Nc+(-1)·D6]；

BH_3＝ABS[(-1)·D2+2·D4+(-1)·D7].

接着，在步骤222，使用B_V对每一行的绝对和值进行加权后，取其 绝对和值，作为水平方向的连续度量值B_H。至于垂直方向的连续度量值 B_V、右上方向的连续度量值B_NE及左上方向的连续度量值B_NW，可 依类似原则获得。本步骤222可表示如下：

B_H＝ABS[(-1)·BH_1+2·BH_2+(-1)·BH_3].

接着，在步骤223，取得水平方向的连续度量值B_H、垂直方向的连续 度量值B_V、右上方向的连续度量值B_NE及左上方向的连续度量值B_NW 当中的最大值或最小值，作为综合连续度量值B(X，Y)。

最后，在步骤224，判定综合连续度量值B(X，Y)是否大于连续度量临 界值B_Line_TH。若判定为是，则待检测像素点具有非连续性。步骤223 和224可表示如下：

B(X，Y)_max＝max(B_H，B_V，B_NE，B_NW)；

B(X，Y)_min＝min(B_H，B_V，B_NE，B_NW)；

B(X，Y)＝select_max_min？B(X，Y)_max:B(X，Y)_min；

如果B(X，Y)＞B_Line_TH则Nc具非连续性；

其中，变量select_max_min用以选择B(X，Y)_max或B(X，Y)_min。若 选择B(X，Y)_min，一般可保留较多的影像细节，但较易误判。

上述步骤221-224虽以待检测像素值Nc为蓝色(B)时作为说明，然 而，这些步骤同样适用于待检测像素值Nc为红色(R)的情形，如图5B 所示的红色(R)待检测像素值Nc与邻近同色像素值D0-N7。不同的地方 仅在于将各变量中的B置换为R。

虽然图5A也可适用于待检测像素值Nc为绿色(G)的情形，然而， 由于绿色像素点的数量为蓝色或红色像素点的两倍，因此，可使用图5C所 示的绿色(G)待检测像素值Nc与邻近同色像素值D0-N7。图6A所示的 水平方向增强权重(B_H)、垂直方向增强权重(B_V)、右上方向增强权重 (B_NE)及左上方向增强权重(B_NW)也可适用于待检测像素值Nc为 绿色(B)的情形。此外，也可使用图6B所示的水平方向增强权重(G_H)、 垂直方向增强权重(G_V)、右上方向增强权重(G_NE)及左上方向增强 权重(G_NW)。

接下来，回到图2所示流程，在步骤23，根据前一步骤22所得到的特 定方向，检视待检测像素值在该特定方向的平滑性。通过执行本步骤23后， 如果待检测像素值Nc具非平滑性，则可确定为坏点，否则就不是坏点。

图8示出步骤23的细部流程图。首先，在步骤231运算得到各特定方 向的边缘(edge)值。如前所述，本实施例的特定方向指水平方向(H)、 垂直方向(V)、右上方向(NE)及左上方向(NW)。当待检测像素值Nc 为蓝色(B)时，如图5A所示，各方向的边缘值可由以下各式得到：

V＝[ABS(Nc-D1)+ABS(Nc-D6)]/2；

H＝[ABS(Nc-D3)+ABS(Nc-D4)]/2；

NE[ABS(Nc-D2)+ABS(Nc-D5)]/2；

NW＝[ABS(Nc-D0)+ABS(Nc-D7)]/2.

接着，根据步骤22所得到的特定方向，在步骤232，判定该方向的边 缘值是否大于临界值。在本实施例中，判定边缘值edge_value的一半是否 大于边缘临界值B_edge_value_th。若判定为是，则待检测像素点具有非平 滑性。步骤231-232可表示如下：

如果B(X，Y)＝B_H  则edge_value＝H；

否则如果B(X，Y)＝B_V 则edge_value＝V；

否则如果B(X，Y)＝B_NE则edge_value＝NE；

否则edge_value＝NW；

如果edge_value/2＞B_edge_value_th则Nc具非平滑性.

上述步骤231-232虽以待检测像素值Nc为蓝色(B)时作为说明，然 而，这些步骤同样适用于待检测像素值Nc为红色(R)的情形，如图5B 所示。不同的地方仅在于将各变量中的B置换为R。上述步骤231-232也 可适用于待检测像素值Nc为绿色(G)的情形，如图5C所示。不同的地 方仅在于将各变量中的B置换为G。

根据上述图2所示流程，若能符合步骤21至23的各种判定，即能判 定待检测像素值Nc为坏点。当其被判定为坏点时，接下来可以对坏点像素 值进行校正或补偿(简称“补点”)。在本实施例中，根据坏点的邻近同色像 素值以进行坏点的补偿。

图9示出当坏点Nc为蓝色(如图5A所示)或者为红色(如图5B所 示)时的补点流程。首先，在步骤91，将八个邻近同色像素值D0-D7进行 排序，以得到最大值。接着，在步骤92，根据该最大值，将距离该最大值 较远的五个邻近同色像素值，连同坏点的像素值Nc进行加权平均，以得到 坏点的补偿值。例如，当D0为最大值时，则五个邻近同色像素值即为D2、 D5、D4、D6、D7；当D1为最大值时，则五个邻近同色像素值即为D3、 D4、D5、D6、D7。在一实施例中，坏点的权重为3/8，而五个邻近同色像 素点的权重皆为1/8。在另一实施例中，坏点的权重为1/16，而五个邻近同 色像素点的权重皆为3/16。

图10示出当坏点Nc为绿色时的补点流程。图11示出绿色(G)坏点 像素值Nc与邻近同色像素值N0-N7。首先，在步骤101，将四个距坏点 Nc最近的同色像素值D0-D3进行排序，以得到排序最小值min1_g，可表 示如下：

min1_g＝sorting(D0-D3).

在步骤102，对前述四个距坏点Nc最近的同色像素值D0-D3进行运算， 以得到最近像素平均值avg_g，可表示如下：

avg_g＝avg(D0-D3).

在步骤103，得到四个距坏点Nc最近的同色像素值D0-D3连同坏点 Nc的平均中值(median)，且得到四个距坏点Nc次近的同色像素值D4-D7 连同坏点Nc的平均中值。接着，取得此二平均中值的平均值median_g。

最后，在步骤104，根据上述步骤101-103所得到的部分统计值，以得 到该坏点的补偿值。在一实施例中，坏点的补偿值等于平均中值的平均值 median_g以及排序最小值min1_g两者的平均值，亦即avg(media_g， min1_g)。在另一实施例中，坏点的补偿值等于最近像素平均值avg_g以及 排序最小值min1_g两者的平均值，亦即avg(avg_g，min1_g)。在又一实施 例中，坏点的补偿值等于排序最小值min1_g；或等于平均中值的平均值 median_g；或等于最近像素平均值avg_g。

以上所述仅为本发明的优选实施例而已，并非用以限定本发明的范围； 凡其它未脱离发明所揭示的精神下所完成的等效改变或变型，均应包括在 所附权利要求的范围内。