摄像装置、降噪装置、降噪方法和程序

具体实施方式

下面将参照附图来说明本发明的一实施例。图2表示本发明的一实施例中的摄像装置1的主要结构。摄像装置1构成为包括：摄像元件2、延迟线模块3、降噪模块4、照相机信号处理模块5。

摄像元件2例如是CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)传感器，将由未图示的光学系统(包含透镜、红外线消除滤波器(infrared ray eliminationfilter)、光学低通滤波器等)汇聚的光变换成电信号。在CMOS传感器2上例如有成二维排列的光电二极管、行/列选择MOS晶体管、信号线等，并形成有垂直扫描电路、水平扫描电路、降噪电路、定时发生电路等。在本实施例中，虽然将摄像元件2作为CMOS传感器进行了说明，但是也可以作为CCD(Charge Coupled Device：电荷耦合装置)。

从CMOS传感器2输出的图像信号被提供给延迟线模块3。在后述的降噪处理中，因为需要在垂直方向延迟的任意行数的输入，所以在延迟线模块3中进行行延迟(line delaying process)处理。

在延迟线模块3进行延迟处理的图像信号被提供到降噪模块4。在降噪模块4中，对被设定的检波区域内的注目像素进行降噪。

从降噪模块4输出的图像信号被提供给照相机信号处理模块5。照相机信号处理模块5例如作为单芯片IC构成，用于进行AF(Auto Focus：自动聚焦)、AE(Auto Exposure：自动曝光)、白平衡处理、伽马校正、拐点校正等处理。另外，照相机信号处理模块5进行根据需要将输入的图像信号的分辨率进行变换的分辨率变换处理。在照相机信号处理模块5中进行上述信号处理，进而生成亮度信号和色差信号，并从照相机信号处理模块5输出。

另外，照相机信号处理模块5也可以构成为：置于降噪模块4的前段。即，也可以在降噪模块4中对从照相机信号处理模块5输出的亮度信号以及色差信号进行降噪。

而且，也可以设置多个降噪模块4。通过设置多个降噪模块4，从而能够对摄像元件的像素排列设定多个检波区域，并对各个检波区域内的注目像素平行地(并列地)进行降噪。

接下来，对本发明的一实施例的降噪模块4的结构的一例进行说明。降噪模块4构成为：包含LPF(Low Pass Filter：低通滤波器)11、二次微分处理部12、像素辨别部13、阈值运算部14、对称处理部15、加法平均处理部16、中值滤波器17、乘法器18、乘法器19、加权系数发生部20、加权系数发生部21、加法器22。

LPF 11在与二次微分处理部12进行的二次微分的二次微分方向正交的方向上进行平滑处理，并根据需要进行内插处理。通过该LPF 11中的平滑处理和内插处理，能够消除提供给降噪模块4的图像信号所含的脉冲状噪声。

作为边缘检测单元的一例的二次微分处理部12使用检波区域内的注目像素的像素电平、和与注目像素同色成分的外围像素的像素电平进行二次微分。通过二次微分处理获得的值的绝对值(以下适当地称为二次微分值)被提供给作为辨别单元的一例的像素辨别部部13。而且，在阈值运算部14计算出的阈值信息也被提供给像素辨别部13。

像素辨别部13将通过二次微分处理所得的二次微分值和从阈值运算部14供给的阈值进行比较。并且，当二次微分值小于等于阈值时，设定外围像素能够用于降噪，当二次微分值大于阈值时，设定外围像素不能用于降噪。

像素辨别部13中的辨别处理的结果被提供给对称处理部15。对称处理部15辨别在像素辨别部13中辨别为能够用于降噪的外围像素是否以注目像素为中心并位于点对称位置。然后将以注目像素为中心的、位于点对称位置关系的外围像素辨别为能够用于降噪的像素。此外，该对称处理部15的处理也可以在像素辨别部13中进行。

通过对称处理部15中的对称辨别处理来确定能够用于降噪的外围像素。作为第一处理单元的一例的加法平均处理部16使用注目像素的像素电平、和被辨别为能够用于降噪的外围像素的像素电平，进行加法平均处理。加法平均处理将注目像素的像素电平、和被辨别为能够用于降噪的外围像素的像素电平进行加法运算，并把加法结果除以进行加法运算的像素个数来算出平均值。计算出来的值(以下适当地称为加法平均值)从加法平均处理部16输出并提供给乘法器18。

作为第二处理单元的一例的中值滤波器17从注目像素的像素电平、和被辨别为能够用于降噪的外围像素的像素电平中选择大致中央的值。被选择的像素电平的值(以下适当地称为中值)从中值滤波器17输出并提供给乘法器19。

另一方面，若在对称处理部15中确定能够用于降噪的外围像素，则将能够用于降噪的像素的像素数(以下适当地称为用于降噪的像素数)的信息提供给加权系数发生部20。用于降噪的像素数是对称处理部15辨别为能够用于降噪的外围像素的像素数和注目像素的合计数。

加权系数发生部20根据从例如对称处理部15提供的用于降噪的像素数，适当地确定加权系数α的值(但，0≤α≤1)。在加权系数发生部20中确定的加权系数α(下面适当地简称为系数α)的值被提供给乘法器18。此外，在加权系数发生部21中，对应系数α的值，计算加权系数(1-α)，并将计算出的加权系数(1-α)(以下适当地简称为系数(1-α))的值提供给乘法器19。

在乘法器18中，将从加法平均处理部16输出的加法平均值乘以系数α，并将乘法结果的值提供给加法器22。此外，在乘法器19中，将从中值滤波器17输出的中值乘以系数(1-α)，并将乘法结果的值提供给加法器22。

在加法器22中，将从乘法器18和乘法器19供给的各数值相加。然后，注目像素的像素电平被替换成在加法器22中得到的值，并从降噪模块4输出。

下面，将对在降噪模块4中进行的降噪处理进行更加详细的说明。

图3表示本发明的一实施例的COMS传感器2上所设置的滤色器的排列。如图3所示，滤色器排列构成为：将正方点阵状排列倾斜成45°，同时，在全部R和B的各滤波器的周围围以G滤波器。通过上述构成，对于R/B成分的人们的视觉灵敏度特性，得到了必要且充分的空间频率特性，同时，可能将人们的灵敏度比这些成分高的G成分的空间频率特性提高得比现有的拜耳排列更高。G成分是生成亮度信号的主要成分，由此，不仅提高了无色的被摄体的亮度分辨率，彩色的被摄体的亮度分辨率也得以提高，从而提升了画质。

在图3所示的滤色器排列中，如图4的虚线箭头所示，在一个水平同步期间，以交替地读出相邻的两行像素的方法作为基本方法。即，当只有一个输出通道时，以这样的顺序进行扫描并进行读出。

图5表示配备有上述滤色器的CMOS传感器2中所设置的检波区域的一例。因为在滤色器排列中较多地配置了人们灵敏度高的G成分，所以导致检波区域内的R/B成分的像素数减少。例如，在图5中用粗线包围的检波区域内，存在于R成分的注目像素的外围的同色成分的外围像素只有八个。这样，若同色成分的外围像素的像素数减少，则恐怕通过加法平均处理的降噪效果也会有所降低。因此，在本发明的一实施例中平行地进行中值滤波处理，并通过加法平均处理和中值滤波处理结果进行加权运算并相加，从而即使是在检波区域内同色成分的像素数少的情况下，也能够得到降噪效果。

从得自摄像元件的图像信号中按各个颜色的通道进行分离。图6是表示将作为一例的、图5所示的检波区域内的R成分的像素进行取出的图。将用于进行降噪的注目像素设定为R_C，在注目像素R_C的外围存在有外围像素R₁₁、外围像素R₁₂、外围像素R₁₃、外围像素R₂₁、外围像素R₂₃、外围像素R₃₁、外围像素R₃₂、外围像素R₃₃。可以任意设定该检波区域的宽度。

而且，规定对检波区域内的注目像素和外围像素进行二次微分的方向。即，如图7所示，以注目像素R_C为中心，规定横(水平)方向D1、纵(垂直)方向D2、对角方向D3及对角方向D4共四个二次微分方向。

图8A表示通过LPF 11进行平滑处理的一例。平滑处理在与二次微分方向正交的方向上进行。例如，在水平方向的二次微分方向上，对外围像素R₁₁和外围像素R₁₂和外围像素R₁₃的排列、外围像素R₂₁和注目像素R_C和外围像素R₂₃的排列、外围像素R₃₁和外围像素R₃₂和外围像素R₃₃的排列进行平滑处理。平滑处理通过将各像素的像素电平进行相加，并除以进行加法运算的像素数而进行。例如，将外围像素R₁₁、外围像素R₁₂、外围像素R₁₃的像素电平进行加法运算，并除以进行加法运算的像素数即3，然后把计算后的数值作为外围像素R₁₂的像素电平进行替换。

在LPF 11中，还根据需要进行内插处理。图8B表示通过LPF11进行的内插处理。如图8A及图8B所示，根据摄像元件中所设置的滤色器的排列，可以存在有外围像素R₄₁、外围像素R₄₂、外围像素R₅₁及外围像素R₅₂。此时，把两个像素相加后求平均的值作为在二次微分方向上，内插于不存在像素的位置上的内插像素的像素电平而进行处理。例如，将外围像素R₄₁及外围像素R₄₂的像素电平相加后求平均值，并对将算出的值作为像素电平的内插像素进行内插处理。

在LPF 11中，不仅是水平方向，对于垂直方向以及左右对角方向也是一样地在与二次微分方向正交的方向上进行平滑处理(根据需要，进行内插处理)。此外，对于例如，像外围像素R₁₁、外围像素R₁₃、外围像素R₃₁以及外围像素R₃₃那样的、单靠检波区域内的像素不能进行平滑处理的外围像素而言，也可以使用检波区域以外的像素进行平滑处理，也可以不进行平滑处理。通过该LPF 11的平滑处理，能够消除各像素的脉冲状的噪声。

图9表示在二次微分处理部12中进行二次微分处理，例如水平方向的像素的排列。对经过平滑处理的注目像素R_C、外围像素R₁₂、外围像素R₃₂进行二次微分处理。二次微分是通过把例如适当设定的三个分支系数乘以各像素电平，并把乘法的结果进行加法运算而进行的。三个分支系数可以固定地设定为例如(-1、2、-1)，也可以另外设当地设定。

在二次微分处理部12中得到的二次微分值被提供给像素辨别部13，并与阈值进行比较。在此，阈值是从阈值运算部14供给的值。阈值是在阈值运算部14中，根据例如注目像素的像素电平，对应降噪的目的而算出的值，或者为任意设定的值。例如，若以闪光噪声的降噪为目的，则将阈值设定为注目像素的像素电平的平方根的常量倍。另外，若以闪光噪声和随机噪声的降噪为目的，则将阈值设定为注目像素的像素电平的平方根的常量倍和其他常量(表示随机噪声的常量或变量)相加后的值。

在像素辨别部13中，进行二次微分值与阈值的比较。若二次微分值小于等于阈值，则辨别在注目像素和外围像素之间不存在边缘，并将其作为能够用于降噪的外围像素的候补。另外，当二次微分值大于阈值时，辨别在注目像素和外围像素之间存在边缘，并将其辨别为不能用于降噪的像素。

下面将使用图10A～图10E来说明像素辨别部13的处理的一例。在图10A～图10E中为了便于理解，将注目像素记作A，外围像素记作B及C。此外，在如图10A～图10E所示的例子中，把外围像素B作为辨别是否能够用于降噪的对象的像素，并在此称为辨别像素B。

图10A表示注目像素A、辨别像素B及外围像素C位于图像的平坦部的情况。在这种的情况下，若进行二次微分，则二次微分值为0(实际上若进行一次微分，则一次微分值是0)，并由于二次微分值小于等于阈值，即可认为辨别像素B及外围像素C对注目像素A具有相关，于是将辨别像素B作为能够用于降噪的像素的候补。

图10B表示注目像素A、辨别像素B及外围像素C位于图像的斜坡部的情况。在这种情况下，当对随一次函数变化的斜坡部进行一次微分时，其斜率保持恒值，进而当对恒值进行二次微分时，则二次微分值变为0。所以，由于二次微分值小于等于阈值，即可认为辨别像素B及外围像素C对注目像素A具有相关，于是将辨别像素B作为能够用于降噪的像素的候补。

图10C和图10D表示处在图像的平坦部和斜坡部的像素(在此作为注目像素A)载有噪声的情况。在如图10C和图10D所示的情况下，虽然二次微分值不是0，但是若二次微分值小于等于阈值，则认为检测出了噪声成分，并且辨别平坦部或者斜坡部都不存在边缘。于是，即可认为辨别像素B及外围像素C对注目像素A具有相关，并将辨别像素B作为能够用于降噪的像素的候补。

图10E表示例如注目像素A和外围像素C之间存在有边缘的情况。由于存在边缘，则注目像素A和外围像素C的像素电平的差较大，并且，二次微分值大于被适当设定的阈值。从而当二次微分值大于阈值时，即可辨别在注目像素和外围像素之间存在边缘。由于跨越边缘的外围像素与注目像素不具有相关，所以不能用于降噪。

在图10E中，若在注目像素A和外围像素C之间存在边缘，则辨别辨别像素B不能用于降噪。这是因为，在二次微分处理中，只能在注目像素A和辨别像素B之间、或者在注目像素A和外围像素C之间中的任一方中辨别存在边缘，因而辨别像素B也被辨别为不能用于降噪。此外，处在跨越已被辨别为相对于注目像素存在边缘的像素位置的像素(例如，图10E中的外围像素D)也被辨别为不能用于降噪。这是因为：即使把位于跨越边缘位置的外围像素D辨别成与注目像素A具有相关，外围像素D的像素电平究竟是原来的像素电平，还是由于噪声的影响偶然与注目像素A具有相关，这一点无法区别，所以便成了误辨的原因。

如上所述，由于与阈值进行比较的对象不是现有的像素电平的差，而是二次微分值，所以特别是在图像的斜坡部分能够防止可以用于降噪的像素数的减少。

再者，二次微分处理从位于注目像素附近(例如邻接)并且位于点对称位置关系的外围像素开始进行，这样，即使在外围像素数增多的情况下，也能够减少二次微分处理的处理步骤数。例如，如图11所示，使用位于注目像素R_C附近并且位于点对称位置关系的外围像素R₄₃、外围像素R₅₃和注目像素R_C来进行二次微分处理(处理1)。在此，若二次微分值大于阈值，则辨别在注目像素R_C与外围像素R₄₃或者外围像素R₅₃之间存在边缘。而且，辨别相对于外围像素R₄₃以及外围像素R₅₃、注目像素R_C，位于跨越外围像素R₄₃以及外围像素R₅₃的位置的外围像素R₁₂及外围像素R₂₃都不能用于降噪。总之，无需调查外围像素R₁₂与外围像素R₄₃之间、和外围像素R₅₃与外围像素R₂₃之间是否存在边缘，就可以辨别外围像素R₁₂及外围像素R₂₃是不能用于降噪的外围像素，因而可以减少二次微分处理的步骤数。在二次微分值小于阈值的情况下，例如可以根据处理2、处理3、处理4的组合顺序进行二次微分处理。

此外，当在LPF 11中进行内插处理时，虽然内插像素被用于二次微分处理，但是无法辨别内插像素是否能够用于降噪。换言之，不使用内插像素进行降噪。

二次微分处理在垂直方向、左右对角方向上也同样进行，在多个外围像素中辨别能够用于降噪的外围像素的候补。辨别为能够用于降噪的外围像素的信息被提供给对称处理部15。

在对称处理部15中，辨别在像素辨别部13中确定为候补的、能够用于降噪的外围像素是否以注目像素为中心并位于点对称的位置。然后把位于点对称位置关系的外围像素辨别为能够用于降噪的外围像素。

例如，如图12所示，假设在像素辨别部13中，相对于注目像素R_C，外围像素R₁₁、外围像素R₁₂、外围像素R₁₃、外围像素R₂₁、外围像素R₂₃、外围像素R₃₁、外围像素R₃₂被辨别为能够用于降噪的外围像素的候补。在对称辨别单元15中，对各个外围像素是否以注目像素R_C为中心并位于点对称位置关系进行辨别。

例如，由于外围像素R₂₁和外围像素R₂₃以注目像素R_C为中心并位于点对称位置关系，因而，将外围像素R₂₁和外围像素R₂₃辨别为能够用于降噪的外围像素。同样，由于外围像素R₁₃和外围像素R₃₁以注目像素R_C为中心并位于点对称位置关系，因而，外围像素R₁₃和外围像素R₃₁辨别为能够用于降噪的外围像素。此外，由于外围像素R₁₂和外围像素R₃₂以注目像素R_C为中心并位于点对称位置关系，因而，外围像素R₁₂和外围像素R₃₂被辨别为能够用于降噪的外围像素。但是，由于已经将与外围像素R₁₁位于点对称位置关系的外围像素R₃₃辨别为不能用于降噪，所以外围像素R₁₁被辨别为不能用于降噪的外围像素。

如此，通过将以注目像素为中心并位于点对称位置关系的外围像素用于降噪，从而可以防止由于降噪而引起的注目像素重心的偏移。所谓像素重心偏移是指降噪前的注目像素的位置(空间相位)和降噪后的注目像素的位置(空间相位)错开。例如，若把图12所示的、未进行对称辨别处理而用于降噪的候补的全部外围像素作加法平均处理，则恐怕加法平均后的注目像素R_C的像素位置会偏离加法平均前的注目像素R_C的像素位置。由于像素的重心偏移，降噪后的图像会失去线性，例如，其直线部分不成直线。依靠对称辨别处理可以防止注目像素R_C重心的偏移，从而可以防止图像线性的劣化。

完成对称处理部15中的对称处理后，确定了能够用于降噪的外围像素。接下来，在加法平均处理部16中进行加法平均处理。而且，在中值滤波器17中平行地进行滤波处理。

在加法平均处理部16中，使用注目像素的像素电平、和辨别为能够用于降噪的外围像素的像素电平来进行加法平均处理。例如，在使用图10A～图10E进行说明的例子中，对于注目像素R_C，将外围像素R₁₂、外围像素R₁₃、外围像素R₂₁、外围像素R₂₃、外围像素R₃₁及外围像素R₃₂辨别为能够用于降噪。所以，在加法平均处理部16中，把注目像素R_C的像素电平和外围像素R₁₂、外围像素R₁₃、外围像素R₂₁、外围像素R₂₃、外围像素R₃₁及外围像素R₃₂的各像素电平相加，并将相加之后所得的值除以进行加法运算的像素数即7，从而得到加法平均值。将得到的加法平均值提供给乘法器18。

通过加法平均处理部16的加法处理，尤其可以降低图像信号中的噪声。

与加法平均处理部16的处理相平行，在中值滤波器17中进行滤波处理。在中值滤波器17中，从注目像素的像素电平和能够用于降噪的外围像素的像素电平中选择大致中央的值。然后，将选出的中值提供给乘法器19。在该一实施例中，因为在对称处理部15进行过对称辨别处理，所以用于降噪的像素数是位于点对称位置关系的偶数个外围像素和注目像素之和，所以必定是奇数。因此，在中值滤波器17能够选择中值。

通过中值滤波器17中的中值滤波处理，可以在保持频率特性的同时，降低噪声。但是，由于保持频率特性，换言之防止边缘不清楚，所以与加法平均处理相比，降噪的效果较差。

在乘法器18中，把从加法平均处理部16提供的加法平均值乘以系数α(0≤α≤1)。而且，在乘法器19中，把中值乘以系数(1-α)。

下面，将对系数α进行说明。系数α是对应于例如在对称处理部15中所确定的、用于降噪的像素数来加以确定的。对于检波区域内的注目像素，当辨别为能够用于降噪的外围像素的像素数多时，可以说该检波区域存在于图像的平坦部。另一方面，当辨别为能够用于降噪的外围像素的像素数少时，则可以说这个检波区域包括图像的边缘。所以，由于当外围像素的像素数多时，检波区域是图像的平坦部，所以应该获得更好的降噪效果的系数α的值增大。反之，由于当外围像素的像素数少时，检波区域包括图像的边缘，系数α的值减小，系数(1-α)的值增大，以便主要使用能够在保留边缘的同时降低噪声的中值滤波处理。

图13表示系数α的设定方法的一例。例如，若在该一实施例的检波区域内，全部的外围像素(八个)都被辨别为能够用于降噪，则用于降噪的像素数变为九个。因为全部的外围像素都能用于降噪，则把应该降噪的系数α设定为1。此时，系数(1-α)的值变为0。换言之，只使用加法平均值，而不用中值。此外，随着能用于降噪的像素数从七个、五个…逐渐减少，此表示在检波区域内存在有边缘，因此，为了不使图像的边缘不清楚，则主要使用中值滤波器17。即，随着用于降噪的像素数减少，系数α的值趋近于0，而系数(1-α)的值增大。

再者，系数α的值并不一定非要如图13所示的那样作线性的变化。例如，也可以将对应于用于降噪的像素数的、优选的系数α的值作为列表存储在加权系数发生部20内。

而且，系数α还可以根据被摄体的照度变化适当地进行设定。例如，当在摄像装置的最低被摄体照度附近的低照度下对被摄体摄像时，常使图像发生粒感的噪声。所以，在低照度下将应该降噪的系数α的值增大。然后，随着从最低被摄体照度逐渐变亮，系数α的值减小，中值的比例增大，以便不使边缘不清楚，并降低噪声。

与照度相关的信息在例如进行摄像装置所具有的自动曝光功能时使用检波的亮度信息。在自动曝光功能(称为AE(AutoExposure))中，从图像信号中检波亮度信息，并把亮度信息提供给微处理器等控制部。控制部根据亮度信息驱动驱动器，并进行透镜光圈的开闭的控制，从而调节向摄像元件的射入光量。当进行该自动曝光功能时，把检波到的亮度信号提供给加权系数发生部20，并根据亮度信息的亮度电平，适当地确定系数α的值即可。

所确定的系数α被提供给乘法器18。而系数(1-α)被提供给乘法器19。乘法器18输出加法平均值乘以系数α的后的值。乘法器19输出中值乘以系数(1-α)的后的值。

加法器22把从乘法器18和乘法器19输出的各个输出值相加。然后把通过加法处理所得的值作为注目像素的像素电平进行置换，再从降噪模块4加以输出。

这样，把加法平均处理和中值滤波处理平行地进行，并将各个处理的输出值和变化的加权系数α进行加权处理并相加，从而可以对例如图像的平坦部或者斜坡部积极地进行降噪处理，并可以对包含图像的边缘的部分(高频率部)进行降噪处理，以便不使边缘变得不清楚，同时不劣化频率特性。因此可以得到边缘没有不清楚且消除了噪声的优选输出图像。

图14是表示本发明的一实施例的降噪处理流程的流程图。以下说明的处理可以通过硬件来实现，也可以利用程序通过软件来实现。

当降噪处理开始时，在最初的步骤S1中，对以注目像素为中心，在纵、横、左右对角方向是否存在缺陷像素进行辨别。在此，作为有无缺陷像素的辨别对象的像素是与注目像素具有同色成分、或者与注目像素的像素电平的电平差在一定范围内的任意色成分的像素。

当在步骤S1辨别存在缺陷像素时，处理进入步骤S2。在步骤S2中，LPF11在与二次微分方向正交的方向上进行内插缺陷像素的处理。在完成内插处理后，处理再一次回到步骤S1。此外，在该内插处理中，当对于纵方向、横方向、左右对角方向的全部像素，缺陷像素都存在时，若不存在用于进行内插的外围像素，则不能在与连接注目像素和缺陷像素的方向正交的方向上进行内插处理。在这种情况下，不进行内插处理，并在步骤S1之后的处理中，把缺陷像素的位置从处理对象中排除。

若在步骤S1中辨别不存在缺陷像素，则处理进入步骤S3。在步骤S3中，LPF 11在与二次微分方向正交的方向上进行平滑处理。此时，由于对在步骤S2中被进行内插的内插像素已通过内插处理进行了平滑处理，因此无需再次进行平滑处理。

若在步骤S3进行平滑处理，则处理进入步骤S4。在步骤S4中，二次微分处理部12在以注目像素为中心，从纵、横、对角方向上进行二次微分。二次微分处理是使用例如以检波区域内的注目像素作为中心的、位于点对称位置关系的外围像素的三个像素来进行的。此外，当在二次微分的端部像素和注目像素之间存在大于等于两个像素时，通过使用注目像素和位于端部的像素的全部像素的组合来进行二次微分。

与上述步骤S1～步骤S4的处理相平行，在步骤S5中阈值运算部14计算出阈值。阈值是通过例如将注目像素的像素电平的平方根的实数a倍和实数b进行加法运算而计算出来的。a和b的值是可以变化的任意数。下面将通过算式(1)加以表示。此外，在算式(1)中，L_V表示注目像素的像素电平。

a×L_V^0.5+b                 …算式(1)

接下来，处理进入步骤S6。在步骤S6中，像素辨别部13将作为二次微分结果的绝对值的二次微分值、和在步骤S5中计算出的阈值进行比较。然后处理进入步骤S7。

在步骤S7中，着眼于在检波区域内辨别是否能用于降噪的辨别像素。接着处理进入步骤S8。

在步骤S8中，辨别使用了注目像素和辨别像素的二次微分值是否大于阈值。当二次微分值大于阈值时，处理进入步骤S9。在步骤S9中，辨别辨别像素不能用于降噪。此外，进行对称处理，并辨别以注目像素作为中心的、与辨别像素位于点对称位置关系的外围像素也不能用于降噪。

在步骤S8中，当二次微分值小于阈值时，处理进入步骤S10，辨别辨别像素是能够用于降噪的像素的候补。并且，进而在对称处理部15中进行对称辨别处理。在对称辨别处理中，将以注目像素为中心的、已作为能够用于降噪的候补的辨别像素、和位于点对称位置关系的外围像素是否能使用降噪的像素进行辨别。若位于点对称位置关系的外围像素是能够用于降噪的像素，则确定辨别像素是能够用于降噪的像素。若位于点对称位置关系的外围像素是不能用于降噪的像素，则辨别像素被再次判断为不能用于降噪的像素。

接下来，处理进入步骤S11。在步骤S11中，判断是否着眼于检波区域内的全部辨别像素。当尚未着眼于全部辨别像素时，处理进入步骤S12，特定尚未进行辨别处理的辨别像素。然后对特定到的辨别像素进行步骤S7以后的处理，并辨别辨别像素能否用于降噪。

在步骤S11中，对检波区域内的全部外围像素能否使用于降噪进行辨别后，处理进入步骤S13。在步骤S13中，加法平均处理部16把注目像素的像素电平和被辨别为能够用于降噪的外围像素的像素电平相加再平均，并计算出加法平均值。

此外，在步骤S14中，在中值滤波器17中进行与加法平均处理平行进行的处理，即中值滤波处理。在中值滤波处理中，从注目像素的像素电平和被辨别为能够用于降噪的外围像素的像素电平中选出中央值，即中值。

再者，与加法平均处理以及中值滤波处理相平行，还进行确定系数α(0≤α≤1)的处理。在步骤S15中，把在步骤S11辨别为能够用于降噪的外围像素的像素数和注目像素的合计的像素数作为能够用于降噪的像素数进行保持。

然后处理进入步骤S16，进行确定系数α的处理。系数α参照存储在加权系数发生部20的列表，并根据用于降噪的像素数适当地进行确定。此外，系数α的确定方法既可以如上所述的、根据用于降噪的像素数来决定，也可以根据进行摄像的被摄体的照度适当地进行确定。

接着，处理进入步骤S17。在步骤S17中进行如下的处理：把在步骤S13中计算出的加法平均值乘以在步骤S16确定的系数α的处理；把在步骤S14选择的中值乘以系数(1-α)的处理。然后，进行把分别进行乘法处理所得的值相加的处理。

接下来进入步骤S18。在步骤S18中，将注目像素的像素电平置换成通过步骤S17的加权加法处理所得的值。然后降噪处理结束。

上面对本发明的一实施例进行了具体的说明，但是本发明并不仅限于上述的一实施例，根据本发明的技术思路可以有各种变形。例如，在上述实施例中，使用R成分的像素进行了说明，B成分的像素当然也可以，即使是多个配置于滤色器的G成分的像素也是可以适用的。此外，即使是使用蓝绿色(C)、品红(M)、黄色(Y)等补色系列的滤色器、和具有大于等于四种颜色的排列的滤色器，也能在取出同色成分的像素后进行本发明的降噪。再有，使用图3对滤色器排列进行了说明，但是并不仅限于此，，例如对于拜耳排列等的滤色器排列也可以适用本发明。

此外，还可以设置多个降噪模块4并平行地进行处理。例如，如图15所示，将各注目像素设定为R1、G1、G2、G3，对各注目像素设定检波区域，并平行地进行降噪处理。然后，在下面的处理中，也可以对应像素的读出方向，把注目像素作为R2、G4、G5、G6进行降噪处理。

接下来对本发明的一实施例的变形例进行说明。本发明的一实施例的变形例是在上述一实施例的降噪处理中，当注目像素与外围像素相比较具有特殊值时，能进行适当的处理的实施例。

使用图16A～图16C以及图17A、图17B对本发明的一实施例的变形例进行说明。此外，在图16A～图16C以及图17A、图17B中，横轴表示像素的位置，纵轴表示像素电平。实际摄像的图像的一例如图16A所示，可能发生注目像素401的像素电平对于与注目像素401相对的外围像素402、402、……的像素电平具有特殊值，例如极大值的情况。在这种场合下，注目像素401被认为与外围像素402、402、……不相关，是孤立于外围像素的孤立点。

考察到对作为孤立点的注目像素401进行上述一实施例的降噪处理的情况。首先，由LPF 11实施平滑处理。如已经说明的那样，平滑处理把规定范围内的像素的像素电平相加，再除以进行加法运算的像素数。根据该平滑处理，考虑到当进行加法运算的像素数仅有几个时，无法希望得到与像素401的值相对的平滑效果。即，在通过LPF 11进行了平滑处理之后，若像素401的值仍然比外围像素402、402、……大得多，则注目像素作为孤立点的状态将被保持。

接下来，由二次微分处理部12进行二次微分处理。因为注目像素401的值比外围像素402、402、……大得多，所以二次微分的结果也是较大值。如在一实施例中使用算式(1)所说明的例子所示，作为与二次微分结果相对的阈值ε，当使用基于注目像素电平的平方根的值时，根据实数b的值，二次微分处理的结果可以示出全部外围像素402、402、……为不能用于降噪的像素。在这种情况下，只有注目像素401是能够用于降噪的像素。

在能够用于降噪的像素仅为注目像素401一个像素时，把表示混合加法平均处理结果和中值滤波处理结果时的混合比的系数α作为例如0(参照图13)，并仅将中值滤波处理的结果进行输出。如上所述，因为二次微分处理的结果示出只有注目像素401是能够用于降噪的像素，所以，如图16B中以像素403为例所示，注目像素401的值被直接输出来。在这种情况下，其结果是，未进行与注目像素401相对的降噪处理。

再者，按照一实施例的方法，当基于注目像素的像素电平来确定与二次微分处理结果相对的阈值ε，并将各外围像素402作为注目像素进行降噪处理时，如图16B中以像素404、404、……为例所示，可以在保持图像高频率成分的状态下得到降噪效果。

另一方面，当按照一实施例的方法进行降噪处理时，为了避免将作为孤立点的注目像素401直接输出的状态，如图16C中以阈值ε′为例所示，也可以考虑把与二次微分结果相对的阈值取得大一些，大约取到例如包含注目像素401的像素电平的程度。在这种情况下，可以提高用于降噪的像素的检测率。其结果是，系数α变为1或者接近1，注目像素401的值如图16C中以像素405为例所示，被进行了平滑处理，从而可以获得降噪效果。

然而，凭借该方法，当把各像素402、402、……作为注目像素进行处理时，基于加法平均处理结果的输出的比率是非常高的，如在图16C中以406、406、……为例所示，恐怕作为整体的图像的高频率部分会丧失。在这种情况下，图像的边缘部分会不清楚，从而导致图像质量的劣化。

在本发明的一实施例的变形例中，对于上述一实施例的降噪处理，能够适当地进行与这样的孤立点相对的处理。

概略地说，在本发明的一实施例的变形例的降噪处理方法中，对于注目像素，先辨别该注目像素是否为孤立点，当辨别是孤立点时，根据存在于包含注目像素在内的规定范围的全部像素的像素电平，进行中值滤波处理，将所得的值替换注目像素的像素电平并输出。另一方面，若辨别注目像素不是孤立点，则以上述一实施例的方法，根据基于能够用于降噪处理的像素数的比率，把使用外围像素的加法平均处理结果和中值滤波处理结果进行混合，并把所得的值替换注目像素的像素电平值并输出。

使用图17A及图17B进行更为具体的说明。此外，图17A和上述图16A是相同的图，对于通用的部分标注了相同的符号。对于如图17A所示的注目像素401，判断该注目像素的像素值相对于外围像素是否具有特殊值，即该注目像素是否为孤立点。例如，当判断在存在于包含注目像素401的规定范围的像素中，只有该注目像素401是可以用于降噪处理的像素时，判断该注目像素401是孤立点。若注目像素401是孤立点，则根据包含注目像素401的规定范围内的像素的像素电平，进行中值滤波处理，把处理结果替换注目像素401的像素电平并输出。该输出如在图17B中以像素407为例所示。

另一方面，对于被辨别为非孤立点的各个像素402、402、……而言，按照上述一实施例的方法，根据注目像素的像素电平，确定与二次微分处理结果相对的阈值ε，并进行降噪处理。其结果是，如图17B中以像素408、408、……为例所示，可以在保持图像的高频率成分的状态下获得降噪效果。

最后，分别对被判断为孤立点的像素401和被判断为非孤立点的像素402适当地进行降噪处理，在总体上可以保持图像的高频率成分，而且，可以抑制孤立点的像素电平，进而可以获得高画质的图像。

如此，通过判断注目像素是否为孤立点，并根据判断结果转换处理，从而可以适当的进行降噪处理。

图18A及图18B表示可以适用于本发明的一实施例的变形例的摄像装置1′的一例的结构。此外，对于如图18A及图18B所示的结构，与上述图2的结构相同的部分标注了相同的符号，并省略对其的详细说明。并且，在下面的说明中，像素指与注目像素同色成分的像素。

该摄像装置1′相对于上述一实施例的摄像装置1，追加了孤立点判断部30、全部像素中值滤波部31和转换孤立点依存转换部32。孤立点判断部30用于判断注目像素是否是孤立点。全部像素中值滤波部31用于使用包含注目像素的规定范围的像素进行中值滤波处理。转换孤立点依存转换部32用于根据例如孤立点判断部30的判断结果进行控制，并把来自加法器22的输出和来自全部像素中值滤波部31的输出进行转换，将其替换注目像素的像素电平并进行输出。

下面将对基于图18A及图18B的结构的降噪处理进行更加具体的说明。从摄像元件2输出的图像信号通过延迟线3输入至降噪模块4′，并提供给LPF 11及阈值运算部14。阈值运算部14按照例如上述的算式(1)，根据注目像素的像素电平计算阈值ε。阈值ε被提供给像素辨别部13。

另一方面，图像信号通过LPF 11进行平滑处理，并在二次微分处理部12中使用注目像素和该注目像素的外围像素进行二次微分处理。与各个外围像素相对的二次微分结果被提供给像素辨别部13，并且分别与由阈值运算部14计算出的阈值ε进行比较。作为比较的结果，将二次微分值小于阈值ε的外围像素判断为可以用于降噪处理的像素的候补。对于在像素辨别部13确定为可以用于降噪处理的像素的候补的像素，在下面的对称处理部15中，以注目像素为中心，判断外围像素的对称性，并且将在该候补的像素中，不具有对称性的像素不用于降噪处理。根据由对称处理部15确定的、用于降噪处理的像素的像素数，由加权系数发生部20生成系数α。

在孤立点判断部30中，判断注目像素是否为孤立点。例如，通过直至对称处理部15的处理，当可用于降噪处理的像素仅为注目像素一个时，判断该注目像素是孤立点。此外，通过直至对称处理部15的处理，当可用于降噪处理的像素仅为一个时，该一个像素即为注目像素。

另一方面，在确定可用于降噪处理的像素大于等于两个时，判断注目像素不是孤立点。实际上，如上所述，由于在对称处理部15中，已经对以注目像素为中心的外围像素的对称性进行了判断，因而当判断为可用于降噪处理的像素是三个、五个、七个、九个…时，判断注目像素不是孤立点。

全部像素中值滤波部31使用在以注目像素为中心的规定范围、例如检波区域内的全部像素，进行中值滤波处理。即，在该全部像素中值滤波部31中，通过直至对称处理部15的处理，判断为不用于降噪处理的像素也包括在内，并使用区域内的全部像素进行中值滤波处理。全部像素中值滤波部31的输出被提供给孤立点依存转换部32。

加法平均处理部16及中值滤波器17进行与上述一实施例相同的处理。即，使用通过直至对称处理部15的处理而判断的可用于降噪处理的像素，在加法平均处理部16求加法平均值，并在中值滤波器17中输出具有中值的像素的像素电平。加法平均处理部16的输出通过乘法器18使其与系数α相乘。另一方面，中值滤波器17的输出通过乘法器19使其与系数(1-α)相乘。乘法器18和乘法器19的输出通过加法器22进行相加。加法器22的输出被提供给孤立点依存转换部32。

孤立点依存转换部32根据孤立点判断部30的判断结果，把全部像素中值滤波部31的输出和加法器22的输出进行转换，并将其替换注目像素的像素电平并进行输出。即，若通过孤立点判断部30判断注目像素为孤立点，则孤立点依存转换部32选择全部像素中值滤波部31的输出，将从全部像素中值滤波部31输出的值替换注目像素的像素电平并进行输出。

另一方面，如果通过孤立点判断部30判断注目像素不是孤立点，则孤立点依存转换部32选择加法器22的输出，根据系数α对加法平均处理部16的输出和中值滤波器17的输出进行加权并混合，将混合后的值替换注目像素的像素电平并进行输出。

图19是表示本发明的一实施例的变形例的一例的降噪处理的流程图。此外，在图19中，对与上述图14相同的部分标注了相同的符号，省略对其的详细的说明。

在图19的流程图中，直至步骤S12的处理和上述一实施例中直至步骤S11的处理相同。即，在步骤S1中，对以注目像素为中心的规定范围的像素进行有无缺陷像素的判断，当判断存在缺陷像素时，在步骤S2中对缺陷像素进行内插处理。当判断不存在缺陷像素时，在步骤S3中进行LPF 11的平滑处理，在后面的步骤S4中由二次微分处理部12使用注目像素和外围像素，分别对外围像素计算二次微分。再者，与这些处理相平行，在步骤S5中根据注目像素的像素电平，计算阈值ε。在步骤S6中，将各个外围像素的二次微分值和阈值进行比较，在步骤S7中，着眼于辨别像素，在步骤S8中，判断该辨别像素的二次微分结果是否大于阈值ε。二次微分结果大于阈值ε的辨别像素不能用于降噪处理(步骤S9)，二次微分结果小于阈值ε的辨别像素则能够用于降噪处理(步骤S10)。

在步骤S11中，对是否着眼于全部检波区域内的被检波像素进行判断，如果判断尚未着眼，在处理返回步骤S7，并着眼于下一被检波像素。如果着眼于全部检波区域内的被检波像素，并判断已对全部该被检波像素都进行了是否能够用于降噪处理的判断，则处理移至步骤S20，同时，与步骤S20以后的处理相并列地进行步骤S15和步骤S16的处理。即，在步骤S15中保持可用于降噪处理的像素数，并在步骤S16中根据所保持的像素数，由加权系数发生部20确定系数α。

另一方面，在步骤S20中，通过孤立点判断部30对可用于降噪处理的像素是否只有注目像素本身作出判断。若判断在注目像素以外还存在可用于降噪处理的像素，则处理就分别移至步骤S13和步骤S14，分别进行步骤S13的加法平均处理和步骤S14的中值滤波处理。根据步骤S13以及步骤S14的处理结果、和在上述步骤S16确定的系数α，在步骤S17中由乘法器18及乘法器19进行乘法运算处理，乘法的结果通过加法器22进行相加。

另一方面，在步骤S20中，当通过孤立点判断部30，判断可用于降噪处理的像素只是注目像素本身时，处理移至步骤S21。在步骤S21中，通过全部像素中值滤波部31，进行使用检波区域内的全部被检波像素的中值滤波处理。

在步骤S23中，根据上述步骤S20的判断结果，选用上述步骤S17或者步骤S21的输出，并替换注目像素的像素值。即，在步骤S23中，若根据孤立点判断部30的判断结果，注目像素是孤立点，则通过孤立点依存转换部32选择全部像素中值滤波部31的输出，并把该输出的值替换注目像素的像素电平。

另一方面，若根据孤立点判断部30的判断结果，注目像素不是孤立点，则通过孤立点依存转换部32选择加法器22的输出，并根据系数α把加法平均处理部16的输出和中值滤波器17的输出进行加权运算并相加，将所得的输出值替换注目像素的像素电平。

此外，如上所述，已对进行加法平均处理的像素范围和进行中值滤波处理的像素范围相同的情况进行了说明，但是并不仅限于此例。例如，如图20中的一例所示，也可以让进行加法平均处理的范围302和进行中值滤波处理的范围303相异。当然，即使在两个范围相异的情况下，注目像素301也需要位于各个范围的中央。此外，在图20中添画斜线和阴影的框表示像素。

在此，加法平均处理是通过把输入的数据依次相加而进行的，无需分别保持输入数据。另一方面，中值滤波处理在全部保持输入的数据的基础上，需要在保持的数据中抽出中值。因此，就中值滤波处理和加法平均处理而言，中值滤波处理需要较大的存储容量，同时，处理也耗时。因此，可以考虑把进行中值滤波处理的像素范围303设定得比进行加法平均处理的像素范围302小。

进而，如上所述，已对全部像素中值滤波部31中的处理是与加法平均处理部16以及中值滤波器17中的处理并列进行的情况进行了说明，但是并不仅限于此例。例如，也可以根据孤立点判断部30的判断结果，控制停止不使用的处理。作为一例，在通过孤立点判断部30判断注目像素本身是孤立点时，可以考虑停止加法平均处理部16、中值滤波器17、乘法器18及19、还有加法器22等的处理。

本发明除适用于数码摄像机、数码照相机等摄像装置之外，还适用于具有摄像功能的便携式电话机和PDA(Personal DigitalAssistants：个人数字助理)。此外，上述处理功能是作为程序通过个人计算机加以实现的。记述处理内容的程序可以记录在磁记录装置、光盘、光磁盘、半导体存储器等计算机能够读出的记录媒体上。