基于灰边缘约束灰世界的白平衡校正图像处理方法及装置

技术领域

本发明涉及数字图像处理技术领域，具体为一种基于灰边缘约束 灰世界的白平衡校正的图像处理方法及装置。

背景技术

颜色是图像的基础，也是图像的直观信息。一方面，图像的颜色 信息被采集来供人观看，另一方面，图像的颜色信息作为一种重要的 线索，在计算机视觉研究中得到广泛的应用，如特征提取、目标识别、 图像检索等等。但是，在不同的光照情况下，物体反射出来的颜色有 所不同的，白平衡的目的就是消除不同光照的影响，恢复物体在标准 光照下的真实颜色。

图像光照估计是白平衡计算的第一步，往往也是最为重要、最难 的一步。光照估计的结果往往可以直接用来对图像进行色偏的校正， 如摄像机白平衡中就是直接利用光照的色偏情况来调节摄像机的红 绿蓝各通道的增益值大小。

现有的光照估计方法有灰世界和灰边缘两个经典的算法。灰世界 假设认为：场景中所有物理表面的平均反射是无色差的（灰色的）。 在这个假设条件下，在白色光照下，图像的各颜色通道的统计均值是 无色差的，即各个通道的均值一样大，如果图像的不同通道之间的统 计均值存在差异，那么这个差异一定是环境光造成的。基于这个假设， 便有了灰世界方法。灰世界方法计算简单，但是效果不理想。

灰边缘假设认为：场景中所有物理表面的反射的差分的均值是无 色差的（灰色的）。灰边缘方法即是基于这一假设，首先计算各通道 图像的一阶或二阶梯度的模的均值，然后利用各通道均值的差异来估 计图像光照，在其计算过程中利用不同σ的高斯核对图像进行模糊来 计算图像不同尺度的信息，闵可夫斯基范式（Minkowski-norm）也被 引入从而得到了一般意义的灰边缘方法：

${(\int |{\frac{{\partial }^n{f}_c^{\sigma }\left(x\right)}{{\partial x}^n}|}^p\mathrm{dx})}^{1/p}={\mathrm{ke}}_c^{n,p,\sigma },c\in \{r,g,b\}$

其中，f_c(x)为彩色图像f(x)的c通道图像，x为图像二维坐标， 表示经过高斯卷积后的图像，n=0，1，2表示图像梯 度的阶数，p为闵可夫斯基范式（Minkowski-norm）， 则是所估计的光照，k为归一化常数使得||e||=1。 可以看出，该公式把传统的灰世界方法、最大值法、Shade of Grey算 法和灰边缘方法都统一在了一个框架里面。

灰边缘方法有几个局限性。第一，虽然灰边缘方法只需要简单几 行程序代码即可实现，但是其计算过程中涉及到高斯核卷积过程，严 重影响了算法的计算速度，如实验发现对于二阶灰边缘方法，4<σ<7 效果较好，假设σ=4，则卷积核的大小为25*25，即使把x方向和y 方向的卷积分解进行，也需要进行2次1*25大小的卷积，这个计算 量相当于做50次灰世界算法的计算量。第二，该方法涉及到的σ和p 参数的取值，如果取值不恰当，难以获得较好效果，尤其是在对输入 图像没有先验信息的时候。第三，该方法图像梯度的计算复杂，计算 量大，如一阶梯度的计算公式为$\frac{{\partial }^{1}f\left(x\right)}{{\partial x}^1}=\sqrt{{\left(\frac{{\partial }^{1+0}f\left(x\right)}{{\partial x}^1{y}^0}\right)}^2+{\left(\frac{{\partial }^{0+1}f\left(x\right)}{{\partial x}^0{y}^1}\right)}^2},$需要 先计算一次x方向一阶梯度，再计算一次y方向一阶梯度，还涉及到 平方和平方根运算，二阶梯度的计算则更为复杂。灰边缘方法原理简 单，且效果有很大的提高，但是其计算过程涉及到高斯卷积，时间复 杂度高，卷积核大小的选择也缺乏具体指导。

总之，灰世界算法具有在多数场景准确度高，但是其在部分场景 （如大面积单色物体）表现很不稳定；灰边缘算法具有鲁棒性高，但 是其准确度不高。

发明内容

本发明为了解决现有的灰世界算法和灰边缘算法存在的上述问题， 提供了一种基于灰边缘约束灰世界的白平衡校正的图像处理方法。

本发明是采用如下技术方案实现的：

一种基于灰边缘约束灰世界的白平衡校正图像处理方法，包括如 下步骤：

（Ⅰ）、由图像传感器采集图像后，将光信号转换为电信号，以 Bayer图像模式传送给Bayer图像处理单元，输出Bayer图像；

（Ⅱ）、步骤（Ⅰ）输出的Bayer图像一方面输入到灰边缘统计模 块和白平衡系数计算模块，进行灰边缘算法，得到灰边缘白平衡系数 GEgainR和GEgainB；

（Ⅲ）、步骤（Ⅰ）输出的Bayer图像另一方面根据步骤（Ⅱ）得 到的灰边缘白平衡系数经过白平衡校正模块进行白平衡校正处理，再 经过去马赛克模块进行去马赛克处理；

（Ⅳ）、步骤（Ⅲ）输出的图像依次经过灰世界统计模块和白平衡 系数计算模块，进行灰世界算法，得到灰世界白平衡系数GSgainR 和GSgainB；

（Ⅴ）、利用步骤（Ⅱ）得到的灰边缘白平衡系数约束步骤（Ⅳ） 得到的灰世界白平衡系数，经白平衡系数计算模块得出最后用于图像 校正的白平衡系数：具体如下：

设定limit1、limit2两个白平衡阈值参数（limit1和limit2的取值 可由本领域技术人员调试确定），首先计算出GEgainR与GSgainR的 差值absgainR，即absgainR=|GEgainR-GSgainR|，如果absgainR不大 于limit1，说明灰世界白平衡系数接近灰边缘白平衡系数，则采用灰 世界算法得到的白平衡精确解；如果absgainR大于limit2，说明灰世 界白平衡系数远离灰边缘白平衡系数，则采用灰边缘算法得出的白平 衡解；其他情况介于临界区，则采用下列公式，将二者的加权平均值 作为白平衡的解：

其中，gainR_new、gainB_new是最终用于校正的r、b通道白平 衡系数，g通道的白平衡系数一直设置为1；

（Ⅵ）、依据步骤（Ⅴ）得到的白平衡系数，返回至步骤（Ⅲ）再 次对Bayer图像依次进行白平衡校正处理、去马赛克处理；然后，进 行彩色图像处理后，进入压缩/显示/存储等设备，完成对图像的处理。

基于上述方法，本发明所述方法的核心在于，首先用灰边缘算法 求解得到灰边缘约束，将解的空间限制在灰边缘所约束的范围内，保 证算法的基本鲁棒性；再利用灰世界算法在有限的解空间内求出精确 解。其中，灰边缘算法和灰世界算法均可以采用现有技术中的常规算 法进行。

优选地，步骤（Ⅱ）中的灰边缘算法采用两种更加实用的算法， 分别为基于图像块梯度的灰边缘算法或者基于图像横向均值平滑降 采样和横向一阶差分的灰边缘算法，得到Bayer图像光照估计值e， 然后根据Bayer图像光照估计值e，得到灰边缘白平衡系数GEgainR 和GEgainB；具体如下：

基于图像块梯度的灰边缘算法：首先将图像均匀分成Bw*Bh块， 每块大小为s*s，每块内部所有像素求平均得到一个像素值从而得到一幅大小为Bw*Bh的小图像；然后，如下式（1）采用离散 拉普拉斯算子计算图像的二阶梯度，计算各通道的平均梯度大小，从 而得到Bayer图像光照估计值e；

$\int (\mathrm{Lap}\otimes f_c^s\left(x\right))\mathrm{dx}={\mathrm{ke}}_c,c\in \{r,g,b\},---\left(1\right)$

其中，表示c通道图像经过s*s块平均操作后的小图像；Lap 为一种离散拉普拉斯算子：$\mathrm{Lap}=\left(\begin{array}{ccc}1& 1& 1\\ 1& -8& 1\\ 1& 1& 1\end{array}\right);$

基于图像横向均值平滑降采样和横向一阶差分的灰边缘算法：设 N阶降采样滤波模板为：

则横向均值平滑降采样后的图像为

$f^N(m^{\prime },n)=\underset{m=(N-1)m^{\prime }}{\overset{{\mathrm{Nm}}^{\prime }-1}{\Sigma }}f(m,n)$

其中，N∈[1,width(f(m,n))]，即降采样模板应大于1，而小于图像宽度；

采取横向一阶差分的梯度求取方式，差分模板为：

T=[1-1]

则差分图像为降采样图像与差分模板的卷积

对于闵科夫斯基范式p值，将p值取1，即不引入闵科夫斯基范 式；

可以得出场景的光照估计为：

$\int f_T^N\left(x\right)\mathrm{dx}={\mathrm{ke}}^N$

其中，$f_T^N\left(x\right)=|f^N\otimes T|,$

从而得到Bayer图像光照估计值e；

然后，根据光照估计值e=[e_r,e_g,e_b]^T将Bayer图像校正为标准光照 下$e^{\prime }={[{e^{\prime }}_r,{e^{\prime }}_g,{e^{\prime }}_b]}^T={[\frac{1}{\sqrt{3}},\frac{1}{\sqrt{3}},\frac{1}{\sqrt{3}}]}^T$的输出图像f′(x)：

${f^{\prime }}_c\left(x\right)=\frac{{e^{\prime }}_c}{e_c}{f}_c\left(x\right),c\in \{r,g,b\}$

则得出灰边缘白平衡系数GEgainR等于同理可得GEgainB 等于即得到灰边缘约束。

优选地，步骤（Ⅳ）中灰世界算法采用如下方法：

首先计算出步骤（Ⅲ）的输出图像的每一帧白点个数，以及每一 帧图像中白点r，g，b的累加值∑f_r(x)，∑f_g(x)，∑f_b(x)，在同时满 足以下三个条件时，才认为是白点：

自上而下依次是条件1、2、3；其中，条件1表示只有当像素g 通道的值在Gsmin与Gsmax之间时，才把这个点统计在内，去除极 暗与极亮的影响；条件2和条件3表示只有当像素r、b通道值与g 通道值的差值的绝对值小于GSration与f_g(x)的乘积时，才认为这个点 是白点；只有同时满足以上三个条件时，才将该点用于灰世界统计； 所述Gsmin、Gsmax和GSration由本领域技术人员调试确定；

当一帧图像的白点个数超过设定的阈值时，该帧图像的统计结果 才可用于计算灰世界白平衡系数；将多帧图像的结果取平均值后作为 最终输出的灰世界白平衡系数，计算灰世界白平衡系数的公式如下：

其中，gainR，gainB是r，b通道当前采用的白平衡系数，得到灰 世界白平衡系数GSgainR和GSgainB。

基于上述过程，如图2所示：

（1）用灰边缘算法求解得到灰边缘约束：首先用灰边缘算法对图 像进行校正，得到灰边缘白平衡系数。本发明提出了两种更实用的灰 边缘算法，第一种算法是基于图像块梯度的灰边缘算法，通过将图像 均匀分块，每块内部所有像素求平均得到一个像素值，从而得到一幅 小图像；然后，采用离散拉普拉斯算子计算图像的二阶梯度，计算各 通道的平均梯度大小，从而得到图像光照的估计值。第二种是基于图 像横向均值平滑降采样和横向一阶差分的简化算法，采用横向均值平 滑降采样的滤波方法实现高斯平滑，然后通过横向一阶差分的梯度求 取实现求高阶导数，从而就可得出图像光照的估计值。得到图像光照 估计值后就可对图像进行白平衡校正处理，同时也可得出灰边缘约束， 即灰边缘白平衡系数。

（2）用灰世界算法在灰边缘所约束的范围内求出精确解：基于灰 边缘白平衡校正后的图像，再用灰世界方法计算出灰世界白平衡系数， 最后结合灰边缘白平衡系数与灰世界白平衡系数得出最后用于图像 校正的白平衡系数。如果灰世界白平衡系数接近灰边缘白平衡系数， 则采用灰世界白平衡系数；如果远离，则采用灰边缘白平衡系数；其 他情况介于临界区，则采用二者的加权平均白平衡系数。

本发明方法优点如下：

（1）计算量小。对于灰边缘统计模块与灰世界统计模块，需要统 计整幅图像，但是只需要一些简单的判断和计算，因此耗资源较少； 对于白平衡系数计算模块，虽然要进行一些逻辑相对复杂的计算，但 是其数据量小，因此耗资源也少。

（2）白平衡校正的精度较高。

另外，一种基于灰边缘约束灰世界的白平衡校正图像处理装置， 其特征在于：包括：

图像传感器，所述图像传感器以Bayer图像模式输出图像到Bayer 图像处理单元；所述Bayer图像处理单元输出Bayer图像；

所述输出的Bayer图像一方面依次经过灰边缘统计模块和白平衡 系数计算模块进行灰边缘算法后，得到灰边缘白平衡系数GEgainR 和GEgainB，输出到白平衡校正模块；

所述输出的Bayer图像另一方面依据所述得到的灰边缘白平衡系 数经过所述白平衡校正模块进行白平衡校正处理，输出到去马赛克模 块；所述去马赛克模块进行去马赛克处理，输出去马赛克图像；

所述输出的去马赛克图像一方面依次经过灰世界统计模块和白平 衡系数计算模块进行灰世界算法后，得到灰世界白平衡系数GSgainR 和GSgainB，输出到白平衡系数计算模块；

所述白平衡系数计算模块利用得到的灰边缘白平衡系数约束得到 的灰世界白平衡系数，得出最后用于图像校正的白平衡系数后输出到 白平衡校正模块；具体如下：设定limit1、limit2两个白平衡阈值参 数（limit1和limit2的取值可由本领域技术人员调试确定），首先计算 出GEgainR与GSgainR的差值absgainR，即absgainR= |GEgainR-GSgainR|，如果absgainR不大于limit1，说明灰世界白平衡 系数接近灰边缘白平衡系数，则采用灰世界算法得到的白平衡精确解； 如果absgainR大于limit2，说明灰世界白平衡系数远离灰边缘白平衡 系数，则采用灰边缘算法得出的白平衡解；其他情况介于临界区，则 采用下列公式，将二者的加权平均值作为白平衡的解：

其中， gainR_new、gainB_new是最终用于校正的r、b通道白平衡系数，g 通道的白平衡系数一直设置为1；

所述白平衡校正模块依据最后用于图像校正的白平衡系数，再次 对Bayer图像进行白平衡校正处理后输出到去马赛克模块；所述输出 的去马赛克模块另一方面输出图像到彩色图像处理单元；所述彩色图 像处理单元处理图像后输出图像到压缩/显示/存储等设备。

优选地，灰边缘统计模块和白平衡系数计算模块进行的灰边缘算 法采用基于图像块梯度的灰边缘算法或者基于图像横向均值平滑降 采样和横向一阶差分的灰边缘算法，得到Bayer图像光照估计值e， 然后根据Bayer图像光照估计值e得到灰边缘白平衡系数GEgainR和 GEgainB，即得到灰边缘约束。

优选地，灰世界统计模块和白平衡系数计算模块进行的灰世界算 法采用如下方法：

首先计算出去马赛克图像的每一帧白点个数，以及每一帧图像中 白点r，g，b的累加值∑f_r(x)，∑f_g(x)，∑f_b(x)，在同时满足以下三 个条件时，才认为是白点：

自上而下依次是条件1、2、3；其中，条件1表示只有当像素g 通道的值在Gsmin与Gsmax之间时，才把这个点统计在内，去除极 暗与极亮的影响；条件2和条件3表示只有当像素r、b通道值与g 通道值的差值的绝对值小于GSration与f_g(x)的乘积时，才认为这个点 是白点；只有同时满足以上三个条件时，才将该点用于灰世界统计； 所述Gsmin、Gsmax和GSration由本领域技术人员调试确定；

当一帧图像的白点个数超过设定的阈值时，该帧图像的统计结果 才可用于计算灰世界白平衡系数；将多帧图像的结果取平均值后作为 最终输出的灰世界白平衡系数，计算灰世界白平衡系数的公式如下：

其中，gainR，gainB是r，b通道当前采用的白平衡系数，得到灰 世界白平衡系数GSgainR和GSgainB。

工作时，如图1所示，图像传感器采集图像后，将光信号转换为 电信号，以Bayer图像模式传送给Bayer图像处理单元，输出Bayer 图像；实现上述方法的步骤（Ⅰ）。

输出的Bayer图像一路经灰边缘统计模块和白平衡系数计算模块 后通过灰边缘算法后得到灰边缘白平衡系数（实现上述方法的步骤 （Ⅱ）），并将灰边缘白平衡系数一路输出到白平衡校正模块、另一路 输出到白平衡系数计算模块；输出的Bayer图像另一路经白平衡校正 模块，依据输入的灰边缘白平衡系数进行灰边缘白平衡校正处理后输 出图像到去马赛克模块，通过彩色图像插值算法将Bayer图像转换成 RGB；实现上述方法的步骤（Ⅲ）。

由去马赛克模块的输出图像一路经灰世界统计模块和白平衡系数 计算模块通过灰世界算法后得出灰世界白平衡系数（实现上述方法的 步骤（Ⅳ）），并将灰世界白平衡系数输出到白平衡系数计算模块；由 去马赛克模块的输出图像另一路依次输出到彩色图像处理单元及压 缩/显示/存储设备。

白平衡系数计算模块首先利用由灰边缘统计模块输入的灰边缘白 平衡系数作为灰边缘约束，将由灰世界统计模块输入的灰世界白平衡 系数的解的空间限制在灰边缘所约束的范围内，然后在有限的解空间 内求出精确解，即得出最后用于图像校正的白平衡系数；将最后用于 图像校正的白平衡系数输出到白平衡校正模块；实现上述方法的步骤 （Ⅴ）。

最后，由上述方法中步骤（Ⅰ）输出的Bayer图像最终依据最后 用于图像校正的白平衡系数经过白平衡校正模块、去马赛克模块、彩 色图像处理单元及压缩/显示/存储设备，实现上述方法的步骤（Ⅵ）。

本发明设计合理，解决了现有灰世界算法具有在多数场景准确度 高，但是其在部分场景（如大面积单色物体）表现很不稳定和灰边缘 算法具有鲁棒性高，但是其准确度不高的问题。

附图说明

图1是本发明所述装置的成像系统框图。

图2是本发明所述方法的主要步骤执行流程图。

具体实施方式

下面结合附图对本发明的具体实施例进行详细说明。

实施例1

一种基于灰边缘约束灰世界的白平衡校正图像处理方法，包括如 下步骤：

（Ⅰ）、由图像传感器采集图像后，将光信号转换为电信号，以 Bayer图像模式传送给Bayer图像处理单元，其主要包含了黑水平、 去坏点与去噪等处理，输出Bayer图像。

（Ⅱ）、步骤（Ⅰ）输出的Bayer图像一方面输入到灰边缘统计模 块和白平衡系数计算模块，进行灰边缘算法，得到灰边缘白平衡系数 GEgainR和GEgainB；

首先，通过基于图像块梯度的灰边缘算法或者基于图像横向均值 平滑降采样和横向一阶差分的灰边缘算法，得到Bayer图像光照估计 值e；具体如下：

基于图像块梯度的灰边缘算法：

首先将图像均匀分成Bw*Bh块，每块大小为s*s，每块内部所有 像素求平均得到一个像素值从而得到一幅大小为Bw*Bh的 小图像；然后，如下式（1）采用离散拉普拉斯算子（Discrete Laplace  operator）计算图像的二阶梯度，计算各通道的平均梯度大小，从而 得到Bayer图像光照估计值e；

$\int (\mathrm{Lap}\otimes f_c^s\left(x\right))\mathrm{dx}={\mathrm{ke}}_c,c\in \{r,g,b\},---\left(1\right)$

其中，表示c通道图像经过s*s块平均操作后的小图像；Lap 为一种离散拉普拉斯算子（Discrete Laplace operator）：$\mathrm{Lap}=\left(\begin{array}{ccc}1& 1& 1\\ 1& -8& 1\\ 1& 1& 1\end{array}\right);$

上述梯度的计算基于图像块平均的结果，这隐藏着一个假设：场 景中所有物理表面的相邻块的平均反射的差分的均值是无色差的（灰 色的）；另外，图像的块平均操作也具有几个直观的意义：第一，对 图像做块平均是对图像的平滑去噪，而图像的平滑去噪已经被证实是 能够提高白平衡算法的鲁棒性的一个重要预处理过程，如通用灰世界 方法和灰边缘方法都采用了高斯卷积来对图像进行平滑；第二，对图 像做块平均之后，图像大小仅为原有的1/(s*s)，使得后续图像处理的 计算量骤减。

基于图像横向均值平滑降采样和横向一阶差分的灰边缘算法：

此算法根据灰边缘假设的本质，针对灰边缘算法中的两个重要步 骤：高斯平滑与求高阶导数，提出了基于图像横向均值平滑降采样和 横向一阶差分的简化算法。对于高斯平滑而言，其本质是做高频滤波， 其他的高频滤波方法完全可以取代它。显然，最简单的滤波方法是均 值滤波。考虑到图像传感器图像数据逐行传输的特点，如果做横向、 纵向双向均值滤波，则必须缓存多行图像。为了满足实时性要求，本 方法只采用横向均值滤波。但是，由于不采用纵向滤波，滤波效果将 下降。为了进一步滤除高频信息，考虑到图像降采样也是一种去高频 方法，所以采用横向均值平滑降采样的滤波方法。

一般情况下，均值平滑后的图像需要除以相同的平滑模板大小N， 将像素值归一化到0～255的范围（像素深度为8位时）。但是，白平 衡算法只需要得到最后光照颜色估计，并不需要得到完整的归一化平 滑图像，因此为了简化算法，可以省去该除法操作。

设N阶降采样滤波模板为：

则横向均值平滑降采样后的图像为

$f^N(m^{\prime },n)=\underset{m=(N-1)m^{\prime }}{\overset{{\mathrm{Nm}}^{\prime }-1}{\Sigma }}f(m,n)$

其中，N∈[1,width(f(m,n))]，即降采样模板应大于1，而小于图像宽 度；

对于求梯度导数，它需要在横向纵向，甚至斜向求差分。同样地， 为了不缓存图像行，而又达到求图像梯度的效果，采取横向一阶差分 的梯度求取方式，差分模板为：

T=[1 -1]

则差分图像为降采样图像与差分模板的卷积

对于闵科夫斯基范式p值，为了进一步减少计算复杂度，从而减 少乘法与开方操作，所以将p值取1，即不引入闵科夫斯基范式；

估计光照颜色时，一般需要求差分图像的颜色均值。此时RGB三 个通道都需要除以相同的图像像素数∫dx。事实上，如果不做除法， 仅仅是光照颜色的α,β,γ（令光照颜色e=(α,β,γ)）值会被成比例线性 放大，但它们之间的比例关系不会发生变化。同样为了简化算法，可 以省去光照估计时的除法。最后，可以得出场景的光照估计为：

$\int f_T^N\left(x\right)\mathrm{dx}={\mathrm{ke}}^N$

其中，$f_T^N\left(x\right)=|f^N\otimes T|,$

从而得到Bayer图像光照估计值e。

然后，根据光照估计值e=[e_r,e_g,e_b]^T将Bayer图像校正为标准光照 下$e^{\prime }={[{e^{\prime }}_r,{e^{\prime }}_g,{e^{\prime }}_b]}^T={[\frac{1}{\sqrt{3}},\frac{1}{\sqrt{3}},\frac{1}{\sqrt{3}}]}^T$的输出图像f′(x)：

${f^{\prime }}_c\left(x\right)=\frac{{e^{\prime }}_c}{e_c}{f}_c\left(x\right),c\in \{r,g,b\}$

则得出灰边缘白平衡系数GEgainR等于同理可得GEgainB 等于即得到灰边缘约束。

（Ⅲ）、步骤（I）输出的Bayer图像另一方面根据步骤（Ⅱ）得 到的灰边缘白平衡系数经过白平衡校正模块进行白平衡校正处理，再 经过去马赛克模块进行去马赛克处理，通过彩色图像插值算法将 Bayer图像转换成RGB。

（Ⅳ）、步骤（Ⅲ）输出的图像依次经过灰世界统计模块和白平衡 系数计算模块，进行灰世界算法，得到灰世界白平衡系数GSgainR 和GSgainB；

具体如下：

首先计算出输出图像的每一帧白点个数，以及每一帧图像中白点 r，g，b的累加值∑f_r(x)，∑f_g(x)，∑f_b(x)，在同时满足以下三个条 件时，才认为是白点：

自上而下依次是条件1、2、3；其中，条件1表示只有当像素g通道 的值在Gsmin与Gsmax之间时，才把这个点统计在内，去除极暗与 极亮的影响；条件2和条件3表示只有当像素r、b通道值与g通道 值的差值的绝对值小于GSration与f_g(x)的乘积时，才认为这个点是白 点；只有同时满足以上三个条件时，才将该点用于灰世界统计；所述 Gsmin、Gsmax和GSration由本领域技术人员调试确定，一般可取经 验值：Gsmin=10，Gsmax=250，GSration=0.1。

当一帧图像的白点个数超过设定的阈值时，该帧图像的统计结果 才可用于计算灰世界白平衡系数；将多帧图像的结果取平均值后作为 最终输出的灰世界白平衡系数，计算灰世界白平衡系数的公式如下：

其中，gainR，gainB是r，b通道当前采用的白平衡系数，GSgainR， GSgainB是灰世界白平衡系数。

（Ⅴ）、利用步骤（Ⅱ）得到的灰边缘白平衡系数约束步骤（Ⅳ） 得到的灰世界白平衡系数，经白平衡系数计算模块得出最后用于图像 校正的白平衡系数：

具体如下：

设定limit1、limit2两个白平衡阈值参数（limit1和limit2的取值 由本领域技术人员调试确定，一般可取经验值：limit1=0.1，limit2=0.3）， 首先计算出GEgainR与GSgainR的差值absgainR，即absgainR= |GEgainR-GSgainR|，如果absgainR不大于limit1，说明灰世界白平衡 系数接近灰边缘白平衡系数，则采用灰世界算法得到的白平衡精确解； 如果absgainR大于limit2，说明灰世界白平衡系数远离灰边缘白平衡 系数，则采用灰边缘算法得出的白平衡解；其他情况介于临界区，则 采用下列公式，将二者的加权平均值作为白平衡的解：

其中，gainR_new，gainB_new是最终用于校正的r，b通道白平 衡系数，g通道的白平衡系数一直设置为1。

（Ⅵ）、依据步骤（Ⅴ）得到的白平衡系数，返回至步骤（Ⅲ）再 次对Bayer图像依次进行白平衡校正处理、去马赛克处理；然后，进 行彩色图像处理（主要包括了颜色校正、γ矫正、彩色空间转换、HDR、 边界增强等处理）后，进入压缩/显示/存储等设备（用于图像显示或 图像存储），完成对图像的处理。

具体实施时，如图1所示，步骤（Ⅰ）通过图像传感器和Bayer 图像处理单元实现；步骤（Ⅱ）通过灰边缘统计模块、白平衡系数计 算模块实现；步骤（Ⅲ）通过白平衡校正模块和去马赛克模块实现； 步骤（Ⅳ）通过灰世界统计模块、白平衡系数计算模块实现；步骤（Ⅴ） 通过白平衡系数计算模块实现；步骤（Ⅵ）通过白平衡校正模块、去 马赛克模块、彩色图像处理单元及压缩/显示/存储设备实现。

实施例2

如图1所示，一种基于灰边缘约束灰世界的白平衡校正图像处理 装置，包括：

图像传感器，所述图像传感器以Bayer图像模式输出图像到Bayer 图像处理单元；所述Bayer图像处理单元输出Bayer图像；

所述输出的Bayer图像一方面依次经过灰边缘统计模块和白平衡 系数计算模块进行灰边缘算法后，得到灰边缘白平衡系数GEgainR 和GEgainB，输出到白平衡校正模块；

所述输出的Bayer图像另一方面依据所述得到的灰边缘白平衡系 数经过所述白平衡校正模块进行白平衡校正处理，输出到去马赛克模 块；所述去马赛克模块进行去马赛克处理，输出去马赛克图像；

所述输出的去马赛克图像一方面依次经过灰世界统计模块和白平 衡系数计算模块进行灰世界算法后，得到灰世界白平衡系数GSgainR 和GSgainB，输出到白平衡系数计算模块；

所述白平衡系数计算模块利用得到的灰边缘白平衡系数约束得到 的灰世界白平衡系数，得出最后用于图像校正的白平衡系数后输出到 白平衡校正模块；具体如下：设定limit1、limit2两个白平衡阈值参 数（limit1和limit2的取值由本领域技术人员调试确定，一般可取经 验值：limit1=0.1，limit2=0.3），首先计算出GEgainR与GSgainR的 差值absgainR，即absgainR=|GEgainR-GSgainR|，如果absgainR不大 于limit1，说明灰世界白平衡系数接近灰边缘白平衡系数，则采用灰 世界算法得到的白平衡精确解；如果absgainR大于limit2，说明灰世 界白平衡系数远离灰边缘白平衡系数，则采用灰边缘算法得出的白平 衡解；其他情况介于临界区，则采用下列公式，将二者的加权平均值 作为白平衡的解：

其中，

gainR_new、gainB_new是最终用于校正的r、b通道白平衡系数，g 通道的白平衡系数一直设置为1；

所述白平衡校正模块依据最后用于图像校正的白平衡系数，再次 对Bayer图像进行白平衡校正处理后输出到去马赛克模块；所述输出 的去马赛克模块另一方面输出图像到彩色图像处理单元；所述彩色图 像处理单元处理图像后输出图像到压缩/显示/存储等设备。

具体实施时，灰边缘统计模块和白平衡系数计算模块进行的灰边 缘算法采用基于图像块梯度的灰边缘算法或者基于图像横向均值平 滑降采样和横向一阶差分的灰边缘算法，得到Bayer图像光照估计值 e，然后根据Bayer图像光照估计值e得到灰边缘白平衡系数GEgainR 和GEgainB；具体如下：

基于图像块梯度的灰边缘算法：首先将图像均匀分成Bw*Bh块， 每块大小为s*s，每块内部所有像素求平均得到一个像素值 从而得到一幅大小为Bw*Bh的小图像；然后，如下式（1）采用离散 拉普拉斯算子计算图像的二阶梯度，计算各通道的平均梯度大小，从 而得到Bayer图像光照估计值e；

$\int (\mathrm{Lap}\otimes f_c^s\left(x\right))\mathrm{dx}={\mathrm{ke}}_c,c\in \{r,g,b\},---\left(1\right)$

其中，表示c通道图像经过s*s块平均操作后的小图像；Lap 为一种离散拉普拉斯算子：$\mathrm{Lap}=\left(\begin{array}{ccc}1& 1& 1\\ 1& -8& 1\\ 1& 1& 1\end{array}\right);$

基于图像横向均值平滑降采样和横向一阶差分的灰边缘算法：设 N阶降采样滤波模板为：

则横向均值平滑降采样后的图像为

$f^N(m^{\prime },n)=\underset{m=(N-1)m^{\prime }}{\overset{{\mathrm{Nm}}^{\prime }-1}{\Sigma }}f(m,n)$

其中，N∈[1,width(f(m,n))]，即降采样模板应大于1，而小于图像宽度；

采取横向一阶差分的梯度求取方式，差分模板为：

T=[1 -1]

则差分图像为降采样图像与差分模板的卷积

对于闵科夫斯基范式p值，将p值取1，即不引入闵科夫斯基范 式；

可以得出场景的光照估计为：

$\int f_T^N\left(x\right)\mathrm{dx}={\mathrm{ke}}^N$

其中，$f_T^N\left(x\right)=|f^N\otimes T|,$

从而得到Bayer图像光照估计值e；

然后，根据光照估计值e=[e_r,e_g,e_b]^T将Bayer图像校正为标准光照 下$e^{\prime }=[{{e^{\prime }}_r,{e^{\prime }}_g,{e^{\prime }}_b]}^T={[\frac{1}{\sqrt{3}},\frac{1}{\sqrt{3}},\frac{1}{\sqrt{3}}]}^T$的输出图像f′(x)：

${f^{\prime }}_c\left(x\right)=\frac{{e^{\prime }}_c}{e_c}{f}_c\left(x\right),c\in \{r,g,b\}$

则得出灰边缘白平衡系数GEgainR等于同理可得GEgainB 等于即得到灰边缘约束。

具体实施时，灰世界统计模块和白平衡系数计算模块进行的灰世 界算法采用如下方法：

首先计算出去马赛克图像的每一帧白点个数，以及每一帧图像中 白点r，g，b的累加值∑f_r(x)，∑f_g(x)，∑f_b(x)，在同时满足以下三 个条件时，才认为是白点：

自上而下依次是条件1、2、3；其中，条件1表示只有当像素g 通道的值在Gsmin与Gsmax之间时，才把这个点统计在内，去除极 暗与极亮的影响；条件2和条件3表示只有当像素r、b通道值与g 通道值的差值的绝对值小于GSration与f_g(x)的乘积时，才认为这个点 是白点；只有同时满足以上三个条件时，才将该点用于灰世界统计； 所述Gsmin、Gsmax和GSration由本领域技术人员调试确定，一般可 取经验值：Gsmin=10，Gsmax=250，GSration=0.1。

当一帧图像的白点个数超过设定的阈值时，该帧图像的统计结果 才可用于计算灰世界白平衡系数；将多帧图像的结果取平均值后作为 最终输出的灰世界白平衡系数，计算灰世界白平衡系数的公式如下：

其中，gainR，gainB是r，b通道当前采用的白平衡系数，得到灰 世界白平衡系数GSgainR和GSgainB。

具体实施时，所述去马赛克模块通过彩色图像插值算法将Bayer 图像转换成RGB后输出去马赛克图像。