互补模糊图像采集系统及利用该系统的模糊图像恢复方法

技术领域

本发明涉及图像视觉增强技术领域，特别涉及一种互补模糊图像采集系 统及利用该系统的运动模糊图像恢复方法。

背景技术

运动模糊是在成像过程中普遍存在的现象。位于快速行驶的汽车、飞机 或其他飞行器上的相机，在拍摄图像的过程中由于拍摄对象相对速度过快或 者拍摄过程中的抖动，使得拍摄的图像产生运动模糊，会严重影响获取图像 的质量。实现运动模糊图像的复原，恢复原始的清晰图像，有利于获取更高 分辨率的图像细节信息，对于使用基于图像信息进行的后续处理的场合是非 常必要的预处理过程。

在运动模糊的研究当中，通常假设得到的模糊图像服从以下成像模型：

$B=I\otimes K+n$

其中，B为获取的模糊图像，I为要恢复的清晰图像，K为模糊核，n为加性 噪声。在该模型的定义中，模糊图像由清晰图像与模糊核卷积，再加入噪声 而产生。

运动去模糊的问题是在图像获取以后，通过一定的方法获取运动信息， 从而最大可能的恢复原始的清晰图像。按照模糊核已知和未知，通常可以分 为非盲去卷积和盲去卷积两类。非盲去卷积，即模糊核已知或已通过其他方 式求得，由图像去卷积估计清晰图像。传统的方法使用Wiener滤波恢复图像， 对噪声的抑制作用比较差。1974年提出的Richardson-Lucy（RL）算法在图 像恢复中应用广泛，但是随着迭代次数的增加，恢复图像的振铃效应更加严 重，噪声的影响也随之增大。近年来，一些方法使用TV范数、自然图像梯度 稀疏、Framelet域变换系数稀疏等作为约束进行图像恢复。由于成像过程中 的运动模糊造成图像的高频信息丢失，该问题并不是简单的可逆过程。同时 模糊核的频域零点使得图像噪声被放大，并在图像的边缘等不连续处产生严 重的振铃效应，图像去卷积的结果往往难以令人满意。

在实际的运动去模糊问题中，模糊核通常是未知的，即盲去卷积问题。 这样的图像恢复工作一般可以分成两步来完成：一是运动模糊核的估计；二 是已知模糊核的图像去卷积。模糊核的估计方法包括基于单幅图像、两幅图 像和多帧图像的运动信息获取。基于单幅图像的运动去模糊是非常欠定的问 题，通常是分析模糊图像和清晰图像的特点，得到其分布情况的先验信息作 为约束条件添加到图像恢复中。为使获取的信息更为丰富，大量的研究开始 针对多幅图像，以获取更佳的恢复结果，如采用同一场景的两幅运动模糊图 像，采用一幅运动模糊和一幅低曝光高噪声图像组合，以及采用一个快速CCD 和一个慢速CCD同时获取图像等。此类方法连续对场景进行拍摄，要求场景 是静态的，并且对图像对准有很高要求，而模糊图像的对准是非常困难的， 即使手动调整也很难实现精确的对准。

对于快速行驶的汽车及飞机等载体上的拍摄问题，拍摄对象相对速度过 快或者拍摄过程中的抖动，使得模糊核尺度大且比较复杂，基于单幅图像进 行图像恢复很难得到理想的结果。同时由于相机相对于场景的快速移动，对 同一场景连续拍摄也不能实现。因此，如何实现快速行驶的汽车及飞机等载 体上的运动模糊图像的恢复是一个亟需解决的技术问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一 种互补模糊图像采集系统及利用该系统的运动模糊图像恢复方法。。

为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了 一种互补模糊图像采集系统，其包括：分光镜、第一棱镜组合和第二棱镜组 合，所述第一棱镜组合装设于第一棱镜支架上，所述第二棱镜组合装设于第 二棱镜支架上；所述第一棱镜支架通过第一螺旋高度调节架和第一导轨与基 座固定，所述第二棱镜支架通过第二螺旋高度调节架和第二导轨与基座固定， 通过对第一螺旋高度调节架和第一导轨位置以及第二螺旋高度调节架和第二 导轨位置的调节，使所述第一棱镜组合和第二棱镜组合的光心处于同一水平 高度，并且使第一棱镜组合和第二棱镜组合的工作面相互平行；所述分光镜 位于所述第一棱镜组合和第二棱镜组合的光路上，入射光线经分光镜分为两 路，一路经第一棱镜组合实现光路旋转90°，另一路经第二棱镜组合实现像 旋转90°。

本发明的互补模糊图像采集系统的两组棱镜的成像平面并排排列，可以 使用一部相机同时采集到同一场景的两幅具有90°旋转关系的图像，进行图 像恢复时更加简单、准确、有效。

为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了 一种运动模糊图像恢复方法，其包括如下步骤：

S1：建立本发明的互补模糊图像采集系统，获取同一场景在运动模糊影 响下的两个退化图像；

S2：在物理成像模型基础上，利用两个模糊核之间的关系作为约束，得 到初始的模糊核和清晰图像的估计；

S3：将模糊核进行细化；

S4：由最终得到的模糊核实现图像去卷积，获得理想的图像去模糊结果。

本发明的运动模糊图像恢复方法充分利用互补模糊图像采集的信息，具 有简单有效、鲁棒、实时性强的优点，在低复杂度的前提下，使具有挑战性 的运动模糊图像恢复效果得到显著提高。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的 描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述 中将变得明显和容易理解，其中：

图1是本发明运动模糊图像恢复方法的框架图；

图2是本发明一种优选实施方式中采用的互补模糊图像采集系统示意图；

图3是图2中所示互补模糊图像采集系统的光路图；

图4是本发明互补模糊图像采集系统的成像模型示意图；

图5是本发明一种优选实施方式中拍摄场景的清晰图像；

图6是本发明一种优选实施方式中采用的仿真运动模糊的模糊核；

图7是本发明互补模糊图像采集系统采集得到的模糊图像；

图8是图7中所示模糊图像的等价转换示意图；

图9是本发明一种优选实施方式中用于模糊核估计的重要边缘；

图10是本发明一种优选实施方式中模糊核和清晰图像的初始估计；

图11是本发明一种优选实施方式中模糊核估计和图像恢复结果。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中 自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的 元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而 不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、 “前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指 示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述 本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方 位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

本发明提出了一种运动模糊图像恢复方法，如图1所示，其包括如下步 骤：

S1：建立互补模糊图像采集系统，获取同一场景在运动模糊影响下的两 个退化图像；

S2：在物理成像模型基础上，利用两个模糊核之间的关系作为约束，得 到初始的模糊核和清晰图像的估计；

S3：将模糊核进行细化；

S4：由最终得到的模糊核实现图像去卷积，获得理想的图像去模糊结果。

在本发明的一种优选实施方式中，以机场跑道航拍图像的运动去模糊为 例进行说明，首先，建立互补模糊图像采集系统，获取同一场景在运动模糊 影响下的两个退化图像，如图2-图4所示，本发明的互补模糊图像采集系统 包括分光镜、第一棱镜组合和第二棱镜组合，该第一棱镜组合装设于第一棱 镜支架上，第二棱镜组合装设于第二棱镜支架上。第一棱镜支架通过第一螺 旋高度调节架和第一导轨与基座固定，第二棱镜支架通过第二螺旋高度调节 架和第二导轨与基座固定。通过对第一螺旋高度调节架和第一导轨位置以及 第二螺旋高度调节架和第二导轨位置的调节，使第一棱镜组合和第二棱镜组 合的光心处于同一水平高度，并且使第一棱镜组合和第二棱镜组合的工作面 相互平行。分光镜位于第一棱镜组合和第二棱镜组合的光路上，入射光线经 分光镜分为两路，一路经第一棱镜组合实现光路旋转90°，另一路经第二棱 镜组合实现像旋转90°。第一棱镜组合和第二棱镜组合可以为形成的图像具 有旋转90°关系的任何棱镜组合，具体可以为但不限于第一棱镜组合采用两 个直角棱镜，第二棱镜组合采用一个直角棱镜一个直角屋脊棱镜。在本实施 方式中，通过采用互补模糊图像采集系统，光线经过分光镜分为两路，其中 一路经过两个直角棱镜实现光路旋转90°，另外一路经过一个直角屋脊棱镜 和一个直角棱镜实现成像旋转90°。两个经过棱镜系统得到的运动模糊影响 下的退化图像并排在同一平面内，可以使用一部相机同时采集到两幅具有 90°旋转关系的图像，采集得到场景图像及其旋转90°图像经过同一模糊核 得到模糊图像对B₁、B₂。本实施例以仿真数据进行说明，该仿真数据由清晰 图像与模糊核卷积并加入高斯白噪声得到，即用成像模型表示。

基于场景清晰图像，如图5所示，利用成像模型在图6所示 模糊核的作用下得到运动模糊图像。

$B_1=I_1\otimes K+n$

$B_2=I_2\otimes K+n=\mathrm{rot}90\left(I_1\right)\otimes K+n---\left(1\right)$

其中，B₁为获取的第一个模糊图像，I₁为要恢复的第一个清晰图像，B₂为获取 的第二个模糊图像，I₂为要恢复的第二个清晰图像，K为模糊核，n为加性噪 声。图7是本发明互补模糊图像采集系统采集得到的运动模糊图像，将第二 个模糊图像B₂反向旋转90°，有

$\mathrm{rot}270\left(B_2\right)=\mathrm{rot}270(\mathrm{rot}90\left(I_1\right)\otimes K+n)=I_1\otimes \mathrm{rot}270\left(K\right)+n---\left(2\right)$

即等价于同一图像经过两个不同模糊核，

$B_1=I\otimes K_1+n$

$\mathrm{rot}270\left(B_2\right)=I\otimes \mathrm{rot}270\left(K_1\right)+n=I\otimes K_2+n---\left(3\right)$

如图8所示，两个模糊核具有旋转90°的关系：

K₂＝rot270(K₁)                                    (4)

在物理成像模型基础上，利用两个模糊核之间的关系作为约束，得到初 始的模糊核和清晰图像的估计，在本实施方式中，采用多尺度的处理方法逐 级迭代，包括以下步骤：

S21：对模糊图像B₁、B₂采用高斯下采样的方法，构建模糊图像的高斯金 字塔模型{B₁^l}，{B₂^l}，l=1，2，…，n，由最底层开始逐级处理；

S22：由步骤S21得到的模糊图像{B₁^l}，{B₂^l}计算图像中包含边缘的重要 程度：

$r\left(x\right)=\frac{\left|\right|{\Sigma }_{y\in N_h\left(x\right)}▿B\left(y\right)\left|\right|}{{\Sigma }_{y\in N_h\left(x\right)}\left|\right|▿B\left(y\right)\left|\right|+0.5}---\left(5\right)$

其中，为模糊图像的一阶导数，N_h(x)为以x为中心的h×h邻域，h×h 为该尺度对应的模糊核大小，取

$M=H(r,{\tau }_r)=\left(\begin{array}{c}1,r>{\tau }_r\\ 0,r<{\tau }_r\end{array}\right)---\left(6\right)$

其中，其中，M为模糊图像中大尺度边缘的位置，τ_r为门限值，从而标记出 模糊图像中大尺度边缘的位置；

S23：将模糊图像作为估计图像的初始值经过Shock滤波器

${\tilde{I}}_i=-\mathrm{sign}\left(\mathrm{\Delta I}\right)\left|\right|▿I\left|\right|---\left(7\right)$

其中，ΔI=I_x²I_xx+2I_xI_yI_xy+I_y²I_yy，I_x、I_y、I_xx、I_yy、I_xy分别为图 像的一阶和二阶导数，选出其中重要的边缘信息用于模糊核的估计：

$▿I^s=▿{\tilde{I}}_i·H(M{\left|\right|▿{\tilde{I}}_i\left|\right|}^2,{\tau }_s)---\left(8\right)$

其中τ_s为门限值，对得到的大尺度边缘应用泊松重建，得到图9所示的结果；

S24：基于步骤S23得到的边缘信息，估计模糊核，记$▿{I_2}^s=\mathrm{rot}90(▿I^s),$有：

$K_i=\underset{K}{\min }\underset{j=1}{\overset{2}{\Sigma }}{\left|\right|▿I_j^s\otimes K-▿B_j\left|\right|}^2+\gamma {\left|\right|K\left|\right|}^2---\left(9\right)$

转换到FFT域内求解：

$K_i=F^{-1}\left(\frac{\underset{j=1}{\overset{2}{\Sigma }}\overline{F\left({\partial }_x{I}_j^s\right)}F\left({\partial }_x{B}_j\right)+\overline{F\left({\partial }_y{I}_j^s\right)}F\left({\partial }_y{B}_j\right)}{\underset{f=1}{\overset{2}{\Sigma }}F{\left({\partial }_x{I}_j^s\right)}^2+F{\left({\partial }_y{I}_j^s\right)}^2+\gamma }\right)---\left(10\right)$

其中，γ为权限平衡系数，F(·)和F^-1(·)分别为FFT变换和逆变换，表示取 复共轭；

S25：基于步骤S24得到的模糊核，估计清晰图像，如图10所示，将模 糊图像B₂反向旋转90°，问题等价于同一图像经过两个不同模糊核，

$B_1=I\otimes K_1+n$

$\mathrm{rot}270\left(B_2\right)=I\otimes \mathrm{rot}270\left(K_1\right)+n=I\otimes K_2+n---\left(11\right)$

记K₁＝K_i，K₂＝rot270(K_i)，有

$I_i=\underset{I}{\min }\underset{j=1}{\overset{2}{\Sigma }}{\left|\right|I\otimes K_j-B_j\left|\right|}^2+\lambda {\left|\right|▿I-▿I^s\left|\right|}^2---\left(12\right)$

转换到FFT域内求解:

$I_i=F^{-1}\left(\frac{\underset{j=1}{\overset{2}{\Sigma }}\overline{F\left(K_j\right)}F\left(B_j\right)+\lambda (\overline{F\left({\partial }_x\right)}F\left(I_x^s\right)+\overline{F\left({\partial }_y\right)}F\left(I_y^s\right))}{\underset{j=1}{\overset{2}{\Sigma }}\overline{F\left(K_j\right)}F\left(K_j\right)+\overline{F\left({\partial }_x\right)}F\left(I_x^s\right)+\overline{F\left({\partial }_y\right)}F\left(I_y^s\right)}\right)---\left(13\right)$

其中，λ为权限平衡系数。

S26：取τ_r=m×τ_r，τ_s=n×τ_s，其中，0<m<1，0<n<1，重复步骤S23至S25， 直至达到设定的最大迭代次数，在本实施方式中，取m=0.9，n=0.9；

S27：将步骤S26得到的清晰图像上采样，其采样尺度选取和高斯下采样 相同，作为上一层清晰图像的初始值，重复步骤S22至S26，直至达到高斯金 字塔的最高层，得到初始的模糊核和清晰图像估计结果，如图10所示。

然后，将模糊核进行细化，包括以下步骤：

S31：对清晰图像初始估计结果应用步骤S23，计算更新的重要边缘；

S32：细化模糊核估计，记细化后的模糊核为：

$\hat{K}=\underset{K}{\min }\underset{j=1}{\overset{2}{\Sigma }}{\left|\right|▿I_j^s\otimes K-▿B_j\left|\right|}^2+\gamma \underset{m\in S}{\Sigma }\left|K_m\right|---\left(14\right)$

其中，S={m:K_m<ε}，K_m为当前模糊核估计结果，ε为门限值，γ为权限平衡 系数。在本实施方式中，通过迭代支撑检测算法计算细化后的模糊核。

最后，由最终得到的运动模糊图像的模糊核，实现图像去卷积，获得理 想的图像去模糊结果，取对图像去卷积，

$\hat{I}=\underset{I}{\min }\underset{j=1}{\overset{2}{\Sigma }}\left|\right|I\otimes K_j-B_j\left|\right|+\lambda \left|\right|▿I\left|\right|---\left(15\right)$

其中，λ为权限平衡系数。

获得理想的图像去模糊恢复结果，如图11所示，图11（b）是将图11（a） 中方框线内的恢复图像局部放大，可以看到图像细节信息得到较好的恢复， 同时在大尺度边缘等不连续区域附近的振铃效应也较小。

本发明针对遥感航拍、飞机进近可视导航等运动载体的高动态场景拍摄， 具有模糊核尺度大且比较复杂及拍摄场景变化快的特点，提出了一种基于互 补模糊图像采集系统的简单有效、鲁棒、实时的运动模糊图像恢复方法。本 发明的运动模糊图像恢复方法充分利用互补模糊图像采集的信息，具有简单 有效、鲁棒、实时性强的优点，在低复杂度的前提下，使具有挑战性的运动 模糊图像恢复效果得到显著提高。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示 例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的 具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。 在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。 而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施 例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理 解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、 修改、替换和变型，本发明的范围由权利要求及其等同物限定。