从多个较低清晰度图像计算较高清晰度图像

技术领域

本发明通常涉及基于多个较低清晰度图像生成作为较高清晰度图像的所谓超清晰度图像。

背景技术

在电子成像应用中，具有较高清晰度的图像更合乎需要。具有较高清晰度的图像具有更大的像素密度，且因此示出比同一场景(scene)的较低清晰度图像的更多细节。较高清晰度图像具有许多应用，例如包括医疗成像、卫星成像、计算机视觉、视频监视、面部识别、汽车牌号码提取与识别以及将数字通用盘视频转换为高密度电视等。

在超清晰度图像重构(reconstruction)中，用场景的多个所观察较低清晰度图像或帧来创建较高清晰度图像。较低清晰度图像可为同一场景的不同视图。它们可从同一相机例如在逐帧地在相机位置中引入小的所谓子像素移位或者捕获该场景中的少量运动时获得。备选地，低清晰度图像可使用瞄准同一场景的不同相机来捕获。接着，通过对准或适当组合低清晰度图像以便获得附加图像信息来重构合成的高清晰度图像。该过程还可包括图像恢复(restoration)，在图像恢复中还可执行去模糊和去噪声操作。

合成的高清晰度图像的重构是一个难题，因为它属于反不适定(ill-posed)数学问题的类别。所需信号处理可被解释为所谓观察模型的逆，所述观察模型是描述基于已知相机参数形成场景的低清晰度图像的数学确定性方法。由于该场景由其可接受质量的高清晰度图像近似，因此该观察模型通常定义为将场景的高清晰度离散图像与其对应低清晰度图像相关。这种关系可给出为几何变换、模糊算子与下采样算子外加加性噪声项的级联。

发明内容

本发明一方面提供一种形成超清晰度图像的方法，包括：通过将较低清晰度像素映射到较高清晰度图像的特定区域来形成超清晰度图像；以及将所述像素的关联数据收集到缓冲器中。

本发明另一方面提供一种用于超清晰度图像的处理设备，包括：多核处理器，通过将较低清晰度像素映射到较高清晰度图像的特定区域形成超清晰度图像；以及缓冲器，耦合到所述处理器以便收集所述像素的关联数据。

附图说明

图1是依照本发明的一种实施例的重装算法的流程图；

图2是依照本发明的一种实施例的梯度运算的流程图；

图3是依照本发明的一种实施例的非线性迭代共轭梯度优化的流程图；

图4是对一种实施例的系统描述。

具体实施方式

观察模型——描述场景的较低清晰度图像的形成的数学确定性方法，可用数学关系式Y＝W*f+n来表示，其中，Y是所观察较低清晰度图像的集合，且W表示较高清晰度图像f中的较高清晰度像素到Y中的较低清晰度像素的线性变换。字母n表示具有随机特性的加性噪声，它可表示例如同一相机在没有任何场景变化以及没有任何相机或照明设置变化已捕获的较低清晰度图像之间的变差(variation)或误差。基于观察模型，超清晰度图像重构对与较低清晰度图像的给定集合Y对应的较高清晰度图像f进行估计。

贝叶斯估计过程、有时被称为随机或概率的超清晰度图像重构，可用于估计f以便获得上述的合成较高清晰度图像。在该情况下，“后验”概率函数、一般为概率密度函数在数学上被定义为P(f|Y)，它是给定所观察低清晰度图像的集合Y时特定高清晰度图像f的概率。

应用称为贝叶斯法则的数学操作，寻找给定低清晰度图像的集合时具有最高概率或者使后验概率函数最大的适当高清晰度图像f的优化问题可改写为：

P(f|Y)＝p(Y|f)*p(f)，

其中，p(f)称为在任何观察之前给出特定较高清晰度图像的概率的先验概率密度函数。该先验概率密度函数基于例如不同较高清晰度图像的总体的统计特性指明哪些较高清晰度图像更有可能出现。该先验概率密度函数可为在较高清晰度图像的所有像素上定义的联合概率，并可基于来自大量图像的统计数据。

后验概率函数称为似然函数，为定义与特定较高清晰度图像对应的观察较低清晰度图像的概率的概率密度函数。似然概率密度函数可基于上述的观察模型来确定，其中一般假设噪声项具有高斯概率分布。估计过程变成迭代地确定试验较高清晰度图像与在存在收敛时停止中之一，所述收敛可表示(signify)已经达到后验概率函数的最大值。

为了定义后验概率函数的最大值，使用非线性迭代共轭梯度优化算法。该共轭梯度方法在每个搜索迭代计算后验概率函数的梯度。梯度的运算为超清晰度算法的数学最密集部分。在一般的配置中，它占用百分之80-90的最大化流程运行时间。

共轭梯度优化算法通过概率性非高斯鲁棒(robust)函数来对噪声建模。图3示出了共轭梯度方法的使用，所述共轭梯度方法为提供复杂性与收敛速度之间的可接受平衡的迭代方法。收敛的准则是ΔE低于T(菱形框48)，它测试两个成功的试验较高清晰度图像之间的后验概率函数中的误差或差别是否低于预定阈值T。一种备选是将ΔE定义为连续试验较高清晰度图像之间的差别。

共轭梯度方法计算误差函数的梯度，在该实施例中，所述误差函数具有两项，一项对应于似然概率函数而另一项对应于先验概率密度函数。似然概率函数梯度的计算(框38)涉及例如对前向及逆低清晰度图像形成过程进行建模的、包含几何扭曲(warping)、线性滤波及子采样/上采样的标准图像处理操作的应用。

为了计算似然概率密度函数，需要初始试验较高清晰度图像。这可为例如已经对准(框34)的一个或多个输入(所观察)较低清晰度图像序列(框30)的组合。接着，将该初始对准的结果与光流(opticalflow)矢量36一起用来重装数据(框38)。接着，使用初始较高清晰度图像(框40)与重装的较低清晰度数据来计算(框42)梯度。然后，在框44更新初始较高清晰度图像。目的是为了找到在输入较低清晰度图像的栅格中被重新采样时依照成像观察模型预测输入(所观察)较低清晰度图像的较高清晰度图像。

在框42计算的梯度向迭代过程指明要移动的方向，以便更靠近似然与先验概率密度函数的组合中的极值或凹点(trough)。这种沿似然与先验概率密度函数的移动带来对下一较高清晰度图像的改变或更新(框44)，它生成当前的试验较高清晰度图像。接着，将当前的试验较高清晰度图像插入到第二方程式并与阈值T进行比较(菱形框48)。如果ΔE还是太高，则重复梯度计算循环(loop)。这种对准可使用常规技术来估计。反之，如果ΔE低于T，则结束序列(框50)。

为了降低存储器管脚并改善高速缓存使用，在某些实施例中，可在运行共轭梯度优化算法之前重新布置(即重装)较低清晰度像素数据(图3，框38)。在这种重新布置中，所有低清晰度像素可映射到较高清晰度图像的某个区域，且所有相关数据可集中在连续缓冲器中。如本文所用，连续缓冲器为循环缓冲器或者没有结束的缓冲器。为了获得这种重新布置，可将图像分成区块(tile)，然后对每区块计算梯度。

在多核处理器中，不同区块用在对称多处理(SMP)的不同线程并行处理。因此，参照图1，最初，将较高清晰度图像分成相同或基本相同大小的非重叠矩形区块的集合，如框10所示。对于每个较低清晰度图像中的每个像素，确定它到较高清晰度图像的映射，如框12所示。在一种实施例中，那个较高清晰度区域可为3x3区域。接着，找到该区域中心属于的区块。然后如在框14所示，对映射到每个区块的输入较低清晰度像素进行计数，以便获得计数Nt。对于每个区块k，其中k小于区块的总数并大于或等于0，分配连续缓冲器、池[k](pool[k])，如框16所示。缓冲器的大小设为等于Nt个元素。相关较低清晰度像素的值与光流矢量一起被置于该连续缓冲器中，在所述缓冲器中对较低清晰度像素进行映射，如在框18所示。

对于较低清晰度图像中的每个像素，光流矢量为在两帧之间在该像素的二维图像平面上具有物理偏移的二维矢量。

在初始数据重组织之后，可接着使用来自图1的序列的重组织数据来对每区块计算梯度，如图2所示。梯度描述当前的较高清晰度图像离所估计较高清晰度图像有多远。在一种实施例中，图2的算法可在多核处理器中对每个区块并行执行。每个迭代在指定给线程的处理器核上独立且与其它迭代并行运行。在某些实施例中，可使用能够运行多线程的多核处理器。因此，图2中所示的每个循环，处理指定给第k区块的阵列的所有元素。该阵列的元素是光流矢量的值。

在初始化(框20)之后，Δ确定为鲁棒函数的导数与直接投影(projection)函数之间的差别(框22)。直接投影函数将较高清晰度图像投影到较低清晰度图像。它对从较高清晰度图像中的像素到较低清晰度图像中的点的映射进行建模。结果是较低清晰度图像的集合。

在每次迭代上确定后验概率函数的最大值期间，计算该函数的梯度。为了计算该梯度，确定用于估计所观察较低清晰度像素值与当前较高清晰度像素中正被估计的当前(在第k最小化步骤上)直接投影函数值之间的差异的项。

为了使异常值(outlier)的影响最小，在某些实施例中，可用鲁棒函数来查找直接投影函数的最佳光流参数。异常值为在概率密度图的密度的尾部受异常高量的噪声影响的点。

存在若干不同的鲁棒函数。一个鲁棒函数是Cauchy函数，它等于量1+X²/σ²的对数，其中σ(sigma)为已知参数。因此，鲁棒函数的导数为2*X/(σ²+X²)。接着，可通过从鲁棒函数的导数减去直接投影函数的值来计算梯度。

因此，为了计算Δ，将下一较低清晰度像素与光流矢量从区块的连续缓冲器中取出。较高清晰度图像到较低清晰度像素的直接投影使用取出的光流矢量来计算。

然后，用逆投影的Δ更新梯度，如框24所示。逆投影对从较低清晰度图像中的像素到较高清晰度图像中的像素的映射进行建模。最后，如在框26所示，将对每个区块所计算的梯度组合到一个梯度图像中。

在某些实施例中，在具有多核处理器的对称多处理计算机中可使用该布局(layout)。参照图4，依照某些实施例，图形流水线(pipeline)可包含通过总线106耦合到帧缓冲器114的图形处理器112。显示屏118通过总线107耦合到帧缓冲器114并通过总线108耦合到键盘或鼠标120。

在一种实施例中，图形处理器112可通过总线105耦合到芯片组核心逻辑110及主处理器100。在某些实施例中，图形处理器或主处理器中之一或多个可使用具有多核的对称多处理来并行计算梯度。

存储器130可耦合到芯片组核心逻辑，且存储器130可例如包含主存储器132、硬驱134以及可移动媒介136。

一种实施例中，图1、2及3中所示的序列可实现为存储在主存储器132的部分139中的机器可读指令。另外，连续缓冲器、池[k]可建立在主存储器132内。但是，在其它示例中，图1、2及3中所示的序列的缓冲与存储也可在主处理器100、另一存储器或者在图形处理器112中实现。

在某些实施例中，图1-3的序列可用软件来实现，且在其它实施例中它们可用硬件来实现。在软件实施例中，序列可由对处理器、例如在这类处理器的核中的处理器112或处理器100可执行的指令通过使用存储在计算机可读介质、例如区域139中的指令来实现。计算机可读介质可为任意计算机可读存储介质，包括磁、半导体或者光存储器。

本文所述的图形处理技术可用各种硬件结构来实现。例如，图形功能可集成到芯片组内。备选地，可使用分立图形处理器。作为另一实施例，图形功能可用包括多核处理器的通用目的处理器来实现。

本说明书中对“一种实施例”或者“实施例”的引用表示结合该实施例所述的特定特征、结构或特性被包含在被囊括在本发明内的至少一种实现中。因此，短语“一种实施例”或者“在实施例中”的出现不一定是指同一实施例。此外，特定特征、结构或特性可用不同于所述特定实施例的其它适当形式来创立，且所有此类形式可被囊括在本申请的权利要求书中。

虽然针对有限量的实施例描述了本发明，但是本领域技术人员将领会从这些实施例进行的改变或变型。旨在随附权利要求书覆盖所有落入到本发明的实质精神与范围内的改变或变型。