用于使用光学扩散器记录图像的系统、方法和介质

相关申请的交叉引用

本申请要求于2010年1月22日提交的美国临时专利申请No. 61/297,667的权益，该专利的全部内容以引用的方式并入本文。

技术领域

本公开的主题涉及使用光学扩散器记录图像的系统、方法和介 质。

背景技术

对于传统照相机，在景深（DOF）与噪声之间存在基本的折衷。 通常，照相机具有单焦平面，偏离该平面的物体由于散焦而模糊。散 焦模糊的量依赖于孔径大小和离焦平面的距离。为了降低散焦模糊并 提高DOF，必须减小孔径大小，也降低记录图像的信号强度。在很多 情况下，希望具有尽可能大的DOF，从而使得场景中的所有细节都被 保留。例如，这就是在诸如物体检测和识别的机器视觉应用中的情况， 其中希望关注的所有物体都对焦。但是，并不总是选择缩小透镜孔径， 尤其是在低光条件下，因为缩小透镜孔径会增加噪声，增加噪声又会 更大程度上影响记录的图像。

发明内容

提供用于记录场景的图像的系统、方法和介质。根据某些实施例， 提供用于记录场景的图像的系统，该系统包括：扩散器，其扩散表示 场景的光，并且具有与孔径坐标无关的散射函数；传感器，其接收表 示场景的扩散光并产生表示图像的数据；以及硬件处理器，其使用点 扩散函数来将图像去模糊。

根据某些实施例，提供用于记录场景的图像的方法，该方法包括： 使用具有与孔径坐标无关的散射函数的扩散器来扩散表示场景的光； 接收表示场景的扩散光并产生表示图像的数据；以及使用点扩散函数 来将图像去模糊。

附图说明

图1是根据某些实施例的用于记录图像的机构的示图。

图2是根据某些实施例的两个图像的组合，其中一个图像不使用 扩散器（a），一个图像使用扩散器（b）。

图3是根据某些实施例的透镜和传感器的示图。

图4是根据某些实施例的透镜、扩散器和传感器的示图。

图5是示出根据某些实施例的传感器上的光场（light field）的 示图。

图6是根据某些实施例的光线和光线的散射的示图。

图7是根据某些实施例的点扩散函数与调制传递函数的曲线图 对的组合。

图8是根据某些实施例的包含楔形物（a）和随机变化表面的光 学系统的示图。

图9是根据某些实施例的扩散器分布（a）、扩散器高度图（b）、 扩散器散射PDF（c）和扩散器（d）的示图的组合。

具体实施方式

提供用于使用光学扩散器记录图像的系统、方法和介质。

转到图1，示出了被用来捕获包括三个物体A 104、B 106和C 108 的图像记录机构102（例如，照相机、摄像机、含有照相机的移动电 话，和/或任何其它合适的图像记录机构）的图示。可以看出，这些物 体相对于该机构102在不同的深度处。由于机构102的景深的限制， 所以，当机构102聚焦在物体B 106上时，物体A 104和C 108可能 会离焦。例如，这些物体可以是在图2中示出的玩具。如图2（a）所 示，当照相机聚焦在中间的物体（其可以对应于图1中的物体B 106） 时，其它物体可能会离焦。但是，通过使用本文中描述的机构，可以 记录这些物体的图像，从而使得它们如图2（b）所示看起来是对焦的。 这可以被称为具有扩展景深的机构102。

根据某些实施例，扩展景深可以通过将扩散器110或120并入图 像记录机构102来实现。使用在图像记录机构的光瞳面中的扩散器来 记录图像可以被称为扩散编码。这样的扩散器可以位于图像记录机构 中的任何合适的点。例如，扩散器110可以被置于光源（例如，物体 104、106和108）与透镜114（例如，作为透镜附件）之间，扩散器 112可以被置于透镜114与传感器116（例如，作为透镜或照相机主 体的一部分）之间，等等。

然后，扩散编码图像可以由传感器116检测，随后被提供给硬件 处理器118（并入机构102中）和/或硬件处理器120（在机构102外 部）以便后续处理。该处理可以包括使用与扩散器的PSF匹配的PSF 来使感测图像去模糊。可以额外地或可选地使用任何其它合适的处 理。在这样的处理后，扩展景深图像可以被呈现在显示器124（在机 构102内部）和/或显示器122（在机构102外部）上。

为了说明使用扩散器怎样可以记录这样的图像，现在描述某些实 施例的光学部件。

如图3所示，光场可以被用来表示从具有有效焦距（EFL） f的理想透镜传播到传感器的四维光线集。矢量可以被用来 表示在与透镜的出瞳一致的u-v平面上的坐标，并且矢量可 以被用来表示在与传感器一致的x-y平面上的坐标。在传感器上观测 到的辐照度（irradiance）可以被定义为在全部光线角之上积分 的光场：

$E\left(\bar{x}\right)=\underset{{\Omega }_{\bar{u}}}{\int }L(\bar{u},\bar{x})d\bar{u},---\left(1\right)$

其中，是的域。对于具有平滑深度变化的场景，局部上，捕获 的图像可以被建模为深度依赖PSF核与全对焦图像之 间的卷积。

如下面进一步所述的，根据某些实施例，照相机PSF可以被整 形，从而使得可以通过用单PSF进行去模糊来从捕获的图像 恢复图像可以通过考虑由单位能量点源产生的图像来分析 照相机PSF的深度依赖性。例如，如图3所示，考虑这样的点源，其 图像在离透镜的孔径的距离为d₀处聚焦。假定宽度A的矩形孔径， 由该点产生的光场可以被表示为：

其中，s₀＝(d₀-f)/d是光场空间中的散焦斜率（defocus slope），是 盒子函数（box function）。

该点的图像是在深度d₀处的照相机PSF，该照相机PSF是具有散焦 模糊宽度s₀A的盒子状PSF：

接下来可以分析一般核（general kernel）D应用到光场L的效 果，该效果表示置于照相机透镜的孔径中的扩散器的效果。该核可以 产生新的滤波光场根据该滤波光场可以推导得到改变后的PSF

$\hat{L}(\bar{u},\bar{x})=\underset{{\Omega }_{{\bar{u}}^{\prime }}}{\int }\underset{{\Omega }_{{\bar{x}}^{\prime }}}{\int }D(\bar{u},{\bar{u}}^{\prime },\bar{x},{\bar{x}}^{\prime })L({\bar{u}}^{\prime },{\bar{x}}^{\prime })d{\bar{u}}^{\prime }d{\bar{x}}^{\prime },---\left(5\right)$

$\hat{P}\left(\bar{x}\right)=\underset{{\Omega }_{\bar{u}}}{\int }\hat{L}(\bar{u},\bar{x})d\bar{u},---\left(6\right)$

其中，是的域。该方法允许表达应用到光场上的大类的运算。 例如，考虑下面形式的核：

请注意，这里的D采取在域中具有有限支持的可分离卷积核 的形式。该核的几何意义可以如图4中示出地图示。如图所示，光场 中的每一条光线都被模糊，从而每一条光线不是在单一位置处穿过传 感器，而是贡献于宽度w的正方形。为了理解扩散器的效果，可以把 没有采用扩散器而捕获的图像E与采用扩散器而捕获的图像进行 比较。对于该扩散器核，将公式7代入公式5和6得到：

其中表示卷积。修改后的PSF可以是使用盒子函数进行模糊的照相 机PSF。因此，扩散器的效果是模糊如果其不存在而将会捕获的图像。 但是，由公式7中的核给出的扩散器对于扩展景深可能不是有用的， 这是由于扩散器不提高深度独立性或保持照相机PSF中的高频。

通常，放置在孔径中的任何扩散器的核都可以被表示为：

$D(\bar{u},{\bar{u}}^{\prime },\bar{x},{\bar{x}}^{\prime })=\delta (\bar{u}-{\bar{u}}^{\prime })k(\bar{u},\bar{x}-{\bar{x}}^{\prime }),---\left(9\right)$

其中，k称为散射函数。可以看出，该扩散器在域中没有效果，但 是在域中具有卷积的效果。对于由公式7给出的扩散器，散射函数 可以被表示为二维盒子函数：

通过使用关系u＝ρcosφ，v＝ρsinφ，x＝rcosθ，和y＝rsinθ将矩形坐 标(u，v，x，y)转换为极坐标(ρ，Φ，r，θ)，可以考虑其中ρ,r∈(-∞,∞) 且θ,φ∈(0,π)的极坐标系和具有直径A的圆形孔径。在该系统中，表 示位于距离d₀处的单位能量点源的光场可以被写为：

其与θ和φ无关，因为该源是各向同性的。请注意，验证单位能量可 以通过在极坐标中对L_δ(ρ，r)进行积分而轻易地实现。比较在公式2 和公式10中的点源的光场的参数化，可以看出，的片段表示 单条光线，而片段L(ρ，r)表示2D光线集。在径向对称的参数化中， 光场的片段表示将在孔径平面中具有半径ρ的圆连接到传感器上的 半径r的圆的圆锥表面（参见图5）。

径向对称的扩散器产生与公式7给出的扩散器截然不同的效果。 当引入对称的扩散器时，扩散器和透镜都没有无关地偏转光线，因此 扩散器核和改变后的光场可以使用简化的坐标(ρ,r)来表示。然后，公 式5和公式6变为：

$\hat{L}(\rho ,r)={\pi }^2\underset{{\Omega }_{\rho }}{\int }\underset{{\Omega }_r}{\int }D(\rho ,{\rho }^{\prime },r,r^{\prime })L({\rho }^{\prime },r)\left|{\rho }^{\prime }\right|d{\rho }^{\prime }\left|r^{\prime }\right|d{r}^{\prime },---\left(11\right)$

$E\left(r\right)=\pi \underset{{\Omega }_{\rho }}{\int }\hat{L}(\rho ,r)\left|\rho \right|\mathrm{d\rho },---\left(12\right)$

并且扩散器核的一般形式变为：

$D(\rho ,{\rho }^{\prime },r,r^{\prime })=\frac{\delta (\rho -{\rho }^{\prime })}{\pi \left|{\rho }^{\prime }\right|}\frac{k(r-r^{\prime },\rho )}{\pi \left|r\right|}---\left(13\right)$

与用于公式7中的扩散器核的相同的盒状散射函数可以被用于 公式13：

但是，该扩散器的物理解释与之前的扩散器不同。对于之前的扩散器， 光场中的每一条光线都被散射，从而使得其横过传感器上的正方形扩 展。但是，公式14中的散射函数的效果如图6所示。如图所示，在 没有扩散器的情况下，来自孔径平面中的宽度dρ且半径ρ的圆环的光 投射到传感器上的宽度dr且半径r的圆环上。公式14中的散射函数 的效果是扩展入射到传感器上的光，使得其反而产生宽度w的圆环。

如图6中的体积602所示出的，在极坐标中，光线可以是小的环 形部分，该环形部分从孔径平面传播到传感器平面。用来沿宽度w的 径向线散射光线的扩散器的效果可以通过体积604来图示。

为了明显的方便，在这里可以使用盒状散射函数，但是，对于扩 展DOF成像，高斯（Gaussian）散射函数（例如，如图9（c）所示） 会更好。由该扩散器核和PSF进行滤光的点源的光场可以被示出为：

由于来自括号中的项的贡献，该PSF的分析解是分段函数，括 号中的项是两个矩形函数（rect function）（一个用|r|加权）之间的卷 积。请注意，随着散射宽度w减小为零，第一矩形（与1/w组合）接 近Δ函数（delta function），并且结果为药丸盒形（pillbox-shaped） 散焦PSF。此外，请注意，如果使用具有不同散射函数的不同扩散器， 那么第一矩形简单地由新的散射函数来替代。但是，卷积项远不如比 1/|r|项重要，1/|r|项的效果是主要的，从而导致在仍然维持强峰值并保 持高频的同时可以与深度强烈无关的PSF。

如图6所示，入射在宽度δr且半径r的小环形区域上的光是从孔 径中的圆环发射出的，并且其能量可以与ρ成比例或者等同于r/s₀。 这解释了在公式16的括号中的项内的|r|乘子的存在。括号中的该项说 明，如图6右手侧所示，在药丸盒形散焦PSF圆环中的能量通过扩散 器沿着宽度w的径向线均匀地扩展。在公式16中的1/|r|项可以归因 于这样的事实：光越靠近PSF中的心散射，其能量密度越大。

图7示出若干个具有（714、716、718、720、722、724、726和 728）由公式16给出的扩散器和不具有（715、717、719、721、723、 725、727和729）由公式16给出的扩散器的照相机的PSF 702和调 制传递函数（MTF）704的曲线图对。散焦模糊直径s₀A在0像素706、 25像素708、50像素710与100像素712之间变化。公式14的散射 函数是高斯的，而不是盒子函数，并且扩散器参数w（高斯的变量） 被选择为使得w=100像素。请注意，当存在扩散器时，对于PSF或 MTF深度几乎没有改变。扩散器的引入还消除了MTF中的过零点 （zero crossing）。对于较小的散焦值，扩散器抑制MTF中的高频。 但是，由于扩散器MTF不随深度显著地变化，因此可以通过反卷积 来恢复高频。

根据某些实施例，可以使用“开诺全息（Kinoform）”型的扩 散器（如Caufield，H.J.，“Kinoform Diffusers”In SPIE Conference  Series，vol.25，p.111，1971所描述的，其全部内容以引用的方式并 入本文），其中，散射效应完全通过表面上的粗糙度变化所导致。这 样的扩散器可以被认为是随机的相位屏幕，并且根据统计光学，对于 具有有效焦距f和中心波长的照相机，将该屏幕置于照相机的孔径 中的效果可以导致如下：

$\hat{P}(x,y)\propto p_{{\phi }_u,{\phi }_v}(\frac{x}{\bar{\lambda }k},\frac{y}{\bar{\lambda }k}),---\left(18\right)$

其中，φ_u和φ_v是由表面引起的相移的导数，并且p_φx,φy是这些导数的 联合概率。公式18的结果是通过创建具有厚度t(u,v)的光学元件可以 实现扩散器，其中该平面的梯度是从也是期望的PSF的概率 分布采样的。直观地，该公式可以被理解如下：p_φu,φy表示具有斜率 (φ_u,φ_y)的表面t(u,v)的部分。对于小角度，由于斜率在该区域之上是不 变的，因此所有入射到该表面的该部分上的入射光线将以相同的角度 被偏转。因此，量p_φu,φv也反映了将由斜率(φ_x,φ_y)偏转的光的部分。

开诺全息扩散器具有随机变化的表面，该表面具有如图8（b） 所示的斜率的一般概率分布。开诺全息扩散器可以被认为是广义相位 片。例如，如图8（a）所示的具有厚度的常规确定相位片还 可以被认为具有从概率函数p(φ_u)得出的斜率，该概率函数p(φ_u)为Δ 函数。将该相位片置于照相机的光瞳面中的结果是使PSF偏移，该 PSF可以被认为是ρ(φ_u)与PSF的卷积。

为了实现在公式14中定义的扩散器，扩散器表面可以作为二次 元件的序列来实现，其直径和垂度从如Sales,T.R.M.,“Structured  microlens arrays for beam shaping”,Optical Engineering 42,11,pp. 3084-3085,2003（其文献的全部内容通过引用的方式并入本文）中描 述的随机分布得到。该扩散器的散射函数可以被设计为大致上是如图 9（c）所示的具有0.5mm方差（variance）（对应于公式16中的w=1 mm）的高斯的。为了创建径向对称的扩散器，可以创建一维随机分 布（profile），然后应用极性变换，以创建二维表面（例如，参见图 9（a）和图9（b））。

在某些实施例中，扩散器可以使用激光蚀刻来制造。

在某些实施例中，扩散器表面的最大高度可以是3μm，并且可 以使用具有大约10μm的最小光斑尺寸的激光加工技术来制造扩散 器。为了确保扩散器中的每一个二次元件都高精度地制造，单个元件 的最小直径可以被选择为200μm，从而导致具有42个不同的环形部 分的扩散器。

任何适合的硬件都可以被用来实现根据某些实施例的机构102。 例如，来自Canon U.S.A.，Inc.的Cannon EOS 450D传感器可以被用 作传感器116，由RPC Photonics of Rochester，N.Y.在一片适合的光 学玻璃中激光蚀刻的22mm直径扩散器（例如，如图9（d）所示） 可以被用作扩散器110或112，并且来自Canon U.S.A.，Inc.的50mm f/1.8透镜可以被用作透镜114。作为另一个例子，透镜114可以具有 任何焦距并且由折射光学器件、反射光学器件，或者两者构成。例如， 3048mm焦距Meade LX200望远镜（可以得到）可以被用于某些实 施例中。

根据某些实施例，可以执行任何适合的处理以使穿过透镜和扩散 器（以任意顺序）后入射在照相机传感器的图像去模糊。例如，在中 心深度处用PSF的Wiener去卷积可以用于使感测的图像去模糊。可 以使用任何适合的额外的或可替换的对图像的处理。例如，扩散编码 图像的额外去模糊可以使用如Dabov,K.,Foi,A.,Katkovnik,V.,和 Egiazarian,K.,“Image restoration by sparse 3D transform-domain  collaborative filtering”，In SPIE Conference Series,vol. 6812,681207,2008（其全部内容以引用的方式并入本文）中描述的 BM3D去模糊算法来执行。在某些实施例中，BM3D去模糊算法在 抑制由去模糊处理放大的噪声之前，强制执行分段平滑。

任何适合的硬件处理器，诸如：微处理器、数字信号处理器、专 用计算机（其可以包含：微处理器、数字信号处理器、控制器等、存 储器、通信接口、显示控制器、输入装置等）、适当地编程的通用计 算机（其可以包含：微处理器、数字信号处理器、控制器等、存储器、 通信接口、显示控制器、输入装置等）、服务器、可编程门阵列等， 可以被用来使由传感器捕获的图像去模糊。任何适合的硬件都可以被 用来将图像从传感器传递到处理器。于是，任何适合的显示器、存储 装置或打印机可以被用来显示、存储或打印去模糊图像。

在某些实施例中，任何适合的计算机可读存储器都可以被用于存 储用于执行在本文中所描述的处理的指令。例如，在某些实施例中， 计算机可读存储器可以是暂态或非暂态的。例如，非暂态计算机可读 介质可以包括这样的介质：诸如，磁介质（诸如硬盘、软盘等）、光 学介质（诸如压缩盘、数字视频盘、蓝光盘等）、半导体介质（诸如 闪存、电可编程只读存储器（EPROM）、电可擦除可编程只读存储 器（EEPROM）等等）、在发送期间不消磨任何持久性外观或缺乏任 何持久性外观的任何适合的介质，和/或任何适合的有形的介质。作为 另一个例子，暂态计算机可读介质可以包括网络上的信号、导线中的 信号、导体、光纤、电路、在发送期间不消磨任何持久性外观或缺乏 任何持久性外观的任何适合的介质，和/或任何适合的有形的介质。

尽管已经在前述示例性实施例中描述并说明了本发明，但是这样 理解，本公开仅仅是通过举例的方式来进行的，并且，在不脱离仅由 下面的权利要求所限定的本发明的精神和范围的情况下，可以对本发 明的实施方式的细节进行大量的改变。公开的实施例的特征可以以各 种方式来组合和重新布置。