使用第二相机来调节第一相机的设置

技术领域

通常，成像可以指以数字格式和/或胶片格式(例如，以照片和/或运动视 频)来捕获和表现真实世界环境的色彩和亮度特性。存在有大量不同的图像 捕获设备，因此为消费者提供了用于捕获图像数据的多种方式。

背景技术

随着诸如相机的图像捕获设备变得更加普及，这样的设备可以被用作单 独的硬件设备，或者可以被集成到各种其他类型的设备中。例如，静态相机 和视频相机现在常规地被包括在无线通信设备(例如，移动电话)、平板式计 算机、膝上型计算机、视频游戏接口、家用自动化设备以及甚至汽车和其他 类型的车辆中。

发明内容

一些数字相机系统不包括用于诸如自动曝光和自动对焦的自动化功能的 单独的传感器系统，并且因此使用被用于图像捕获的同一传感器系统来提供 这样的功能。因此，这样的自动化功能可以导致例如曝光设置快速地改变的 部分和/或视频失焦的视频部分。因此，示例实施例可以包括被定向在相同的 方向上的两个或更多个相机系统，使得在第一相机正在捕获图像数据的同时 第二相机可以提供这样的自动化功能。这样的多相机配置可以帮助防止在设 备同时地使用同一图像传感器用于图像捕获和自动化图像设置调节处理时生 成的不期望的效果中的一些。

在一个方面中，方法涉及：(a)通过计算设备来操作第一图像捕获系统 以捕获场景的第一图像数据，其中，第一图像捕获系统初始地使用用于第一 图像设置的第一值来捕获第一图像数据；以及(b)当第一图像捕获系统正在 捕获第一图像数据时：(i)通过计算设备来操作第二图像捕获系统以确定用 于第一图像设置的更新后的值，其中，第一图像捕获系统和第二图像捕获系 统被布置在给定设备上并且被定向在基本上相同的方向上；以及(ii)将指示 使用用于第一图像设置的更新后的值来继续捕获第一图像数据的指令发送到 第一图像捕获系统。

在另一个方面中，系统包括：控制系统；以及两个或更多个图像捕获系 统，至少包括第一图像捕获系统和第二图像捕获系统，其中，第一图像捕获 系统和第二图像捕获系统被定向在基本上相同的方向中。控制系统被配置为： (a)初始地操作第一图像捕获系统以使用用于第一图像设置的第一值来捕获 第一图像数据；以及(b)在第一图像捕获系统正在捕获第一图像数据的同时： (i)操作第二图像捕获系统以确定用于第一图像设置的更新后的值；以及(ii) 使得第一图像捕获系统使用用于第一图像设置的更新后的图像值来继续捕获 第一图像数据。

在另一个方面中，非暂态计算机可读介质在其中存储有指令，该指令通 过计算设备可执行以使得计算设备执行功能，该功能包括：(a)操作第一图 像捕获系统以捕获场景的第一图像数据，其中，第一图像捕获系统初始地使 用用于第一图像设置的第一值以捕获第一图像数据；以及(b)在第一图像捕 获系统正在捕获第一图像数据的同时：(i)操作第二图像捕获系统以确定用 于第一图像设置的更新后的值，其中，第一图像捕获系统和第二图像捕获系 统被布置在给定设备上并且被定向在基本上相同的方向上；以及(ii)将指示 使用用于第一图像设置的更新后的值来继续捕获第一图像数据的指令发送到 第一图像捕获系统。

在又一个方面中，系统可以包括：(a)用于操作第一图像捕获系统以捕 获场景的第一图像数据的装置，其中，第一图像捕获系统初始地使用用于第 一图像设置的第一值来捕获第一图像数据；以及(b)用于在第一图像捕获系 统正在捕获第一图像数据的同时进行下述的装置：(i)操作第二图像捕获系 统以确定用于第一图像设置的更新后的值，其中，第一图像捕获系统和第二 图像捕获系统被布置在给定设备上并且被定向在基本上相同的方向上；以及 (ii)将指示使用用于第一图像设置的更新后的值来继续捕获第一图像数据的 指令发送到第一图像捕获系统。

通过适当地参考附图来阅读下面详细的说明书，这些以及其他方面、优 点和替选对于本领域普通技术人员将变得明显。此外，应当理解，在此发明 内容部分和在此文档的其他部分中所提供的描述旨在通过示例的方式而不是 通过限制的方式来示出所要求保护的主题。

附图说明

图1A描绘了根据示例实施例的数字相机设备的正视图、右侧视图和后 视图。

图1B示出了根据示例实施例的、具有被定向为在相同的方向上的四个 相机的布置的数字相机设备。

图1C示出了根据示例实施例的、具有被定向为在相同的方向上的四个 相机的布置的另一个数字相机设备。

图1D示出了根据示例实施例的、具有被定向为在相同的方向上的六个 相机的布置的数字相机设备

图2是示出了示例计算设备的一些组件的简化框图。

图3描绘了根据示例实施例的流程图。

图4A描绘了根据示例实施例来从一个或更多个捕获的图像创建直方图。

图4B描绘了根据示例实施例来训练图像数据库。

图5描绘了根据示例实施例的用于捕获图像的有效载荷突发(burst)结 构。

图6描绘了根据示例实施例的流程图。

图7描绘了根据示例实施例的另一个流程图。

图8A描绘了根据示例实施例的分裂paxel下采样。

图8B也描绘了根据示例实施例的分裂paxel下采样。

图8C描绘了根据示例实施例来从一个或更多个捕获的图像创建直方图。

图9描绘了根据示例实施例的又一个流程图。

图10A至图10C描绘了根据示例实施例的额外的流程图。

具体实施方式

I.概述

诸如高端DSLR相机的一些数字相机包括提供诸如自动对焦、自动曝光 以及自动白平衡的自动化功能的单独的专用组件。这些组件例如可以调节对 焦和/或曝光，而对由相机的传感器所捕获的图像数据(例如，视频)不具有 可察觉的影响。例如，许多SLR相机利用通过镜头(through-the-lens)光学 AF传感器用于自动对焦，以及利用单独的传感器阵列用于光测定。

诸如经常被用于移动电话和平板式设备中的较不昂贵的相机的其他数字 相机系统不包括用于这样的自动化功能的单独的组件。因此，这样的相机系 统可以迭代地调节设置并且分析生成的图像数据以执行自动对焦和其他自动 化功能。这种类型的自动化功能通常可以被称为“实验和调节(experimentand adjust)”功能。作为示例，在移动电话相机中，自动对焦可以涉及相机反复 地调节对焦设置、捕获图像数据以及分析捕获的图像数据，直到期望的对象 被确定为聚焦为止。该特定类型的迭代实验和调节功能可以被称为“对焦搜 寻(hunting)”。

当在记录视频的同时用户移动了移动电话相机时，到相机的视场中的(一 个或多个)对象的(一个或多个)距离可能改变，并且对焦搜寻可能发生。 虽然对焦搜寻可以相当快速地执行，但是在对焦搜寻期间所记录的视频的片 段可能可察觉地失焦。因此，示例实施例可以帮助提供在在移动电话和其他 这样的应用中可以使用的自动对焦和/或其他自动化调节功能，而不具有对焦 搜寻的缺点。

具体地，示例设备可以包括被定向在相同方向上的两个或更多个相机系 统。这样地被配置的相机系统中的一个或更多个可以执行一个或更多个自动 化实验和调节处理，以确定用于正被用于捕获图像数据的另一个相机系统的 一个或更多个图像捕获设置。这可以防止当设备同时地使用同一图像传感器 用于图像捕获和自动化实验和调节功能时可能导致的一些不期望的影响。此 外，使用用于实验和调节处理的单独的相机系统可以改进这样的处理的结果， 因为实验不受采用同一图像传感器来捕获图像数据的需要所约束。

例如，考虑到包括两个相机系统的移动电话的情况，该情况对于立体成 像的目的变为更加普通。如果移动电话不使用两个相机用于立体成像，则移 动电话可以采用第一相机来记录视频，而同时使用第二相机用于自动对焦。 这样，基于采用第二相机正在执行的自动对焦处理的结果，在记录中第一相 机的对焦设置可以被调节。此外，因为关于对焦搜寻对于生成的视频的影响 不存在担忧，所以与另外地可能被测试的设置相比，第二相机系统可以测试 更宽范围的设置和/或测试更大数量的设置。这些扩展的测试能力可以改进通 过自动对焦处理所实现的结果。

这里，“相机系统”可以采取下述形式：相机、相机内的系统、可通信地 耦接到相机的单独的系统、或者相机与一个或更多个其他系统的组合。此外， 为了简明，这里所描述的示例可以向“相机”或“相机设备”赋予特定的功 能和/或特性。应当理解，在很多情况中，被赋予相机或相机设备的功能和/ 或特性可以同样地被赋予相机系统，甚至当这未被明确地陈述时也如此。

II.示意性的系统

图像捕获设备的物理组件可以包括：光通过其进入的光圈；用于捕获由 光所表示的图像的记录表面；以及被定位在光圈前面以将图像的至少一部分 对焦在记录表面上的镜头。光圈可以是固定的大小或者可调节。在模拟相机 中，记录表面可以是摄影胶片。在数字相机中，记录表面可以包括电子图像 传感器(例如，电耦合器件(CCD)或互补金属氧化物半导体(CMOS)传 感器)以将所捕获的图像传递和/或存储在数据存储单元(例如，存储器)中。

快门可以耦接到镜头或记录表面，或者可以耦接在镜头或记录表面附近。 快门可以处于关闭位置，在该位置中其阻挡光到达记录表面；或处于打开位 置，在该位置中光被允许到达记录表面。快门的位置可以由快门按钮控制。 例如，快门可以默认地处于关闭位置。当快门按钮被触发(例如，被按下) 时，快门可以从关闭位置改变到打开位置达被称为快门周期的一时间段。在 快门周期期间，图像可以被捕获在记录表面上。在快门周期结束时，快门可 以改变回到关闭位置。

可替换地，快门处理可以是电子的。例如，在CCD图像传感器的电子快 门“打开”之前，传感器可以被重置以去除在其光电二极管中的任何残留信 号。当电子快门保持打开时，光电二极管可以积累电荷。当快门关闭时或当 快门关闭之后，这些电荷可以被转移到长期数据存储装置。机械快门和电子 快门的组合也是可能的。

与类型无关，快门可以通过快门按钮之外的一些来激活和/或控制。例如， 快门可以通过软键、定时器或一些其他触发器来激活。这里，术语“图像捕 获”可以指导致一个或多个照片被记录的任何机械和/或电子快门处理，而与 如何触发或控制快门处理无关。

A.具有多图像捕获系统的设备

如之前所注意到地，数字相机可以是单独的设备或者可以与其他设备集 成。作为示例，图1A示出了数字相机设备100的正面要素(factor)。数字相 机设备100可以是例如移动电话、平板式计算机或可穿戴计算设备。然而， 其他实施例是可能的。数字相机设备100可以包括各种元件，诸如主体102、 前置相机104、多元显示器106、快门按钮108以及其他按钮110。数字相机 设备100可以进一步包括两个后置相机112A和112B。前置相机104可以被 定位在主体102在操作中时通常面对用户的一侧上，或被定位在与多元显示 器106的相同侧上。后置相机112A和112B可以被定位在主体102的与前置 相机104相对的一侧上。将相机称为前置的或后置的是任意的，并且数字相 机设备100可以包括被定位在主体102的各侧上的多个相机。

后置相机112A和112B的镜头被布置在数字相机设备100的背面的上角 上，并且被定向在基本上相同的方向上。然而，应当理解，其他多相机布置 是可能的。具体地，均被定向在基本上相同的方向上的两个或更多个相机的 镜头可以被布置在电话的表面上的不同的构成中。例如，这里关于图1B至图 1D描述了若干其他多相机布置。

具体地，图1B示出了具有被定向在相同的方向上的四个相机122A至 122D的布置的移动设备120，四个相机122A至122D包括在移动设备的上角 上的两个相机122A和122B(类似于图1A)，和位于移动设备120的下角处 的两个额外的相机122C和122D。此外，图1C示出了具有被定向在相同方 向上的四个相机的另一个布置。具体地，图1C中的布置包括在设备140的每 个角中的一个相机144A至144D。

又进一步地，图1D示出了具有面向相同的方向的六个相机166A至166F 的布置。在图1D中，六个相机166A至166F以较不结构化的“组织(organic)” 布置被放置在移动设备160的背面上。注意，具有三个或更多个相机的布置 可以在不同的相机对之间提供多个基线。例如，诸如图1D中所示的六相机 布置可以例如针对立体成像来提供高达15个不同的基线。更一般地，被定向 在基本上相同的方向上的n个相机的布置可以提供高达C(n，k)个基线。

此外设想到，多相机布置可以包括比两个更多的相机。另外，多相机布 置中的镜头可以关于在其上布置有镜头的表面以不同的角度被定向。又进一 步地，应当理解，多相机布置可以被实施在数字相机设备的其他侧上。关于 在附图中所示的多相机布置的其他变型也是可能的。

多元显示器106可以代表阴极射线管(CRT)显示器、发光二极管(LED) 显示器、液晶显示器(LCD)、等离子体显示器或本领域中已知的任何其他类 型的显示器。在一些实施例中，多元显示器106可以显示由前置相机104和/ 或后置相机112A和112B中的一个或两个正在捕获的当前图像、或者由这些 相机中的任何一个或任何组合能够捕获的或最近捕获的图像的数字表示。因 此，多元显示器106可以用作任一相机的取景器。多元显示器106还可以支 持触摸屏幕和/或压敏功能，其可能能够调节数字相机设备100的任何方面的 设置和/或配置。

前置相机104可以包括图像传感器和诸如镜头的相关联的光学元件。前 置相机104可以提供变焦能力或可以具有固定的焦距。在其他实施例中，可 互换的镜头可以与前置相机104一起使用。前置相机104可以具有可变机械 光圈以及机械和/或电子快门。前置相机104还可以被配置为捕获静态图像、 视频图像或两者。此外，前置相机104可以代表单视点的、立体的或多视点 的相机。后置相机112A和112B可以相似地或不同地被布置。额外地，前置 相机104、后置相机112A和112B或这些相机的任何组合可以实际上是一个 或多个相机的阵列(或将光引导到通用图像传感器上的镜头的阵列)。

前置相机104和后置相机112A和112B中的任何一个或任何组合可以包 括照明组件或与照明组件相关联，该照明组件提供光场以照亮目标物体。例 如，照明组件可以提供对目标物体的闪光或恒定照明。照明组件还可以被配 置为提供包括结构光、偏振光以及具有特定光谱含量的光中的一个或多个的 光场。在这里的实施例的上下文中，已知的并且被用于恢复来自物体的三维 (3D)模型的其他类型的光场是可能的。

前置相机104和后置相机112A和112B中的任何一个或任何组合可以包 括环境光传感器或与环境光传感器相关联，该环境光传感器可以连续地或者 间或地确定相机可以捕获的场景的环境亮度。在一些设备中，环境光传感器 可以被用于调节与相机相关联的显示器(例如，取景器)的显示亮度。当所 确定的环境光亮度高时，屏幕的亮度等级可以被增加以使得屏幕更容易查看。 当所确定的环境光亮度低时，屏幕的亮度等级可以被降低，同样以使得屏幕 更容易查看以及潜在地节省电力。额外地，环境光传感器的输入可以被用于 确定相关联的相机的曝光设置，或在此确定中有帮助。

数字相机设备100可以被配置为使用多元显示器106和任意前置相机 104或后置相机112A和112B中的一个或两个来捕获目标物体的图像。所捕 获的图像可以是多个静态图像或视频流。图像捕获可以通过激活快门按钮108、 按下多元显示器106上的软键或通过一些其他机制来触发。依赖于实施方式， 图像可以以特定的时间间隔自动地被捕获，例如在按下快门按钮108时、在 目标物体的合适的光照条件时、在将数字相机设备100移动特定的距离时或 者根据预先确定的捕获安排(schedule)。

B.示意性的设备组件

如以上所注意到地，数字相机设备100——或另外的类型的数字相机 ——的功能可以集成到计算设备中，或可以采取计算设备的形式，诸如移动 电话、平板式计算机、膝上型计算机等。出于示例的目的，图2是示出可以 包括相机组件224的示例计算设备200的一些组件的简化框图。相机组件224 可以包括多个相机，诸如相机112A和112B。

通过示例而非限制的方式，计算设备200可以是蜂窝移动电话(例如， 智能电话)、静态相机、视频相机、传真机、计算机(诸如桌面型、笔记本型、 平板式或手持式计算机)、个人数字助理(PDA)、家用自动组件、数字视频 记录器(DVR)、数字电视机、远程控制器、可穿戴计算设备或配备有至少一 些图像捕获和/或图像处理能力的一些其他类型的设备。应当理解，计算设备 200可以代表诸如数字相机的物理相机设备、在其上相机应用以软件进行操 作的特定的物理硬件平台、或者被配置为执行相机功能的硬件或软件的其他 组合。

如图2中所示，计算设备200可以包括通信接口202、用户接口204、处 理器206、数据存储装置208以及相机组件224，所有这些可以通过系统总线、 网络或其他连接机制210可通信地链接在一起。

通信接口202可以运作为允许计算设备200使用模拟或数字调制来与其 他设备、接入网络和/或传输网络进行通信。因此，通信接口202可以促进电 路交换和/或分组交换网络通信，诸如传统电话服务(POTS)通信和/或因特 网协议(IP)或其他分组化通信。例如，通信接口202可以包括针对与无线 接入网络或接入点的无线通信所布置的芯片集和天线。另外，通信接口202 可以采取线道(wireline)接口的形式或包括线道接口，线道接口诸如以太网、 通用串行总线(USB)或高清晰度多媒体接口(HDMI)端口。通信接口202 还可以采取无线接口的形式或包括无线接口，无线接口诸如Wifi、全球定位系统(GPS)或广域无线接口(例如，WiMAX或3GPP长期演进 (LTE))。然而，其他形式的物理层接口和其他类型的标准或专有的通信协 议可以被用于通信接口202上。此外，通信接口202可以包括多个物理通信 接口(例如，Wifi接口、接口和广域无线接口)。

用户接口204可以运作为允许计算设备200与人类或非人类用户交互， 诸如接收来自用户的输入并且向用户提供输出。因此，用户接口204可以包 括输入组件，诸如键区、键盘、触摸敏感或压敏面板、计算机鼠标、轨迹球、 操纵杆、麦克风等。用户接口204还可以包括一个或更多个输出组件，诸如 例如可以与压敏面板组合的显示屏。显示屏可以是基于CRT、LCD和/或LED 的技术，或者现在已知的或稍后开发的其他技术。用户接口204还可以被配 置为经由扬声器、扬声器插口、音频输出端口、音频输出设备和/或其他类似 的设备来生成(一个或多个)听觉输出。

在一些实施例中，用户接口204可以包括用作由计算设备200所支持的 静态相机和/或视频相机功能的取景器的显示器。额外地，用户接口204可以 包括一个或更多个按钮、开关、旋钮和/或拨盘，其促进相机功能的配置和对 焦以及图像的捕获(例如，捕获图片)。这些按钮、开关、旋钮和/或拨盘中 的一些或所有被实施为压敏面板上的功能可能是可以的。

处理器206可以包括一个或更多个通用处理器——例如，微处理器—— 和/或一个或更多个专用处理器——例如，数字信号处理器(DSP)、图形处理 单元(GPU)、浮点单元(FPU)、网络处理器或专用集成电路(ASIC)。在一 些实例中，专用处理器可能能够进行图像处理、图像对准和融合图像以及其 他能力。数据存储装置208可以包括一个或更多个易失性和/或非易失性存储 组件，诸如磁、光、闪存或有机存储装置，并且可以整体地或部分地与处理 器206集成。数据存储装置208可以包括可移除和/或不可移除组件。

处理器206可能能够执行在数据存储装置208中所存储的程序指令218 (例如，编译的或未编译的程序逻辑和/或机器代码)以执行这里所描述的各 种功能。因此，数据存储装置208可以包括其上存储有程序指令的非暂态计 算机可读介质，该程序指令当被计算设备200执行时，使得计算设备200执 行在本说明书和/或附图中所公开的方法、处理或功能中的任一个。由处理器 206进行的程序指令218的执行可以导致处理器206使用数据212。

通过示例的方式，程序指令218可以包括安装在计算设备200上的操作 系统222(例如，操作系统核心、一个或多个设备(驱动器)、和/或其他模块) 以及一个或多个应用程序220(例如，相机功能、地址簿、电子邮件、web 浏览、社交网络和/或游戏应用)。类似地，数据212可以包括操作系统数据 216和应用数据214。操作系统数据216可以主要地对操作系统222可访问， 并且应用数据214可以主要地对应用程序220中的一个或更多个可访问。应 用数据214可以被布置在对于计算设备200的用户可见或隐藏的文件系统中。

应用程序220可以通过一个或多个应用编程接口(API)与操作系统222 通信。例如，这些API可以促进应用程序220读取和/或写入应用程序214、 经由通信接口202传送或接收信息、接收信息和/或在用户接口204上显示信 息、等等。

在一些行话(vernacular)中，应用程序220可以被简称为“app”。额外 地，应用程序220可以通过一个或更多个在线应用商店或应用市场被下载到 计算设备200。然而，应用程序还可以以其他方式被安装到计算设备200，诸 如经由web浏览器或通过物理接口(例如，USB端口)被安装在计算设备200 上。

相机组件224可以包括但是不限于光圈、快门、记录表面(例如，摄影 胶片和/或图像传感器)、镜头和/或快门按钮。相机组件224可以至少地被由 处理器206所执行的软件来控制。此外，相机组件224可以包括多个相机系 统，其各自包括光圈、快门、记录表面、图像传感器、处理器和/或快门按钮。 当包括多个相机系统时，可能存在在系统之间共享的一些组件，并且存在不 共享的其他组件。例如，每个相机可以包括其自身的光圈、透镜和图像传感 器而同时共享诸如处理器和快门按钮的其他组件。作为另一个示例，每个相 机可以包括其自身的透镜，但是共享同一图像传感器。可替换地，每个相机 系统的组件可以仅针对该相机系统而被利用，并且不与其他相机系统共享。

C.数字图像

静态相机可以每当图像捕获被触发时捕获一个或多个图像。视频相机可 以以特定的速率(例如，24个图像——或帧——每秒)来捕获图像，只要图 像捕获保持被触发(例如，当快门按钮被保持按下)即可。一些数字静态相 机可以在相机设备或应用被激活时打开快门，并且快门可以保持在该位置直 到相机设备或应用被去激活为止。当快门打开时，相机设备或应用可以捕获 场景的表示并且将其显示在取景器上。当图像捕获被触发时，当前场景的一 个或多个区别的数字图像可以被捕获。注意，示例实施例可以利用具有电子 快门和/或机械快门的相机。

被捕获的数字图像可以被表示为一维、二维或多维像素阵列。可以通过 可以对相应像素的色彩和/或亮度进行编码的一个或多个值来表示每个像素。 例如，一个可能的编码使用YCbCr色彩模型(其还可以被称为YUV色彩模 型)。在此色彩模型中，Y色彩通道可以表示像素的亮度，以及Cb(U)和 Cr(V)色彩通道可以分别地表示像素的蓝色色度和红色色度。例如，这些 色彩通道中的每个可以取0-255的值(即，单个8位字节可以提供的色调范 围)。因此，如果像素为黑色或接近黑色，则像素的亮度可以通过0或接近于 0的值来表示，并且如果像素为白色或接近白色，则像素的亮度可以通过255 或接近255的值来表示。然而，255的值是非限制性的参考点，并且一些实 施方式可以使用不同的最大值(例如，1023、4095等)。

但是YCbCr色彩模型仅为一个可能的色彩模型，并且诸如红-绿-蓝(RGB) 色彩模型的其他色彩模型或青-品红-黄-黑(key)(CMYK)也可以被这里的 实施例所采用。此外，图像中的像素可以以各种文件格式被表示，包括原始 (未压缩)格式或压缩的格式，诸如联合图像专家组(JPEG)、便携网络图 像(PNG)、图像交换格式(GIF)等。

一些像素编码——包括YCbCr色彩模型——使用8位来表示每个像素的 亮度。这样做被称为LDR成像。作为结果，仅可以支持亮度的256个等级。 然而，与通过LDR成像可以合理地表示的亮度的动态范围相比，真实世界场 景经常展现出亮度的更宽的动态范围。例如，个体在暗室中站立在窗前的场 景可以包括极亮区域和极暗区域两者。然而，基于采用其来捕获图像的曝光、 使用LDR成像来捕获这样的场景的图像可能导致亮区域和/或暗区域中细节 的丢失。

D.自动曝光

捕获的图像的曝光可以通过光圈的大小、进入光圈的光的亮度和/或快门 周期的长度(也被称为快门长度或曝光长度)的组合来确定。额外地，数字 和/或模拟增益可以被应用于图像，从而影响曝光。在一些实施例中，术语“总 曝光长度”或“总曝光时间”可以指快门长度乘以用于特定光圈大小的增益。 这里，术语“总曝光时间”或“TET”应当可能地被解释为快门长度、曝光 时间或控制从到达记录表面的光所生成的信号响应的量的任何其他度量。在 一些实施例中，“真正曝光时间”可以指在应用任何增益之前的曝光的时间长 度。

相机——甚至模拟相机——可以包括软件以控制一个或更多个相机功能 和/或设置，诸如光圈大小、TET、增益等。额外地，一些相机可以包括在捕 获图像的同时或在捕获图像之后可以数字地处理图像的软件。虽然应当理解 以上描述通常指代相机，但是其可以具体地涉及数字相机。

短的TET可以导致场景的亮区域的适度地精确的表示，但是在一些情况 中暗区域可能曝光不足。相反，长的TET可以导致暗区域的适度地精确的表 示，但是在一些情况中亮区域可能曝光过度。在以上所介绍的示例场景中， 如果TET过长，则房间中的特征可能呈现为适当地曝光，但是窗外的特征可 能呈现为白化(whitewash)。但是如果TET过短，则窗外的特征可能呈现为 正常，但是房间中的特征可能呈现为变暗。这些结果中的任一个是不期望的。 对于一些场景，可能不存在下述单一TET：该单一TET导致采用可接受的细 节来表示亮区域和暗区域两者中的细节的捕获的图像。

相机设备可以支持自动曝光(AE)模式，在该模式中，在输出图像捕获 之前，相机基于场景的亮度来确定TET。例如，用户可以在触发图像捕获之 前观察相机的取景器中的场景。在此时段期间，相机可以进行适合的TET的 初始估计，采用该TET捕获预览图像以及然后评估捕获的图像中的像素。然 后，作为一个可能的实施方式，如果预览图像中的大多数(或一些其他足够 部分(fraction))像素曝光过度，则相机可以降低TET并且捕获另一预览图 像。如果预览图像中的大多数(或一些其他足够部分)像素曝光不足，则相 机可以增加TET并且捕获又一预览图像。

例如，如果捕获的图像中的大多数像素展现出在高阈值等级(例如，240) 以上的亮度值，则相机可以降低TET。另一方面，如果大多数像素展现出在 低阈值等级(例如，96)以下的亮度等级，则相机可以增加TET。

可替换地或额外地，可以确定用于场景的像素中的一些或所有的目标平 均像素值。如果实际的平均像素值在目标平均像素值以上，则可以降低TET； 而如果实际的平均像素值在目标平均像素值以下，则可以增加TET。还可以 依赖于在场景中存在多少对比度来不同地调谐目标平均像素值。例如，在低 对比度场景中，目标平均像素值可以是亮的(例如，200)。但是在高对比度 场景中，目标平均像素值可以较低(例如，128)。

该处理可以继续，直到相机确定图像应当被捕获并且被存储(例如，用 户激活快门按钮)为止。在此处理期间，如果场景的特性相对不变，则相机 通常基于场景的亮度收敛到所估计的“最佳”TET。在一些实施例中，在相 机的取景器上所显示的图像可以省略来自捕获的预览图像中的一个或更多个 的信息，或对来自捕获的预览图像中的两个或更多个的信息进行组合。

在一些情况中，当确定场景的“平均”亮度时，相机可以不均等地对待 所有像素。使用被描述为“中心加权平均”的技术，接近场景的中部的像素 可以被认为更加重要。因此，与示出场景的其他区域的像素相比，这些像素 可以被更多地加权。可替换地，在图像的其他位置中的像素可以被给予更多 的权重。例如，如果相机在图像的中心之外的特定位置中检测到人脸(或一 些其他的感兴趣物体)，则相机可以对相关联的像素给予更高的权重。

以这种方式，AE算法可以试图确定产生大量(例如，最大数量)的被 适当地曝光的像素的TET。然而，在给定LDR成像的范围限制的情况下，甚 使在AE模式中捕获的图像也可能包含白化或变暗的部分。因此，如以上所 注意地，对于一些场景可能不存在单一“最佳”TET。

这里，如果其亮度值在预先定义的范围内，则像素可以被认为被“适当 地曝光”。对于8位亮度值，该范围可能是例如32-224、16-240、96-240、128-240 等。如果其亮度值落在此范围之外，则像素被“不适当地曝光”(即，像素或 者曝光不足或者曝光过度)。然而，可以使用更多或更少位来编码亮度值，并 且预先定义的范围可以与以上所给出的示例范围不同。

AE算法可以与以上描述不同。例如，一些可能更加复杂，不同地处理 不同的色彩、考虑场景的空间和/或结构分量、和/或测量区域之间的对比度。 然而，可能的是，这里所描述的实施例可以利用现在已知的或将来要开发的 任何AE算法，或结合现在已知的或将来要开发的任何AE算法进行操作。

高动态范围(HDR)成像被提出作为针对LDR成像的缺陷进行补偿的 方式。在可能的实施方式中，HDR成像可能涉及下述相机：该相机以各种 TET捕获场景的多个图像，并且然后数字地处理这些捕获的图像以产生包含 场景的大多数或所有区域——包括非常亮的和非常暗的那些区域——中的细 节的合理表示的单个图像。然而，确定用于捕获图像的TET可能是有问题的。 具体地，调节用于具体场景的TET的难度创建了对HDR成像的限制。这里 所描述的方法和实施方式可以提供计算有效性、对于人工制品的健壮性和/或 增强的图像质量。

下面，术语“LDR成像”可以指使用LDR成像所捕获的图像，并且术 语“LDR场景”可以指被确定为使用LDR成像合理地表示的场景。类似地， 术语“HDR图像”可以指使用HDR成像所捕获的图像，并且术语“HDR场 景”可以指被确定为使用HDR成像合理地表示的场景。此外，术语“LDR 成像”可以与术语“LDR图像获取”可互换地使用，并且术语“HDR成像” 可以与术语“HDR图像获取”可互换地使用。

图3描绘了根据示例实施例的流程图。以较高的级别，流程图300表示 用于数字相机设备302的成像流水线。例如，流程图300可以表示由数字相 机设备302所执行的多个步骤，以对于具体的场景确定是使用LDR图像获取 还是使用HDR图像获取，确定采用其来捕获场景的图像的一个或更多个TET， 以及是否和/或如何将捕获的图像组合到作为场景的合理地满意的表示的输 出图像。以这种方式，数字相机设备302可以动态地适应于场景的光照模式， 无论该模式是暗的、亮的还是两者的一些组合。数字相机设备302可以具有 与图1A至图1D中的数字相机设备100相同或相似的能力。

流程图300可以表示当快门按钮被触发时由数字相机设备302所执行的 一系列步骤。可替换地或额外地，流程图300可以表示当数字相机设备302 的取景器正在显示场景的表示时连续地执行的步骤。因此，在一些实施例中， 流程图300的特征可以以对于用户不显见的方式被执行。例如，在具有捕获 单个图像的意愿的情况下，用户可以触发快门一次。然而，数字相机设备302 可以在第一图像捕获306和第二图像捕获314的每个中捕获多个图像，并且 提供作为在第二图像捕获314期间所捕获的一个或多个图像的组合的输出图 像318。

应当注意，不是图3中所描绘的所有步骤需要被数字相机设备302来执 行。一些步骤——诸如，图像处理308和组合图像316——例如可以被不同 的设备来执行。例如，在第一图像捕获306和第二图像捕获314期间所捕获 的一个或多个图像的表示可以被从捕获设备传送到远程计算设备。远程计算 设备然后可以执行图像处理308和组合图像316，可能将其结果中的一些或 所有传送到捕获设备。

额外地，训练图像数据库304可以被包括在数字相机设备302中，或可 替换地，训练图像数据库304可以是由数字相机设备302可以访问的单独的 设备或系统的一部分。在一些实施例中，训练图像数据库304可以包括能够 被用于帮助确定在第二图像捕获314中所使用的有效载荷突发(payloadburst) 的结构的训练图像的表示。

在第一图像捕获306中，可以使用“测定突发扫描(meteringburstsweep)” 来捕获场景的第一组图像。在测定突发扫描中，组中的每个图像可以采用不 同的TET被捕获。在一些实例中，测定突发扫描可以跨越TET的范围(例如， 1至300毫秒、0.1至500毫秒或一些其他范围)来捕获连续的图像。使用这 样的TET范围，测定突发扫描可以根据TET的线性、对数和/或指数分布以 及其他可能性、采用被设计为覆盖此范围的TET来捕获一系列图像。

在一些实施方式中，设备的第二相机可以执行测定突发扫描以确定应当 被用于由第一相机正在记录的视频的每个帧的TET。可替换地，第二相机可 以在由第一相机进行的视频记录期间周期性地执行测定突发扫描，以便周期 性地调节第一相机的TET。例如，测定突发扫描可以由第二相机对于由第一 相机进行的视频记录的每十帧执行一次。其他示例也是可能的。

作为另外的示例，图3描绘了包括各自采用不同的TET所捕获的场景的 三个数字图像。由于不同的TET被用于捕获图像，所以三个图像展现出多样 的亮度等级。在其他示例中，在第一图像捕获306期间可以捕获更多或更少 的图像。这些捕获的图像可以提供用于数字图像设备302在捕获场景的随后 的图像时使用的参数。

测定突发扫描可以被用于确定场景的特性，使得可以选择用于第二图像 捕获314的随后的有效载荷突发结构。因此，在步骤308中，可以处理在步 骤306处所捕获的图像。具体地，步骤308可以包括将在步骤306处所捕获 的图像中的一个或多个融合到组合图像310中。步骤308还可以包括从融合 的图像生成直方图312，并且然后使用直方图以及可能地使用训练图像数据 304中的信息中的一些或所有来对场景进行分类(例如，分类为LDR场景或 HDR场景)，基于场景的分类来确定有效载荷突发的结构，以及确定根据有 效载荷突发捕获图像时要使用的TET。在一些实施例中，作为第一图像捕获 306的结果所示出的捕获的图像可以在融合之前被下采样。此外，直方图可 以是LDR直方图、HDR直方图、对数HDR直方图或一些其他形式的直方图。

在图4A中示出了此处理的示例。为了简明，假定测定突发扫描由图像 400和图像402的两个图像构成。具体地，在测定扫描突发中，来自一个至 八个或更多个图像的任何位置可以被捕获。采用10毫秒的TET捕获图像400， 而采用20毫秒的TET捕获图像402。因此，图像402的像素的亮度可能被期 望为图像400的像素的亮度的大约两倍。在一些情况中，图像400和图像402 中的每个中的像素可以被色调映射。因此，针对这些图像可以使色调映射处 理反向。在使色调映射处理反向之后，图像402的像素的亮度可以是图像400 的像素的亮度的大约两倍。在下面更详细地讨论色调映射和反向色调映射。 此外，注意，当图像突发扫描由第二相机执行以确定用于正在记录视频的第 一相机的一个或多个曝光设置时，在图像突发扫描中所使用的TET的范围与 如果同一相机执行扫描并且捕获图像数据则可以另外地可能的TET的范围相 比以更大的量变化。

图像400和图像402可以被下采样以分别地形成图像404和图像406。 例如，可以通过将给定的图像划分为i×j像素块(i和j可以取相同的值或不 同的值)并且通过单个像素来置换这些块中的每个来实施下采样。此置换像 素的值可以基于相应的i×j像素块中的像素的值。例如，置换像素的值可以通 过采取块中的像素的值的平均来确定，结果导致“更模糊”、更低分辨率以及 更小的下采样图像。因此，作为一个可能的示例，如果1600×1200像素图像 被划分为2×2像素块并且被下采样一个等级，则结果是800×600像素图像。 如果1600×1200像素图像被下采样两个等级(或如果800×600像素图像再被 下采样一个等级)，则结果是400×300像素图像，等等。但是，图块(tile) 可以以其他方式被下采样。例如，4×4、8×8像素块或16×16像素块可以被单 个像素替换，并且可以执行多于仅一个等级或两个等级的下采样。

在一些实施例中，针对每个图像可以执行多个等级的下采样，因此创建 “金字塔状(pyramid)”的下采样。通过使用具有多个等级的下采样的图像， 与图像中的光等级的分布和这些光等级的空间结构两者有关的信息可以被保 存。

因此，例如，图4A描绘了具有在其左上角的像素块400A和在其右上角 的像素块400B的图像400。额外地，图像402具有在其左上角的像素块402A 和在其右上角的像素块402B。每个图像中的每个像素块可以被下采样到图像 404和图像406中的单个的相应的像素——像素404A表示像素块400A的下 采样，像素404B表示像素块400B的下采样，像素406A表示像素块402A 的下采样以及像素406B表示像素块402B的下采样。

在一些情况中，i×j像素块及其相关联的下采样像素两者可以被称为“数 据块(paxel)”。因此，像素块402A和像素404A两者可以被称为paxel。

对于下采样的图像中的每个位置(例如，像素404A和406A将被认为在 相同的位置中)，可以选择具有小于255的最高值的像素。在一些实施例中， 像素中的每个色彩通道的像素值可以与255比较。如果这些像素值中的所有 低于255，则像素是用于选择的候选。在所有的候选像素之中，可以选择具 有最高像素值的一个像素。在其他实施例中，替代地可以使用与255不同的 阈值(例如，250、245或者高于255的值)。

图4A示出了此处理的示例。在下采样的图像404中，像素404A可以分 别地具有250、100和150的红色、绿色和蓝色(R，G，B)值。在下采样的 图像406中，像素406A可以分别地具有255、200和255的(R，G，B)值。 因为像素404A的(R，G，B)值均低于255，但是像素406A的(R，G，B) 值中的一些为255，所以选择像素404A。类似地，像素404B可以分别地具 有100、50和50的(R，G，B)值，而像素406B分别地具有200、100和 100的(R，G，B)值。因为像素406B的(R，G，B)值均小于255，但是 大于像素404B的(R，G，B)值，所以选择像素406B。还可以使用其他类 型的比较，或可以代替图4A中所示的处理来使用其他类型的比较。可替换 地，YCbCr色彩空间中的像素的亮度(Y)值可以被用于进行相对于阈值的 测试。

每个所选择的像素可以被放置在组合图像408的相应的位置中。因此， 例如，在组合图像408中，像素404A可以被放置为像素408A，而像素406B 可以被放置为像素408B。额外地，针对组合图像408所选择的像素可以被反 向色调映射。

色调映射是包括根据预先确定的函数来映射像素值的过程的集合。因此， 例如，一些相机设备将像素值从线性空间(其中，像素值中k单位的增加或 减少表示亮度中成比例的增加或减少)映射到非线性空间。针对艺术性的目 的可以自动地执行色调映射，诸如增亮中间范围像素值。无论如何，为了将 所选择的像素反向色调映射回到线性空间，逆色调映射函数可以被应用到相 应的像素值。

额外地，可以将像素值除以采用其捕获像素的相应的TET。这样做可以 将使用各种TET所捕获的像素值规格化到特定的范围。因此，对于像素408A， (R，G，B)值分别地可以是25、10、15，而对于像素408B，(R，G，B) 值可以是10、5、5。另一方面，对于低于1毫秒的TET(例如，0.25毫秒、 0.5毫秒等的TET)，除以TET可以增加组合图像408中的像素值。在一些情 况中，这可以导致像素值大于255，并且因此组合图像408可以是场景的HDR 表示。

此外，直方图410可以从组合图像408创建。虽然存在可以形成直方图 的许多方式，但是一些实施例可以包括对每个像素的色彩通道的函数进行评 估。例如，该函数可以是最大化或是一些其他函数。

此外，此函数的输出的对数也可以被采用，并且生成的值被绘制在直方 图410上。真实世界中光等级的分布是对数的。因此，通过使用对数标度， 存在该范围的粗糙的均匀覆盖。对于基于线性的光等级的直方图，可以使用 更多的直方图直条(bin)。此外，在一些实施例中，在将该输出放置在直方 图410中之前，权重可以被施加到函数的输出的对数。例如，中心加权平均 技术可以被用于对于更接近捕获的图像的中心的像素施加更高的权重，而对 于远离图像的中心的像素施加更低的权重。

无论如何，直方图410可以表示组合图像408中的像素值的分布。直方 图的垂直轴可以指示每个像素值的像素的数量，而水平轴可以表示像素值的 范围。像素值可以在0至255的范围内，或可以使用一些其他范围。例如， HDR直方图可以包括在255以上的像素值。在一些实施例中，HDR直方图 可以表示15位的像素值，即，从0至32,767。因此，呈现在HDR直方图中 的对数值可以在0至log(32,767)＝4.52的范围中。

作为示例，直方图410将大部分像素绘制在其水平轴的最末端。这指示 绘制图像408的直方图410的大部分是黑色或白色的阴影。然而，因为直方 图410还将数据点绘制在水平轴的中部，所以组合图像也可以包含具有中间 范围亮度的像素。

又作为图像处理308的一部分，直方图410可以与训练图像数据库304 中的图像的一个或更多个直方图进行比较。如图4B中所描绘，训练图像数据 库304可以包含参考场景的直方图的集合和/或相关联的参数。如上所述，参 考场景的直方图可以是HDR直方图。

图4B示出了训练图像数据库304，该训练图像数据库304包含：用于直 方图420、(一个或多个)目标像素值422、剪裁的像素的目标百分比424以 及场景类型426的条目。直方图420可以以与以上在图4A的上下文中所描 述的相同或相似的方式、从一个或更多个图像导出。因此，参考场景的一个 或更多个图像可以使用各种TET被捕获，并且这些图像可以被下采样并且被 组合到单个图像中，从该单个图像可以导出直方图420。通常，从其导出直 方图420的参考场景不需要为与从其导出直方图410的相同的场景。

在一些实施例中，在下采样的、组合的单个图像中被剪裁的像素(例如， 具有255或更高的像素值的像素)的百分比可以被存储在剪裁的像素的目标 百分比424中。当被用于捕获图像的TET过高或过低时，或者当在图像捕获 处理中场景的一些非常暗的或非常亮的细节丢失时，剪裁可能发生。在一些 情况中，仅在范围的一端处被剪裁的像素可以被包括在剪裁的像素的百分比 中。例如，剪裁的像素的百分比可以仅包括具有255或更高的像素值的像素， 并且可以在所有其他像素(例如，具有0至254的像素值的所有像素)上计 算未剪裁的像素的平均像素值。

此外，场景是LDR还是HDR的指示可以被存储在场景类型426中。在 一些实施方式中，当场景类型为LDR时，场景类型426可以取为零的值；而 当场景类型为HDR时，场景类型426可以取为一的值。可替换地，场景类型 426可以在例如从0至1的范围内。在这种情况中，小于阈值(例如，0.5) 的值可以指示LDR场景类型，并且大于或等于阈值的任何数字可以指示HDR 场景类型。

(一个或多个)目标像素值422可以是被确定为对于相关联的场景是期 望的一个或更多个像素值。如果场景是LDR，则(一个或多个)目标像素值 422可以包括单一像素值，或(一个或多个)像素值的范围。此单一像素值 (或范围)可以被选择为使得具有与目标像素值相匹配的平均像素值的场景 的图像将合理地被良好曝光。因此，(一个或多个)目标像素值422可以是目 标平均像素值。额外地，(一个或多个)目标像素值422可以是LDR值(例 如，从0至255)。

此外，在第二相机执行诸如方法4A的方法以调节用于由第一相机所记 录的视频的TET的实施例中，(一个或多个)目标像素值422可以包括用于 由第一相机使用的单一像素值。具体地，第二相机可以重复诸如在这里所描 述的方法的方法，以确定用于通过第一相机正在捕获的视频的每个帧的单一 像素值。可替换地，第二相机可以被用于周期性地确定用于由正在捕获视频 的第一相机使用的单一像素值(例如，每四帧一次)。

如果场景是HDR，则(一个或多个)目标像素值422可以包括短曝光目 标像素值(或范围)、长曝光目标像素值(或范围)以及可能的回退(fallback) 曝光目标像素值(或范围)。这些像素值或范围可以被选择为使得具有用于短 曝光的短曝光目标像素值和用于长曝光的长曝光目标像素值的HDR图像可 以合理地被良好曝光。如果HDR图像失败(例如，如以下讨论的)并且单一 TET被用于捕获HDR场景，则可以使用回退目标像素值。

在一些情况中，可以通过检查捕获图像的若干合成曝光并且选择呈现为 对于眼睛最舒适的(一个或多个)像素值和/或(一个或多个)范围，来手动 地确定(一个或多个)目标像素值422、剪裁的像素的目标百分比424以及 场景类型426。可替换地，可以用算法或自动地确定(一个或多个)目标像 素值422、剪裁的像素的目标百分比424以及场景类型426。

此外，在第二相机执行诸如方法4A的方法以调节用于由第一相机正在 记录的视频的TET的实施例中，(一个或多个)目标像素值422可以包括用 于由第一相机使用的短曝光目标像素值(或范围)。具体地，第二相机可以使 用视频的相邻帧来重复这样的方法，以便确定用于由第一相机正在捕获的视 频的每个帧的短曝光目标像素值(或范围)。这可以帮助提供视频中的降噪和 HDR。可替换地，第二相机可以被用于简单地确定用于通过第一相机正在捕 获的视频的每个帧的单一曝光TET(例如，单一像素值)。

训练图像数据库304还可以包含关于直方图430、(一个或多个)目标像 素值432、剪裁的像素的目标百分比434和场景类型436以及关于直方图440、 (一个或多个)目标像素值442、剪裁的像素的目标百分比444和场景类型 446的相似的条目。在一些实施例中，可以从训练图像数据库304中省略诸 如剪裁的像素的目标百分比的一个或更多个参数。额外地，其他参数可以被 包括在训练图像数据库304中。训练图像数据库可以存储少至一个或几十个、 几百个或几千个这样的条目，每个条目可能与不同的场景有关。

如以上在第一图像捕获306期间所捕获的图像的上下文中所讨论地，针 对训练图像数据库304中的每个图像可以执行多个等级的下采样，因此创建 每个图像的“金字塔状”的下采样版本。通过使用具有多个等级的下采样的 图像，关于图像中的光等级的分布和这些光等级的空间结构两者的信息可以 被保存。用于这些下采样图像中的每个的直方图可以被包括在训练图像数据 304中。

训练图像数据库304中的信息可以在商业操作之前的校准、测试和/或其 他装运前评估以及其他可能性期间被存储在其中。可替换地，信息还可以被 存储在能够管理训练图像数据库304的各种其他设备和系统上。无论如何， 信息可以为本质上基本上静态的，尽管信息可以通过固件和/或软件更新或其 他安装而被修改。

通过将直方图410(和或基于图像400和402的下采样版本相似地导出 的直方图)与训练图像数据304中的直方图进行比较，在图像400和402中 所表现的场景的动态范围可以被估计。此估计的动态范围可以被用于确定、 获得或另外地选择用于第二图像捕获314的有效载荷突发结构。

例如，每个直方图410可以与在训练图像数据304中所存储的每个直方 图进行比较。直方图对可以以各种方式被比较，该各种方式中的任何一个可 以被使用。在一些实施例中，可以计算直方图对之间的陆地移动距离(earth mover’sdistance，EMD)。当直方图一致时，EMD为0，并且EMD随着直方 图之间的差异而增加。因此，较低的EMD指示两个直方图之间良好的匹配， 而较高的EMD指示两个直方图之间的低劣的匹配。

权重可以从用于特定直方图对的EMD导出。例如，权重可以与其相关 联的EMD值成反比例。在一些情形中，权重w可以被导出为：

$W=\frac{1}{{\mathrm{EMD}}^n},$

其中，EMD是EMD值并且n可以在1至10的范围中。然而，可以使用n 的其他值。因此，在一些实施例中，权重可以取0与1之间的值。在EMD 为0的情况中，可以选择适当大的权重(例如，1)。可替换地，非常小的值 (例如，0.001)可以被添加到分母以避免除以0。无论如何，两个直方图之 间的良好的匹配可以导致高权重，并且两个直方图之间的低劣的匹配可以导 致低的权重。

对于每个直方图对(其中，第一直方图是直方图410，而第二直方图来 自训练图像数据库304中的条目)，权重w可以被施加到与训练图像数据库 304中的第二直方图的条目相关联的相应的场景类型。结果可以在直方图对 上被平均，以确定场景的“HRD性”。例如，如果生成的“HDR性”在0至 1的标度上在0.5处或在0.5之上，则场景可以被指定用于HDR处理；但是 如果生成的“HDR性”在相同的标度上在0.5之下，则场景可以被指定用于 LDR处理。

应当理解，以上所述的实施例仅是确定场景的亮度和“HDR性”的一个 可能方式。可以替代地使用其他技术，并且这些其他技术中的一些可以基于 将在第一图像捕获306期间所捕获的图像的参数(例如，剪裁的像素的百分 比和未被剪裁的像素的平均值)与在训练图像数据库304中所表示的图像的 相同或相似的参数进行比较。另外的技术可以包括将第一直方图和第二直方 图的相应的下采样图像金字塔进行比较。

为了确定用于有效载荷突发的TET，可以使用下面的示例过程。然而， 可以替代地使用其他过程。

针对每个直方图对(再次地，其中，第一直方图是直方图410，而第二 直方图来自训练图像数据库304中的条目)，权重w可以被施加到与训练图 像数据库304中的第二直方图的条目相关联的相应的目标像素值。结果可以 被平均以确定用于由直方图410所表示的场景的目标平均像素值。如果场景 类型是HDR，则两个或更多个目标平均像素值可以被确定。

针对每个目标平均像素值，间隔等分可以被用于搜索特定的TET值，使 得如果要采用特定的TET值捕获场景，则生成的图像将具有目标平均像素值 或大约目标平均像素值。用于基于目标平均像素值来确定特定的TET值的一 个可能的方法被示出为以下伪代码。

表1

在表1的行1和行2处，定义了初始的低TET值和高TET值(分别地 为lo_tet和hi_tet)。这些值可以在最终TET值(mid_test)被期望落入其中的 范围的极值端处或附近被选择。在一些实施例中，可以使用更宽的范围或更 窄的范围。

行3至行11描绘了可以被迭代t次的循环。t的值可以被选择为使得 mid_tet在循环的t个迭代之后收敛。在一些实施例中，t可以低至2或3，但 是在其他实施例中，t可以是5、10、20、50、100或一些其他值。但是，在 行4处，mid_tet被设置为lo_tet和hi_tet的平均(中点)。

在行5处，确定在mid_tet处的图像的像素值。进行此确定的一个可能的 方式是合成地曝光HDR图像，仿佛图像是使用mid_tet的TET被捕获那样。 生成的图像(其可能是HDR图像)可以被色调映射，并且色调映射的图像的 平均像素值(pixel_value_at_mid_tet，其可能是LDR值)可以被确定。

合成曝光是从HDR图像获得LDR图像的一个方式。假定使用为T的 TET捕获HDR图像。通过将HDR图像中的每个像素的像素值乘以p(p可 以大于或小于1)，该HDR图像可以被合成地曝光为p乘T的TET。在结果 得到的图像中，所有在255以上的像素值被“剪裁”为255。该处理模拟了 场景的外观，仿佛其采用LDR成像、使用为p乘T的TET被捕获那样。可 替换地，HDR图像的非对数HDR直方图(施加或未施加中心加权的平均) 可以被使用。在此步骤之后，可以仿真通常将被施加到线性图像的无论什么 处理(诸如色调映射)，以便产生合成的LDR图像。该图像中的平均值(如 果期望则施加中心加权的平均)可以被采取并且可以被与目标像素值比较。

在行6至行11处，如果该结果得到的平均像素值大于目标平均像素值， 则mid_tet过高，并且hi_tet被设置为mid_tet以便降低下一个迭代中的mid_tet。 另一方面，如果生成的平均像素值小于或等于目标平均像素值，则mid_tet 过低，并且lo_tet被设置为mid_tet以便提高下一个迭代中的mid_tet。

通过表1所示的处理可以针对在有效载荷突发结构中可以使用的每个 TET值而重复。因此，如果场景被确定为是HDR场景，则表1的处理可以针 对一个TET而执行。然而，如果场景被确定为是HDR场景，则表1的处理 可以针对两个或更多个TET(例如，短TET、长TET和/或回退TET)而被 执行，所有三个TET可以具有不同的目标平均LDR像素值。

在步骤S314中，可以捕获第二组图像。捕获的图像的数量和被用于捕获 这些图像的TET的布置可以被称为“有效载荷突发”。例如，在图3中，第 二图像捕获314包括场景的三个图像，每个图像采用在步骤308中所标识的 TET被捕获。应当理解，在步骤308中所标识的TET可以与在步骤306中被 用于捕获图像的TET相同或不同。额外地，可能的是采用相同或相似的TET 捕获第二图像捕获314中的所有三个图像。

在步骤316中，来自第二组图像的图像可以被组合。组合图像可以包括 将两个或更多个图像对准。在一些实例中，图像可以被全局地对准(即，与 对准图像的部分相反，对准整个图像)，被局部地对准(即，对准图像的部分)， 或者可能地被全局地和局部地对准两者。此外，组合两个或更多个图像还可 以包括将其融合以形成输出图像318。该融合可以根据现在已知的或将来开 发的图像融合技术被执行。

与第二组中的个体图像中的任何一个相比，融合第二组图像中的图像可 以导致输出图像318更锐利和/或更好地被曝光。例如，如果采用相同或相似 的TET捕获第二图像捕获314中的图像中的一些，则这些图像可以被融合以 降低图像的一个或更多个部分中的噪声。可替换地或额外地，如果采用两个 或更多个不同的TET捕获第二图像捕获314中的图像，则具有不同的曝光时 间的至少一些图像可以根据HDR过程被融合。无论如何，输出图像可以被存 储在计算机可读介质上和/或被显示在诸如图1A的多元显示器106上。

在一些实施例中，可以基于在步骤308中所确定的TET以及对步骤316 的组合图像的理解来确定各种可能的有效载荷突发结构的布置。虽然有效载 荷突发结构的很多布置可能是可以的，但是这里描绘了三个示例。

表2

表2示出了三个示例。在第一示例中，场景类型为LDR。在此示例中， 有效载荷突发结构包括顺序地捕获的四个图像，并且可以被称为“LDR突发 结构”。表2的有效载荷突发结构列中的每个“T”可以表示捕获图像。这些 图像中的每个可以使用在步骤308中所确定的相同或相似的TET被捕获。在 一些实施例中，更少或更多的图像可以在LDR有效载荷突发中被捕获。例如， 可以包括少至一个或者多至十个或更多个的图像。

不管捕获的图像的数量如何，这些图像中的一些可以在步骤316中被对 准并且被组合。例如，如果在有效载荷突发中m个图像被捕获，则这些图像 中最锐利的一个可以被选择作为“主要图像”，并且剩余的m-1个图像可以被 认为是“辅助图像”。在一些实施方式中，图像的锐利度可以通过图像的分辨 率和/或图像中不同色调和/或色彩区域之间的边界来测量。可替换地或额外地， 可以使用其他锐利度测量。

此外，m-1个辅助图像中的零个或更多个然后可以被与最锐利的图像对 准并且融合。例如，可以分别地在辅助图像中的每个与最锐利图像之间尝试 对准。如果对于相应的辅助图像中的一部分对准失败，则这些部分可以被丢 弃，并且不与主要图像组合。以这种方式，可以利用来自辅助图像中的一些 或所有的信息对最锐利的图像降噪。

在第二示例中，场景类型为HDR。在此示例中，有效载荷突发结构包括 根据长TET和短TET的模式捕获的十个图像，并且可以被称为“HDR突发 结构”。在表2的有效载荷突发结构列中，每个“L”可以表示采用长TET所 捕获的图像，每个“S”可以表示采用短TET所捕获的图像。因此，“LSLL SLLSLL”的模式可以指示：有效载荷突发的第一图像是使用长TET所捕 获的，第二图像是使用短TET所捕获的，第三图像和第四图像是使用长TET 所捕获的，第五图像是使用短TET所捕获的，第六图像和第七图像是使用长 TET所捕获的，第八图像是使用短TET所捕获的，第九图像是使用长TET 所捕获的，以及第十图像是使用长TET所捕获的。

可以基于图像处理308的结果来确定长TET和短TET。因此，可以选择 长TET和短TET以使得采用这些TET所捕获的结果得到的图像可以使用 HDR过程来组合。长TET可以被用于捕获场景的暗部分中的细节，而短TET 可以被用于捕获场景的亮部分中的细节。

短TET值的示例可以包括为1毫秒、2毫秒和/或8毫秒的TET，而长 TET值的示例可以包括为20毫秒、40毫秒和/或80毫秒的TET。然而，短 TET和长TET可以取不同的值。

尽管第二示例中的有效载荷突发具有表1中的特定结构，但是可以使用 其他结构。例如，“LSLSLSLSLS”或“LLSLLSLLSL”的有效载荷 突发结构可能潜在地提供长TET和短TET的合适的模式。此外，一些有效载 荷突发结构可以包括中等TET(通过“M”来指示)。因此，额外的示例有效 载荷突发可以包括“SMLLLSMLLL”或“SMLSMLSMLL”结构。

在一些实施例中，有效载荷突发结构可以包括比十个更多或更少的图像。 一般而言，确定有效载荷突发结构的长度涉及折中。一方面，长的有效载荷 突发(即，具有较大数量的图像捕获的有效载荷突发)是期望的，这是因为 增加所捕获的图像中的一个或更多个被良好曝光并且锐利的可能性。另一方 面，如果有效载荷突发过长，则重影(ghosting)的可能性由于场景的移动也 增加。额外地，较暗的场景可以从使用更长TET所捕获的图像受益，使得更 多的光可以到达记录表面。因此，有效载荷突发结构可以可能部分地基于这 些考虑。

在第三示例中，场景类型也是HDR。然而，在此示例中，相关联的有效 载荷突发结构(也被称为HDR突发结构)包括根据长TET和短TET的模式 所捕获的七个图像，之后为三个回退TET。每个“F”可以表示采用回退TET 所捕获的图像，并且回退TET可以取与长TET和短TET两者不同的值。

不管有效载荷突发结构的类型如何，HDR场景的图像可以被对准和组合。 为了方便，使用短TET所捕获的图像可以被称为“短图像”，并且为了方便， 使用长TET所捕获的图像可以被称为“长图像”。

在一些实施例中，可以从短图像中选择最锐利的短图像作为主要短图像。 剩余的辅助短图像中的零个或更多个然后可以与主要短图像对准并且融合。 例如，可以分别地在辅助短图像中的每个与主要短图像之间尝试对准。如果 对于相应的辅助短图像中的一部分对准失败，则这些部分可以被丢弃，并且 不与主要短图像组合。以这种方式，可以采用来自辅助短图像中的一些的信 息对最锐利的短图像降噪。

对于长图像可以执行相同或相似的处理。例如，可以从长图像中选择最 锐利的长图像作为主要长图像。剩余的辅助长图像中的零个或更多个然后可 以与主要长图像对准并且融合。可以分别地在辅助长图像中的每个与主要长 图像之间尝试对准。如果对于相应的辅助长图像中的一部分对准失败，则这 些部分可以被丢弃，并且不与主要长图像组合。

结果得到的组合的短图像(例如，可能通过来自零个或更多个辅助短图 像的信息而降噪的最锐利的短图像)和结果得到的组合的长图像(例如，可 能通过来自零个或更多个辅助长图像的信息而降噪的最锐利的长图像)然后 可以被对准。如果对准成功，则这两个图像(例如，均为LDR图像)可以根 据HDR过程被组合。例如，它们可以被组合为HDR图像，并且HDR图像 然后可以被色调映射，使得其亮度落入与常规视频输出设备的显示能力相当 的范围内(例如，在0与255——包括0和255——之间的像素值)。结果得 到的色调映射的HDR图像可以被指定为输出图像318。在一些实施例中，如 果所有输出图像318中的一部分的信噪比仍然低于阈值，则降噪过程可以被 应用以进一步降低噪声。额外地，可能在应用降噪过程之后，还可以使输出 图像318锐化。通常，各种类型的HRD融合算法——诸如，曝光融合或局部 拉普拉斯滤波器——可以被用于融合短图像和长图像。如果中等TET被用于 有效载荷突发结构，则这些HDR融合算法也可以被应用到一个或多个中等图 像。

如果组合的短图像与组合的长图像之间的对准失败，则HDR处理失败。 然而，如果回退图像被捕获，则回退图像中的一个或多个可以被用于形成输 出图像318。例如，可以选择最锐利的回退图像。剩余的辅助回退图像中的 零个或更多个可以与最锐利的回退图像对准并且组合，其以与以上针对短图 像和长图像所描述的处理相似的方式被执行。对于不具有在其中对准失败的 回退图像的有效载荷突发结构，组合的长图像或短图像可以被用于形成输出 图像318。

在图5中进一步示出了示例的有效载荷突发结构。有效载荷突发结构500 可以表示用于LDR场景的有效载荷突发，有效载荷突发结构502可以表示用 于HDR场景的有效载荷突发，以及有效载荷突发结构504可以表示用于回退 HDR场景的有效载荷突发。每个突发结构示出了用于每个图像捕获的TET 的近似持续时间。例如，对于突发结构502和504，短TET与长TET相比具 有更少的持续时间，并且回退TET的持续时间在长TET和短TET的持续时 间之间。

在图5中，垂直虚线描绘了可以开始图像捕获的时间阶段(epochintime)。 一些电子图像传感器以特定的频率操作，诸如30赫兹。以此频率操作的传感 器可以每秒捕获30个图像，或近似每33.33毫秒捕获一个图像。因此，图5 中的各阶段之间的持续时间可以为33.33毫秒。但是，对于低光场景，曝光 时间可以长于33.33毫秒，并且图像传感器的操作频率可以相应地向下调节。 在此示例中，可以通过增加TET的增益分量而实现长于30毫秒的TET。

对于一些传感器，图像捕获可以仅在这样的阶段的结束处被激活。因此， 如图5中所示，每个图像捕获在相应的阶段的边缘处结束。然而，由于它们 变化的TET，一些图像捕获可以在不同的时间处开始。可替换地，对于一些 图像传感器，图像捕获可以仅在阶段的开始处被激活。

应当理解，各种其他技术、过程和/或算法可以被用于确定有效载荷突发 结构。因此，以上讨论连同以上的表2和图5仅提供了一些可能的有效载荷 突发结构。其他技术可以被使用而不背离这里的实施例的范围。

例如，在一些实施例中，可以基于TET的长度、使用RMS方法或者SMR 方法计算色调映射的图像的平均像素值(例如，表1中的步骤5)。n个值的 RMS平均可以被计算为：

$RMS=\sqrt{\frac{x_1^2+x_2^2+\mathrm{...}+x_n^2}{n}},$

n个值的SMR平均可以被计算为：

$SMR={\left(\frac{\sqrt{x_1}+\sqrt{x_2}+\mathrm{...}+\sqrt{x_n}}{n}\right)}^2.$

对于更短的TET——例如HDR有效载荷突发的短TET和/或回退TET， 或者可能地LDR突发的TET——可能期望的是尝试增加或最大化像素的亮度 而不剪裁它们。因此，取像素值的RMS平均将更多的权重施加到更亮的像素。 对于更长的TET——例如，HDR有效载荷突发的长TET——可能期望的是强 调场景更暗的部分。因此，取像素值的SMR平均将更多的权重施加到更暗的 像素。

在图5的突发结构502的上下文中示出了另一变化。该变化涉及选择最 锐利的短图像。为了讨论方便，假定最锐利的长图像是长图像508。然后， 代替于选择最锐利的短图像作为主要短图像，在时间上最接近最锐利的长图 像而被捕获的短图像可以被选择作为主要短图像。例如，这可能是短图像510， 其紧接在长图像508之前。然后，剩余的辅助短图像可以与主要短图像对准 和/或组合(如果对准允许)。可替换地，如果图像传感器在阶段的开始处捕 获图像，则在最锐利的长图像之后(很可能紧接在之后)的短图像可以被选 择作为主要短图像。作为替选，时间上相邻的短图像/长图像对可以被选择以 使得这些图像一起最大化组合的锐利度度量。

在一些实施例中，有效载荷突发结构可以基于图像传感器是在捕获阶段 的开始处还是结束处采用小于图像传感器的像素的读出时间的曝光时间(这 里被称为子读出曝光时间)来捕获图像。如果图像传感器在图像捕获阶段的 结束处捕获子读出曝光时间，则有效载荷突发结构可以包括短TET后面紧随 长TET的一个或更多个双TET子序列。如果图像传感器在图像捕获阶段的开 始处捕获子读出曝光时间，则有效载荷突发结构可以包括长TET后面紧随短 TET的一个或更多个双TET子序列。

以这种方式选择主要长图像的一个可能的优点是降低运动模糊或“重影” 影响。例如，如果场景包含运动，则融合从场景所捕获的多个图像可能导致 运动在融合后的图像中呈现为模糊。通常，当捕获图像之间的时间差越大则 此模糊越大。通过选择在时间上彼此接近的主要长图像和主要短图像，可以 减少重影。

应当注意，通过流程图300所示出的步骤可以通过各种类型的相机和/ 或计算设备来执行，诸如通过数字相机设备302和/或计算设备200所例示的 这些。此外，可以可能的是在多个相机和/或计算设备之间分布一些单独步骤 的各方面。例如，第一图像捕获306和第二图像捕获314可以在数字相机设 备302上发生。此外，图像处理308和组合图像318可以在不同的计算设备 上发生。也可能存在分布单独的步骤的其他组合。

图6描绘了根据示例实施例的流程图。在步骤600处，可能地通过图像 传感器可以捕获场景的第一多个图像。第一多个图像中的每个图像可以采用 不同的总曝光时间(TET)被捕获。

在步骤602处，至少基于第一多个图像，可以确定用于捕获场景的图像 的TET序列。确定TET序列可以涉及基于场景的第一多个图像中的至少一个 图像来确定场景直方图。场景直方图可以基于对场景的第一多个图像中的图 像进行的下采样和组合。

在一些实施例中，额外的直方图可以被存储在训练图像数据库中。这些 直方图可以基于相应的场景的捕获的至少两个图像。直方图可以与相应的动 态范围参数相关联，其中，相应的动态范围参数指示相应的场景是LDR还是 HDR。确定TET序列可以进一步涉及将场景直方图与训练图像数据库中的至 少一个直方图进行比较，并且基于比较的结果来从相应的动态范围参数中确 定用于场景的动态范围参数，其中，TET序列进一步地基于用于场景的动态 范围参数。

如果用于场景的动态范围参数指示场景是LDR，则确定TET序列可以 涉及选择要在TET序列中使用的单一TET值。如果用于场景的动态范围参数 指示场景是HDR，则确定TET序列可以涉及选择要在TET序列中使用的短 TET值和长TET值。如果场景是HDR，则确定TET序列还可以涉及选择要 在TET序列中使用的回退TET。

在一些实施例中，训练数据库中的直方图还可以与相应的目标像素值相 关联。在这些实施例中，确定TET序列可以进一步涉及基于在训练数据库中 的相应的目标像素值来确定用于场景的一个或更多个目标像素值，基于一个 或更多个所确定的目标像素值来选择要在TET序列中使用的一个或更多个 TET值。

在步骤604处，可以通过图像传感器捕获场景的第二多个图像。第二多 个图像中的图像可以使用TET序列被捕获。在步骤606处，可以至少基于第 二多个图像来构建场景的输出图像。

确定TET序列可以涉及确定场景是LDR场景，并且定义用于TET序列 中的TET的公共值。构建场景的输出图像可以涉及对准和组合使用公共值所 捕获的第二多个图像中的一个或更多个图像。

可替换地或额外地，确定TET序列可以涉及确定场景是HDR场景，并 且定义短TET值和长TET值。构建场景的输出图像可以涉及对准和组合：(i) 采用短TET值所捕获的第二多个图像中的一个或更多个图像与(ii)采用长 TET值所捕获的第二多个图像中的一个或更多个图像。

可替换地或额外地，确定TET序列可以涉及确定场景是HDR场景，并 且定义短TET值、长TET值和回退TET值。构建场景的输出图像可以涉及 尝试对准：(i)采用短TET值所捕获的第二多个图像中的一个或更多个图像 与(ii)采用长TET值所捕获的第二多个图像中的一个或更多个图像。构建 场景的输出图像可以进一步涉及确定(i)采用短的TET值所捕获的第二多个 图像中的一个或更多个图像与(ii)采用长TET值所捕获的第二多个图像中 的一个或更多个图像的对准已失败。构建场景的输出图像还可以涉及：响应 于确定对准失败来对准并且组合采用回退TET值所捕获的第二多个图像中的 一个或更多个图像，以形成输出图像。

图7描绘了根据示例实施例的另一个流程图。在步骤700处，可以通过 图像传感器捕获场景的第一多个图像。第一多个图像中的每个图像可以使用 不同的总曝光时间(TET)被捕获。在步骤702处，可以至少基于第一多个 图像来确定长TET、短TET以及包括长TET和短TET的TET序列。

在步骤704处，可以通过图像传感器捕获场景的第二多个图像，其中， 使用与TET序列相对应的TET序列顺序地捕获图像序列中的第二多个图像中 的图像。图像序列可以包括使用长TET所捕获的第一长TET图像、之后使用 短TET所捕获的短TET图像、之后使用长TET所捕获的第二长TET图像的 三个图像子序列。可替换地，图像序列可以包括使用长TET所捕获的第一长 TET图像、之后使用长TET所捕获的第二长TET图像、之后的使用短TET 所捕获的短TET图像的三个图像子序列。可以基于相机设备的特性(例如， 是否使用卷帘快门和/或其他图像传感器特性)和/或场景的特性(例如，平均 像素值或一些其他度量)来选择子序列中的模式。无论如何，子序列可以通 过有效载荷突发结构重复一次或更多次。

在步骤706处，基于图像序列中的一个或更多个图像，可以构建输出图 像。在一些实施例中，图像序列可以包括主要短TET图像之后跟随主要长TET 图像的双图像子序列。图像序列还可以包括一个或更多个辅助短TET图像和 一个或更多个辅助长TET图像。可以使用短TET来捕获主要短TET图像和 辅助短TET图像，并且可以使用长TET来捕获主要长TET图像和辅助长TET 图像。构建输出图像可以涉及：形成组合的短TET图像，其中，组合的短TET 图像包括主要短TET图像和一个或多个辅助短TET图像中的至少一部分；形 成组合的长TET图像，其中，组合的长TET图像包括主要长TET图像和一 个或更多个辅助长TET图像中的至少一部分；以及形成输出图像，其中，输 出图像包括组合的短TET图像中的至少一部分和组合的长TET图像中的至少 一部分。

可替换地或额外地，图像序列可以包括使用长TET所捕获的长TET图 像。构建输出图像可以涉及：确定长TET图像是使用长TET所捕获的图像序 列中的所有图像中的最锐利的图像。基于长TET图像是使用长TET所捕获的 图像序列中的所有图像中的最锐利的图像，选择长TET图像作为主要长TET 图像，并且选择图像序列中与主要长TET图像相邻的、使用短TET所捕获的 图像作为主要短TET图像。构建输出图像可以进一步涉及：形成组合的短TET 图像，其中，组合的短TET图像包括主要短TET图像和来自使用短TET所 捕获的图像序列中的一个或更多个图像中的至少一部分；形成组合的长TET 图像，其中，组合的长TET图像包括主要长TET图像和来自使用长TET所 捕获的图像序列的一个或更多个图像中的至少一部分；以及形成输出图像， 其中，输出图像包括组合的短TET图像的至少一部分和组合的长TET图像的 至少一部分。

在一些示例中，在图像序列中，主要短TET图像可以紧接在主要长TET 图像之前。基于在相应的图像捕获阶段的边缘处结束图像捕获，在图像序列 中紧接在主要长TET图像之前的短TET图像可以被选择做为主要短TET图 像。

在其他示例中，在图像序列中，主要短TET图像可以紧接在主要长TET 图像之后。基于在相应的图像捕获阶段的边缘处开始图像捕获，在图像序列 中紧接在主要长TET图像之后的短TET图像可以被选择做为主要短TET图 像。

在图6和图7中所描绘的步骤可以通过下述来执行：诸如数字相机设备 100的相机设备、诸如计算设备200的计算设备和/或两个或更多个相区分的 设备。例如，在一些实施例中，图像捕获步骤可以通过图像传感器来执行， 并且剩余的步骤可以通过单独的计算设备来执行。其他布置是可能的。此外， 图6和/或图7中所描绘的流程图可以根据在本说明书和/或附图中所公开的变 型例而修改。

当在这里使用时，术语“序列”可以指顺序地布置的一个或更多个TET 和/或顺序地捕获的一个或多个图像。然而，在一些实施例中，相机设备可以 包括多个图像传感器(例如，图像传感器阵列)，并且这些图像传感器可以顺 序地、并行地或使用两者的一些组合来捕获图像。为了方便，术语“序列” 或“序列的”也可以被用于指并行地捕获“序列”的至少一些图像。

图8A、图8B和图8C描绘了基于在第一图像捕获306期间所捕获的两 个或更多个图像来构建像素值直方图的替选方法。图8A、图8B和图8C的 过程可以与图4A的过程组合或替代图4A的过程来使用。

例如，图8A描绘了分裂paxel下采样。如以上所注意地，i×j像素块及 其相关联的下采样像素两者可以被称为“paxel(数据块)”。像素块800是paxel ——包含像素值的3×2像素块——的示例。这些像素值可以是相应的像素的 (R，G，B)值、相应像素的(R，G，B)值的平均、YCbCr色彩空间中的 像素的亮度(Y)值或像素的一些其他表示中的一个或更多个。无论如何， 这六个像素值的平均为96.67。

作为对像素块800的六个像素下采样的一部分，除了确定平均像素值之 外，平均值还可以被用于将paxel中的像素“分裂”为两个组。第一组由具有 大于或等于平均像素值的像素值的像素构成，而第二组由具有小于平均像素 值的像素值的像素构成。可以计算第一组像素值的平均以确定高平均paxel 802，其具有为180的值。可以计算第二组像素值的平均以确定低平均paxel 804，其具有为55的值。额外地，可以通过计算将第一组中的像素的数量除 以paxel中的像素的总数量来确定高像素806的百分比(或分数)。在一些实 施例中，但是未在图8A中示出，可以通过计算第二组中的像素的数量除以 paxel中的像素的总数量来确定低像素的百分比(或分数)。可替换地，可以 通过从1中减去高像素806的百分比(或分数)来确定低像素的百分比(或 分数)。

下采样图像中的每个paxel可以由这三个(或四个)值表示。以这种方 式，关于paxel的结构的信息——诸如像素值的变化——可以被保留。额外地， 也可以通过高像素806的百分比(或分数)来表示分布是在平均值之上还是 在平均值之下被更重地加权。

图8B描绘了32:1的分裂paxel下采样的示例。图像808是1280×960 的图像。通过使用分裂的paxel、以32的因子对图像808进行下采样结果得 到40×30的高平均图像810、40×30的低平均图像812以及40×30的高百 分比像素矩阵814。因此，高平均图像810和低平均图像812中的每个像素 值可以表示图像810中的1024个像素(32×32个paxel)。虽然高平均图像 810和低平均图像812被称为“图像”，但是高平均图像810和低平均图像812 不可以被直接地观看。因此，可替换地，高平均图像810和低平均图像812 可以被称为“矩阵”。尽管在图8B中未示出，但是还可以生成低百分比像素 矩阵。

图8C描绘了基于下采样分裂paxel图像来构建直方图。图像820和图像 822可以是从在测定突发期间所捕获的相应的图像所导出的、下采样的高平 均图像。图像826和图像828可以是从同一测定突发的相应图像中所导出的、 下采样的低平均图像。例如，图像820和图像826可以分别是从在测定突发 中的同一原始、全尺寸图像中所导出的下采样高平均图像和下采样低平均图 像。相似地，图像822和图像828可以分别是从在测定突发中的另一原始、 全尺寸图像中所导出的下采样高平均图像和下采样低平均图像。

并非与在图4A的上下文中以上所述的处理不同，图像820和图像822 可以被反向色调映射并且可以被组合到组合的高平均图像824。因此，对于 下采样高平均图像中的每个位置(例如，像素820A和像素822A将被认为是 在相同的位置中)，可以选择具有小于255的最高值的像素。可能独立地，图 像826和图像828可以被反向色调映射和组合到组合的高平均图像830。因 此，对于下采样低平均图像中的每个位置(例如，像素826A和像素828A将 被认为是在相同的位置中)，可以选择具有小于255的最高值的像素。在其他 实施例中，可以替代地使用与255不同的阈值像素值(例如，250、245或者 高于255的阈值像素值)。

从高平均图像802和822中的一个中所选择的每个像素可以被放置在组 合的高平均图像824中的其相应的位置中。因此，例如，像素820A可以被 放置为像素824A，而像素822B可以被放置为像素824B。额外地，针对组合 的高平均图像824所选择的像素可以被反向地色调映射。类似地，从低平均 图像826和828中的一个中所选择的每个像素可以被放置在组合的高平均图 像830中的其相应的位置中。因此，例如，像素826A可以被放置为像素830A， 而像素828B可以被放置为像素830B。针对组合的高平均图像824所选择的 像素还可以被反向色调映射。

此外，在组合的高平均图像824和组合的低平均图像830中的每个中所 放置的每个像素值可以除以相应的TET，采用该相应的TET捕获在其相应的 paxel中未被下采样的像素。这样做可以将使用各种TET所捕获的像素值规 格化为特定的范围——例如，各种图像的像素可以被放置在相同亮度的单元 中。

可以从组合的高平均图像824和组合的低平均图像830创建直方图832。 直方图832可以是LDR直方图、HDR直方图、对数HDR直方图或一些其他 类型的直方图。虽然存在可以形成直方图的许多方式，但是一些实施例可以 包括对每个像素的像素值的函数进行评估。例如，如果像素值被表示在(R， G，B)色彩空间中，则函数可以取(R，G，B)色彩通道的值的平均或最大 值。

可替换地，可以构建多个直方图。例如，在(R，G，B)色彩空间的情 况中，可以创建用于R通道的一个直方图、用于G通道的一个直方图以及用 于B通道的一个直方图。如果许多金字塔被使用，则可以每色彩通道构建一 个直方图金字塔。

此外，此函数的输出的对数也可以被采用，并且结果可以被用于将直条 定位在直方图的x轴上。被添加到此直条的量可以基于像素的相关联的高像 素百分比(或分数)或低像素百分比(或分数)。例如，假定像素820A与为 0.73的高像素百分比(或分数)相关联。进一步假定像素820A被放置为像 素824A。然后，一旦针对此像素确定了直方图直条，则0.73的权重可以被 添加到该直条。类似地，假定像素828A与为0.49的低像素百分比(或分数) 相关联。进一步假定像素828A被放置为像素830A。然后，一旦针对此像素 确定了直方图直条，则0.49的权重可以被添加到该直条。在一些实施例中， 此权重可以进一步被修改，可能地通过中心加权平均或一些其他技术。

在一些实施例中，对像素信息的下采样和融合到直方图832的处理可以 一起执行而不是顺序地执行。例如，可以确定用于组合的高平均图像824和 组合的低平均图像830两者的特定像素位置的像素值，并且相关联的权重可 以在考虑下一个像素位置之前被添加到直方图832。如果组合的高平均图像 824中的高平均像素取自一个图像、组合的低平均图像830中的低平均像素 取自另一个图像并且它们相应的权重之和不为1，则这样做可以允许对权重 的进一步的规格化。图8C所示出的过程的其他顺序也是可能的，并且可能被 包括在替选实施例中。

直方图832可以与一个或更多个参考直方图比较，以确定用于随后的有 效载荷突发的TET值。例如，直方图832可以与在训练图像数据304中所存 储的每个直方图比较。直方图对可以以各种方式被比较，诸如计算直方图对 之间的EMD。如以上所讨论地，可能取0与1之间的值的权重w可以从用于 特定直方图对的EMD导出。

对于每个直方图对(其中，第一直方图是直方图832，而第二直方图来 自训练图像数据库304中的条目)，权重w可以被施加到与训练图像数据库 304中的第二直方图的条目相关联的相应的场景类型。结果可以在直方图对 上被平均，以确定场景的“HDR性”。例如，如果生成的“HDR性”在0至 1的标度上在0.5处或在0.5之上，则场景可以被指定用于HDR处理；但是 如果生成的“HDR性”在相同的标度上在0.5之下，则场景可以被指定用于 LDR处理。以上所描述的实施例仅是确定场景的亮度和“HDR性”的一个可 能的方式。可以替代地使用其他技术。例如，可以确定用于场景的短TET和 长TET。如果短TET与长TET之间的差异(或长TET与短TET的比率)小 于或等于阈值，则场景可以被认为是LDR场景。如果短TET与长TET之间 的差异(或长TET与短TET的比例)大于阈值，则场景可以被认为是HDR 场景。

为了确定用于有效载荷突发的TET，可以使用下面的示例过程。然而， 可以替代地使用其他过程。

对于每个直方图对(再次地，其中，第一直方图是直方图832，而第二 直方图来自训练图像数据库304中的条目)，权重w可以被施加到与训练图 像数据库304中的第二直方图的条目相关联的相应的目标像素值。结果可以 被平均以确定用于由直方图832所表示的场景的目标平均像素值。然后，表 1中所描绘的过程或一些其他过程可以被用于确定要被用于随后的图像捕获 的TET。如果场景类型是HDR，则可以确定两个或更多个目标平均像素值(和 两个或更多个相应的TET)。在一些实施例中，相应的TET可以包括回退TET。 然而，可能未使用回退TET来捕获图像，除非在第二图像捕获314期间所捕 获的短图像和长图像的融合失败。可替换地，仅在第一图像捕获306期间所 捕获的图像可以被用于形成输出图像316。

具体地，这里的实施例可以支持若干变型例。在一个可能的变型例中， 可以在图像处理308期间确定短TET和长TET。然后，在第二图像捕获314 期间，可以分别地使用短TET和长TET来捕获短图像和长图像。如果组合的 短图像和组合的长图像的对准和/或融合失败，则组合的短图像或组合的长图 像可以被提供为输出图像316或输出图像316的一部分。

在另一个可能的变型例中，可以在图像处理308期间确定短TET、长TET 以及回退TET。然后，在第二图像捕获314期间，可以分别地使用短TET、 长TET以及回退TET来捕获短图像、长图像以及回退图像。如果组合的短图 像和组合的长图像的对准和/或融合失败，则回退图像或组合的回退图像中的 一个可以被提供为输出图像316或被提供为输出图像316的至少一部分。组 合的回退图像可以以与组合的短图像和/或组合的长图像相似的方式被构建。

在又一个可能的变型例中，可以在图像处理308期间确定短TET、长TET 以及回退TET。然后，在第二图像捕获314期间，可以仅分别地使用短TET 和长TET来捕获短图像和长图像。如果组合的短图像和组合的长图像的对准 和/或融合失败，则组合的短图像或组合的长图像可以被选择并且被提供为输 出图像316或被提供为输出图像316的至少一部分。然而，在此变型例中， 如果回退TET大于所选择的融合图像的TET，则数字增益可以被施加(例如， 对于像素值的乘法运算)以将输出图像的亮度调节为与回退TET相对应的亮 度。因此，输出图像316可以展现出与使用回退TET所捕获的图像的亮度一 致的亮度。

图9描绘了根据示例实施例的流程图。在步骤900处，可以通过图像传 感器来捕获场景的第一多个图像。第一多个图像中的每个图像可以使用不同 的TET被捕获。在步骤902处，多个图像中的图像可以被下采样。在步骤904 处，基于下采样的图像的像素值，可以构建像素值直方图。

在步骤906处，像素值直方图可以与一个或更多个参考像素值直方图比 较。将像素值直方图与一个或更多个参考像素值直方图比较可以涉及：针对 像素值直方图和一个或更多个参考像素值直方图中的每个，确定相应的相似 性度量，并且基于相似性度量的逆来确定相应的权重。一个或更多个参考像 素值直方图可以与相应的目标平均像素值相关联，并且有效载荷TET可以基 于被应用到相应的目标平均像素值的相应权重之和。

在步骤908处，可以基于将像素值直方图与一个或更多个参考像素值直 方图比较来确定有效载荷TET。可以使用有效载荷TET来捕获场景的至少一 个额外的图像。

在一些实施例中，对多个图像中的图像进行下采样可能涉及：形成多个 高平均下采样图像和第二多个低平均下采样图像。额外地，基于下采样图像 的像素值来构建像素值直方图可能涉及基于多个高平均下采样图像和多个低 平均下采样图像的像素值来构建像素值直方图。

形成多个高平均下采样图像中的每个图像可以涉及：将多个高平均下采 样图像中的每个图像划分为相应paxel的非重叠矩阵，计算每个paxel的平均 像素值，以及计算每个paxel的高平均像素值。paxel的非重叠矩阵中的每个 像素可以表示具有1×2、2×1、2×2或更大的维度的多个图像中的相应图像 的至少一个像素图块。平均像素值可以是相应paxel内的所有像素的相应的平 均值，并且高平均像素值可以是具有大于或等于相应paxel的平均像素值的相 应paxel内的所有像素的相应的平均值。

形成多个低平均下采样图像的每个图像可能涉及计算每个paxel的低平 均像素值。低平均像素值可以是具有小于相应paxel的平均像素值的值的相应 paxel内的所有像素的相应的平均值。

对多个图像中的图像进行下采样可以进一步涉及：计算用于每个paxel 的相应的高像素分数和用于每个paxel的相应的低像素分数。高像素分数可以 是(i)具有大于或等于相应paxel的平均像素值的值的相应paxle内的像素与 (ii)相应paxel内的总像素的相应的比率。低像素分数可以是(i)具有小于 相应paxel的平均像素值的值的相应paxel内的像素与(ii)相应paxel内的总 像素的相应的比率。

基于下采样的图像的像素值来构建像素值直方图可以涉及：将来自多个 高平均下采样图像的图像组合到组合的高平均下采样图像，并且将来自多个 低平均下采样图像的图像组合到组合的低平均下采样图像。将来自第一多个 高平均下采样图像的图像组合到组合的高平均下采样图像可以涉及：针对组 合的高平均下采样图像中的每个像素位置，从高平均下采样图像中的一个中 的相同像素位置中选择高平均像素值。将来自第二多个低平均下采样图像的 图像组合到组合的低平均下采样图像可以涉及：针对组合的低平均下采样图 像中的每个像素位置，从低平均下采样图像中的一个中的相同像素位置中选 择低平均像素值。

基于下采样的图像的像素值来构建像素值直方图可以进一步包括：向像 素值直方图添加表示组合的高平均下采样图像中的每个高平均像素值的量的 第一集合和表示组合的低平均下采样图像中的每个低平均像素值的量的第二 集合。量的第一集合中的量基于相应的相关联的高像素分数。量的第二集合 中的量基于相应的相关联的低像素分数。

在图9中所描绘的步骤可以通过下述来执行：诸如数字相机设备100的 相机设备、诸如计算设备200的计算设备和/或两个或更多个相区分的设备。 例如，在一些实施例中，(一个或多个)图像捕获步骤可以通过图像传感器来 执行，并且剩余的步骤可以通过单独的计算设备来执行。其他布置是可能的。 此外，图9中所描绘的流程图可以根据在本说明书和/或附图中所公开的变型 例而修改。

因此，诸如图1A至图1D所示的示意性的设备可以使用第一相机系统来 记录视频或用于取景，而同时使用第二相机系统来实施包括或基于图9中所 示的方法的自动曝光处理。例如，数字相机设备100的相机112A可以被用于 记录场景的视频。在相机112A记录场景的视频时，数字相机设备100可以使 用相机112B来实施自动曝光处理以建立场景的HDR直方图，并且将直方图 与参考数据进行比较，以便对由相机112A所使用的曝光提供记录中调节。

E.自动对焦

通常，自动对焦(AF)系统可以包括一些种类的传感器、自动地确定对 焦设置的控制系统、以及根据对焦设置来调节相机的机械组件(例如，镜头) 的致动器。由传感器所提供的数据可以被用于评估图像传感器记录或将记录 环境的方式，并且被用于响应地控制可以改变相机的对焦的机电系统(例如， 通过使用致动器来移动镜头的组件和/或改变光圈的大小)。各种类型的自动 对焦技术可以由诸如数字相机设备100的图像捕获设备利用。

许多消费者相机包括被动自动对焦系统，该被动自动对焦系统通过被动 地分析进入光学系统的图像来将透镜对焦在对象上(例如，其不将被控制的 光束引导到对象上以便进行对焦)。典型的被动自动对焦技术包括“相位检测” 自动对焦(PD-AF)和“对比度检测”自动对焦(CD-AF)，其也可以被称为 “对比度测量”自动对焦。

被动自动对焦处理典型地涉及计算系统(例如，处理器)对机械镜头系 统进行操作以调节镜头的对焦设置(例如，改变对焦距离或景深)，并且然后 分析从自动对焦传感器所生成的图像是否对焦。如果生成的图像未被满意地 对焦，则计算系统再次调节对焦设置并且评估生成的图像中的对焦特性。在 一些实施方式中，对于对焦设置的每个调节可以基于图像如何失焦(或图像 的特定部分如何失焦)的一些测量来确定。在其他实施方式中，调节可以是 预先确定的。在任意情况下，可以重复该处理直到生成的图像被视为被满意 地对焦为止。

如以上所注意地，诸如DSLR的一些相机可以包括专用自动对焦系统， 其可以包括一个或更多个自动对焦专用的传感器。这样的相机通常不使用被 用于捕获图像的图像传感器来用于自动对焦的目的。此外，这样的相机通常 包括PD-AF系统，在该系统中，通过镜头所接收到的光被分裂为一对图像。 然后，一对图像中的两个图像可以被引导到自动对焦传感器上并且被分析以 确定镜头是否对焦。

一个通用系统的PD-AF系统是辅助图像配准(SIR)的通过透镜相位检 测系统。SIRPD-AF系统利用束分裂器来将入射光引导朝向自动对焦传感器。 更具体地，位于镜头的相对侧的微透镜可以将来自于源自镜头的相对侧的光 引导朝向自动对焦传感器，这可以有效地创建测距仪，其中，两个图像被投 影在自动对焦传感器上。然后，由两个微透镜所形成的图像被比较以确定分 离误差，该分离误差被评估以确定镜头是否正确地被对焦。如果分离误差指 示对象失焦(例如，如果分离误差不为零或者不在与零的一定阈值内)，则对 于对焦的调节可以基于该分离误差而被计算，并且镜头可以根据所调节的设 置而被移动。

当在器件设计中，组件的大小和/或成本是显著的时，器件可以利用不包 括单独的自动对焦系统的相机系统。对于许多移动电话和/或平板式计算机是 这样的情况，其经常包括使用同一图像传感器用于自动对焦和图像捕获两者 的相机系统。在很多情况中，诸如移动电话和平板式设备的便携式设备中的 相机使用CD-AF用于成像的目的。

虽然CD-AF系统可以使用对于自动对焦专用的单独的传感器，但是大多 数CD-AF系统使用同一图像传感器用于图像捕获和自动对焦两者。CD-AF 系统通过测量在传感器上所检测的图像中的对比度来确定对象是否对焦。为 了这样做，CD-AF系统可以在图像中的各个点评估对比度的改变，其中对比 度越高被解释为图像越锐利的指示。

更具体地，与图像对象失焦时相比，当所捕获的对象在相邻像素中对焦 时，传感器的相邻像素之间的强度的差异通常较大。此外，CD-AF系统可以 测量特定像素处的对比度，或确定在特定像素组上的平均。在任一情况中， CD-AF系统然后可以调节对焦设置直到检测到阈值对比度为止(并且可能直 到检测到最大对比度为止)。例如，示意性的CD-AF系统可以使图像数据通 过高通滤波器，并且调节镜头的对焦直到来自滤波器的输出超过阈值为止(并 且可能直到滤波器的输出在其最高等级处为止)。

捕获具有不同对焦设置的场景的多个图像的处理可能涉及对焦扫描。当 捕获静态摄影时，相机系统可以仅在拍照之前执行对焦扫描一次。当记录视 频时，相机系统可以连续地执行对焦扫描，或至少周期性地执行对焦扫描。 注意地，当利用主图像传感器的CD-AF系统在记录视频的同时执行对焦扫描 时，这可以导致视频的可察觉的失焦的短片段。注意，采用不同的对焦设置 来捕获场景的多个图像的处理还可以涉及在一个方向或另一个方向上的微小 的对焦搜寻。

因此，诸如图1A至图1D的示意性的设备可以使用第一相机系统来记录 视频，而同时使用第二相机系统代表第一相机系统来实施CD-AF。例如，数 字相机设备100的相机112A可以被用于记录场景的视频。当相机112A记录 场景的视频时，数字相机100可以使用相机112B来实施CD-AF处理，以便 对于相机112A的对焦设置进行确定并且进行记录中调节。

III.用于具有多个相机的设备的示意性方法

图10A示出了根据示例实施例的方法1000。更具体地，方法1000涉及 设备使用第一相机来捕获第一图像数据，其中，第一相机初始地使用用于图 像设置的第一值来捕获第一图像数据，如通过方框1002所示。然后，在第一 相机捕获第一图像数据的同时，设备使用第二相机来确定用于图像设置的更 新后的值，其中，第一相机和第二相机被布置在设备上并且被定向在基本上 相同的方向上，如通过方框1004所示。然后，设备使得第一相机使用用于图 像设置的更新后的值，以继续捕获第一图像数据，如通过方框1006所示。

在另一个方面中，当设备包括三个或更多个相机时，设备可以使用两个 或更多个相机以用于图像捕获，而同时使用一个或更多个其他相机来提供用 于正在被用于捕获图像的所有相机的自动对焦、自动曝光和/或自动白平衡。

此外，方法1000可以被实施为用于各种类型的图像捕获。例如，第二相 机可以被用于更新由第一相机所使用的图像设置来捕获视频。作为另一个示 例，第二相机可以被用于更新由第一相机所使用的图像设置，以生成用于取 景器中的显示的图像数据。其他示例也是可能的。

在又一方面中，注意代表其他相机来确定设置的一个或更多个相机在确 定设置的同时可以在低电力模式下操作。例如，执行自动对焦处理的辅助相 机可以在这样做的同时使用剪切以节省电力。作为另一个示例，执行自动曝 光处理的辅助相机可以使用用于像素的重新划分(binning)或跳过技术来节 省电力。用于确定各种相机设置的其他低电力技术也是可能的。

A.使用用于实验和调节处理的第二相机系统

图10B示出了可以通过设备实施的以使用第二相机来确定用于图像设置 的更新后的值的方法1050，诸如在方法1000的方框1004处。具体地，设备 可以使得第二相机使用用于图像设置的测试值来捕获第二图像数据，如通过 方框1004a所示。然后，设备可以确定第二图像数据是否满足一个或更多个 图像准则，如通过方框1004b所示。如果第二图像数据满足一个或更多个图 像准则，则设备可以设置图像设置为测试值，如通过方框1004c所示。否则， 设备可以改变用于图像设置的测试值，如通过方框1004d所示。然后，设备 可以重复方框1004a至1004d，直到在方框1004c处确定第二图像数据满足一 个或更多个准则为止。

在一些实施方式中，方法1000和方法1050可以提供自动对焦处理，其 使用第二相机来调节用于第一相机的对焦，而同时第一相机正在记录视频或 取景。例如，为了在移动设备的第一相机正在捕获场景的视频的同时提供自 动对焦，移动设备的第二相机可以被用于执行场景的一个或更多个对焦扫描， 使得第一相机的对焦设置可以被调节。在一些实施方式中，与如果同一相机 执行对焦扫描和捕获视频相比，该对焦扫描可以扫描更大数量和或范围的对 焦设置。进而，自动对焦处理的结果可以提高。例如，当第二相机执行用于 第一相机的自动对焦时，自动对焦处理可以更多地响应于场景中突然的或激 烈的改变。此外，该配置可以帮助降低并且可能消除在由第一相机所捕获的 视频中的对焦搜寻的可视化影响。

在一些实施例中，可以假定第二图像捕获系统的镜头与被对焦的物体之 间的距离，和第一图像捕获系统的透镜与物体之间的距离相同(或至少针对 对焦的目的足够接近)。在这样的实施例中，第一图像捕获系统可以简单地使 用由第二图像捕获系统所确定的对焦设置(例如，与被对焦的对象相对应的 (一个或多个)设置)。

在其他实施例中，使用第二图像捕获系统所确定的对焦设置(例如，焦 距)可以针对第一图像捕获系统的使用而被调节。例如，使用第二相机所确 定的对焦设置可以根据第一相机与第二相机之间的基线(即，两个相机之间 的距离)而针对第一相机被调节。为了这样做，可以基于下述来确定从第一 相机的镜头到对象的距离：(a)第二相机的镜头与对象之间的距离和角度， 以及(b)第一相机与第二相机之间的基线。然后，可以根据从第一相机的透 镜到对象的距离与从第二相机的透镜到对象的距离的比率来调节由第二相机 所使用的焦距，以便确定第一相机的透镜与对象之间的距离。用于第一相机 的(一个或多个)对焦设置然后可以被设置为使得第一相机的焦距和对象与 第一相机的镜头之间的距离对准。其他示例也是可能的。

额外地或可替换地，方法1000和方法1050可以在第一图像捕获系统正 在记录视频或取景的同时提供自动白平衡处理，其使用第二图像捕获系统来 确定用于第一图像捕获系统的白平衡设置。在这样的实施例中，第二图像捕 获系统可以使用现在已知的或稍后开发的任何白平衡处理。

此外，方法1000和方法1050可以提供自动曝光处理，其使用第二图像 捕获系统来确定用于第一图像捕获系统的曝光。例如，第二相机可以实施下 述自动曝光处理：向上或向下调节TET，直到平均像素值等于目标平均像素 值，或与目标平均像素值偏差了少于预先确定的量。其他示例也是可能的。

B.使用用于基于模型设置的第二相机

除了迭代实验和调节处理之外或与迭代实验和调节处理可替换的，计算 设备可以使用来自第二相机系统的图像数据来对正在捕获图像数据的第一相 机的设置进行基于模型的更新。例如，在第一相机正在记录视频的同时，第 二相机可以被用于自动曝光处理。

作为具体的示例，图10C示出了可以由设备所实施的以使用第二相机来 提供用于基于模型的自动曝光处理的数据的方法1070。方法1070例如可以 在方法1000的方框1040处被实施。此外，方法1070可以在设备的第一相机 正在记录场景的视频的同时被反复地执行，以使用设备的第二相机来提供用 于第一相机的自动曝光处理。

通过实施方法1070，移动设备的第二相机可以被用于捕获图像数据，移 动设备(或与移动设备通信的远程设备)通过该图像数据可以渐进地构建场 景的HDR直方图，该图像数据被更新为由第二相机采用不同的曝光设置捕获 的新的图像数据。渐进地构建的直方图可以周期性地或可能甚至同时地被与 参考数据比较，以便对第一相机的曝光提供记录中调节。

如通过方框1072所示，方法1070涉及计算设备操作第二图像捕获系统 来捕获场景的多个第二图像，其中，使用用于曝光设置的不同值来捕获多个 图像中的每个图像。在方框1074处，计算设备下采样多个第二图像。然后， 计算设备可以基于下采样的图像的像素值来构建像素值直方图，如通过方框 1076所示。此外，计算设备可以将像素值直方图与一个或更多个参考像素值 直方图比较，如通过方框1078所示。然后，计算设备可以基于像素直方图与 一个或更多个参考像素值直方图的比较来确定用于曝光设置的更新后的值， 如通过方框1080所示。

在一些实施例中，方框1080可以涉及确定由第一图像捕获系统使用以继 续捕获第一图像数据的TET。因此，方法1070可以在第一相机进行的视频记 录期间被重复多次，使得由第一相机所使用的捕获视频的TET可以贯穿记录 被调节多次。类似地，方法1070可以在第一相机正在捕获用于在取景器中所 呈现的图像数据的同时被重复多次，使得第一相机的TET可以在捕获用于取 景器的图像数据的同时被调节多次。

在又一方面中，在方框1078处，像素值直方图与一个或更多个参考像素 值直方图的比较可以使用各种技术完成。例如，像素值直方图与一个或更多 个参考像素值直方图的比较可以涉及针对像素值直方图和一个或更多个参考 像素值直方图中的每个来确定相应的相似性度量，并且基于相似性度量的逆 来确定相应的权重。一个或更多个参考像素值可以与相应的目标平均像素值 相关联，并且在方框1080处，可以基于被施加到相应的目标平均像素值的相 应权重之和来确定TET。用于第一相机的TET然后可以被相应地更新。

在一些实施例中，对多个图像中的图像进行下采样可以涉及形成多个高 平均下采样的图像和第二多个低平均下采样图像。额外地，基于下采样的图 像的像素值来构建像素值直方图可以涉及基于多个高平均下采样图像和多个 低平均下采样图像的像素值来构建像素值直方图。

形成多个高平均下采样图像中的每个图像可以涉及：将多个高平均下采 样图像中的每个图像划分为相应的paxel的非重叠矩阵，计算每个paxel的平 均像素值，以及计算每个paxel的高平均像素值。paxel的非重叠矩阵中的每 个像素可以表示具有1×2、2×1、2×2或更大的维度的多个图像中的相应图 像的至少一个像素图块。平均像素值可以是相应paxel内的所有像素的相应的 平均值，并且高平均像素值可以是具有大于或等于相应paxel的平均像素值的 相应paxel内的所有像素的相应的平均值。

形成多个低平均下采样图像的每个图像可能涉及计算每个paxel的低平 均像素值。低平均像素值可以是具有小于相应paxel的平均像素值的值的相应 paxel内的所有像素的相应的平均值。

对多个图像中的图像进行下采样可以进一步涉及：计算用于每个paxel 的相应的高像素分数和用于每个paxel的相应的低像素分数。高像素分数可以 是(i)具有大于或等于相应paxel的平均像素值的值的相应paxle内的像素与 (ii)相应paxel内的总像素的相应比率。低像素分数可以是(i)具有小于相 应paxel的平均像素值的值的相应paxel内的像素与(ii)相应paxel内的总像 素的相应比率。

基于下采样的图像的像素值来构建像素值直方图可以涉及：将来自多个 高平均下采样图像的图像组合到组合的高平均下采样图像，并且将来自多个 低平均下采样图像的图像组合到组合的低平均下采样图像。将来自第一多个 高平均下采样图像的图像组合到组合的高平均下采样图像可以涉及：针对组 合的高平均下采样图像中的每个像素位置，从高平均下采样图像中的一个中 的相同像素位置中选择高平均像素值。将来自第二多个低平均下采样图像的 图像组合到组合的低平均下采样图像可以涉及：针对组合的低平均下采样图 像中的每个像素位置，从低平均下采样图像中的一个中的相同像素位置中选 择低平均像素值。

基于下采样的图像的像素值来构建像素值直方图可以进一步包括：向像 素值直方图添加表示组合的高平均下采样图像中的每个高平均像素值的量的 第一集合和表示组合的低平均下采样图像中的每个低平均像素值的量的第二 集合。量的第一集合中的量基于相应的相关联的高像素分数。量的第二集合 中的量基于相应的相关联的低像素分数。

注意以上的利用高平均像素值和低平均像素值的分裂paxel技术仅是构 建像素值直方图的一个方式。在其他情况中，以上所描述的分裂paxel技术可 以被省略，并且直方图可以从下采样的图像直接地创建。用于生成像素值直 方图的其他技术也是可能的。

注意用于自动曝光处理的第二相机的使用——诸如方法1070——可能 允许关于曝光的有意义的实验，其可能提高自动曝光处理的结果。此外，因 为场景的直方图可以在视频记录期间渐进地构建，所以直方图可以随着视频 记录的进展而改进。因此，场景的记录持续越长，也可以改进自动曝光处理 的结果。

C.使用一个或更多个额外的相机来更新用于第一相机的多个图像设置

在一些实施例中，设备可以使用诸如方法1000的示例方法来调节两个或 更多个图像设置。方法1000或其部分可以针对两个或更多个不同类型的图像 设置而实施。这样，在第一图像捕获系统正在捕获场景的第一图像数据的同 时，两个或更多个不同类型的图像设置中的所有可以针对第一图像捕获系统 而被更新。

作为具体示例，在第一相机设备正在捕获图像数据(例如，记录视频或 捕获一群静态图像)的同时，设备上的一个或更多个第二相机可以被用于并 发地更新用于同一设备上的第一相机的对焦设置和曝光设置两者。作为另一 个具体示例，在第一相机设备捕获图像数据的同时，设备上的一个或更多个 第二相机可以被用于更新用于第一相机的近场对焦设置和远场对焦设置。例 如，在第一相机正在捕获视频的同时，第二相机可以在远离设备的距离处执 行对焦扫描或对焦搜寻，并且第三相机可以在接近设备的距离处执行对焦扫 描或对焦搜寻。

此外，注意设备上的一个或更多个第二相机还可以被用于并发地更新用 于并发地捕获图像数据的同一设备上的两个或更多个其他相机的多个设置 (例如，对焦设置和曝光设置)。例如，第一相机可以执行AF处理并且第二 相机可以同时地执行自动曝光处理，以便调节用于捕获立体视频(例如，创 建3D视频素材)的第三相机和第四相机的对焦设置和曝光设置。其他示例 也是可能的。

在一些实施例中，设备可以使用一个辅助相机来更新用于正在记录视频 的第一相机的多个图像设置。例如，方法1000可以进一步涉及计算设备在(a) 操作第二图像捕获系统以更新用于第一图像捕获系统的第一图像设置和(b) 操作第二图像捕获系统以更新第二图像设置之间交替。

作为示例，当第一相机正在记录视频时，计算设备可以在下述之间向前 和向后切换：(a)使用第二相机来确定用于第一相机的对焦设置；和(b)使 用同一第二相机来确定用于第一相机的曝光设置。

作为另一个示例，当第一相机正在记录视频时，计算设备可以在下述之 间向前和向后切换：(a)使用第二相机来确定用于第一相机的对焦设置；和 (b)使用同一第二相机来确定用于第一相机的白平衡设置。

以及，作为又一个示例，当第一相机正在记录视频时，计算设备可以在 下述之间轮换：(a)使用第二相机来确定用于第一相机的对焦设置；(b)使 用同一第二相机来确定用于第一相机的白平衡设置；以及(c)使用同一第二 相机来确定用于第一相机的曝光设置。其他示例也是可能的。

在一些实施例中，示例方法可以通过包括三个或更多个相机的设备来实 施。在这样的设备中，两个或更多个额外的相机可以被用于同时更新用于正 在记录视频的第一相机的不同的图像设置。这样，方法1000可以进一步涉及： 在第一图像捕获系统正在捕获第一图像数据时：(a)通过计算设备来操作第 三图像捕获系统以确定用于第二图像设置的更新后的值；和(b)向第一图像 捕获系统发送指示使用用于第二图像设置的更新后的值来继续捕获第一图像 数据的指令。

作为示例，当第一相机正在记录视频时，第二相机可以被用于确定用于 第一相机的对焦设置(例如，用于自动对焦)，而同时第三相机可以同时地被 用于确定用于第一相机的曝光设置(例如，用于自动曝光)。作为另一个示例， 当第一相机正在记录视频时，计算设备可以同时地：(a)使用第二相机来更 新第一相机的对焦；(b)使用第三相机来更新用于第一相机的白平衡；以及 (c)使用第四相机来更新第一相机的曝光。其他示例也是可能的。此外，注 意，这样的功能可以通过阵列配置的相机的集合来实施，其所有均捕获图像 数据。然而，其他配置也是可能的。

此外，当设备包括三个或更多个相机时，一个相机可以确定用于其他相 机中的两个或更多个的一个或多个设置。例如，设备上的相机可以代表设备 上的两个或更多个其他相机来执行自动对焦处理、自动曝光处理和/或自动白 平衡处理。其他示例也是可能的。

IV.结论

以上详述的说明书参考附图描述了所公开的系统、设备和方法的各种特 征和功能。在附图中，相似的符号通常标识相似的组件，除非上下文指示并 非如此。在详述的说明书、附图和权利要求中所描述的示意性的实施例不意 欲为限制性的。其他实施例可以被利用，并且可以进行其他改变，而不脱离 这里所呈现的主体的范围。将容易地理解，如这里通常所描述地和在附图中 所示地，本公开的各方面可以以各种广泛的不同配置被布置、替换、组合、 分离和设计，所有这些在这里都明确地设想到了。

关于附图中的和如在这里所讨论的消息流图、情境和流程图中的任何或 所有，每个步骤、方框和/或通信可以代表根据示例实施例的信息的处理和/ 或信息的传输。替选实施例被包括在这些示例实施例的范围内。在这些替选 实施例中，例如，依赖于所涉及的功能，被描述为步骤、方框、传输、通信、 请求、响应和/或消息的功能可以不按照所示出的或所讨论的顺序被执行，包 括按照基本上并发地或相反的顺序被执行。此外，更多的或更少的步骤、方 框和/或功能可以与这里所讨论的消息流图、情境和流程图中的任何一起使用， 并且这些消息流图、情境和流程图可以部分地或整体地彼此组合。

代表信息的处理的步骤或方框可以与可以被配置为执行这里所描述的方 法或技术的具体逻辑功能的电路相对应。可替换地或额外地，代表信息的处 理的步骤或方框可以与程序代码(包括相关数据)的模块、片段或部分相对 应。程序代码可以包括一个或更多个指令，该指令由处理器可执行以用于实 施方法或技术中的具体的逻辑功能或动作。程序代码和/或相关数据可以被存 储在诸如存储设备的任何类型的计算机可读介质上，包括盘驱、硬驱或其他 存储媒介。

计算机可读介质还可以包括非暂态计算机可读媒介，诸如像寄存器存储 器、处理器高速缓存和/或随机存取存储器(RAM)那样短时间段地存储数据 的计算机可读媒介。计算机可读媒介还可以包括较长时间段地存储程序代码 和/数据的非暂态计算机可读媒介，诸如像例如只读存储器(ROM)、光盘或 磁盘和/或压缩盘只读存储器(CD-ROM)那样的中等的或永久的长期存储装 置。计算机可读媒介还可以是任何其他易失性或非易失性存储系统。计算机 可读介质可以被认为是例如计算机可读存储介质或有形存储设备。

此外，代表一个或更多个信息传输的步骤或方框可以与同一物理设备中 的软件模块和/或硬件模块之间的信息传输相对应。然而，其他信息传输可能 是在不同的物理设备中的软件模块和/或硬件模块之间。

虽然这里已经公开了各种方面和实施例，但是其他方面和实施例对于本领域 技术人员将是明显的。这里所公开的各种方面和实施例出于示意的目的而不 意欲为限制性的，真实的范围由下面的权利要求所指示。