用于编码和流处理通过使用多个最大比特率级别编码的视频的系统和方法

技术领域

本发明涉及呈现多媒体内容，特别是流处理（stream）按针对接收流的回放装置的各种缩放的显示分辨率和网络连接最大数据速率优化的各种推荐最大比特率而编码的视频内容。 

背景技术

术语流处理媒体描述了在回放装置上回放媒体，其中媒体被存储在服务器上并在回放期间通过网络被连续发送至回放装置。通常，回放装置在回放期间的任何给定时间在缓冲器中存储足够量的媒体，从而防止由于回放装置在接收到下一部分的媒体之前完成所有缓存的媒体的回放而导致的回放中断。自适应比特率流处理或自适应流处理涉及实时检测当前流处理状态（例如用户的网络带宽和CPU能力），并相应地调节流媒体的质量。 

在自适应流处理系统中，源媒体通常在媒体服务器上被存储为指向包含实际视频和音频数据的多个备选流的顶层索引文件。每个流通常被存储在一个或多个容器文件中。不同的自适应流处理分辨率通常使用不同的索引和媒体容器。Matroska容器是由法国奥松讷（Aussonne）的非盈利组织Matroska作为开放的标准项目而开发的媒体容器。Matroska容器基于可扩展二进制元语言（EBML），其是可扩展标记语言（XML）的二进制衍生物。Matroska容器的解码被许多消费电子（CE）装置支持。由加州圣地亚哥的DivX公司开发的DivX Plus文件格式使用了Matroska容器格式的扩展，包括没有在Matroska格式中规定的元素。 

发明内容

根据本发明的实施例的系统和方法流处理并回放具有各种分辨率、帧速率和/或采样纵横比的视频，其中，视频流以有限数量的最大比特率级别中的一个被编码。一个实施例包括处理器和存储设备，存储设备包含编码应用和使分辨率和帧速率的组合与最大比特率相关的数据，其中，与相同最大比特率相关的多个分辨率和帧速率形成一最大比特率级别。另外，编码应用配置处理器以将视频流编码为具有不同的分辨率和帧速率的多个视频流，其中，基于在使分辨率和帧速率的组合与最大比特率相关的数据内指示的分辨率和帧速率组合的最大比特率级别，在编码视频流期间使用的目标最大比特率被选择。 

在进一步的实施例中，一最大比特率级别内的分辨率和帧速率具有处于最大比特率级别内的一分辨率和帧速率组合的最高最佳目标最大比特率的预定百分比内的最佳目标最大比特率。 

在另一个实施例中，分辨率和帧速率组合的最佳目标最大比特率通过使用公式被确定。 

在另一个实施例中，分辨率和帧速率组合的最佳目标最大比特率通过使用实验被确定。 

在另一个实施例中，一最大比特率级别内的分辨率和帧速率具有处于该最大比特率级别内的至少一个其它的分辨率和帧速率组合的最佳目标最大比特率的预定百分比内的最佳目标最大比特率。 

在又一个实施例中，使分辨率和帧速率的组合与最大比特率级别相关的数据以图5所示的方式使分辨率和帧速率与最大比特率相关。 

另一个实施例包括多个回放装置，其中，这些回放装置具有不同的显示纵横比并利用不同类型的网络连接；还包括其上存储有多个视频流的多个服务器的流处理系统，其中，该多个视频流以不同的分辨率和帧速率被编码。另外，存储在流处理系统上的视频流通过使用多个最大比特率级别中的一个被编码，其中，具有不同的分辨率和帧速率的视频流以相同最大比特率级别被编码，回放装置被配置为支持回放以与多个最大比特率级别对应的最大比特率编码的视频数据，回放装置被配置为从来自流处理系统的至少一个视频流请求以由回放装置支持的一最大比特率级别编码的视频数据，并且，回放装置被配置为回放从流处理系统接收的、以所支持的最大比特率级别编码的视频数 据。 

进一步的实施例同样也包括源编码器，其包括包含使分辨率和帧速率的组合与最大比特率级别相关的数据的存储设备。另外，源编码器被配置为将视频流编码为具有不同的分辨率和帧速率的多个视频流，其中，基于在使分辨率和帧速率的组合与最大比特率级别相关的数据内指示的分辨率和帧速率组合的最大比特率级别，在编码视频流期间使用的目标最大比特率被选择。 

在另一个实施例中，使分辨率和帧速率的组合与最大比特率级别相关的数据以图5所示的方式使分辨率和帧速率与最大比特率级别相关。 

另外的实施例包括包含处理器指令的机器可读介质，其中，由处理器执行指令导致处理器执行用于确定用于编码在流处理系统中使用的视频数据的一组最大比特率级别的处理，该流处理系统包括具有不同的显示纵横比和网络连接的回放装置。另外，该处理包括：选择一组的分辨率和帧速率组合；确定用于以每个分辨率和帧速率组合编码视频数据流的最佳目标最大比特率；利用至少一个分组准则，基于分辨率和帧速率组合的最佳目标最大比特率，将分辨率和帧速率组合分组到多个最大比特率级别；和确定用于一最大比特率级别中的分辨率和帧速率组合的目标最大比特率。 

在另一个实施例中，分辨率和帧速率组合的最佳目标最大比特率通过使用公式被确定。 

在另一个实施例中，分辨率和帧速率组合的最佳目标最大比特率通过使用实验被确定。 

在另一个实施例中，该至少一个分组准则将具有下述最佳目标最大比特率的分辨率和帧速率分组到一最大比特率级别内，其中，该最佳目标最大比特率处于该最大比特率级别内的一分辨率和帧速率组合的最高最佳目标最大比特率的预定百分比内。 

在另一个实施例中，该至少一个分组准则将具有下述最佳目标最大比特率的分辨率和帧速率分组到一最大比特率级别内，其中，该最佳目标最大比特率处于该最大比特率级别内的至少一个其它的分辨率和帧速率组合的最佳目标最大比特率的预定百分比内。 

在另一个实施例中，确定用于一最大比特率级别中的分辨率和帧速率组合的目标最大比特率包括选择该最大比特率级别内的分辨率和帧速率组合的最大最佳目标比特率。 

在另一个实施例中，确定用于一最大比特率级别中的分辨率和帧速率组合的目标最大比特率包括选择该最大比特率级别内的分辨率和帧速率组合的最小最佳目标比特率。 

在另一个实施例中，确定用于一最大比特率级别中的分辨率和帧速率组合的目标最大比特率包括选择该最大比特率级别内的分辨率和帧速率组合的平均最佳目标比特率。 

进一步的实施例还包括通过使用预定的取整函数对该平均最佳目标比特率取整。 

在又一个实施例中，确定用于一最大比特率级别中的分辨率和帧速率组合的目标最大比特率包括基于该最大比特率级别内的分辨率和帧速率组合中的至少一个的最佳目标数据速率而选择多个已知网络数据速率中的一个。 

附图说明

图1是根据本发明的实施例的级别比特率自适应流处理系统的网络示意图。 

图2在概念上示出了根据本发明的实施例的被配置为呈现通过利用目标最大比特率级别编码的视频数据的回放装置。 

图3是示出了根据本发明的实施例的用于在给定视频数据的情况下确定一组比特率的处理的流程图。 

图4是示出了根据本发明的实施例的用于确定一组编码最大比特率级别的处理的流程图。 

图5是示出了根据本发明的实施例的具有与最大配置比特率匹配的编码比特率的一组分辨率的例子的表。 

图6是示出了根据本发明的实施例的用于不同纵横比的多组分辨率的例子的表，其中，每个组中的分辨率被编码使得每个纵横比以落入最大比特率级别中的每个内的分辨率被编码。 

具体实施方式

现在转到附图，示出了根据本发明的实施例的用于流处理和回放具有各种分辨率、帧速率和/或采样纵横比的视频的系统和方法，其中，视频流以有限数量的最大比特率级别中的一个被编码。视频数据通常被编码以实现目标最大比特率。超出特定的最大比特率阈值后，以特定的分辨率和帧速率编码的视频的质量通常不明显改善。在超出该阈值时，增加经编码的视频的分辨率可提高视频质量。可以使用公式推荐按照其来有效地以特定的分辨率和帧速率编码视频内容并具有在所选择的分辨率下可实现的最高视频质量的最佳目标最大比特率。作为替代方案，可通过测试确定在其位置处视频质量不明显改善的比特率阈值。虽然确定按照其来编码特定的视频内容段以有效地在特定的分辨率和帧速率下实现最高质量视频的最佳最大比特率可能是有益的，但可通过规定视频可按照其被编码的有限数量的最大比特率而不管用于特定的帧速率和分辨率组合的最佳目标最大比特率，来简化若干视频内容流到各种各样的回放装置的呈现。通常通过测试来确认特定类型的回放装置回放以特定的最大比特率编码的视频的能力。因此，流处理系统所支持的最大比特率级别的数量越少，则测试每个回放装置以确认其回放以所支持的目标最大比特率编码的视频的能力的处理越简单。因此，流处理系统可利用一组最大比特率级别以简化验证在流处理系统内使用的回放装置的处理。当视频以若干不同的分辨率和帧速率被编码以用于经由流处理系统分发时，适于特定的分辨率和帧速率组合中的每个的最大比特率级别可被选择并被用作编码视频数据流时的目标最大比特率。 

在几个实施例中，选择在编码视频以用于经由流处理系统分发时使用的一组最大比特率级别的处理涉及确定用于视频内容的最流行的纵横比和帧速率并接着确定视频内容将按照其被编码的所有的流处理分辨率和帧速率。当最可能的分辨率和帧速率组合被识别时，可通过使用适当的比特率公式或测试来确定用于每个分辨率和帧速率组合的最佳目标最大比特率。可用于确定按照其来以规定的分辨率和帧速率编码视频的最佳目标最大比特率的比特率公式在于2012年3月28日提交的Soroushian等人的发明名称为“Systems and Methods for  Encoding Alternative Streams of Video for Playback on Playback Devices having Predetermined Display Aspect Ratios and Network Connection Maximum Data Rates”的美国专利申请系列号13/432,521（其全部公开内容通过引用并入于此）中被讨论。最佳目标最大比特率可接着被分组为级别，并且可针对每个级别确定最大比特率。 

在几个实施例中，分辨率和帧速率组合可基于其对应的最佳目标最大比特率而被分组为级别，使得一组内的所有最佳目标最大比特率都处于该组内的最高最佳目标最大比特率的预定百分比内。在许多实施例中，分辨率和帧速率组合可基于其对应的最佳目标最大比特率而被分组为级别，使得组内的每个最佳目标最大比特率处于该组内的下一最高的最佳目标最大比特率的预定百分比内。在其它的实施例中，根据本发明的实施例，可利用各种分组准则中的任何一种，包括将分辨率和帧速率组合基于其最佳目标最大比特率分组为预定数量的组的准则。 

分配给在一级别处的分辨率和帧速率组合的最大比特率可通过任意数量的不同方式被确定，包括（但不限于）包含于该组中的最佳目标最大比特率的平均比特率、包含于该级别中的最佳目标最大比特率的最小比特率、和/或接近于该级别中的目标最大比特率中的一个或多个的典型网络连接数据速率。针对每个级别所确定的最大比特率可接着被用于以该级别内的分辨率和帧速率组合来编码内容。在几个实施例中，确定最大比特率级别的处理在第一处理中被执行，并且该最大比特率级别和落入每个级别内的分辨率和帧速率组合可被提供给源编码系统以在编码视频内容时使用。 

在许多实施例中，流处理系统是自适应的比特率流处理系统。自适应比特率流处理系统可流处理以最大比特率编码的视频数据的备选流。为了独立于网络数据速率而提供最高质量的视频体验，自适应比特率流处理系统根据包含但不限于可用网络数据速率和视频解码器性能的各种因素而在视频数据的整个呈现过程中在可用的视频数据流之间切换。用于在回放期间在视频流之间切换的系统和方法在于2011年8月30日提交的Braness等人的发明名称为“Systems and Methods for Adaptive Bitrate Streaming of Media Stored in Matroska  Container Files Using Hypertext Transfer Protocol”的美国专利申请系列号13/221,682中公开，其全部公开内容通过引用并入于此。在自适应比特率流处理系统中，多个备选流可能被编码而具有相同的纵横比和不同的分辨率。用于选择按照其来编码用于在自适应比特率流处理系统中使用的备选视频流的分辨率的系统和方法在于2012年3月26日提交的Soroushian等人的发明名称为“Selection of Resolutions for Seamless Resolution Switching of Multimedia Content”的美国专利申请系列号13/430,032（其全部公开内容通过引用并入于此）中被描述。虽然以下的大多数的讨论参照了自适应比特率流处理系统，但根据本发明的实施例的系统和方法可被用于非自适应的流处理系统中。以下进一步讨论根据本发明的实施例的用于通过使用较小的一组最大比特率级别以多个分辨率和帧速率流处理视频的系统和方法。 

系统概要

在图1中示出了根据本发明的实施例的流处理系统。流处理系统100包括被配置为将源视频编码为若干备选视频流的源编码器106。备选流是以不同的方式编码相同媒体内容的流。在许多情况下，备选流按不同的分辨率和采样纵横比组合以及不同的最大比特率来编码媒体内容（诸如但不限于视频）。在若干实施例中，备选视频流形成多组以与一组回放装置的显示纵横比对应的相同纵横比编码的备选视频流。在许多实施例中，源编码器具有将分辨率和帧速率组合索引到预定的一组最大比特率级别的查找表。源编码器使用该查找表以确定按照其来以特定分辨率和帧速率组合编码视频的目标最大比特率。 

在许多实施例中，流处理系统是自适应比特率流处理系统，源编码器将每个备选流编码到单独的容器文件中并产生描述包含于容器文件内的流中的每个流的顶级索引文件。顶级索引文件和容器文件被上载到HTTP服务器104。在其它实施例中，容器文件被上载到HTTP服务器104，顶级索引文件响应于回放装置对特定内容段的请求而动态产生。在示出的实施例中，源编码器是服务器。在其它实施例中，源编码器可以是包括处理器和足以执行源媒体（包含但不限于视频、音频和/或字幕）转码的足够的资源的任何处理装置。 

在示出的实施例中，回放装置包括个人计算机110、CE播放器 108和移动电话112。在其它实施例中，回放装置可包括诸如DVD播放器、Blu-ray播放器、电视机、机顶盒、视频游戏控制台、平板机和能够经由HTTP连接到服务器并回放经编码的媒体的其它装置的消费电子装置。在示出的实施例中，各种回放装置使用HTTP或另一适当的无状态协议以经由诸如因特网的网络102请求部分的顶级索引文件和容器文件。在回放装置通过使用来自包含于容器文件内的备选流的部分媒体执行自适应比特率流处理之前，可由回放装置执行带宽探测以确定可用的带宽。一旦已完成带宽探测，回放装置就可利用顶级索引内的数据——包括（但不限于）可用流中的每个的最大比特率——来确定初始流，由该初始流开始对部分的经编码媒体的请求，作为自适应流处理过程的一部分。 

一旦开始回放来自初始流组的内容，回放装置使用顶级索引以响应于流处理状态的变化来执行内容的自适应比特率流处理。在许多自适应比特率流处理系统中，回放装置可以通过一系列的操作阶段而进展，其中回放装置在每个阶段不同地响应流处理状态的变化。在多个实施例中，流处理状态的稳定或改进流处理状态可以使得转换至回放装置假设操作状态稳定、缓冲更多内容、并且对流处理状态的波动比较不响应的阶段。在许多实施例中，流处理状态的恶化导致流切换至使用较少带宽的较低分辨率的一组流，并且导致回放装置转换至回放装置假设操作状态不稳定、缓冲更少的内容、以及对于流处理状态的变化做出快速响应的阶段。 

源编码器

根据本发明的实施例的源编码器被用来按照通过使用一组预定最大比特率级别所确定的目标最大比特率，以许多分辨率和帧速率中的任何一个来编码源内容。在图2中示出了根据本发明的实施例的源编码器的基本结构。源编码器150包括与存储器154通信的处理器152。在示出的实施例中，存储器154包括编码应用156、可包括（但不限于）源视频数据和视频数据的经编码的备选流的视频数据158、和描述按照其来编码多个分辨率和帧速率组合的目标最大比特率的数据160。在许多实施例中，目标最大比特率选自包括数量少于分辨率和帧速率组合的数量的多个级别的一组预定最大比特率级别。在某些实施 例中，多个分辨率和帧速率组合与多个最大比特率级别中的每个相关联。在几个实施例中，关于目标最大比特率级别的数据是由分辨率和帧速率组合索引并使特定的最大比特率级别与特定的分辨率和帧速率组合相关联的查找表。在其它的实施例中，各种数据结构中的任何结构可被用来从一组预定的目标最大比特率识别目标最大比特率，以用于编码特定的分辨率和帧速率组合。 

虽然在图2中示出了特定的结构，但包括其中应用和/或一组预定的最大比特率级别位于盘或一些其它形式的存储设备上并在运行时被加载到存储器中的结构的各种结构中的任何结构可被用来实现根据本发明的实施例的源编码器。另外，包括（但不限于）图1所示的系统结构的各种系统结构中的任何结构可被用来执行根据本发明的实施例的视频呈现。在后面进一步讨论根据本发明的实施例的用于确定按照其来以多个分辨率和帧速率组合编码视频的一组预定的最大比特率级别的系统和方法。 

确定目标最大比特率

确定按照其来编码视频的一组预定比特率的初始步骤是确定可能要由流处理系统流处理的视频的特性。一旦可能要被流处理的视频的分辨率和帧速率组合被识别，则每个分辨率和帧速率组合的最佳目标最大比特率可被计算，结果可被用来确定针对不同的分辨率和帧速率组合视频可按照其被编码的一组最大比特率级别。术语最佳目标最大比特率可被用于描述一最大比特率，超出该最大比特率后，特定的分辨率和帧速率下的视频质量不明显提高。换句话说，最佳目标最大比特率是在给定的分辨率和帧速率下可实现最高质量视频的最低比特率。在使用诸如最佳目标最大比特率的术语时，通常承认视频质量是主观的。因此，不存在“真实”的最佳目标最大比特率的概念。最佳目标最大比特率只是可通过主观实验确定的值。在许多情况下，关于目标最大比特率的观察产生了可用于基于分辨率和帧速率来计算最佳目标最大比特率的函数的定义。如后面进一步讨论的那样，用于确定最佳目标最大比特率的技术没有利用该最大比特率来选择最大比特率级别的方式那样重要。 

在图3中示出了根据本发明的实施例的用于确定用于在自适应比 特率流处理系统内流处理的视频的最佳目标最大比特率的处理。处理200由选择210流处理系统所支持的显示纵横比和帧速率开始。显示纵横比和帧速率通常是基于由可能被用于在流处理系统内流处理视频的回放装置支持的流行的显示纵横比和帧速率来确定的。分辨率可基于所选择的显示纵横比、并且在许多情况下基于在流处理系统内所支持的预计最大数据速率而被确定212。用于基于回放装置的显示纵横比确定按照其来编码备选视频流的分辨率的处理在于2012年3月26日提交的Soroushian等的发明名称为“Selection of Resolutions for Seamless Resolution Switching of Multimedia Content”的美国专利申请系列号13/430,032（以上通过引用而被并入）中被描述。 

最佳目标最大比特率针对每个所选择的帧速率和分辨率组合被确定（214）。在几个实施例中，最大比特率目标通过利用比特率公式被确定214，其中，比特率公式可利用包括帧速率、分辨率和其它相关的信息的视频数据的各种方面作为输入。适当的比特率公式的例子在于2012年3月28日提交的Soroushian等的发明名称为“Systems and Methods for Encoding Alternative Streams of Video for Playback on Playback Devices having Predetermined Display Aspect Ratios and Network Connection Maximum Data Rates”的美国专利申请系列号13/432,521（以上通过引用而被并入）中被描述。在多个实施例中，用于特定分辨率和帧速率组合的最佳目标最大比特率的确定（214）可涉及以目标最大比特率编码的视频数据的主观或客观质量评价方法。一旦用于分辨率和帧速率组合中的每个的最佳目标最大比特率被确定，则可执行处理以识别可基于最佳目标最大比特率而选择的一组最大比特率。以下讨论根据本发明的实施例的用于基于与特定的分辨率和帧速率组合相关联的一组最佳目标最大比特率来确定一组最大比特率级别的处理。 

产生多组最大比特率级别

在图4中示出了根据本发明的实施例的用于基于与特定分辨率和帧速率组合相关联的一组最佳目标最大比特率确定一组最大比特率级别的处理。处理300涉及将当前比特率设定（310）为来自一组最佳目标最大比特率的最高最佳目标最大比特率。级别最大比特率通过利用 当前比特率被更新（312）。在许多实施例中，级别最大比特率可被设定为当前比特率级别中的比特率的平均值、中值、最小值或最大值组合。在多个实施例中，级别平均比特率是当前比特率级别中的比特率的线性或非线性组合。在其它的实施例中，级别最大比特率可在所有的级别被识别后被确定。 

当前比特率与输入的一组最佳目标最大比特率中的下一较低最佳目标最大比特率相比较（314）。决策接着被做出（316）。给定阈值，如果当前比特率与下一较低最佳目标最大比特率之间的差值不超过该阈值，那么当前比特率被包括于最佳最大比特率级别中。在其它的实施例中，可以利用各种准则中的任何一个以基于用于分辨率和帧速率组合的最佳目标最大比特率确定是否要在级别中包括特定的分辨率和帧速率组合。相应地，当前比特率被设定（318）为下一较低最佳目标最大比特率，并且，处理循环回到更新（312）级别最大比特率。在几个实施例中，阈值是连续的比特率级别之间的百分比差值，诸如10%。在几个实施例中，阈值是固定值或者以非线性的方式与当前比特率的值相关。如果超过阈值，那么级别最大比特率被记录（320）在一组最大比特率级别中。在几个实施例中，级别比特率级别被取整到最接近的整数。另一决策（322）被做出。如果仍要考虑目标最大比特率，那么开始（324）新的级别比特率，将当前比特率设定（318）为下一最高的最佳目标最大比特率，并且处理继续更新（312）新级别的级别最大比特率。当所有比特率已被考虑时，处理300完成。 

在若干实施例中，分配给特定的组的分辨率和帧速率以及最大比特率级别可根据特定应用的需要而修改。例如，每个级别的最佳最大比特率可被向下（或向上）取整到10、100或1000的最接近的整数倍。虽然在图4中示出了特定的处理，但各种处理中的任何一个可以被利用，包括基于包含（但不限于）最大化每个级别的分辨率和帧速率组合的最佳目标最大比特率的类似性的一个或多个准则而将分辨率和帧速率组合分组到预定数量的级别中的处理。 

在图5中示出了根据本发明的实施例的基于经编码的视频的分辨率和帧速率所限定的一组最大比特率级别的分组的例子。 

例如，在本发明的许多实施例中，1440×816是用于具有4:3的采 样纵横比、每秒24帧的具有1920×816的主分辨率的视频数据的子分辨率。同样，分辨率1440×800是用于具有4:3的采样纵横比、每秒24帧的具有1920×800的主分辨率的视频数据的子分辨率。1440×816视频的编码最大比特率是3557Kbps，1440×800视频的编码最大比特率是3459Kbps。在几个实施例中，1440×816和1440×800处于彼此的阈值内，并且，没有其它的分辨率处于该阈值内。用于这些分辨率的平均比特率是3508Kbps，被取整到3500Kbps。根据本发明的实施例，3500Kbps将是该组最大配置比特率中的一个最大比特率。 

为了以每个最大比特率级别流处理视频内容，各种各样的分辨率可根据源内容的采样纵横比和帧速率而被使用。在图6中示出了针对各种最大比特率、基于视频内容的帧速率和主纵横比的推荐分辨率的示例性配置。在本发明的许多实施例中，为了最大化经流处理的视频数据的主观和/或客观质量，相同分辨率可被用于多个帧速率和采样纵横比。 

虽然以某些特定的方面描述了本发明，但对本领域技术人员来说，许多附加的修改和变型会是明显的。因此可以理解，在不背离本发明的范围和精神的情况下，可通过具体描述的方式以外的方式实施本发明，包括其中由回放装置使用的一组流处理切换状态连续变化的回放装置。因此，本发明的实施例在所有的方面应被视为解释性而非限制性的。因此，本发明的范围不应由示出的实施例确定，而是由权利要求及其等同物所确定。