用于封装国际标准化组织基媒体文件中的运动图像专家组媒体传输资源的方法和装置

技术领域

本公开一般涉及传递用于封装国际标准化组织(ISO)基媒体文件(Base  Media File)中的运动图像专家组(MPEG)媒体传输(MMT)资源(asset) 的媒体内容的方法和装置。

背景技术

运动图像专家组(MPEG)媒体传输(MMT)规定了用于通过异类网际 协议(IP)网络环境来递送用于多媒体服务的编码的媒体数据的技术。所递 送的编码的媒体数据包括以下两者：(i)其数据单元具有固有时间线的视听 媒体数据(即，定时的数据)；以及(ii)它们的数据单元当中不具有固有时 间线的其它类型的数据(即，非定时的数据)。

发明内容

技术问题

MMT是在编码的媒体数据使用诸如实时传输协议(RTP)、传送控制协 议(TCP)以及用户数据报协议(UDP)之类的网际协议通过基于分组的递 送网络来递送的假设下而设计的。

技术方案

本公开提供用于封装国际标准化组织(ISO)基媒体文件中的运动图像专 家组(MPEG)媒体传输(MMT)资源的方法和装置。

在第一实施例中，一种装置包括被配置为接收MMT容器(container)的 接收路径电路。该装置还包括被配置为使用在MMT容器内的提示轨道(hint  track)来标识一个或多个媒体片段单元(media fragment unit，MFU)在MMT 容器中的位置的处理设备。

在第二实施例中，一种装置包括被配置为传送MMT容器的传送路径电 路。该装置还包括被配置为使用在MMT容器内的提示轨道来标识一个或多 个媒体片段单元(MFU)在MMT容器中的位置的处理设备。

在第三实施例中，一种方法包括接收MMT容器。该方法还包括使用在 MMT容器内的提示轨道来标识一个或多个媒体片段单元(MFU)在MMT 容器中的位置。

在第四实施例中，一种方法包括接收MMT容器的MFU，标识遗失的 MFU，适当地标记它们或调整元数据以供正确的处理。

从以下图、描述和权利要求中，其它技术特征可以被本领域技术人员容 易地理解。

在进行下面的详细描述之前，阐述某些贯穿本专利文档使用的词汇和短 语的定义会是有利的：术语“包括”和“包含”以及其变型意味着没有限制 的包含。术语“或”是包含性的，意味着和/或。短语“与……相关联”以及 其变型可以意味着包括、包括在……内、与……互连、包含、包含在……内、 连接到或与……连接、耦合到或与……耦合、可与……通信、与……协作、 交织、并列、靠近、绑定到或与……绑定、具有、有……的性质、具有与…… 的关系等。术语“控制器”意味着控制至少一个操作的任何设备、系统或它 们的部分，并且这样的设备可以以硬件、或者硬件与软件/固件的组合来实施。 应当注意，与任何特定的控制器相关联的功能可以是集中化的或分布式的， 无论是本地还是远程。短语“……中的至少一个”，当与一列项目一起使用时， 意味着可以使用一个或多个列出的项目的不同的组合，并且可能只需要列表 中的一个项目。例如，“A、B和C中的至少一个”包括任何以下组合：A、B、 C、A和B、A和C、B和C、以及A和B和C。贯穿本专利文档提供了某些 词汇和短语的定义，并且本领域普通技术人员应当理解，在许多实例中(如 果不是大多数实例的话)，这样的定义适用于这些定义的词汇和短语在先前以 及在将来的使用。

附图说明

为了更全面地理解本公开及其优点，现在结合附图参考以下描述，在附 图中同样的参考标号表示同样的部分：

图1图示了根据本公开的通过异类网络到多样的客户端的示例可伸缩 (scalable)视频递送；

图2图示了根据本公开的示例MMT设备；

图3图示了根据本公开的由运动图像专家组(MPEG)媒体传输(MMT) 提供的示例功能；

图4图示了根据本公开的示例MMT封装；

图5图示了根据本公开的具有定时的媒体的样本级别(sample level)提 示轨道和样本级别媒体轨道的示例MMT封装；

图6图示了根据本公开的不包括定时的媒体的媒体的示例MMT封装； 以及

图7图示了根据本公开的用于接收媒体片段单元(MFU)的示例方法。

具体实施方式

下面讨论的图1到图7以及用来在本专利文档中描述本公开的原理的各 个实施例只是作为例示，而不应以任何方式被解释为限制本公开的范围。本 领域技术人员理解，本公开的原理可以在任何适当的设备或系统中实施。

图1图示了根据本公开的通过异类网络到多样的客户端的示例可伸缩视 频递送。图1中所示的实施例只是用于例示。其它实施例可以被使用，而不 脱离本公开的范围。

异类网络102包括向MMT客户端106-114供应媒体内容(诸如图像、音 频以及视频内容)的运动图像专家组(MPEG)媒体传输(MMT)服务器104。 MMT服务器104和MMT客户端106-114代表MMT设备，并且可以如图2 中所示地实施或以任何其它适当的方式实施。MMT服务器104可以经由异类 网络102向MMT客户端106-114发送全分辨率视频流116。MMT客户端 106-114基于到异类网络102的连接的类型和MMT客户端的类型(等等)， 以一个或多个比特率118-126以及一个或多个分辨率130-138接收视频流116 中的一些或全部。到异类网络102的连接的类型和比特率可以包括高速骨干 网连接128、每秒1000兆位(Mbps)连接118、每秒312千比特(kbps)连 接120、1Mbps连接122、4Mbps连接124、2Mbps连接126等等。分辨率 130-138可以包括以60赫兹的1080逐行(1080p)(1080p60hz)130、以10 Hz的四分之一通用中间格式(QCIF)132、以24Hz的标准清晰度(standard  definition，SD)134、以60Hz的720逐行(720p)136、以30Hz的720p 138 等等。客户端106-114的类型可以包括桌上型计算机106、移动电话108、个 人数字助理(PDA)110、膝上型计算机112以及平板114。

媒体内容，也称为MMT资源，通过MMT容器经由一个或多个MFU从 MMT服务器104发送到MMT客户端106-114。MMT资源可以被MMT客户 端106-114消费，即使是在并不是全部MFU都被MMT客户端106-114接收 到时。MMT容器标识已经接收到和还没有接收到的MFU，从而MMT客户 端106-114可以呈现(render)已经接收到的MFU，而不能呈现还没有接收 到的MFU。

图2图示了根据本公开的示例MMT设备202。图2中所示的MMT设备 202的实施例只是用于例示。MMT设备的其它实施例也可以被使用，而不脱 离本公开的范围。

MMT设备202包括天线205、射频(RF)收发器210、传送(TX)处理 电路215、麦克风220和接收(RX)处理电路225。MMT设备202还包括扬 声器230、处理单元240、输入/输出(I/O)接口(IF)245、键盘250、显示 器255和存储器260。MMT设备202可以包括任何数量的这些组件中的每一 个。

处理单元240包括被配置为运行指令的处理电路，所述指令诸如存储在 存储器260中或存储在处理单元240的内部的指令。存储器260包括基本操 作系统(OS)程序261和一个或多个应用262。MMT设备202可以代表使用 MMT的任何适当的设备，诸如MMT客户端106-114或MMT服务器104。 在特定的实施例中，MMT设备202代表移动电话、智能电话、个人数字助理 或平板计算机。MMT设备202经由MMT发送、接收、或显示媒体内容。

在无线网络中，RF收发器210从天线205接收由基站或其它设备传送的 进入的(incoming)RF信号。RF收发器210下变频进入的RF信号以产生中 频(IF)或基带信号。IF或基带信号被发送给RX处理电路225，RX处理电 路225产生经处理的基带信号(诸如通过过滤、解码、和/或数字化基带或IF 信号)。RX处理电路225可以将经处理的基带信号提供给扬声器230(对于 声音数据来说)或提供给处理单元240以供进一步的处理(诸如对于网络浏 览或其它数据来说)。

TX处理电路215从麦克风220接收模拟或数字声音数据，或者从处理单 元240接收其它发出的(outgoing)基带数据(诸如网络数据、电子邮件或交 互式视频游戏数据)。TX处理电路215编码、复用和/或数字化发出的基带数 据以产生经处理的基带或IF信号。RF收发器210从TX处理电路215接收发 出的经处理的基带或IF信号，并且将基带或IF信号上变频到经由天线205 传送的RF信号。

在一些实施例中，处理单元240包括具体体现在一个或多个分离的设备 中的中央处理单元(CPU)242和图形处理单元(GPU)244。在一些实施例 中，CPU 242和GPU 244被实施为布置在一个或多个印刷电路板上的一个或 多个集成电路。存储器260耦合到处理单元240。在一些实施例中，存储器 260的一部分代表随机存取存储器(RAM)，而存储器260的另一部分代表用 作只读存储器(ROM)的闪速存储器。

在一些实施例中，存储器260是存储经由MMT传递媒体内容的程序指 令的计算机可读介质。当该程序指令由处理单元240运行时，程序指令使得 处理单元240、CPU 242、和GPU 244中的一个或多个运行依据本公开的实施 例的各种功能和程序。

处理单元240运行存储在存储器260中的基本OS程序，以便控制MMT 设备202的总体操作。例如，处理单元240可以依据公知的原理控制RF收 发器210、RX处理电路225和TX处理电路215，以控制前向信道信号的接 收和反向信道信号的传送。

处理单元240还能够运行驻留在存储器260中的其它过程和程序，诸如 用于经由提示轨道标识MFU位置的操作，如下面更详细地描述的。处理单元 240还可以按照运行过程所要求的将数据移动到存储器260内或从存储器260 中移出。在一些实施例中，处理单元240被配置为运行多个应用262。处理 单元240可以基于OS程序261或响应于从基站接收的信号来操作应用262。 处理单元240耦合到I/O接口245，I/O接口245为MMT设备202提供了连 接到其它设备的能力，其它设备诸如膝上型计算机、手持式计算机以及服务 器计算机。I/O接口245是这些配件与处理单元240之间的通信路径。

处理单元240还可选地耦合到键盘250和显示单元255。MMT设备202 的操作者使用键盘250来将数据输入到MMT设备202中。显示器255可以 是液晶显示器、发光二极管(LED)显示器或能够呈现来自网站的文本和/或 至少有限的图形的其它显示器。替换实施例可以使用其它类型的输入/输出设 备和显示器。

为了通过异类网际协议(IP)网络环境高效且有效地递送编码的媒体数 据，MMT提供以下元素：

-构建由用于混聚(mash-up)应用的各种组件组成的内容的逻辑模型；

-传达关于用于诸如分组和自适应的递送层处理的编码的媒体数据的信 息的数据的结构；

-递送对于通过包括混合递送的TCP或UDP使用的媒体的特定类型或编 码方法不可知的媒体内容的分组方法和分组的结构；

-用于管理媒体内容的展示和递送的信令消息的格式；

-用于管理媒体内容的展示和递送的信令消息的格式；

-将要跨层交换以促进跨层通信的信息的格式。

图3图示了根据本公开的由MMT提供的示例功能。图3中所示的实施 例只是用于例示。其它实施例可以被使用，而不脱离本公开的范围。

由MMT提供的功能被分类成三个功能区域，即，封装层302、递送层 304和信令层306。封装层302定义媒体内容的逻辑结构、MMT封包(package) 以及将由兼容MMT的实体处理的数据单元的格式。MMT封包包括一个或多 个组件，这些组件具有媒体内容和对组件之间的关系的描述，以向在下面的 递送层304提供信息以供自适应操作。数据单元的格式被定义为封装将作为 递送协议的有效载荷存储或携载的并且在不同的递送协议之间容易转换的媒 体内容的编码的媒体数据。

递送层304定义应用层协议和有效载荷的格式。与用于递送媒体内容(也 称为“多媒体”)的传统的应用层协议相比，该应用层协议提供了用于递送编 码的媒体数据的增强的特征，诸如复用。有效载荷格式被定义为独立于特定 的媒体类型或编码方法地携载编码的媒体数据。

信令层306定义了用于管理MMT封包的递送和消费的消息的格式。用 于消费管理的消息被用来发信号告知(signal)MMT封包的结构。用于递送 管理的消息被用来发信号告知有效载荷格式的结构和协议的配置。

封装层302定义了国际标准化组织(ISO)基媒体文件格式(ISOBMFF) 内的MMT封包的逻辑结构和实例化以供分布式存储和通过网络实体的自适 应递送。这里，MMT封包定义了聚合媒体内容(即，MMT资源)的编码的 媒体数据和用于递送层处理的信息的逻辑实体。MMT资源定义携载编码的媒 体数据的逻辑结构。MMT资源可以以相同的MMT资源标识(ID)来共同引 用数个媒体处理单元(Media Processing Unit，MPU)。

可以由直接连接到MMT客户端的实体个别消费的任何类型的数据是单 独的MMT资源。这不仅包括可以由单个媒体编解码器解码的编码的媒体数 据，而且包括已经被复用的其它类型的数据。MPU根据在下面的递送层分组 (packet)大小的约束，诸如在MPU中携载的数据的小片段的边界和大小， 提供关于用于自适应分组的媒体数据的信息。这样的小片段被称为媒体片段 单元(MFU)。这使得在下面的递送层实体能够自适应地基于递送层304的最 大传送单元的大小来动态地分组化MPU。MFU携载小片段的编码的媒体数 据(这样的片段可以被独立地解码或丢弃)，诸如先进视频编码(AVC)位流 的网络抽象层(NAL)单元。

以ISOBMFF实例化的MMT封装格式包括用于正确地捕获MMT封包的 逻辑结构以及实现MMT目标和利益的若干特征，其包括：

-MMT封装尽可能多地重复使用ISOBMFF并且ISOBMFF从存储MMT 封包的文件中解析和访问/提取媒体数据的向后兼容性；

-即使在遗失MFU的情况下也能正确地恢复初始结构的抗错鲁棒性；

-由上层和递送实体独立地有效定位和寻址MPU而无需MPU的具体位 置的外部寻址；

-对用于定时的数据和非定时的数据存储和递送的统一结构的支持；

-易于访问MPU和MFU以易于提取供自适应的分组化的递送的MPU 元数据和MFU，并且使得能够在存储格式和递送格式之间的容易地转换，其 中理想的是存储格式等于递送格式；

-对于诸如MPEG-2传输流(TS)之类的传统数据格式的封装的支持； 以及

-低冗余。

前述MMT设计具有若干已知的问题，包括：

-对于流中的每个MFU存在MFU“框”，这导致了大量的MFU框和非 常高的开销(诸如100字节的MFU框大小和1000字节的NAL大小，从而 导致10％的开销)；

-MFU框引用其中的媒体数据，从而限制了经由递送层分组化媒体内容 的方式的灵活性；

-存储格式不同于递送格式，并且递送格式并未被清楚地定义；以及

-非定时的媒体数据以向后不兼容的方式存储。

此外，IOSBMFF不提供MMT的各种特征，包括：

-独立地寻址或消费电影片段；

-如果在分组化的递送期间存在遗失的部分或分组，则正确地解析和消 费电影片段；以及

-用于支持适应于在下面的递送网络的最大传输单元(MTU)的大小的 分组化的提示轨道的一般用途。

本公开的实施例通过定义用于MFU结构的提示轨道来将MMT内容封装 在ISOBMFF中。每个MFU在MMT的提示轨道的提示样本中被描述。MMT 提示轨道的提示样本对应于用来递送MFU的MFU标头。MMT提示样本携 载关于相应的媒体数据的位置的信息。MMT设备使用这个信息以及MFU序 号、MPU序号和资源标识符来在正确地标识由于递送遗失的MFU的同时， 恢复初始的MMT资源结构。

在一些实施例中，MMT提示样本等于MMT片段单元标头，如联系图4 所示和讨论的。一些实施例还可以具有在每个样本的基础上交织的MMT提 示轨道样本和MMT媒体轨道样本，诸如当每个MFU是一个样本并且在提示 轨道和媒体轨道两者中每个组块(chunk)都包括一个样本时，如联系图5和 图6所示和讨论的。

图4图示了根据本公开的示例MMT封装。图4中所示的实施例只是为 了例示。其它实施例可以被使用，而不脱离本公开的范围。

如图4中所示，MMT资源(mast)402和MPU框(mmpu)404通过单 独的框来划界。这些框促进了外部可寻址性。这里示出的存储格式不同于递 送格式，并且MMT服务器使用MMT提示轨道406在分组操作期间将存储 格式转换为递送格式。MMT服务器存储定时的媒体作为ISOBMFF的轨道， 其包含单个的媒体轨道408。MMT服务器在ISOBMFF中存储非定时的媒体 作为元数据的一部分。

ISOBMFF的媒体轨道408以完全向后兼容的方式经由“moov”框410 来索引(index)。MPU框404在文件的结尾或在随后的MPU的开始之前结 束，以含蓄地指示MPU的边界，并且允许更灵活地编辑、记录以及增加生成 直播内容。在一些实施例中，ISOBMFF的媒体轨道408通过“moof”框(诸 如图5中的moof框502)来索引。

MMT提示轨道406在将存储的MMT资源402转换为分组化的媒体流时 引导递送层实体，诸如MMT服务器104或MMT客户端106-114。分组化的 媒体流由MMT服务器使用MMT协议(MMTP)作为递送协议递送到MMT 客户端。

MMT提示轨道408向生成递送分组的实体(诸如，MMT服务器104) 提供用于自适应的分组和递送决定的MPU的MFU的位置信息。分组和递送 决定包括统计地复用和丢弃一些MFU以应对即时的网络拥塞。在MMT容器 内的MMT资源的媒体数据与MMT提示样本一起被提取以生成MMT分组。 然后一个或多个MFU可以被用来构建单个的MMTP分组。因此，存储格式 并不完全与递送格式相同，这要求能够在运行时提取和封装媒体数据的主动 网络实体构建MMTP分组。媒体数据可以以ISOBMFF兼容的实体可解析媒 体数据的方式存储。

MMT提示轨道406将关于MFU的信息提供给用于生成MMT分组的网 络实体。如果不要求用于递送的MPU的进一步的片段化，则提示轨道406 可以被完全省略。

在一些实施例中，MMT提示轨道(诸如提示轨道406)是在“mmth” 的样本描述中具有输入格式的提示轨道，并且可以被定义为例如：

以上所示的样本描述格式只是为了例示。其它实施例可以被使用，而不 脱离本公开的范围。以上样本描述格式的语义包括：

-has_mfus_flag指示MPU是否提供关于MFU的信息，当MPU不提供 关于MFU的信息时，提示轨道是否提供完整的MPU以使得由提示轨道标识 的每个MFU可以具有单个的样本，以及每个提示样本是否指代当MPU提供 关于MFU的信息时的MFU；以及

-is_timed：指示由这个轨道提示的媒体是定时的还是不是定时的。

每个媒体样本被分配给一个或多个MFU。MMT提示轨道的每个样本可 以生成可使用以下语法的一个或多个MFU：

以上所示的样本格式只是为了例示。其它实施例可以被使用，而不脱离 本公开的范围。以上样本格式的语法包括：

-sequence_number是分配给这个MFU的序号；

-trackrefindex是从其中提取MFU数据的媒体轨道的标识；

-samplenumber是分配给从其中提取这个MFU的样本的序号；

-item_ID是指构建这个用于非定时的媒体数据的MFU的项目；

-offset给出了媒体数据的偏移，并且偏移基础是包含样本的“mdat”框 的开始；

-length给出了以字节为单位的MFU的长度；以及

-mfu_lost_flag指示MFU是否已经丢失，诸如相应的媒体数据是否遗失。

图5图示了根据本公开的具有定时的媒体的样本级别提示轨道和样本级 别媒体轨道的示例MMT封装。图5中所示的实施例只是为了例示。其它实 施例可以被使用，而不脱离本公开的范围。

在用于样本递送的基于样本的交织中，递送格式对应于MMT有效载荷 格式，并且包括MFU标头和MFU媒体数据。MFU标头是提示样本的复本， 其促进了MMTP有效载荷和分组的创建。

在图5中，提示轨道504和媒体轨道506在MMT容器508的“moof” 框502的内部按样本级别交织。这导致每个组块的一个样本和直接的分组过 程。MMT容器508还包括“mast”框510、“moov”框512、“mmpu”框514、 “moof”框502和518以及“mdat”框516和520。moof框502和518包括 MMT提示轨道504和522以及媒体轨道506和524。mdat框516和520包括 一个或多个MFU 522。MFU 522包括MFU标头524和有效载荷526。每个 MFU标头524包括MFU序号，并且可选地包括mfu_lost_flag。

图6图示了根据本公开的不包括定时的媒体的媒体的示例MMT封装。 图6中所示的实施例只是为了例示。其它实施例可以被使用，而不脱离本公 开的范围。

在图6中，提示轨道602在MMT容器606的“moov”框604内。MMT 容器606包括“mast”框610、“moov”框604、“mmpu”框614、“meta”框 632以及“mdat”框620。moov框604包括MMT提示轨道602。meta框632 包括“hdlr”框602、“iloc”框630以及“iinf”框628。mdat框620包括一 个或多个MFU 622，每个MFU 622包括MFU标头624和有效载荷626。

图7图示了根据本公开的用于接收MFU的示例方法。在图7中描绘的过 程可以以任何适当的方式来实施，诸如由MMT服务器104、MMT客户端 106-114中的处理电路、或其它设备实施。

在块702中，MMT设备，诸如MMT服务器104或客户端106-114，接 收MMT容器的MFU。该MFU是用来传递包含在MMT容器中的媒体内容 的一个或多个MFU之一。在块704中，MMT设备将MFU拆分为MFU标头 和MFU媒体数据。在块706中，MMT设备使用MPU元数据和来自MFU标 头的MFU序号来定位MMT容器中的MFU提示样本。在一些实施例中，MMT 设备解析对应于MFU提示样本的MFU标头。

在块708中，MMT设备确定MMT容器的媒体内容是否包括定时的媒体。 如果媒体内容包括定时的媒体，则过程继续到块710。如果媒体内容不包括 定时的媒体，则过程继续到块712。在块710中，MMT设备使用MPU元数 据和MFU样本信息来定位MMT容器中的来自接收到的MFU的MFU媒体 数据。然后过程继续到块714。在块712中，MMT设备使用MPU元数据和 项目标识符来定位MMT容器中的媒体数据。然后过程继续到块714。

在块714中，MMT设备在MMT容器中标记MPU元数据中的遗失的 MFU。在一些实施例中，遗失的MFU经由对于MMT容器的“mdat”框内 的每个MFU使用mfu_lost_flag值来标记。

如果MMT资源包括定时的媒体，则MMT设备在处理期间将MMT提示 样本放置在MMT容器内的正确位置。所述放置基于MFU序号，其被转化为 提示样本中的样本号。MMT设备还使用样本和MFU标头中的偏移信息与媒 体轨道的样本表一起(诸如“stco”、“stsz”和“stsc”表或“trun”表)来定 位在MMT容器中的媒体数据的位置。如果在递送期间存在任何遗失的MFU， 则MMT容器中的相应的区域保持为空。在这样做时，MMT设备可以安全地 定位被正确接收的MFU的数据，而跳过由于递送遗失的MFU。

虽然各种特征已经在图中示出并在以上进行了描述，但是可以对图做出 各种改变。例如，图中示出的组件的大小、形状、安排以及布局只是为了例 示。每个组件可以具有任何适当的大小、形状以及维度，并且多个组件可以 具有任何适当的安排和布局。而且，图中的各种组件可以被组合、进一步细 分、或者省略，并且另外的组件可以根据特定的需求而被添加。另外，设备 或系统中的每个组件可以使用用于执行所描述的(多个)功能的任何适当的 (多个)结构来实施。此外，虽然图7图示了各种系列的步骤，但是图7中 的各种步骤可以重叠、并行发生、多次发生、或者以不同次序发生。

虽然本公开已经描述了某些实施例和通常关联的方法，但是这些实施例 和方法的变更和置换对于本领域技术人员来说将是清楚的。因此，对示例实 施的以上描述并不定义或限制本公开。其它改变、替换以及变更也是可能的， 而不脱离如所附权利要求所定义的本公开的精神和范围。