暂停模式中的立体图像再现方法及使用该方法的立体图像再现装置

具体实施方式

下面将参照附图详细描述本发明的实施方式，在附图中，无论在哪一个图中，都为相同或相应的组件提供了相同的附图标记，并且省略了对相同或相应的组件的重复说明。

在整个说明书和权利要求书中，除非明确地做出相反的描述，否则单词“包括”及其变型将被理解成意指包括所陈述的要素但并不排除任何其他要素。另外，在说明书中使用的术语“部分”、“单元”或者“模块”是指可以由硬件、软件或者硬件与软件的组合实现的用于处理至少一种功能或者操作的单元。

使用术语3-D或3D来说明用于再现具有光学深度错视效果的三维(3D)视频的可视化表示或表现技术。观看者的视皮层将两个图像(即，左眼图像和右眼图像)解释为单个3D图像。

3D显示技术采用了针对可实现3D图像显示的设备的3D图像处理和表现技术。可选择地，为了使可实现3D图像显示的设备有效地向观看者提供3D图像，可能不得不使用特殊的观看设备。

3D图像处理和表现的例子包括立体图像/视频的捕获、使用多个相机对多视角图像/视频的捕获以及对2D图像和深度信息的处理等。可实现3D图像显示的设备的例子包括具有支持3D显示技术的合适硬件和/或软件的液晶显示器(LCD)、数字电视机屏幕、计算机显示器等。特殊观看设备的例子可以包括专用眼镜、防护镜(goggles)、头盔(headgear)、护目镜(eyewear)等。

具体地说，3D图像显示技术包括互补色(anaglyph)立体图像(通常使用被动式互补色眼镜)、偏振立体图像(通常使用被动式偏振眼镜)以及交替帧排序(使用主动式快门眼镜和头盔)、利用透镜屏幕(lenticular screen)或栅栏屏幕(barrier screen)的自动立体显示器等。下文中描述的各种思想和特征可以用于这样的立体图像显示技术。

某种3D图像显示技术可以使用旋转或交替操作的光学器件，例如，附加到滤色盘的分段(segmented)偏振器，在这种情况下，分段偏振器与滤色盘二者一定要同步。其它3D图像显示技术可以使用基于数字微镜器件(DMD)的数字光处理器(DLP)，该数字微镜器件使用按照与要显示的图像的像素相对应的四角形排布结构布置的可旋转显微镜面(microscopic mirror)。

同时，各个企业、协会和组织正在开发与呈现立体图像相关的新型标准和显示技术(特别是3D电视)。例如，其中有电影与电视工程师协会(SMPTE)、消费者电子协会(CEA)、3d@Home协会和国际电信联盟等。此外，诸如DVB、BDA ARIB、ATSC、DVD论坛、IEC等的其它标准化组也正在参与其中。MPEG(运动图像专家组)正在参加多视角图像、立体图像和具有深度信息的2D图像的3D图像编码，并且当前，正在进行针对MPEG-4AVC(高级视频编码)的多视角视频编码扩展的标准化。立体图像编码和立体分布格式化涉及色移(互补色)、像素子采样(并排、棋盘式、梅花形)和增强视频编码(2D+增量、2D+元数据以及具有深度信息的2D)。这里描述的思想和特征可以用于这样的标准。

并且，本文中描述的至少一部分思想和特征与在关于数字图像或3D电视的图像再现和显示环境方面描述的3D图像显示技术相关。然而，这些细节并不意味着限制本文中所描述的各个特征，而是可以用于不同类型的显示技术和设备。例如，3D电视技术适用于蓝光(Blu-ray^TM)、电视游戏(console game)、有线电视以及IPTV传输、移动电话内容传送等，在这种情况下，3D电视技术能与不同类型的电视机、机顶盒、蓝光设备(如蓝光盘(BD)播放器)、DVD播放器和电视内容分配器兼容。

同时，现有的2D图像显示装置(2D显示)仅产生单个图像。同时，3D图像显示装置以左图像和右图像产生一个3D图像。

立体图像显示装置交替地输出左图像和右图像以产生3D空间。必须将左图像和右图像分别传送至用户的左眼和右眼。为了产生无闪烁的立体图像，必须针对每个图像每秒钟超过60次地向立体图像显示装置交替地发送帧，并且必须以左右两个图像之和为120Hz在屏幕上显示帧。

交替地显示左图像和右图像以实现立体图像的方法包括逐帧(frame by frame)方案、并排(side by side)方案和上下(top-town)方案。

逐帧方案是将左图像和右图像交替地扫描到整个屏幕的方法。逐帧方案也被称为帧顺序方案，该方案交替地显示左图像和右图像并使用原始最大分辨率，此特性被称为全分辨率。

并排方案是将屏幕分为左侧屏幕和右侧屏幕并将左图像和右图像扫描到相应屏幕的方法。上下方案是将屏幕分为上部屏幕和下部屏幕并将左图像和右图像扫描到相应屏幕的方法。

现在将描述根据本发明示例性实施方式的用于再现立体图像的装置100。图1是示出根据本发明示例性实施方式的用于再现立体图像的装置的配置的示意性框图。

如图1所示，用于再现立体图像的装置包括数据接收单元101、传输流(TS：transport stream)/打包流(packetized stream)分析单元(或TS/PS过滤器和去复用器)102、解码器单元103、图像增强单元(或数字处理增强器)104、还原单元105、音频解码器单元106、3D格式生成单元(左/右帧合并器)110、发送数据生成单元(描绘器&AV复用器)120、发送单元121以及用户输入处理单元122。

数据接收单元101通过无线电波、电缆、磁盘装置等接收内容，并且载入数据以输出传输流(TS)或打包流。通常，通过无线电波或磁盘发送的视频数据被以MPEG(运动图像专家组)系统的传输流的形式格式化。

特别地，用于压缩高画质视频的处理方法MPEG-2广泛应用于各种领域，如存储介质(如DVD(数字多功能盘))、数字电视广播(如卫星、有线、地面等)、个人录像机(PVR)、网络中的视频传输等。

TS/PS分析单元102接收由数据接收单元101输出的传输流或打包流，从该传送流或打包流中过滤出与将要再现的视频相对应的包(packet)，对该包进行解析并输出解析结果作为视频基本流和音频基本流。

解码器单元103接收从TS/PS分析单元102输出的视频基本流，并对接收到的视频基本流进行解码。在使用编解码器(如多视角视频编解码器(MVC)等)再现立体图像的装置中，向解码器单元103添加了去复用器功能，以便将在到达解码器单元103之前作为单个流传送的视频数据分离为左图像和右图像并输出该左图像和右图像。

在本发明的示例性实施方式中，已经描述了在解码器单元103中将特定编解码器设置为默认的情况。然而，根据用于再现立体图像的装置100所支持的编解码器的类型，可以在用于再现立体图像的装置100内设置多个解码器单元。在这种情况下，根据哪个编解码器使用视频基本流，将视频基本流输入至适合对应的编解码器的解码器中。在接收到视频基本流后，解码器103对该视频基本流执行解码操作。并且，解码器单元103的编解码器的设定可以根据用户选择而改变。即，通过用户的选择性输入，可以改变应用于解码的编解码器。在这种情况下，可以选择MPEG-2、MPEG-4PART2、H.264等作为编解码器。

音频解码器单元106接收由TS/PS分析单元102输出的音频基本流，对接收的音频基本流进行解码并输出音频数据。

图像增强单元104接收由解码器单元106输出的视频帧流。图像增强单元104对接收的视频帧流进行诸如去交织或图像增强的处理，并且输出该处理结果作为增强的视频帧流。

当诸如去交织、图像增强等的处理操作在用于再现立体图像的装置100中是不必要的时，可以在用于再现立体图像的装置100中略去图像增强单元104。

还原单元105接收由图像增强单元104输出的增强视频帧流。根据本发明的示例性实施方式，可以在用于再现立体图像的装置100的配置中略去图像增强单元104。在这种情况下，还原单元105从解码器单元103接收视频帧流。

还原单元105对输入执行还原操作并且输出作为还原视频帧流的结果。

由于根据用于再现立体图像的装置的特性而需要每秒120帧(包括左视频帧和右视频帧)，如果增强的视频帧流达不到该水平，则还原单元105进行还原以使该视频帧流达到每秒120帧。

3D格式生成单元110处理并操纵接收的左视频帧流和右视频帧流以生成3D图像数据，并且输出3D图像数据。

根据本发明示例性实施方式的3D格式生成单元110包括帧时间比较单元111、帧校正单元112和3D格式合成单元113。

在用于再现立体图像的装置中，为了产生精确的立体图像，必须利用时间戳信息使左图像和右图像同步。即，发送至外部显示装置的立体图像或者在该装置的显示单元上显示的立体图像包括被关联起来以在时间轴上具有相同的时间关系的一对左图像和右图像，并且可以通过在显示装置上显示这对左图像和右图像来产生立体图像。

帧时间比较单元111和帧校正单元112对左图像和右图像进行配对操作。

帧时间比较单元111对3D格式生成单元110接收的左视频帧流中的左帧和右视频帧流中的右帧之间的时间关系进行分析和比较。之后，帧校正单元112对具有延迟的时间关系的帧执行同步，并且输出作为经过时间校正的左视频帧流和经过时间校正的右视频帧流的处理结果。

3D格式合成单元113接收从帧校正单元112输出的经过时间校正的左视频帧流和经过时间校正的右视频帧流。3D格式合成单元113把经过时间校正的左视频帧流和经过时间校正的右视频帧流合并以生成3D图像数据，并且输出该3D图像数据。

发送数据生成单元120接收从3D格式生成单元110输出的3D图像数据和从音频解码器单元106输出的音频数据。发送数据生成单元120合成3D图像数据和该音频数据，并且将合成的数据重定格式，使得能够将合成的数据发送至如电视机的可以显示图像的装置等。如果有必要的话，可以使用不同的视频图像来覆盖3D图像数据，并且可以将被覆盖的图像与音频数据合成。发送数据生成单元120输出通过重定格式而生成的将要发送的3D图像数据(或者发送3D图像数据)。

发送单元121发送从发送数据生成单元120输出的发送3D图像数据。发送单元121可以是诸如高清多媒体接口(HDMI)或视频图形阵列(VGA)的输入/输出端口，或者可以是有线的或者无线的网络接口。

当用于再现立体图像的装置100是被集成了如数字电视机等的显示装置的立体图像显示装置时，数据可以被传送至该立体图像显示装置的图像再现单元而无需经过发送单元。该立体图像显示装置可以包括立体图像电视机、立体图像监视器、集成了立体图像监视器的再现装置等。

当用户通过输入按钮、远程控制器、网络等传送控制命令时，用户输入处理单元122接收控制命令并且将控制信号传送至解码器单元103、发送数据生成单元120、3D格式生成单元110等。

对于解码器单元103，控制信号的类型可以包括再现命令、停止命令、多速操作命令等；对于发送数据生成单元120，控制信号的类型可以包括发送数据分辨率调节、接口模式控制命令等。

图2是示出了说明根据本发明示例性实施方式当再现立体图像时3D格式生成单元的操作的图。

如图2所示，根据本发明示例性实施方式的帧校正单元112包括左图像队列220和右图像队列210，并且3D格式合成单元113包括合并图像队列240。

帧校正单元112根据时间戳将左视频帧插入左图像队列220中并且将右视频帧插入右图像队列210中。在垂直方向上位于两个队列中的相同位置处的左视频帧和右视频帧(例如，214和224)具有相同的时间戳。

按照先入先出的方式从相应队列中提取出存储在左图像队列220中的左视频帧和存储在右图像队列210中的右视频帧，在合并点230处将它们配成对，并且接着将它们顺序地输入至合并图像队列240。左图像队列220和右图像队列210接收经过时间校正的左视频帧和经过时间校正的右视频帧，因此在合并点处被配对的左视频帧和右视频帧具有相同的时间戳值。

合并图像队列240从左图像队列220和右图像队列220接收具有相同时间戳的左视频帧和右视频帧并且将它们存储起来。存储在合并图像队列240中的帧按照先入先出的方式输出。

图2和图3示出了根据本发明示例性实施方式的处理存储在帧校正单元112和3D格式合成单元113的队列中的图像帧的过程。

在图2中，合并图像队列240按顺序存储从左图像队列220和右图像队列210输入的左视频帧和右视频帧。

在具有相同时间戳的左视频帧和右视频帧中，首先输出左视频帧，接着输出右视频帧。合并图像队列240存储左帧1(246)、右帧1(245)、左帧2(244)、右帧2(243)、左帧3(242)和右帧3(241)，并且按此顺序将它们输出。

左图像队列220存储着在被插入后还未输出的左视频帧。这些视频帧包括左帧4(224)、左帧5(223)、左帧6(222)和左帧7(221)，并且按此顺序输出。

右图像队列210存储着在被插入后还未输出的左视频帧。这些视频帧包括右帧4(214)、右帧5(213)、右帧6(212)和右帧7(211)，并且按此顺序输出。

图3例示了在从图2中的合并图像队列240中输出了三对左帧和右帧后各自队列中的帧。

图2中的左帧1(246)、右帧1(245)、左帧2(244)、右帧2(243)、左帧3(242)和右帧3(241)被从合并图像队列240中输出。通过合并点230从左图像队列220和右图像队列210中输入左帧4(224)、右帧4(214)、左帧5(223)、右帧5(213)、左帧6(222)和右帧6(212)。

左帧4(224)、左帧5(223)和左帧6(222)被从左图像队列220中输出，并且左帧8(323)、左帧9(322)和左帧10(321)被按顺序输入至左图像队列220。

右帧4(214)、右帧5(213)和右帧6(212)被从右图像队列220中输出，并且右帧8(323)、右帧9(322)和右帧10(321)按顺序输入至右图像队列210。

如上所述，在用于再现立体图像的装置中，交替地输出左帧和右帧以再现立体图像。

现在将描述当用户发出暂停命令时，用于再现立体图像的装置100的操作。

在根据本发明实施方式的用于再现立体图像的装置中，当用户发出暂停命令时，该命令被传送至用户输入处理单元122。用户输入处理单元122将该暂停命令发送至解码器单元103，使得解码器单元103可以停止解码操作。

并且，暂停命令被发送至帧时间比较单元111和帧校正单元112，使得可以再次使用从还原单元105最后接收的帧。由于帧校正单元112再次使用从还原单元105最后接收的帧，帧校正单元112仅仅输出了处于左图像队列220和右图像队列210的尾部的帧，并且由于左图像队列和右图像队列并不去除这些帧，因此可以重复地输出这些帧。

结果，相同的左帧和右帧的配对被输入至3D格式合成单元113的合并图像队列240中，因此相同的左帧和右帧的配对被从合并图像队列240中重复地输出，从而即使在暂停模式中也输出立体图像。

现在将参照图4和图5更详细地描述当从用户接收到对暂停模式的选择时3D格式生成单元110的操作。

图4是用于说明根据本发明示例性实施方式的当在再现立体图像的过程中暂停该立体图像时3D格式生成单元110输出立体图像的示例的图。

当从用户输入处理单元122传送了暂停模式的信号时，帧校正单元122再次使用最后接收的帧。因此，左图像队列220重复地输出左帧1(424)，并且右图像队列210重复地输出右帧1(414)。

合并图像队列240按照与再现立体图像的情况相同的方式合并从左图像队列和右图像队列输出的帧。因此，左帧1和右帧1的配对被重复地插入至合并图像队列240中并且被从合并图像队列240输出。

如上所述，图4中例示的装置重复地输出左帧1和右帧1，使得在显示装置上连续地显示相同的立体图像，因而具有暂停效果。

图5是用于说明根据本发明示例性实施方式的当在再现立体图像的过程中暂停该立体图像时3D格式生成单元110输出立体图像的另一示例的图。在图5中，通过在合并图像队列240中的操作，可以获得与前述示例性实施方式相同的效果。

在本实施方式中，当用户发出暂停命令时，该命令被传送至用户输入处理单元122。用户输入处理单元122把对应于该暂停命令的信号发送至解码器单元103，使得可以停止解码器103的解码操作，并且用户输入处理单元122将该信号发送至3D格式生成单元113。

帧时间比较单元111停止从还原单元105接收串流。帧校正单元500保持队列的内容，不执行与左图像队列220和右图像队列210相关的帧输入和帧输出操作。同时，3D格式合成单元113不向合并图像队列240插入帧，而是交替输出已经首先被插入至合并图像队列240中却没有被从队列中移除的左帧545和右帧545。

如上所述，根据本示例性实施方式的装置重复地输出相同的左帧和右帧，同时保持左图像队列220、右图像队列210以及合并图像队列240的内容，从而可以在显示装置上连续地显示相同的立体图像，产生暂停效果。

同时，在不同的实施方式中，单个2D帧可以通过左帧和右帧的内插而生成并且在暂停模式中重复地输出。

也就是说，在某些情况下，根据用户的意愿和再现的情形，可能期望在暂停模式中显示2D图像。在这种情况下，在本示例性实施方式中，可以内插左帧和右帧以生成单个帧并且重复地输出该2D帧。

可以根据两种方法生成单个2D帧。现在将参照图6和图7描述生成单个2D帧的方法。

图6是用于说明根据本发明示例性实施方式的在再现立体图像的过程中暂停该立体图像时3D格式生成单元110输出内插的2D图像的示例的图。

除了通过内插合成左帧624和右帧614并且将2D帧作为合成结果插入至合并图像队列240中两次而不是在合并点230按顺序地插入左帧624和右帧614以外，图6中例示的方法与图4中例示的再现立体图像的方法相似。

通过在暂停开始时执行一次内插计算并且通过重复地插入作为计算结果而获取的2D帧，可以实现本方法。

图7是用于说明根据本发明示例性实施方式的当在再现立体图像的过程中暂停该立体图像时3D格式生成单元110输出内插的2D图像的另一个示例的视图。

除了通过内插合成左帧746和右帧745并且将2D帧作为合成结果重复地输出而不是重复输出已经首先被插入至合并图像队列240的左帧746和右帧745作为3D图像数据以外，图7中例示的方法与图5中例示的再现立体图像的方法相似。

通过图5中例示的方法中的输出3D图像步骤中经过内插来合成左图像和右图像并且输出合成结果，可以实现本方法。

如上所述，根据本发明的示例性实施方式，即使当正在再现立体图像时选择了暂停模式时，也可以输出立体图像，在这种情况下，可以在不使用任何附加配置的情况下在暂停模式中输出正在再现的立体图像。并且，即使当正在再现立体图像时暂停了该立体图像，也不会产生不自然的屏幕图像或失真现象，从而改善了用户的观看满意度。

已经描述了多种示例性实施方式以说明与本发明的各方面相关的独创概念。然而，特定示例性实施方式的一个或更多个实质特征能够适用于一个或更多个其它示例性实施方式。可以修正各个示例性实施方式和相关附图中描述的一些要素或步骤，并且可以删除、移动或包括附加的要素和/或步骤。

本文所描述的各种特征和思想可以通过软件、硬件、固件、中间件或它们的任意组合来执行。例如，存储在计算机可执行介质中的用于在高速搜索模式中实现立体图像再现和存储在装置中的用于再现立体图像的计算机程序(由计算机、处理器、控制器等执行)可以包括执行各种操作的一个或更多个程序代码段。类似地，存储在计算机可执行介质中的用于实现在高速搜索模式中实现立体图像再现和存储在装置中的用于再现立体图像的软件工具(由计算机、处理器、控制器等执行)可以包括执行各种操作的程序代码的一部分。

本发明可以适用于诸如数字电视、LCD显示设备、个人媒体播放器(PMP)、移动电话、电脑显示器等能够显示立体图像的任何设备。

在不脱离本发明的特征的情况下，可以用若干种形式来实施本发明，因此也应该理解，除非特别指出，上述实施方式不受到前面描述的任一细节的限制，而是应该在所附的权利要求限定的范围内对其进行广义的解释，因此所附的权利要求意图涵盖落在权利要求的界限和范围或这些界限和范围的等同物内的所有变化和修改。