高清解码器数字显示混合格式码流自适应处理系统及方法

技术领域

本发明涉及电路技术领域，特别是涉及高清解码器数字显示混合格式码流自适应处理系统及方法。

背景技术

目前，没有为高清图像多媒体解码器提供以下的服务：混合图像格式的密集码流源(AVS/MPEG/H.26X)解码后的预先存储、基于片内总线的逐渐调入、上行码流进行混合码流的统一解交织运算处理的缓存接口架构、下行码流为下面的图像输出准备输出缓存接口、同时解交织缓存接口可进行码流格式的自适应配置调整。

目前的高清多媒体没有对于混合图像格式的密集码流源(AVS/MPEG/H.26X)的解码后到像素解交织给出统一有效的接口缓存架构，以在片上系统SOC(system-on-chip)的缓存与接口统一解决；此外，对于准备进行图像播放输出的混合图像的解交织运算结构也没有给出高效率的缓存架构，现存方法不能进行高效率的混合图像格式的多格式自适应解码。

专利申请号为“201110459799.7”的安凯(广州)微电子公司的发明专利申请“一种码流缓冲系统及视频解码器”，其针对片外的存储器到片内部解码的带宽冲突，给出了环形码流缓存系统，但其也存在一定的不足，比如该环形码流处理单元还是需要利用CPU进行处理，需要占据处理器时间，不具备基于专门的直接存储访问单元联合缓冲队列、以及专用访问总线的特点。

专利申请号为“201510995609.1”的福州瑞芯微电子股份有限公司的发明专利申请“一种视频解码方法与系统”，其给出了解码系统处理解码数据帧出错时的处理方法，其基于AXI总线，进行必要的出错数据帧的复位。

但其也存在一定的不足：该专利仅仅针对错误数据帧的复位进行了运算架构的说明，不具备本申请的针对所有码流解码后处理的系统结构完整性。

专利申请号为“201510998986.5”的深圳市九洲电气有限公司的发明专利申请“多编码格式码流的自适应切换方法与系统”，其给出了按照码流带宽与格式的不同进行分组，然后再进行播放的码流播放机制。

但其也存在一定的不足：该专利是基于软件线程的方法，与本专利硬件加速器的实现机制不同，硬件加速器实现可以作为系统的物理层，并且对于密集像素处理而言，具有快速的优势，此外，该专利基于两路解码器，不具备本申请专利的一套码流解码后解交织的复用性与适应性。

专利申请号为“201310461386.1”的京东方科技集团公司的发明专利申请“图像显示控制装置、方法和图像现实系统”，其给出了按照码流从读入缓冲读入片内缓存存储器、再从片内缓存存储器读出到读出缓存的数据流向架构，并且进行跨时钟域的切换。

但其也存在一定的不足：该专利利用FIFO队列缓冲构建输入/输出缓冲，不具备本申请专利基于直接存储访问单元DMA联合队列FIFO的分级缓存策略，本申请专利的缓存架构可以通过CPU进行数据搬运的参数设置，进行解码后混合码流的自适应解扰；同时，本申请专利的缓存策略基于自定义总线握手协议，与该专利基于异步时钟切换的策略不同。

综上所述，现有技术中对于一系列技术问题，包括：混合图像格式密集码流解码后到片外暂存储再调入片内，上行码流进行自适应解交织时间/空间插值运算的有效的数据搬运分级缓存架构，下行码流解交织后到显示控制播放输出显示的下行数据流向架构，混合数据格式解交织的自适应配置机制，数据搬运基于自定义总线的握手协议等，尚缺乏有效的解决方案。

发明内容

为了解决现有技术的不足，本发明的目的之一是提供了高清解码器数字显示混合格式码流自适应处理系统，包括：

解码器，用于对混合格式图像进行重建解码，解码后得到混合码流；

DDR2控制器，用于对DDR2物理层协议PHY电路进行协议控制，将解码后的混合码流进行预存储至DDR2/SDRAM片外物理存储器，实现对DDR2/SDRAM片外物理存储器进行数据读写；

运动矢量上变换模块包括直接存储访问单元、高清运动矢量上变换队列缓冲单元与高清运动矢量上变换单元；

所述DDR2控制器的控制下实现将存储至DDR2/SDRAM片外物理存储器的混合码流经过TBUS总线突发大延迟下行格式预适应处理传输至直接存储访问单元，码流的色度/亮度成分多通降延迟从上变换直接存储访问进入到高清运动矢量上变换队列缓冲单元，然后在高清运动矢量上变换单元进行码流解交织运算及色度/亮度分别再空间/时间插值运算，将来自高清运动矢量上变换单元处理后的像素上行经过TBUS总线突发输入至显示控制模块；

显示控制模块，进行色度/亮度象素成分的循环冗余校验；

输出播放模块，用于进行图像输出到片外接口进行显示。

进一步的，所述显示控制模块包括：显示直接数据访问单元、显示队列阵列及循环冗余校验单元；

显示直接数据访问单元用于配置下一个缓存显示的场filed或帧frame，同时，显示所有配置寄存器；

显示直接数据访问单元跟踪DDR2/SDRAM片外物理存储器的地址，并基于自定义的tbus总线，为显示队列阵列提供128-bits固定长度的数据；

显示队列阵列，从数据总线以突发burst形式读取128bits的混合数据，并且转换为8-bits字；

循环冗余校验单元，为场filed或帧frame的每个亮度成分与色度成分进行CRC的循环冗余校验，以保证无线信道传输解码后的亮度/色度成分的数据完整性。

进一步的，所述运动矢量上变换模块进行自适应像素插值运算，利用直接存储访问单元接口获取像素的格式，对于亮度而言，其场或者帧延迟版本与对应的运动矢量交替出现，当出现128个场或者帧数据时候，则完成一次完整的传输，切换到下一个场或者帧数据的边界；对于色度部分数据，色度数据与对应的色度运动矢量按照一定的格式交替传输，一直到突发传输的128bits的边界。

进一步的，所述高清运动矢量上变换单元，负责混合像素的解交织运算，将多种不同格式的图像源由交织格式转换成连续格式，并且进行像素的空间与时间对应插值运算处理，然后输出两倍于原来的数据量行。

进一步的，所述高清运动矢量上变换单元对于亮度与色度分别进行处理，按照8到10bits的量化精度，色度成分可以是4:2:2或者4:2:0格式。

进一步的，所述高清运动矢量上变换单元为每一个读取的像素产生、响应与管理其对应的运动向量参数，运动矢量的定义：绝对差别定义为当前亮度或者色度成分的像素与前面一帧的该对应像素的绝对位置之差；线性运动上转移的执行任务：执行运动自适应算法，进行色度与亮度成分的空间/时间插值处理等运算。

进一步的，所述直接存储访问单元的数据传输满足以下条件：

亮度与色度数据分别被请求与发送；

亮度与色度数据均利用唯一的128bits宽度的数据总线进行传输，每组128bits长度的数据包括：亮度数据与对应的运动矢量，色度数据与对应的色度运动矢量；

场或者帧数据缓冲均为128bits长度，并且交织排列。通过对多通道的亮度或色度的读或写的请求进行仲裁，达到不会发生某个通道独占TBUS数据总线引发的其余通道饥饿问题。

进一步的，所述直接存储访问单元每次访问DDR2/SDRAM片外存储器获取的数据长度不会少于128bits，直接存储访问单元获取交织的图像数据与运动矢量，响应高清运动矢量上变换单元的数据通道获取数据请求，高清运动矢量上变换单元的地址生成器指示从存储器获取数据的存储格式与显示格式，避免了在直接存储访问单元再次进行适应；

高清运动矢量上变换队列缓冲单元从直接存储访问单元获取至少128bits长度的字，高清运动矢量上变换队列缓冲单元支持至少128bits的缓存深度，并且转换为8bits的字，减少直接存储访问单元大的数据突发访问引起的数据延迟敏感问题。

进一步的，当运动矢量上变换模块的直接存储访问单元数据通道向DDR2控制器请求数据获取时，直接存储访问单元从片外的片外DDR2物理存储器获取数据，并且高清运动矢量上变换单元的数据地址指示了获取数据的顺序与格式，避免了在直接存储访问单元中不同图像格式的再次适应运算。

进一步的，所述直接存储访问单元支持6个数据通道：2个luma-read通道、1个luma-write通道、2个chroma-read通道与1个chroma-write通道，高清运动矢量上变换单元的工作模式决定了不同时间点的通道数量。

进一步的，所述直接存储访问单元包括下面组件：HLMU-DMA控制器与HLMUFIFOs缓冲阵列，HLMU-DMA控制器为下一组field或frame缓存进行配置，并且配置使能到垂直复位才有效，HLMU-DMA控制器跟踪片外DDR2物理存储器的地址，并且基于tbus总线为HLMU FIFOs缓冲阵列提供固定长度为128-bit的数据，HLMU-FIFOs阵列对获取的128bits长度的混合像素数据进行平滑操作，并且进行从128bits到16bits长度的数据格式转换，以提供给高清运动矢量上变换单元。

进一步的，高清解码器数字显示混合格式码流自适应处理方法，包括以下步骤：

步骤1，解码器对密集图像解码：解码器对混合象素解码，解码后密集混合象素存储到片外DDR2/SDRAM物理存储器；

步骤2，片外象素到片内：片外混合象素经过DDR2总线转换为运动矢量上变换模块的TBUS自定义总线；

步骤3，象素解交织与插值：象素按照运动矢量上变换模块内部自定义TBUS握手协议读取，进行混合格式读取参数预先配置后，再被运动矢量上变换模块的直接存储访问单元以直接存储访问象素块形式读入，以准备混合象素的解交织与象素插值运算；

步骤4，象素进行循环冗余校验：来自高清运动矢量上变换单元解交织与插值后的像素，上行经过TBUS总线突发输入到显示控制模块；数据以128bits长度的突发传输到显示控制模块的直接存储访问单元；直接存储访问单元数据进入显示队列阵列，然后色度/亮度成分分离后，分别进行循环冗余校验，色度/亮度成分的循环冗余校验，证明数据完整性；

步骤5，准备进行图像输出显示。

本发明中除了DDR2(double-data-rate 2)物理存储器暂时不能芯片内集成外，其余图像码流解码后到播放输出的模块全部片内硬件加速器集成；基于码流解码后预先片外缓存，然后通过芯片内的DDR2控制器调入芯片内运算；上行混合格式码流基于直接存储访问单元DMA联合数据队列FIFO的分级缓存下行到运动矢量上变换模块进行空间/时间插值运算解交织，并且解交织的配置参数(包括亮度、色度缓存基地址与存储、显示格式指示参数)可配置，达到混合格式码流自适应处理的目的；解交织后下行码流基于位于显示模块的同原理的直接存储访问单元DMA联合数据队列FIFO的分级缓存再上行反馈回显示控制模块，以准备将数据送到图像输出单元进行播放输出。

与现有技术相比，本发明的有益效果是：

本发明提出了一种支持混合图像格式解码后进行芯片外缓存再调入片内，混合码流利用自定义总线经过直接访问存储联合队列的分级缓冲进行自适应解交织与像素空间、时间插值运算，解交织与插值运算后再利用直接访问存储联合队列的分级缓冲上行送到显示控制模块的数据处理架构，最后送到播放输出模块。

本发明机制不占用CPU额外时间的优点，并且混合像素总线访问宽度固定化、访问像素格式与顺序在解交织之前即可以进行配置等优点。

本申请专利具有既达到硬件加速器基于专有总线实现数据流畅搬运，同时又释放了系统处理器时间，以降低系统处理器任务负载的优点。

本专利提出了一种了图像解码器混合格式像素解码的密集像素存储与解码、码流播放的整体实现架构；解决了DDR2高速外设与显示模块之间的带宽瓶颈，保证解码后码流解交织运算与吞吐流畅显示输出；保证了不同格式码流(AVS/MPEG2/H.264)到显示模块之间的统一空间/时间自适应的处理，以及对应的插值运算。

本专利提出了利用自定义总线握手协议，基于直接访问存储联合队列的二级分级缓冲机制，实现片外调入的上行码流从DDR2控制器到解交织空间/时间插值运算，然后解交织后下行码流从解交织模块到显示控制模块的数据流畅搬运。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1本专利系统涉及到的工作流程与模块任务分解示意图；

图2为运动矢量上变换模块多通道数据读/写缓冲架构示意图；

图3运动矢量上变换模块组件、数据流向框图；

图4为运动矢量上变换模块LMU从片外物理存储器DDR2/SDRAM获取亮度/色度图像的格式示意图；

其中图中的filed delay：场数据延迟，filed dly motion：场运动延迟数据；frame delay：帧延迟数据，frame dly motion：帧运动延迟数据；BURST Size：突发传输长度；Luma：色度，Chroma：色度；Lpix：最左面像素，Rpix：最右面像素。

图5为显示控制模块的缓存架构示意图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本申请使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

术语解释部分:

DDR2/DDR II(Double Data Rate 2)SDRAM是由JEDEC(电子设备工程联合委员会)进行开发的新生代内存技术标准。

HD：通常把物理分辨率达到720p以上的格式称作为高清，英文表述作High Definition，简称HD。

HLMU：high-definition linear motion up-converter，高清图像运动矢量上转换。

LMU：linear-motion-UpConverter，线形运动矢量上转换。

FIFO：first-in-first-out，先进先出队列。

Luma：亮度，Chroma：色度；Filed：场，Frame：数据帧。

正如背景技术所介绍的，现有技术中存在的不足，为了解决如上的技术问题，本申请提出了高清解码器数字显示混合格式码流自适应处理系统及方法。

本申请的一种典型的实施方式中，如图1所示，针对高清HD解码器片密集像素缓存与逐渐解码、以及显示输出应用情景，将解码后的不同格式的密集数据码流进行片外DDR2物理存储器的预缓存，并且通过DDR2控制器，再从位于芯片外的DDR2物理存储器中，将多种格式(AVS/MPEG2/H.264)码流逐渐调入到芯片内图像显示控制模块，进行后续码流的快速缓冲、像素预先处理、高清运动矢量上变换单元的每个像素的空间/时间(pixel spatial/temporal)插值运算等。

如图2所示，本申请给出了像素解码后预先存储、调入到片内缓存、基于分级缓冲DMA-FIFO接口技术的码流缓存与HLMU像素插值运算的混合码流解决方案。路径1为解码后混合像素存储器到DDR2/SDRAM片外存储器；路径2为混合交织的像素经过DDR2控制器与直接存储访问单元的协调，调入到片内的运动矢量上变换模块，路径3为上行像素解交织插值运算；路径4为运动自适应补偿后像素缓存读取进行CRC(cyclic redundancy check)循环冗余校验；最终图像数据输出到图像输出模块，以准备进行图像播放显示。

不同数据格式的多源像素(MPEG/H.264/AVS)经过解码器进行解码后，调入到DDR2/SDRAM片外存储器，然后再通过DDR2控制器逐渐调入到片内，通过TBUS数据总线输入到混合数据格式帧的自适应解交织(普通像素与运动矢量的解交织，空间/时间插值运算)处理后，上行发送到显示控制模块，进行像素的亮度与色度缓存、分离与CRC校验，最终输出到图像播放输出模块。

图像显示控制模块读取分级缓冲接口DMA-FIFO(直接存储访问单元)为高清显示模块与DDR2控制器之间提供一个上行码流/下行码流的流畅缓冲接口，其位于视频显示模块的显示控制部分。

当高清运动矢量上变换单元HLMU发出请求时，HLMU-DMA直接存储访问单元从DDR2/SDRAM片外存储器获取图像混合交织的数据与运动矢量。

运动矢量上变换模块LMU：来自片外DDR2/SDRAM片外存储器的上行多格式混合交织码流，经过DDR2-PHY底层物理电路，遵循DDR2控制器的数据读/写传输协议，经过系统自定义的TBUS专用总线，按照该总线的握手协议，以128bits大延迟的数据突发“Burst”传输模式，到达内部的运动矢量上变换-直接存储访问HLMU-DMA单元，然后数据以低延迟的16bits总线宽度到达运动矢量上变换-缓冲队列阵列HLMU-FIFO，完成混合像素的流畅搬运获取；同时，在TBUS数据到达运动矢量上变换-直接存储访问单元HLMU-DMA的过程中，根据处理器传来的寄存器参数进行配置，进行获取码流的数据存储组织格式以及数据显示格式的获取以进行提前的混合格式重排，再将格式统一的像素数据送到高清运动矢量上变换单元进行解交织以及像素的空间/时间插值运算处理，高清运动矢量上变换单元位于LMU模块里的最后一级；

显示控制模块：来自运动矢量上变换模块LMU的进行解交织后的码流，经过TBUS总线，将图像码流利用分级DMA-FIFO缓冲接口输出到运动矢量上变换LMU模块的显示控制模块，进行色度/亮度分量的循环冗余校验(CRC)，以准备进行输出到最后的播放模块。显示控制模块的DMA直接访问单元，从DDR2控制器中，基于自定义的TBUS总线，利用握手协议，获取混合数据格式的图像数据源，以突发“burst”形式获取亮度与色度混合的128bits长度(可配置)的数据块，以为显示控制模块提供一次完整的数据包。不论像素在DDR2物理存储器中的存储格式是如何组织的(光栅raster或块block形式)，数据均以光栅“rasterorder”扫描格式呈现读取到显示模块的缓冲单元(包括DMA、FIFO)，即在视频行(line)中的像素，亮度与色度均分别按照从最左面到最右面的形式进行排列，而色度(Cb，Cr)基本对通道以的形式交织排列。

如图3所示，其为LMU(运动矢量上变换模块)的组成结构：包括直接存储访问(HLMU-DMA)单元、高清运动矢量上变换-队列缓冲单元HLMU-FIFOs与高清运动矢量上变换单元HLMU。该运动矢量上变换模块LMU为DDR2控制器到高清运动上变换单元(HLMU)的像素处理数据路径，为进行像素解交织与插值运算提供流畅的像素码流。HLMU-DMA(high-definition linear motion up-converter-direct memory access)为DDR2控制器与HLMU提供了一个带宽平衡的接口桥梁。

如图4所示，基于HLMU-DMA的数据传输满足以下条件：(1)亮度与色度数据分别被请求与发送；(2)亮度与色度数据均利用唯一的128bits宽度的数据总线进行传输，每组128bits长度(最小为128bits，长度可以配置)的数据包括：亮度数据与对应的运动矢量(Y,Y-运动矢量motion)，色度数据与对应的色度运动矢量(Cb,Cb-运动矢量motion,Cr-运动矢量motion)；场或者帧数据缓冲均为128bits长度，并且交织排列。通过对多通道的亮度或色度的读或写的请求进行仲裁，达到不会发生某个通道独占TBUS数据总线引发的其余通道饥饿问题。HLMU-DMA每次访问DDR/SDRAM片外存储器获取的数据长度不会少于128bits。高清运动矢量上变换的直接存储访问单元HLMU-DMA获取交织的图像数据与运动矢量，响应高清运动矢量上变换HLMU的数据通道获取数据请求。高清运动矢量上变换HLMU模块的地址生成器指示从存储器获取数据的存储格式与显示格式，避免了在HLMU-DMA再次进行适应。显示队列缓存HLMU-FIFO从直接存储访问单元HLMU-DMA获取至少128bits长度的字，HLMU-FIFO支持至少128bits的缓存深度，并且转换为8bits的字，减少HLMU-DMA大的数据突发访问引起的数据延迟敏感问题。

像素与运动矢量数据以交织的方式存储在片外的DDR物理存储器中，而存储器中的数据放置格式由HLMU模块决定。当LMU的DMA数据通道向DDR控制器请求数据获取时，HLMU-DMA从片外的DDR2获取数据，并且HLMU的数据地址指示了获取数据的顺序与格式，避免了在HLMU-DMA中不同图像格式的再次适应运算。HLMU-DMA支持6个数据通道：2个luma-read通道、1个luma-write通道、2个chroma-read通道与1个chroma-write通道，HLMU的工作模式决定了不同时间点的通道数量。HLMU-DMA包括下面组件：HLMU-DMA控制器与HLMU FIFOs缓冲阵列。HLMU-DMA控制器为下一组field或frame缓存进行配置，并且配置使能到垂直复位(vertical reset)才有效。HLMU-DMA跟踪DDR2存储器的地址，并且基于tbus总线为HLMU–FIFO提供固定长度为128-bit的数据。HLMU-FIFOs阵列对获取的128bits长度的混合像素数据进行平滑操作，并且进行从128bits到16bits长度的数据格式转换，以提供给HLMU模块。

如图3所示，LMU模块里面的高清上运动矢量变换HLMU(high-definition linear motion up-converter)单元，负责混合像素的解交织(de-interlaced)运算，将多种不同格式的图像源由交织(interlaced)格式转换成连续(progressive)格式，并且进行像素的空间(spatial)与时间(temporal)对应插值运算处理，然后输出两倍于原来的数据量行(lines)。HLMU模块对于亮度luma与色度chroma分别进行处理，按照8到10bits的量化精度(比如：Y-Cb-Cr格式)，色度成分可以是4:2:2或者4:2:0格式。HLMU模块为每一个读取的像素产生、响应与管理其对应的运动向量参数。运动矢量的定义(motion vector)：绝对差别定义为当前亮度或者色度成分的像素与前面一帧的该对应像素的绝对位置之差；线性运动上转移(Linear Motion Upconverter：LMU)的执行任务：执行运动自适应算法，进行色度与亮度成分的空间/时间插值处理等运算。

如图4所示，其为运动矢量上变换模块进行自适应像素插值运算，利用HLMU-DMA接口获取像素的格式，亮度(luma)部分与色度(chroma)的格式一样。对于亮度(luma)而言，其场(filed)或者帧(frame)延迟版本与对应的运动矢量交替出现，当出现128个场(filed)或者帧(frame)数据时候，则完成一次完整的传输，切换到下一个场(filed)或者帧(frame)数据的边界；同理，对于色度部分数据，色度数据与对应的色度运动矢量按照(Cb,运动矢量Cb motion,Cr,Cr运动矢量motion)的格式交替传输，一直到突发传输的128bits的边界。

如图5所示，显示控制模块的组件包括：显示直接数据访问单元(Display DMA)、显示队列阵列(Display FIFOs)、循环冗余校验(Display CRC)。DMA直接访问单元还用于配置下一个缓存显示的场filed或帧frame；同时，显示主控模块的所有配置寄存器，都要等到下一个显示缓存中的场filed或帧frame的起始阶段开始后才有效。DMA单元跟踪DDR2物理存储器的地址，并基于自定义的tbus总线，为显示队列阵列(Display FIFOs)提供128-bits固定长度的数据。显示队列阵列(Display FIFOs)从数据总线以突发burst形式读取128bits的混合数据(不同数据源、不同数据格式filed/frame、像素与运动向量交织)，并且转换为8-bits字(亮度luma或色度chroma)。显示用的Display CRC模块分别为场filed或帧frame的每个亮度成分与色度成分进行CRC的循环冗余校验，以保证无线信道传输解码后的亮度/色度成分的数据完整性。

该专利给出了高清数字解码器像素显示读取运算处理，并送交图像输出的应用场景下，一个改进的高清解码芯片片外DDR2物理存储器到数字显示模块的总体数据流向结构、总线与缓冲电路：其基于DMA-FIFO2级速率过渡接口进行码流分级缓冲读取，基于像素自适应参数进行读取配置控制，再进行像素的解交织与空间/时间的插值运算，然后再上行进行后续亮度/色度成分的CRC校验。该专利的整体方案解决了不同数据源(AVS/H.264/MPEG)与混合数据(像素与运动向量交织)的处理策略，填补了片外DDR2到片内数字显示的带宽差异，保障了码流后续解交织运算的实时性，为播放流畅提供了保障，同时解决了不同数据格式下的解码器的播放吞吐性与分辨率与的不同实现机制。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。