首页> 中国专利> 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序

图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序

摘要

本发明提供一种图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序。图像解密方法中对被分割成多个块图像进行解密,从储存解密对象图像内的解密完毕块的解密信息以及解密完毕图像的解密信息的储存单元取得解密完毕块的解密信息,从多个解密完毕图像中选择规定的解密完毕图像,取得所选择的解密完毕图像内的规定块的解密信息,使用所取得的解密完毕块的解密信息以及规定块的解密信息来预测表示解密对象块的分割形状的分割模式,根据加密数据来对表示分割模式的分割模式信息进行解密,根据所预测出的分割模式以及所解密出的分割模式信息决定解密对象块的分割模式。

著录项

  • 公开/公告号CN103141102A

    专利类型发明专利

  • 公开/公告日2013-06-05

    原文格式PDF

  • 申请/专利权人 富士通株式会社;

    申请/专利号CN201080069393.1

  • 申请日2010-09-30

  • 分类号H04N7/32(20060101);

  • 代理机构11227 北京集佳知识产权代理有限公司;

  • 代理人舒艳君;李洋

  • 地址 日本神奈川县

  • 入库时间 2024-02-19 19:50:28

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2016-07-13

    授权

    授权

  • 2013-07-10

    实质审查的生效 IPC(主分类):H04N7/32 申请日:20100930

    实质审查的生效

  • 2013-06-05

    公开

    公开

说明书

技术领域

本发明涉及与分割模式的预测相关的图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序。

背景技术

图像数据、特别是动态图像数据通常数据量较大,因此在从发送装置朝接收装置传送时、或者存储于存储装置时等,进行高效率加密。在此,所谓“高效率加密”是指对将某一数据列转换成其他数据列的加密处理,是对该数据量进行压缩的处理。

动态图像数据主要包含仅由帧构成的动态图像数据和由域(field)构成的动态图像数据。

作为动态图像数据的高效率加密方法,公知有图片内预测(帧间预测:intra prediction)加密方法。在该加密方法中,利用动态图像数据在空间方向上相关性高的特点,并不使用其他图片的加密图像。图片内预测加密方法是能够仅利用图片内的信息复原图像的方法。

并且,公知有图片间预测(内部预测:inter prediction)加密方法。在该加密方法中,利用动态图像数据在时间方向上相关性高的特点。对于动态图像数据,通常某一时机的图片数据与下一时机的图片数据之间的类似度高的情况较多,因此,在内部预测加密方法中使用该性质。

在图片间预测加密方法中,将原图像分割成块,以该块单位,从加密完毕帧的解密图像选择与该原图像块类似的区域。图1是示出将原图像分割成块后的一个例子的图。图1所示的块MB是宏块。如图1所示那样,原图像被分割成多个宏块。

接下来,求出原图像块的类似区域与原图像块之间的差值,除去冗长性。然后,通过对标识类似区域的活动向量信息和除去冗长性后的差值信息进行加密来实现高压缩率。

例如,在使用了内部预测加密的数据传送系统中,在发送装置中,生成表示从前图片朝向对象图片的“活动”的活动向量数据,以及根据该前图片使用该活动向量数据作成的对象图片的预测图像与对象图片之间的差值数据。接下来,数据传送系统将上述活动向量数据以及差值数据朝接收装置送出。另一方面,接收装置根据所接收到的活动向量数据以及差值数据来重建对象图片。

作为代表性的动态图像加密方式,能够举出ISO/IEC(ISO/IEC:International Organization for Standardization/InternationalElectrotechnical Commission)MPEG(Moving Picture Experts Group)-2/MPEG-4(以下记为“MPEG-2”、“MPEG-4”)。

在动态图像加密方式中,采用帧间预测加密后的画面以一定周期发送而其余的以内部预测加密发送的GOP(group of pictures)的构造。此外,规定与上述预测对应的I、P、B这3种图片。I图片不使用其他图片加密图像。是能够仅使用图片内的信息复原图像的图片。P图片是从过去的图片起进行顺方向的图片间预测,并对预测误差进行加密后的图片。B图片是从过去和未来的图片起进行双方向的图片间预测,并对预测误差进行加密后的图片。由于B图片在预测中使用未来的图片,因此,在加密之前,需要对要在预测中使用的未来的图片进行加密、解密。

图2是对参照双方向的解密图像的B图片进行说明的图。如图2所示,在对加密对象B图片Pic2进行加密的时刻,至少前后2张图片Pic1、Pic3已被先行加密。加密对象B图片Pic2能够选择前方向参照图像Pic1和后方向参照图像Pic3中的任意一方或者双方。例如,使用块匹配技术计算出前方向参照图像Pic1内与加密对象块CB1最类似的区域作为前方向预测块FB1,并计算出后方向参照图像Pic3内与加密对象块CB1最类似的区域作为后方向预测块BB1。在选择了双方向的情况下,预测方向亦即双方向信息、两个参照图像内从与加密对象块CB1相同的位置(排列块ColB1、2)朝向预测块的活动向量MV1、2、加密对象块CB1与预测块的像素差值被加密。

图3是示出GOP结构(其1)的一个例子的图。图3所示的GOP结构示出普通的GOP结构的IBBP构造。在MPEG-2中,能够作为B图片的参照图像使用的加密完毕图像需要作为P图片或者I图片进行加密。但是,在最新的加密方式亦即国际标准ITU-T H.264(ITU-T:International Telecommunication Union TelecommunicationStandardization Sector)/ISO/IEC MPEG-4AVC(以下称为“H.264”)中,除此之外,B图片中已被加密的加密完毕图像也能够作为参照图像使用。

图4是示出GOP结构(其2)的一个例子的图。在动态图像加密的H.264中,能够采用如图4所示的GOP结构,成功地提高了加密效率。将该GOP结构称作“阶层B构造”。这样,对于1GOP中的图片,B图片的数量变多,提高了B图片的加密效率,直接导致动态图像加密整体的加密效率提高。图3、图4所示的箭头表示前方向或后方向向量。

图5是对H.264的块构造的例子进行说明的图。在H.264中,为了提高压缩效率,如图5所示将16×16像素的宏块分割成更小的分区(子宏块),能够以该分割后的分区为单位求出活动向量。对于该分区的分割单位,作为宏块分区包含16×16(图5(A))、16×8(图5(B))、8×16(图5(C))、8×8(图5(D))。并且,当宏块为8×8像素的情况下,作为子宏块分区能够从8×8、8×4、4×8、4×4(图5(D))中选择分割单位。

此外,作为在下一代动态图像加密HEVC(High-efficiency videocoding)中提出的技术,存在图6所示的分割单位。图6是示出下一代动态图像加密的块构造的一个例子的图。如图6所示,进一步细分化成相当于以往的宏块的代码(code)单元(CU),将CU进一步分割成预测单位的分区而得的预测(prediction)单元(PU),再进一步细分化成CU中的频率单位的分区而得的变换(transform)单元(TU)。并且,为了对块进行细分化而使用分割标志,可进行存在分割的判断。

非专利文献1:Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,1stMeeting:Dresden,DE,15-23 April,2010,Samsung's Response to theCall for Proposals on Video Compression Technology/JCTVC-A124,P.7-10

对于以往的加密对象块的构造,由于朝解密器侧通知频率变换方法等,因此将这些分割模式信息作为明示的比特流发送。另一方面,由于追加有各种加密模式,因此该通知比特的系统开销(overhead)成为妨碍加密效率的提高的一个因素。

图7是示出空间相关性的图。例如,在算术加密中,在对加密对象块CB2进行加密之际,利用如图7所示的周边的加密完毕块A、B的预测模式信息(内部预测、帧间预测等)的空间相关性对出现概率进行更新。

然而,由于仅使用相同图片内的加密对象块的周边块状态、即仅使用空间相关性进行预测,因此根据图像性质不同,存在无法对表示图像分割形状的分割模式进行适当的预测,从而加密压缩率降低的情况。

发明内容

因此,本发明所公开的技术的目的在于提供一种能够提高分割模式的预测精度、实现图像的加密/解密的进一步高效化的图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序。

本发明所公开的一个方式的图像解密方法是对被分割成多个块的图像进行解密的图像解密方法,从存储解密对象图像内的解密完毕块的解密信息以及解密完毕图像的各块的解密信息的储存单元取得上述解密完毕块的解密信息,从多个上述解密完毕图像中选择规定的解密完毕图像,从上述储存单元取得上述所选择的解密完毕图像内的规定块的解密信息,使用上述所取得的解密完毕块的解密信息以及上述规定块的解密信息来预测表示解密对象块的分割形状的分隔模式,根据加密数据对表示上述解密对象块的分割模式的分割模式信息进行解密,并根据上述预测出的分割模式以及上述解密出的分割模式信息来决定上述解密对象块的分割模式。

本发明所公开的其他方式的图像加密方法是将图像分割成多个块并进行加密的图像加密方法,从存储加密对象图像内的加密完毕块的加密信息以及加密完毕图像的各块的加密信息的储存单元取得上述加密完毕块的加密信息,从多个上述加密完毕图像中选择规定的加密完毕图像,从上述储存单元取得上述所选择的加密完毕图像内的规定块的加密信息,使用上述所取得的加密完毕块的加密信息以及上述规定块的加密信息来预测表示加密对象块的分割形状的分割模式,决定在上述加密对象块中使用的分割模式,并根据上述预测出的分割模式以及上述所决定的分割模式对上述加密对象块的分割模式信息进行加密。

根据本发明所公开的技术,能够提高分割模式的预测精度,实现图像的加密/解密的进一步的高效化。

附图说明

图1是示出将原图像分割成块的一个例子的图。

图2是对参照双方向的解密图像的B图片进行说明的图。

图3是示出GOP结构(其1)的一个例子的图。

图4是示出GOP结构(其2)的一个例子的图。

图5是对H.264的块构造的例子进行说明的图。

图6是示出下一代动态图像加密的块构造的一个例子的图。

图7是示出空间相关性的图。

图8是示出实施例1中的图像加密装置的结构的一个例子的框图。

图9是示出实施例1中的与分割模式的预测相关的功能的一个例子的框图。

图10是示出实施例1中的预测单元的功能的一个例子的框图。

图11是示出实施例2中的图像解密装置的结构的一个例子的框图。

图12是示出实施例2中的与分割模式的预测相关的功能的一个例子的框图。

图13是对四叉树(Quad tree)的阶层构造进行说明的图。

图14是示出实施例3中的GOP结构(IBBP构造)的一个例子的图。

图15是示出加密对象块与周边块之间的关系的一个例子的图。

图16是对加密对象图像与其参照图像之间的间隔进行说明的图。

图17是对由第二取得单元取得的块进行说明的图。

图18是对由预测单元进行的比较(其1)进行说明的图。

图19是对由预测单元进行的比较(其2)进行说明的图。

图20是示出不一致标志的一个例子的图。

图21是示出实施例3中的分割模式加密处理的一个例子的流程图。

图22是示出实施例4中的分割模式解密处理的一个例子的流程图。

图23是示出实施例5中的GOP结构(B阶层构造)的图。

图24是示出实施例5中的与分割模式的预测相关的功能的一个例子的框图。

图25是示出图片间隔的一个例子的图。

图26是示出由第一取得单元取得的加密信息的一个例子的图。

图27是示出虚拟活动向量的一个例子的图。

图28是示出加密表的一个例子的图。

图29是示出实施例5中的分割模式的加密处理的一个例子的流程图。

图30是示出实施例6中的与分割模式的预测相关的功能的一个例子的框图。

图31是示出实施例6中的分割模式解密处理的一个例子的流程图。

图32是示出实施例7中的与分割模式的预测相关的功能的一个例子的框图。

图33是示出实施例7中的周边块的一个例子的图。

图34是示出由第二取得单元702指定的周边块的一个例子的图。

图35是示出由第二取得单元取得的块的一个例子的图。

图36是示出预测单元的功能的一个例子的框图。

图37A是示出实施例7中的分割模式加密处理(其1)的一个例子的流程图。

图37B是示出实施例7中的分割模式加密处理(其2)的一个例子的流程图。

图38是示出实施例8中的与分割模式的预测相关的功能的一个例子的框图。

图39A是示出实施例8中的分割模式解密处理(其1)的一个例子的流程图。

图39B是示出实施例8中的分割模式解密处理(其2)的一个例子的流程图。

图40是示出信息处理装置的结构的一个例子的图。

附图标记说明

101:预测误差信号生成部;104:熵加密部;105:逆量化单元;106:逆正交变换部;107:解密图像生成部;109:图片存储器;110:帧间预测图像生成部;111:内部预测图像生成部;112:活动向量计算部;201:储存单元;202、502、701:第一取得单元;203、501:选择单元;204、503、702:第二取得单元;205、504、703:预测单元;207:决定单元;208、505:加密单元;251、731:第一分割模式预测单元;252、732:第二分割模式预测单元;301:熵解密部;305:解密信息存储部;304:帧间预测图像生成部;306:内部预测图像生成部;310:图片存储器;401:储存单元;402、602、801:第一取得单元;403、601:选择单元;404、603、802:第二取得单元;405、604、803:预测单元;406:解密单元;407、605:决定单元。

具体实施方式

以下,基于附图对实施例进行说明。

[实施例1]

图8是示出实施例1中的画加密装置100的结构的一个例子的框图。如图8所示,实施例1中的图像加密装置100包含预测误差信号生成部101、正交变换部102、量化部103、熵加密部104、逆量化部105、逆正交变换部106、解密图像生成部107、去块滤波(deblocking filter)部108、图片存储器109、帧间预测图像生成部110、内部预测图像生成部111、活动向量计算部112、加密控制以及头部(header)生成部113以及预测图像选择部114。以下对各部分的概要进行说明。

预测误差信号生成部101取得将输入的动态图像数据的加密对象图像分割成16×16像素(像素)的块(以下称作“宏块(MB)”)而得的宏块数据(以下称作“块数据”)。在实施例1中,对宏块分割进行说明,但也能够以如图6所示的分割单位实施。

预测误差信号生成部101根据该宏块数据和从预测图像选择部114输出的预测图像图片的宏块数据来生成预测误差信号。预测误差信号生成部101将所生成的预测误差信号朝正交变换部102输出。

正交变换部102对所输入的预测误差信号进行正交变换处理。正交变换部102将通过正交变换处理而分离成水平以及垂直方向的频率成分的信号朝量化部103输出。

量化部103对来自正交变换部102的输出信号进行量化。量化部103通过进行量化来减少输出信号的符号量,并将该输出信号朝熵加密部104以及逆量化部105输出。

熵加密部104对来自量化部103的输出信号进行熵加密而后输出。所谓熵加密是指根据码元的出现频度来分配可变长度的符号的方式。

逆量化部105对来自量化部103的输出信号进行逆量化而后朝逆正交变换部106输出。逆正交变换部106对来自逆量化部105的输出信号进行逆正交变换处理而后朝解密图像生成部107输出。通过利用这些逆量化部105以及逆正交变换部106进行解密处理,可得到与加密前的预测误差信号相同程度的信号。

解密图像生成部107将由帧间预测图像生成部111进行了活动补偿后的图像的块数据、与被逆量化部105以及逆正交变换部106进行解密处理后的预测误差信号相加。解密图像生成部107将通过相加生成的解密图像的块数据朝去块滤波部108输出。

去块滤波部108对从解密图像生成部107输出的解密图像实施用于减少块失真的滤波,并朝图片存储器109输出。

图片存储器109将所输入的块数据作为新的参照图像的数据加以存储,并朝帧间预测图像生成部110、内部预测图像生成部111以及活动向量计算部112输出。并且,图片存储器109存储被加密的图像的各块的活动向量、分割模式等。

帧间预测图像生成部110根据加密对象图像已被加密的周边像素生成预测图像。

内部预测图像生成部111利用由活动向量计算部112提供的活动向量对从图片存储器109取得的参照图像的数据进行活动补偿。由此,生成作为活动补偿后的参照图像的块数据。

活动向量计算部112使用加密对象图像中的块数据和从图片存储器109取得的加密完毕图像的参照图像的块数据求出活动向量。活动向量是示出使用以块为单位从参照图像探索与加密对象图像最类似的位置的块匹配技术求出的块单位的空间错移的值。活动向量计算部112将求出的活动向量朝帧间预测图像生成部111输出。

从帧间预测图像生成部110和内部预测图像生成部111输出的块数据被输入至预测图像选择部114。预测图像选择单元114的选择某一方的预测图像。所选择的数据被朝预测误差信号生成部101输出。

并且,加密控制以及头部生成部113进行加密的整体控制和头部生成。加密控制以及头部生成部113对帧间预测图像生成部110通知有无切片分割,对去块滤波部108通知有无去块滤波,对活动向量计算部112通知参照图像的限制等。加密控制以及头部生成部113使用该控制结果生成例如H.264的头部信息。所生成的头部信息被交接给熵加密部104,并与图像数据、活动向量数据一起作为流输出。

接下来,对与分割模式的预测相关的功能进行说明。图9是示出实施例1中的与分割模式的预测相关的功能的一个例子的框图。如图5所示,图像加密装置100包含储存单元201、第一取得单元202、选择单元203、第二取得单元204、预测单元205、决定单元206以及加密单元207。

储存单元201对应于图片存储器109,第一取得单元202、选择单元203、第二取得单元204、预测单元205、决定单元206例如对应于活动向量计算部112,加密单元207对应于熵加密部104。

储存单元201储存被加密后的图像的被局部解码而得的解密图像、块单位的活动向量、块类型、分割模式等加密信息。过去的加密信息能够被接下来加密的加密对象块参照。

第一取得单元202从存储单元201取得属于加密对象图像的块的加密完毕的加密信息。由于块加密一般从加密对象图像的左上开始按光栅扫描顺序进行,所以加密对象图像中的加密完毕的加密信息成为与加密对象块相同块行(block line)的左侧和上侧的所有块。第1取得单元202利用预先决定的方法指定加密对象图像的规定的块位置,从储存单元201取得属于加密对象图像的加密完毕的分割模式、活动向量等加密信息。预先决定的方法例如是决定加密对象块的上侧块、左侧块、左上侧块、右上侧块中哪个块的方法。

为了得到存储于储存单元201的加密对象图像以外的加密完毕图像的分割模式,选择单元203利用预先决定的方法从多个加密完毕图像选择加密完毕图像。储存单元201也可以对多个加密完毕图像的解密图像赋予固有的索引,并作为列表进行储存。选择单元203也可以使用加密完毕图像索引表示选择结果。

第二取得单元204从存储单元201取得属于由选择单元203选择出的加密完毕图像的块的加密信息。第二取得单元204利用预先决定的方法指定块位置,从存储单元201取得属于具有由选择单元203选择出的索引的加密完毕图像的块的加密信息。

预测单元205基于从第一取得单元202和第二取得单元204得到的加密信息计算加密对象块的分割模式的预测值亦即预测模式。

图10是示出实施例1中的预测单元205的功能的一个例子的框图。如图10所示,预测单元205包含第一分割模式预测单元251和第二分割模式预测单元252。

第一分割模式预测单元251使用从第一取得单元202取得的加密信息计算分割模式的候补模式。第二分割模式预测单元252使用从第二取得单元204取得的加密信息计算分割模式的候补模式。预测单元205根据这些候补模式决定规定的基准根据预测模式。

返回图9,决定单元206决定在加密对象块中使用的分割模式。决定单元206例如进行加密对象块与多个参照图像的块匹配,决定能够参照最类似区域的分割模式。

加密单元207基于从预测单元205取得的预测模式和由决定单元206决定的分割模式生成表示分割模式的分割模式信息。所生成的分割模式信息包含于比特流被发送。

由此,通过使用第一取得单元202以及第二取得单元204,能够取得空间方向的加密完毕块的分割模式和时间方向的加密完毕块的分割模式。实施例1中的图像加密装置100通过使用这些分割模式对预测模式进行预测,能够提高分割模式的预测精度、提高加密效率。

[实施例2]

图11是示出实施例2中的图像解密装置300的结构的一个例子的框图。实施例2中的图像解密装置300对由实施例1中的图像加密装置100加密后的加密数据进行解密。

如图11所示,图像解密装置300包含熵解密部301、逆量化部302、逆正交变换部303、帧间预测图像生成部304、解密信息存储部305、内部预测图像生成部306、预测图像选择部307、解密图像生成部308、去块滤波部309以及图片存储器310。以下对各部分的概要进行说明。

熵解密部301在被输入比特流时进行与图像加密装置100的熵加密对应的熵解密。由熵解密部301解密后的预测误差信号等被朝逆量化部302输出。并且,在进行内部预测的情况下,解密后的活动向量等被朝解密信息存储部305输出,在进行帧间预测的情况下,对帧间预测图像生成部304通知该情况。并且,熵解密部301对预测图像选择部307通知解密对象图像是被内部预测还是被帧间预测。

逆量化部302对来自熵解密部301的输出信号进行逆量化处理。逆量化后的输出信号被朝逆正交变换部303输出。

逆正交变换部303对来自逆量化部302的输出信号进行逆正交变换处理而生成残差信号。残差信号被朝解密图像生成部308输出。

帧间预测图像生成部304根据从图片存储器310取得的解密对象图像的已被解密的周边像素生成预测图像。

解密信息存储部305存储解密后的活动向量、分割模式等解密信息。

内部预测图像生成部306使用从解密信息存储部305取得的活动向量、分割模式对从图片存储器310取得的参照图像的数据进行活动补偿。由此,生成被活动补偿后的作为参照图像的块数据。

预测图像选择部307选择帧间预测图像或者内部预测图像中的某一方的预测图像。所选择的块数据被朝解密图像生成部308输出。

解密图像生成部308对从预测图像选择部307输出的预测图像和从逆正交变换部303输出的残差信号进行相加,生成解密图像。所生成的解密图像被朝去块滤波部309输出。

去块滤波部309对从解密图像生成部308输出的解密图像实施用于减少块失真的滤波,并朝图片存储器310输出。滤波后的解密图像也可以被朝显示装置输出。图片存储器310存储作为参照图像的解密图像等。此外,解密信息存储单元305和图片存储器310也可以形成为分体的结构,也可以是相同的存储部。

接下来,对与分割模式的预测相关的功能进行说明。图12是示出实施例2中的分割模式的预测相关的功能的一个例子的框图。在图12所示的例子中,图像解密装置300包含储存单元401、第一取得单元402、选择单元403、第二取得单元404、预测单元405、解密单元406以及决定单元407。

图12所示的图像解密装置300对从图像加密装置100输出的比特流进行解密,并计算解密对象块的分割模式。并且,图像解密装置300的各单元分别对应于图像加密装置100中的储存单元201、第一取得单元202、选择单元203、第二取得单元204、预测单元205、加密单元207以及决定单元206。

并且,储存单元401例如对应于解密信息存储部305以及图片存储器310,第一取得单元402、选择单元403、第二取得单元404、预测单元405例如对应于内部预测图像生成部306,解密单元406、决定单元407例如对应于熵解密部301。

储存单元401储存过去解密完毕的图像、块单位的活动向量、块类型以及分割模式等解密信息。

第一取得单元402从储存单元401取得属于解密对象图像的解密完毕的解密信息。由于块解密一般从解密对象图像的左上开始按光栅扫描顺序进行,所以解密对象图像中的解密完毕的解密信息成为与解密对象块相同块行的左侧与上侧的所有块。

为了从存储于储存单元401的解密对象图像以外的多个解密完毕图像取得解密信息,选择单元403按照规定的方法选择解密完毕图像。

第二取得单元404从储存单元401取得属于由选择单元403选择的解密完毕图像的块的解密信息。

预测单元405基于从第一取得单元402和第二取得单元404得到的解密信息计算解密对象块的分割模式的预测值亦即预测模式。

解密单元406对比特流进行解密,取得表示分割模式的分割模式信息。

决定单元407根据从预测单元405取得的预测模式和从解密单元406取得的分割模式信息决定分割模式。所决定的分割模式被朝储存单元401输出并储存。

由此,通过使用第一取得单元402以及第二取得单元404,能够取得空间方向的解密完毕块的分割模式、时间方向的解密完毕块的分割模式。实施例2中的图像解密装置300通过使用这些分割模式,能够对应于提高了分割模式的预测精度的加密,能够提高解密效率。

[实施例3]

接下来,对实施例3中的图像加密装置进行说明。实施例3中的图像加密装置的结构与图8所示的结构相同,对于实施例3中的图像加密装置的与分割模式的预测相关的功能,使用与图9、10中的功能相同的附图标记进行说明。

并且,在实施例3中,示出针对HEVC提出手法的应用例。在该例中,细分化成与以往的宏块相当的代码单元(CU)、将CU进一步分割成预测单位的分区而得的预测单元(PU)、再分割成CU中的正交变换单位的分区而得的变换单元(TU)。

首先,按照确定的顺序扫描CU的块分割构造。对于扫描顺序,考虑四叉树对块进行分割、光栅扫描顺序。图13是对四叉树的阶层构造进行说明的图。如图13所示,以四叉树为例,CU被阶层化,最下层为PU、TU。在CU的加密中,如果加密对象CU内被分割,则决定4分割的左上块1朝右下块4按顺序分割的阶层。即,决定块1的最下层,然后决定块2、块3、块4的阶层。

因此,加密对象的分割块所能够参照的加密完毕的区域成为加密完毕的其他的CU和加密对象CU中的加密完毕分割块。对于当对某一分割块进行加密时参照的加密完毕信息,优选是用相同阶层以下的加密完毕信息。CU、TU的加密时的分割模式是分割可否标志(split_coding_unit_flag,split_transform_unit_flag)。例如,对于分割可否标志,若被分割则为“1”,若未被分割则为“0”。

接下来,对在实施例3中使用的数据构造进行说明。图14是示出实施例3中的GOP结构(IBBP构造)的一个例子的图。以下,以该IBBP构造为例进行说明。I、P、B表示图片类型,图片类型旁的编号表示时间顺序。并且,加密顺序为I0、P3、B1、B2、P6、B4、B5、P9、B7、B8。图14所示的箭头表示前方向或者后方向向量。

在实施例3中,说明对图14所示的B4图片进行加密的情况。以下的处理同样能够应用于其它的P图片、B图片。在对B4图片进行加密之际,P3图片、P6图片已经被加密,以便作为加密完毕图像,B4图片能够参照P3图片、P6图片。

储存单元201储存加密完毕图像的加密信息。例如,储存与P3图片、P6图片相关的活动向量、块类型、分割模式等加密信息。

第一取得单元202从储存单元201取得属于加密对象图像的加密完毕块的分割模式。图15是示出加密对象块与周边块之间的关系的一个例子的图。例如,如图15所示,第一取得单元202取得加密对象块CB3的周边块亦即左块A、上块B的分割模式A、B。将块A、B的分割模式设定成分割模式A、B。此外,第一取得单元202也可以取得加密对象块CB3的左上块、右上块的分割模式信息。并且,在像H.264那样分割模式被定义成块类型的加密方式中,第一取得单元202也可以取得块类型。

选择单元203选择规定的加密完毕图像。在此,B4图片能够参照P3图片、P6图片。优选选择单元203例如选择加密对象图像与加密完毕图像之间的间隔最小的加密完毕图像。这是因为,加密对象图像与加密完毕图像之间的时间间隔越近,则预测的可靠性越高。

图16是对加密对象图像与其参照图像之间的间隔进行说明的图。如图16所示,B4图片与P6图片之间存在2个图片的间隔,B4图片与P3图片之间存在1个图片的间隔。在该情况下,利用选择单元203选择图片间隔小的P3图片。

第二取得单元204从储存单元201取得属于由选择单元203选择出的加密完毕图像的块的加密信息。第二取得单元204也可以预先决定取得所选择的加密完毕图像内的哪个块的加密信息。

图17是对由第二取得单元204取得的块进行说明的图。例如,如图17所示,第二取得单元204在P3图片内取得与加密对象块CB3位于相同位置的块ColB3(配置块X)的分割模式X。此外,第一取得单元204从储存单元201取得与由第一取得单元202取得了分割模式的块位于相同位置的块、即配置块ColB3的左块A'、上块B'的分割模式A'、B'。

预测单元205基于从第一取得单元202和第二取得单元204取得的加密信息计算加密对象块的分割模式的预测值亦即预测模式。如在图10中说明了的那样,预测单元205具有第一分割模式预测单元251和第二分割模式预测单元252。

第一分割模式预测单元251将从第一取得单元202取得的B4图片内的分割模式A设定成候补模式A、将分割模式B设定成候补模式B。

第二分割模式预测单元252将从第二取得单元204取得的分割模式X设定成候补模式X。第二分割模式预测单元252将分割模式A'设定成候补模式A'、将分割模式B'设定成候补模式B'。

预测单元205基于从第一分割模式预测单元251和第二分割模式预测单元252取得的候补模式计算加密对象块的分割模式的预测值亦即预测模式。例如,预测单元205对由第一取得单元202和第二取得单元204取得的相同位置的分割模式进行比较。预测单元205比较从第一分割模式预测单元251取得的候补模式A和从第二分割模式预测单元252取得的候补模式A'是否一致。并且,预测单元205比较从第一分割模式预测单元251取得的候补模式B和从第二分割模式预测单元252取得的候补模式B'是否一致。使用图18以及图19对该比较进行说明。

图18是对由预测单元205进行的比较(其1)进行说明的图。如图18所示,在任一比较结果都一致的情况下,预测单元205将由第二分割模式预测单元252取得的候补模式X设定成预测模式。这是因为,如果周边块的分割模式一致,则可以说加密对象块CB3与配置块的分割模式X一致的可能性高。

图19是对由预测单元205进行的比较(其2)进行说明的图。如图19所示,在某一比较结果不同的情况下,预测单元205将候补模式A、B、A'、B'、X中的最多的分割模式设定成预测模式。这是因为加密对象块CB3与配置块的分割模式X未必一致。例如,如果存在分割的分割模式多,则预测单元205将存在分割设定成预测模式。

决定单元206进行加密对象块与多个参照图像的块匹配,决定能够选择最类似的区域的分割模式。块匹配的评价值可以使用像素差值绝对值和,也可以是像素差值平方和。

加密单元207计算由预测单元205预测出的预测模式和由决定单元206决定的分割模式是否一致的标志。例如,在一致的情况下,加密单元207将不一致标志设定为“0”,在不一致的情况下,加密单元207将不一致标志设定为“1”。加密单元207对该不一致标志进行算术加密等并包含于比特流。

图20是示出不一致标志的一个例子的图。图20(A)示出加密对象CU的预测模式的分割形状。图20(B)示出加密对象CU的实际的分割形状和不一致标志。例如,如果如图20所示加密对象CU的块分割与预测模式同样则将不一致标志设定成“0”,如果是不同的分割构造(分割形状)则将不一致标志设定成“1”。

对于图20(B)所示的CU1,在预测模式中为存在分割(参照图20(A)),但实际上是没有分割,因此不一致标志被设定成“1”。并且,对于图20(B)所示的CU2,在预测模式中为没有分割(参照图20(A)),但实际上存在分割,因此不一致标志被设定成“1”。

由于加密构造存在时间相关性,因此如果预测准确则不一致标志的通知比特在概率上集中于“0”。当概率集中时,能够通过算术加密将符号量抑制在1比特以下。如果加密构造不同,则在该阶层以下应用通常的加密方法。在四叉树块分割的情况下,在未进行块分割的情况下通知“0”,此外,在进行块分割的情况下通知“1”。

由此,如果使用空间方向以及时间方向预测出的预测模式与实际的分割模式一致,则能够减少符号量。

接下来,对实施例3中的图像加密装置的动作进行说明。图21是示出实施例3中的分割模式加密处理的一个例子的流程图。

在图21所示的步骤S101中,储存单元201储存加密完毕图像的块单位的活动向量、块类型、分割模式等加密信息。

在步骤S102、S103中,第一取得单元202从储存单元201取得包含于属于加密对象图像的加密完毕块的加密信息的分割模式。在图15所示的例子中,第一取得单元202取得与加密对象块邻接的左块A、上块B的分割模式A、B。

在步骤S104中,选择单元203从加密对象图像的参照图像中选择与加密对象图像之间的时间间隔小的加密完毕图像。

在步骤S105中,第二取得单元204取得属于由选择单元203选择出的加密完毕图像(选择图像)的配置块X、其左块A'、上块B'的分割模式X、A'、B'。

在步骤S106中,第一分割模式预测单元251将分割模式A、B设定成候补模式A、B,第二分割模式预测单元252将分割模式X、A'、B'设定成候补模式X、A'、B'。

在步骤S107中,预测单元205判断候补模式A与A'是否一致、候补模式B与B'是否一致。若一致(步骤S107:是)则进入步骤S108,若某一方不一致(步骤S107:否)则进入步骤S109。

在步骤S108中,预测单元205将候补模式X设定成预测模式。在步骤S109中,如果候补模式A、B、X、A'、B'中的进行分割的模式多则预测单元205将存在分割设定成预测模式,如果不进行分割的模式多则预测单元205将没有分割设定成预测模式。

在步骤S110中,决定单元206通过块匹配决定加密对象块的分割模式。

在步骤S111中,加密单元207判断预测模式和分割模式是否一致。如果一致(步骤S111:是)则进入步骤S112,如果不一致(步骤S111:否)则进入步骤S113。

在步骤S112中,加密单元207例如将作为分割模式信息的不一致标志设定成“0”。在步骤S113中,加密单元207例如将作为分割模式信息的不一致标志设定成“1”。

以上,根据实施例3,能够取得空间上接近的加密完毕块的分割模式、与时间上接近的加密对象块位于相同位置以及周边的加密完毕块的分割模式。由此,能够提高加密对象块的分割模式的预测精度。这是基于如下的思想:如果与加密对象块在空间上接近的块的分割模式在时间方向上相同,则在时间方向上位于相同位置的块的分割模式与加密对象块的分割模式相同的可能性高。因此,如果分割模式的预测精度提高,则能够使不一致标志的值集中,因此能够提高加密效率。

[实施例4]

接下来,对实施例4中的图像解密装置进行说明。实施例4中的图像解密装置的结构与图11所示的结构相同,对于实施例4中的与图像解密装置的预测相关的功能,使用与图12所示的功能相同的附图标记进行说明。

并且,实施例4中的图像解密装置对由实施例3中的图像加密装置加密后的比特流进行解密。

储存单元401储存过去解密完毕的图像、块单位的活动向量、块类型以及分割模式等解密信息。

第一取得单元402从储存单元401取得在属于解密对象图像的解密完毕块的解密信息中包含的分割模式。在此,取得相同的画面内的解密对象块的右块A的分割模式A和解密对象块的上块B的分割模式B。

选择单元403从储存于储存单元401的解密对象图像以外的多个解密完毕图像中选择规定的解密完毕图像。例如,选择单元403选择解密对象图像与参照图像(解密完毕图像)之间的间隔最小的参照图像。

第二取得单元404从储存单元401取得由选择单元403选择出的解密完毕图像的配置块和该配置块的左块A、上块B的解密信息,并设定成分割模式X、A'、B'。

预测单元405基于从第一取得单元402取得的分割模式A、B和从第二取得单元404取得的分割模式X、A'、B'计算解密对象块的分割模式的预测值亦即预测模式。

例如,预测单元405比较候补模式A和候补模式A'是否一致,并比较候补模式B和候补模式B'是否一致。如果比较结果一致则预测单元405将分割模式X设定成预测模式。如果比较结果不一致则预测单元405根据分割模式A、B、X、A'、B'中的存在分割和不存在分割的数量按照多数决定原则进行决定。

解密单元406对比特流进行解密,并取得表示分割模式的分割模式信息。在该情况下,作为分割模式信息取得不一致标志。例如,对于不一致标志,如果一致则设定为“0”,如果不一致则设定为“1”。

如果分割模式信息的不一致标志为“0”,则决定单元407将从预测单元405取得的预测模式决定为分割模式,如果不一致标志为“1”,则决定为预测模式以外的分割模式。所决定的分割模式被朝储存单元401输出并储存。

由此,能够对由在实施例3中说明了的图像加密装置生成的比特流进行解密。

接下来,对实施例4中的图像解密装置的动作进行说明。图22是示出实施例4中的分割模式解密处理的一个例子的流程图。

在图22所示的步骤S201中,储存单元401储存解密完毕图像的块单位的活动向量、块类型、分割模式等解密信息。

在步骤S202、S203中,第一取得单元402取得属于解密对象图像的解密完毕块的解密信息所包含的分割模式。在图15所示的例子中,第一取得单元402取得与解密对象块邻接的左块A、上块B的分割模式A、B。

在步骤S204中,选择单元403从解密对象图像的参照图像中选择与解密对象图像之间的时间间隔小的解密完毕图像。

在步骤S205中,第二取得单元404取得属于由选择单元403选择的解密完毕图像的配置块X及其左块A'、上块B'的分割模式X、A'、B'。

在步骤S206中,预测单元405将分割模式A、B设定成候补模式A、B,并将分割模式X、A'、B'设定成候补模式X、A'、B'。

在步骤S207中,预测单元405判断候补模式A和A'是否一致、候补模式B和B'是否一致。如果一致(步骤S207:是)则进入步骤S208,如果某一方不一致(步骤S207:否)则进入步骤S209。

在步骤S208中,预测单元405将候补模式X设定成预测模式。在步骤S209中,如果候补模式A、B、X、A'、B'中的被分割的模式多则预测单元405将存在分割设定成预测模式,如果未被分割的模式多则预测单元405将没有分割设定成预测模式。

在步骤S210中,解密单元406对比特流(加密数据)进行解密,取得分割模式信息。

在步骤S211中,决定单元407判断分割模式信息所表示的不一致标志是否为“0”。如果不一致标志为“0”(步骤S211:是)则进入步骤S212,如果不一致标志为“1”(步骤S211:否)则进入步骤S213。

在步骤S212中,决定单元407将分割模式决定为预测模式所表示的分割模式。在步骤S213,决定单元407将分割模式决定为预测模式以外的分割模式。

以上,根据实施例4,能够取得在空间上接近的加密完毕块的分割模式、与在时间上接近的加密对象块位于相同位置以及周边的加密完毕块的解密块的分割模式。由此,能够对应于提高了分割模式的预测精度的加密,能够决定解密对象块的分割模式。

[实施例5]

接下来,对实施例5中的图像加密装置进行说明。在H.264的分割模式加密中,作为块类型对各种形状的分割模式进行加密。对于HEVC提出手法的预测单位的分区的分割模式亦即预测单元(PU)而言,PU对块类型进行加密,因此可以认为与H.264的宏块类型相同。因此,在实施例5中示出针对块类型的应用例。

图23是示出实施例5中的GOP结构(B阶层构造)的图。以下,以该B阶层构造为例进行说明。I、P、B表示图片类型,图片类型旁的编号表示时间顺序。加密顺序为I0、P8、B4、B2、B6、B1、B3、B5、B7。图23所示的箭头表示前方向或者后方向向量。

实施例5中的图像加密装置的结构与图4所示的结构相同,因此使用相同的附图标记进行说明。实施例5中的与分割模式的预测相关的功能如图24所示。图24是示出实施例5中的与分割模式的预测相关的功能的一个例子的框图。

实施例5中的图像加密装置包含储存单元201、选择单元501、第一取得单元502、第二取得单元503、预测单元504、决定单元206以及加密单元505。在图24所示的功能中,对与图9所示的功能相同的功能标注相同的附图标记。

在实施例5中,以图23所示的B5图片作为加密对象图像,对分割模式预测方法进行说明。此外,对于其他的P、B图片也同样能够应用实施例5。储存单元201与实施例3中相同。

选择单元501例如选择加密对象图像与加密完毕图像之间的间隔最小的加密完毕图像。这是因为,加密对象图像与加密完毕图像之间的时间间隔越近则预测的可靠性越高。如图23所示,B5图片与B4图片、B5图片与B6图片的时间间隔相同均为1个图片。其中,在选择1个图片的情况下,选择单元501选择加密完毕图像与加密完毕图像的参照图像之间的间隔最小的加密完毕图像。这是因为,加密完毕图像与加密完毕图像的参照图像之间的间隔越近则预测的可靠性越高。

图25是示出图片间隔的一个例子的图。如图25所示,B4图片参照P8图片,B6图片参照B4图片。并且,B5图片存在于B4图片与P8图片、B4图片与B6图片之间。即,加密对象图像存在于加密完毕图像与加密完毕图像的参照图像之间。B4图片与P8图片之间存在4个图片的间隔,B4图片与B6图片之间存在2个图片的间隔,因此,选择单元501选择B6图片。选择单元501将所选择出的图片的信息通知给第一取得单元502、第二取得单元503。

第一取得单元502从存储单元201取得属于加密对象图像的加密完毕块的加密信息。图26是示出有第一取得单元502取得的加密信息的一个例子的图。第一取得单元502例如如图26所示取得加密对象块CB4的左块A、上块B相对于B6图片的活动向量A、B。在此,将块A的活动向量称作活动向量A,将块B的活动向量称作活动向量B。第一取得单元502取得相对于从选择单元501通知的图片的活动向量。在该情况下,取得相对于B6图片的活动向量。

当不存在相对于B6图片的活动向量的情况、存在相对于存在于相同方向的P8图片的活动向量的情况下,适当地进行时间方向换算,计算相对于B6图片的活动向量。在该情况下,相对于B6图片的活动向量是相对于P8图片的活动向量的1/3。第一取得单元502将所取得的活动向量朝第二取得单元503输出。此外,在取得活动向量的块被帧间加密的情况下,第一取得单元502使活动向量无效。

第二取得单元503从储存单元201取得属于由选择单元501选择出的加密完毕图像的块的加密信息。第二取得单元503基于从第一取得单元502取得的多个活动向量计算例如中间值、平均值的向量。将此设定成虚拟活动向量。在此,作为虚拟活动向量的例子,假设计算平均值的向量。并且,当从第一取得单元501得到的活动向量全部无效的情况下设定成零向量。

图27是示出虚拟活动向量的一个例子的图。如图27所示,第二取得单元503利用以下的公式求出虚拟活动向量。

虚拟活动向量=(活动向量A+活动向量B)/2

由此,第二取得单元503以所计算出的平均向量(pvx,pvy)作为加密对象块的推测向量(虚拟活动向量)PV来推测与相对于B6图片的加密对象块相当的移动目的地坐标。当将加密对象块CB4的坐标设定为(x,y)时,移动目的地坐标为(x+pvx,y+pvy)。第二取得单元503取得包含该移动目的地坐标的B6图片的块Bl1(块X)的分割模式X。此外,当移动目的地坐标位于画面外的情况下,无法取得块X的分割模式。因此,在该情况下,选择单元501、第一取得单元502、第二取得单元503、预测单元504只要进行实施例3中说明了的处理即可。并且,在块X通过帧间预测被加密的情况下,使分割模式X无效。

预测单元504基于从第二取得单元503取得的加密信息计算加密对象块的分割模式的预测值亦即预测模式。例如,预测单元504将从第二取得单元503取得的分割模式X保持原样地设定成预测模式X。关于决定单元206,例如与实施例3中所示的动作同样。

对于加密单元505,以H.264的分割模式加密方法为例进行说明。图28是示出加密表的一个例子的图。加密单元505如图28所示以分割模式和表示参照方向的参照模式(前方向、后方向、双方向)作为块类型进行加密。在此,符号越小则符号量也越小。在H.264中,如图28(A)所示,预先决定的符号以分割类型作为基准按顺序分配,效率并不高。在实施例5中,加密单元505以分割模式的预测模式作为基准变更加密表。例如,加密单元505以减小包含预测模式X的块的符号量的方式适当地变更加密表。

例如,在预测模式为8×8分割的情况下,如图28(B)所示,加密单元505提高包含8x8分割的宏块类型的顺位。并且,与未被分割的块(16x16)相比,加密单元505提高分割的块(例如16x8、8x16)的顺位。当预测模式X为帧间预测且被加密从而无效的情况下,不进行加密表的变更。

由此,如果预测模式与实际的分割模式一致,则能够利用值小的符号进行加密,因此能够减少块类型所涉及的符号量。

接下来,对实施例5中的图像加密装置的动作进行说明。图29是示出实施例5中的分割模式的加密处理的一个例子的流程图。在图29所示的步骤S301中,储存单元201储存加密完毕图像的块单位的活动向量、块类型、分割模式等加密信息。

在步骤S302、S303中,第一取得单元502取得属于加密对象图像的加密完毕块的加密信息所包含的活动向量。在图26所示的例子中,第一取得单元502取得与加密对象块邻接的左块A、上块B的活动向量A、B。

在步骤S304中,选择单元501在加密对象图像的参照图像中选择与加密对象图像之间的时间间隔小的加密完毕图像(选择图像)。

在步骤S305中,选择单元501判断选择图像是否为一个。如果选择图像为一个(步骤S305:是)则进入步骤S307,如果选择图像为多个(步骤S305:否)则进入步骤S306。

在步骤S306中,选择单元501选择选择图像与其参照图像之间的时间间隔最小的加密完毕图像。

在步骤S307中,第二取得单元503判断从第一取得单元502取得的活动向量A、B是否标识由选择单元501选择的选择图像或加密对象图像方向的参照图像。如果活动向量A、B并未标识这些图像则使活动向量无效。因此,如果活动向量A、B双方无效(步骤S307:是)则进入步骤S308,如果任一方有效(步骤S307:否)则进入步骤S309。

在步骤S308中,第二取得单元503将活动向量A、B设定为零向量。

在步骤S309,第二取得单元503计算活动向量A、B的平均向量PV。如果有效的活动向量仅有一个,则第二取得单元503对该活动向量进行平均并设定成推测向量PV。

在步骤S310中,第二取得单元503使用推测向量PV计算加密对象块移向选择图像的移动目的地坐标。

在步骤S311中,第二取得单元503取得包含移动目的地坐标的块的分割模式X。

在步骤S312中,预测单元504将由第二取得单元503取得的分割模式X设定成预测模式。

在步骤S313中,加密单元505根据预测模式变更VLC(可变长加密)表的符号量的分配。例如,加密单元505以使预测模式的分割形状变成值小的符号的方式变更VLC表。

在步骤S314中,决定单元206通过块匹配决定加密对象块的分割模式。

在步骤S315中,加密单元505根据VLC表将由决定单元206决定的分割模式变换成符号。将该符号设定成分割模式信息。分割模式信息包含于比特流。

此外,在步骤S310之后,第二取得单元503也可以判断移动目的地坐标是否位于画面内。如果位于画面外,则能够通过进行图21所示的步骤S103以下的处理设定分割模式的预测模式。并且,也可以进行简化,如果判断出移动目的地坐标位于画面外则第二取得单元503将分割模式X设定成表示分割的分割模式。

以上,根据实施例5,通过在时间方向上寻找与加密对象块类似的块,能够提供加密效率。这是基于如下的构思:在时间方向上,与加密对象块类似的块的分割模式与加密对象块的分割模式相同的可能性高。因此,如果分割模式的预测精度提高,则能够减少利用VLC表变换的符号的符号量,因此能够提高加密效率。

[实施例6]

接下来,对实施例6中的图像解密装置进行说明。实施例6中的图像解密装置的结构与图11所示的结构相同。并且,实施例6中的与分割模式的预测相关的功能如图30所示。图30是示出实施例6中的与分割模式的预测相关的功能的一个例子的框图。

并且,实施例6中的图像解密装置对利用实施例5中的图像加密装置加密后的比特流进行解密。

实施例6中的图像解密装置包含储存单元401、选择单元601、第一取得单元602、第二取得单元603、预测单元604、解密单元406以及决定单元605。在图30所示的功能中,对与图12所示的功能同样的功能标注相同的附图标记。储存单元401与实施例4同样。

选择单元601例如选择解密对象图像与解密完毕图像之间的间隔最小的解密完毕图像。在所选择的图像有多个的情况下,选择单元601选择解密完毕图像与解密完毕图像的参照图像的间隔最小的解密完毕图像。选择单元601将所选择的图片的信息通知第一取得单元602和第二取得单元603。

第一取得单元602取得属于解密对象图像的解密完毕块的解密信息所包含的活动向量。第一取得单元602例如取得解密对象块的左块A、上块B的活动向量。第一取得单元602取得相对于从选择单元601通知的图片的活动向量。

当不存在相对于所选择的图片的活动向量的情况下,但存在相对于存在于相同方向的图片的活动向量的情况下,第一取得单元602适当地进行时间方向换算,计算相对于所选择的图片的活动向量。第一取得单元602将所取得的活动向量朝第二取得单元603输出。此外,在取得活动向量的块已被帧间加密的情况下,第一取得单元602使活动向量无效。

第二取得单元603取得属于由选择单元601选择出的解密完毕图像的块的解密信息。第二取得单元603基于从第一取得单元602取得的多个活动向量计算例如中间值、平均值的向量。并将此设定成虚拟活动向量。在此,作为虚拟活动向量的例子,假设计算平均值的向量。并且,在从第一取得单元602得到的活动向量全部无效的情况下设定成零向量。

第二取得单元603以计算出的平均向量(pvx,pvy)作为解密对象块的推测向量(虚拟活动向量)PV来推测与相对于所选择的解密完毕图像的解密对象块相当的移动目的地坐标。当将解密对象块的坐标设定为(x,y)时,移动目的地坐标为(x+pvx,y+pvy)。

第二取得单元603取得包含该移动目的地坐标的解密完毕图像的块X的分割模式X。此外,当移动目的地坐标位于画面外的情况下,无法取得块X的分割模式。因此,在该情况下,选择单元601、第一取得单元602、第二取得单元603、预测单元604可以进行实施例4中说明了的处理。并且,在块X通过帧间预测被加密的情况下,使分割模式X无效。

预测单元604基于从第二取得单元603取得的解密信息计算解密对象块的分割模式的预测值亦即预测模式。例如,预测单元604将从第二取得单元603取得的分割模式X保持原样地设定为预测模式X。关于解密单元406,例如与在实施例4中示出的动作同样。

决定单元605以所取得的预测模式作为基准设定解密表。例如,决定单元605以使得包含预测模式X的块位于上位的方式适当地变更解密表。

例如,当预测模式为8x8分割的情况下,决定单元605提高包含8x8分割的宏块类型的顺位。并且,与未分割的块(16x16)相比,决定单元605提高分割的块(例如16x8、8x16)的顺位。在预测模式X通过帧间预测被加密从而无效的情况下,不进行解密表的变更。决定单元605基于分割模式信息所示的符号和解密表决定分割模式。

接下来,对实施例6中的图像解密装置的动作进行说明。图31是示出实施例6中的分割模式解密处理的一个例子的流程图。在图31所示的步骤S401中,储存单元401储存解密完毕图像的块单位的活动向量、块类型、分割模式等解密信息。

在步骤S402、S403中,第一取得单元602取得属于解密对象图像的解密完毕块的解密信息所包含的活动向量。第一取得单元602取得与解密对象块邻接的左块A的活动向量A和上块B的活动向量B。

在步骤S404中,选择单元601在解密对象图像的参照图像中选择与解密对象图像之间的时间间隔小的解密完毕图像(选择图像)。

在步骤S405中,选择单元601判断选择图像是否为一个。如果选择图像为一个(步骤S405:是)则进入步骤S407,如果选择图像有多个(步骤S405:否)则进入步骤S406。

在步骤S406中,选择单元601选择选择图像与其参照图像之间的时间间隔最小的解密完毕图像。

在步骤S407中,第二取得单元603判断从第一取得单元602取得的活动向量A、B是否标识由选择单元601选择出的选择图像或解密对象图像方向的参照图像。如果活动向量A、B并未标识这些图像则使活动向量无效。因此,如果活动向量A、B双方均无效(步骤S407:是)则进入步骤S408,如果任意一方有效(步骤S407:否)则进入步骤S409。

在步骤S408中,第二取得单元603将活动向量A、B设定为零向量。

在步骤S409中,第二取得单元603对活动向量A、B进行平均,计算推测向量PV。如果有效的活动向量仅有一个,则第二取得单元603将该活动向量设定成平均向量PV。

在步骤S410中,第二取得单元603使用推测向量PV计算解密对象块移向选择图像的移动目的地坐标。

在步骤S411中,第二取得单元603取得包含移动目的地坐标的块的分割模式X。

在步骤S412中,预测单元604将由第二取得单元603取得的分割模式X设定成预测模式。

在步骤S413中,决定单元605根据预测模式变更VLD(可变长解密)表。例如,决定单元605以使表示预测模式的分割形状的分割模式位于上位的方式变更VLD表。

在步骤S414中,解密单元406对比特流进行解密,取得解密对象块的分割模式信息。

在步骤S415中,决定单元605根据VLD表将表示由解密单元406决定了的分割模式信息的符号变换成分割模式。决定单元605能够由此决定分割模式。

此外,在步骤S410之后,第二取得单元603也可以判断移动目的地坐标是否位于画面内。如果位于画面外,则能够通过进行图22所示的步骤S203以下的处理决定分割模式。并且,也可以进行简化,如果判断出移动目的地坐标位于画面外则第二取得单元603将分割模式X设定成表示分割的分割模式。

以上,根据实施例6,能够对应于由实施例5提高了分割模式的预测精度的加密决定解密对象块的分割模式。

[实施例7]

接下来,对实施例7中的图像加密装置进行说明。实施例7中的图像加密装置的结构与图8所示的结构同样,与分割模式的预测相关的功能如图32所示。图32是示出实施例7中的与分割模式的预测相关的功能的一个例子的框图。

图32所示的图像加密装置包含储存单元201、选择单元701、第一取得单元702、第二取得单元703、预测单元704、决定单元206以及加密单元505。此外,在图32所示的功能中,对与图9以及图24同样的功能标注相同的附图标记。

在实施例7中,使用对图23所示的B5图片进行加密的例子进行说明。在对B5图片进行加密之际,B4图片、B6图片、P8图片已被加密,这些的B4、B6、P8图片能够作为加密完毕图像在B5图片中进行参照。

储存单元201、选择单元501与实施例3、5相同。图33是示出实施例7中的周边块的一个例子的图。如图33所示,第一取得单元701取得加密对象块CB5的左块A、上块B、右上的块C各自的活动向量A、B、C以及分割模式A、B、C。

第二取得单元702首先与实施例5同样基于从第一取得单元701取得的多个活动向量计算例如中间值或平均值的向量。并且,当从第一取得单元701取得的活动向量全部无效的情况下设定成零向量。

第二取得单元702利用以下的公式求出平均向量。

平均向量=(活动向量A+活动向量B+活动向量C)/3

第二取得单元702以所计算出的平均向量(pvx,pvy)作为加密对象块的推测向量PV来推测与相对于B6图片的加密对象块相当的移动目的地坐标。当设加密对象块的坐标为(x,y)时,移动目的地坐标为(x+pvy,y+pvy)。

图34是示出由第二取得单元702指定的周边块的一个例子的图。在此,例如如图34所示,第二取得单元702取得包含包括移动目的地坐标(x+pvy,y+pvy)的块X在内的、从周边块A'~H'的B6图片朝向B4图片的活动向量,以便更准确地求出移动目的地。由于能够使用加密完毕图像的全部信息,因此取得加密信息的区域可以是预先指定的区域。

图35是示出由第二取得单元702取得的块的一个例子的图。如图35所示,第二取得单元702在从B6图片朝向B4图片的活动向量MVF1~3中取得包含通过加密对象块CB5的活动向量MVF2的块X的分割模式。当所指定的A'~H'全部通过帧间预测被加密等从而不存在通过加密对象块CB5的活动向量的情况下使分割模式无效。

接下来,对预测单元703进行说明。图36是示出预测单元703的功能的一个例子的框图。如图36所示,预测单元703包含第一分割模式预测单元731和第二分割模式预测单元732。当从第二取得单元702取得的分割模式存在多个的情况下,第二分割模式预测单元732将最多的模式设定成候补模式X。如果数目相同则优先设定成分割的模式。

第一分割模式预测单元731将从第一取得单元701取得的B6图片内的块A的分割模式A、块B的分割模式B、块C的分割模式C中最多的模式设定成候补模式Y。

如果候补模式X有效,则与其他的候补模式相比,预测单元703优先将候补模式X设定成预测模式,如果候补模式X无效,则预测单元703将候补模式Y设定成预测模式。这是因为,具有候补模式X的块与加密对象块类似的可能性高。

决定单元206、加密单元505与实施例3、5中示出的动作相同。

接下来,对实施例7中的图像加密装置的动作进行说明。图37是示出实施例7中的分割模式加密处理的一个例子的流程图。在图37A所示的步骤S501中,储存单元201储存加密完毕图像的块单位的活动向量、块类型、分割模式等加密信息。

在步骤S502、S503中,第一取得单元701取得属于加密对象图像的加密完毕块的加密信息所包含的活动向量。在图33所示的例子中,第一取得单元701从储存单元201取得与加密对象块邻接的左块A、上块B、右上块C各自的活动向量A、B、C。将块C的活动向量设定成活动向量C。

在步骤S504中,选择单元501在加密对象图像的参照图像中选择与加密对象图像之间的时间间隔小的加密完毕图像(选择图像)。

在步骤S505中,选择单元501判断选择图像是否为一个。如果选择图像为一个(步骤S505:是)则进入步骤S507,如果选择图像有多个(步骤S505:否)则进入步骤S506。

在步骤S506中,选择单元501选择选择图像与其参照图像之间的时间间隔最小的加密完毕图像。

在步骤S507中,第二取得单元702判断从第一取得单元701取得的活动向量A、B、C是否标识由选择单元501选择的选择图像或加密对象图像方向的参照图像。如果活动向量A、B、C并不标识这些图像则使活动向量无效。并且,在帧间加密的情况下也使活动向量无效。因此,如果活动向量A、B、C全部无效(步骤S507:是)则进入步骤S509,如果至少一个有效(步骤S507:否)则进入步骤S508。

在步骤S508中,第二取得单元702对活动向量A、B、C进行平均,计算推测向量PV。如果有效的活动向量只有一个,则第二取得单元702将该活动向量设定为推测向量PV。

在步骤S509中,第二取得单元702将活动向量A、B、C设定成零向量。

在步骤S510中,第二取得单元702使用推测向量PV计算加密对象块移向选择图像的移动目的地坐标。

在步骤S511中,第二取得单元702以包含移动目的地坐标的块为中心指定周边块。

在步骤S512中,第二取得单元702取得所指定的块的活动向量。

在步骤S513中,第二取得单元702取得通过加密对象块的活动向量的分割模式X。

在图37B所示的步骤S514中,第二分割模式预测单元732判断分割模式X是否有多个。如果分割模式X有多个(步骤S514:是)则进入步骤S515,如果分割模式X仅有一个(步骤S514:否)则进入步骤S516。

在步骤S515中,第二分割模式预测单元732从多个分割模式X中按照多数决定原则决定候补模式X。

在步骤S516中,第一分割模式预测单元731从分割模式A、B、C按照多数决定原则决定候补模式Y。

在步骤S517中,预测单元703判断候补模式X是否有效。如果候补模式X有效(步骤S517:是)则进入步骤S518,如果候补模式X无效(步骤S517:否)则进入步骤S519。

在步骤S518中,与候补Y相比,预测单元703优先将候补模式X设定成预测模式。这是因为,相比于与加密对象块在空间上邻接的块,优先选择在时间上类似的块的做法提高预测精度的可能性高。在步骤S519中,预测单元703将候补模式Y设定成预测模式。

在步骤S520中,加密单元505根据预测模式变更VLC(可变长加密)表的符号量的分配。例如,加密单元505以使得预测模式的分割形状成为值较小的符号的方式变更VLC表。

在步骤S521中,决定单元206通过块匹配决定加密对象块的分割模式。

在步骤S522中,加密单元505根据VLC表将由决定单元206决定的分割模式变换成符号。将该符号设定成分割模式信息。分割模式信息包含于比特流。

此外,在步骤S510之后,第二取得单元702也可以判断移动目的地坐标是否位于画面内。如果位于画面外,则能够通过进行图21所示的步骤S103以下的处理设定分割模式的预测模式。并且,也可以进行简化,如果判断为移动目的地坐标位于画面外,则第二取得单元702将分割模式X设定成表示分割的分割模式。

以上,根据实施例7,与实施例5相比,存在能够在时间方向上找到与加密对象块类似的块的可能性。这是因为,具有通过加密对象块的活动向量的块与加密对象块更类似。因此,如果分割模式的预测精度提高,则能够减少利用VLC表变换的符号的符号量,因此能够提高加密效率。

[实施例8]

接下来,对实施例8中的图像解密装置进行说明。实施例8中的图像解密装置的结构与图11所示的结构相同,与分割模式的预测相关的功能如图38所示。图38是示出实施例8中的与分割模式的预测相关的功能的一个例子的框图。

图38所示的图像解密装置包含储存单元401、选择单元601、第一取得单元801、第二取得单元802、预测单元803、解密单元406以及决定单元605。此外,在图38所示的功能中,对与图12、30相同的功能标注相同的附图标记。

并且,实施例8中的图像解密装置对由实施例7中的图像加密装置加密后的比特流进行解密。

储存单元401、选择单元601与实施例4、6相同。第一取得单元801取得解密对象块的左块A、上块B、右上块C各自的活动向量A、B、C以及分割模式A、B、C。

第二取得单元802首先与实施例6同样基于从第一取得单元801取得的多个活动向量计算例如中间值或平均值的向量。并且,当从第一取得单元801取得的活动向量全部无效的情况下设定成零向量。

第二取得单元802利用以下的公式求出平均向量。

平均向量=(活动向量A+活动向量B+活动向量C)/3

第二取得单元802将所计算出的平均向量(pvx,pvy)作为解密对象块的推测向量PV来推测与相对于所选择的图片的解密对象块相当的移动目的地坐标。当将解密对象块的坐标设定为(x,y)时,移动目的地坐标为(x+pvy,y+pvy)。

第二取得单元802取得与包含移动目的地坐标(x+pvy,y+pvy)的块X邻接的块A'~H'的活动向量中从所选择的图像朝向解密对象图像方向的活动向量,以便更准确地求出移动目的地。由于能够使用解密完毕图像的全部信息,因此取得解密信息的区域可以是预先指定的区域。

第二取得单元802在从所选择的图像朝向解密对象图像的活动向量中取得具有通过解密对象块的活动向量的块X的分割模式。当所指定的A'~H'全部通过帧间预测被加密的情况下,或者不存在通过解密对象块的活动向量的情况下,使分割模式无效。

当从第二取得单元802取得的分割模式存在多个的情况下,预测单元803将最多的模式设定成候补模式X。如果数目相同则优先将分割的模式设定成候补模式。

预测单元803将从第一取得单元801取得的解密对象图像内的块A的分割模式A、块B的分割模式B、块C的分割模式C中的最多的模式设定成候补模式Y。

如果候补模式X有效,则与其他的候补模式相比,预测单元803优先将候补模式X设定成预测模式,如果候补模式X无效,则预测单元803将候补模式Y设定成预测模式。

决定单元406、加密单元605与在实施例4、6中示出的动作相同。

由此,能够对由在实施例7中说明了的图像加密装置生成的比特流进行解密。

接下来,对实施例8中的图像解密装置的动作进行说明。图39是示出实施例8中的分割模式解密处理的一个例子的流程图。

在图39A所示的步骤S601中,储存单元401储存解密完毕图像的块单位的活动向量、块类型、分割模式等解密信息。

在步骤S602、S603中,第一取得单元801从储存单元401取得属于解密对象图像的解密完毕块的解密信息所包含的活动向量。第一取得单元801例如取得与解密对象块邻接的左块A、上块B、右上块C各自的活动向量A、B、C。

在步骤S604中,选择单元601在解密对象图像的参照图像中选择与解密对象图像之间的时间间隔小的解密完毕图像(选择图像)。

在步骤S605中,选择单元601判断选择图像是否为一个。如果选择图像为一个(步骤S605:是)则进入步骤S607,如果选择图像有多个(步骤S605:否)则进入步骤S606。

在步骤S606,选择单元601中选择选择图像与其参照图像之间的时间间隔最小的解密完毕图像。

在步骤S607中,第二取得单元802判断从第一取得单元801取得的活动向量A、B、C是否标识由选择单元601选择出的选择图像或解密对象图像方向的参照图像。如果活动向量A、B、C并不标识这些图像则使活动向量无效。并且,在被帧间加密的情况下也使活动向量无效。因此,如果活动向量A、B、C全部无效(步骤S607:是)则进入步骤S609,如果至少任意一方有效(步骤S607:否)则进入步骤S608。

在步骤S608中,第二取得单元802对活动向量A、B、C进行平均,并计算推测向量PV。如果有效的活动向量仅有一个,则第二取得单元802将该活动向量设定成推测向量PV。

在步骤S609中,第二取得单元802将活动向量A、B、C设定成零向量。

在步骤S610中,第二取得单元802使用推测向量PV计算解密对象块移向选择图像的移动目的地坐标。

在步骤S611中,第二取得单元802以包含移动目的地坐标的块为中心指定周边块。

在步骤S612中,第二取得单元802取得所指定的块的活动向量。

在步骤S613中,第二取得单元802取得通过解密对象块的活动向量的分割模式X。

在图39B所示的步骤S614中,预测单元803判断分割模式X是否存在多个。如果分割模式X存在多个(步骤S614:是)则进入步骤S615,如果分割模式X仅有一个(步骤S614:否)则进入步骤S616。

在步骤S615中,预测单元803从多个分割模式X按照多数决定原则决定候补模式X。

在步骤S616中,预测单元803从分割模式A、B、C按照多数决定原则决定候补模式Y。

在步骤S617中,预测单元803判断候补模式X是否有效。如果候补模式X有效(步骤S617:是)则进入步骤S618,如果候补模式X无效(步骤S617:否)则进入步骤S619。

在步骤S618中,与候补Y相比,预测单元803优先将候补模式X设定成预测模式。在步骤S619中,预测单元803将候补模式Y设定成预测模式。

在步骤S620中,决定单元605根据预测模式变更VLD(可变长解密)表。例如,决定单元605以使得表示预测模式的分割形状的分割模式位于上位的方式变更VLD表。

在步骤S621中,解密单元406对比特流进行解密,取得解密对象块的分割模式信息。

在步骤S622中,决定单元605根据VLD表将由解密单元406决定了的分割模式信息所示的符号变换成分割模式。决定单元605能够由此来决定分割模式。

此外,在步骤S610之后,第二取得单元802也可以判断移动目的地坐标是否位于画面内。如果位于画面外,则能够通过进行图22所示的步骤S203以下的处理决定分割模式。并且,也可以进行简化,如果判断为移动目的地坐标位于画面外,则第二取得单元603将分割模式X设定成表示分割的分割模式。

以上,根据实施例8,能够对应于由实施例7提高了分割模式的预测精度的加密决定解密对象块的分割模式。

[变形例]

接下来,对变形例进行说明。在变形例中,通过将用于实现上述的图像加密方法或者图像解密方法的程序记录于记录介质,能够在计算机系统中实施各实施例中的处理。

图40是示出信息处理装置900的结构的一个例子的图。如图40所示,信息处理装置900包含控制部901、主存储部902、辅助存储部903、驱动器装置904、网络I/F部906、输入部907以及显示部908。这些各结构经由总线以能够相互收发数据的方式连接。

控制部901是在计算机中进行各装置的控制、数据的计算、加工的CPU。并且,控制部901是执行存储于主存储部902、辅助存储部903的程序的计算装置,从输入部907、存储装置接收数据,并在进行计算、加工后朝显示部908、存储装置等输出。

主存储部902是ROM(Read Only Memory,只读存储器)、RAM(Random Access Memory,随机存取存储器)等,是存储或者临时保存控制部901所执行的基本软件亦即OS、应用软件等程序、数据的存储装置。

辅助存储部903是HDD(Hard Disk Drive,硬盘驱动器)等,是存储与应用软件等相关的数据的存储装置。

驱动器装置904从记录介质905如软盘读取程序,并安装于存储装置。

并且,在记录介质905储存规定的程序,存储于该记录介质905的程序经由驱动器装置904被安装于信息处理装置900。所安装的规定的程序能够由信息处理装置900执行。

网络I/F部906是经由由有线以及/或者无线线路等数据传送路径构建的LAN(Local Area Network,局域网)、WAN(Wide AreaNetwork,广域网)等网络连接的具有通信功能的周边机器与信息处理装置700之间的接口。

输入部907具有具备光标键、数字输入以及各种功能键等的键盘,用于在显示部908的显示画面上进行键的选择等的鼠标、触摸板等。并且,输入部907是用于供用户对控制部901给予操作指示或者输入数据的用户界面。

显示部908由CRT(Cathode Ray Tube,阴极射线管)、LCD(Liquid Crystal Display,液晶显示器)等构成,进行与从控制部901输入的显示数据相应的显示。

这样,在上述的实施例说明了的图像加密处理或者图像解密处理可以作为由计算机执行的程序实现。通过从服务器等安装该程序并由计算机执行,能够实现上述的图像加密处理或者图像解密处理。

并且,通过将该程序记录于记录介质905,并使计算机、移动终端读取记录有该程序记录介质905,能够实现上述的图像加密处理或者图像解密处理。此外,记录介质905能够使用CD-ROM、软盘、光磁盘等之类的以光方式、电方式或者磁方式记录信息的记录介质、ROM、闪存等之类的以电方式记录信息的半导体存储器等各种类型的记录介质。并且,在上述的各实施例中说明了的图像加密处理或者图像解密处理也可以安装于一个或者多个集成电路。

以上对各实施例进行了详细叙述,但本发明并不限定于特定的实施例,能够在权利要求书所记载的范围内进行各种变形以及变更。并且,也可以将上述的各实施例的构成要素全部或者多个组合在一起。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号