图像增强装置、图像增强方法、图像增强程序和信号处理装置

技术领域

本发明涉及用于使图像清晰(sharpening，也称为“锐化”)而改 善画质的图像增强装置、图像增强方法和图像增强程序，更一般而言， 涉及用于提高信号的质量的信号处理装置等，例如涉及适合用于使电 视(TV)接收机实时显示的运动图像清晰的图像增强装置

背景技术

用于使图像清晰而改善画质的图像增强处理，在现有技术中是广 泛周知的。例如，在现有技术的电视接收机中，进行使与所显示的图 像的轮廓部相当的视频信号的上升(上升沿)、下降(下降沿)急剧的 轮廓补偿。在该轮廓补偿中，提取(抽出)输入至电视接收机的显示 器的视频信号(亮度信号)的高频成分，将该高频成分放大而与视频 (即，影像)信号进行加法运算，由此改善从视频信号输入到显示器 输入为止在各电路处理的视频信号的频率特性的劣化，提高视觉上的 画质。

包含这样的轮廓补偿的现有技术中的图像增强处理，通常基于线 性的数字信号处理，因此不能够利用比奈奎斯特(Nyquist，也称为“乃 奎斯特”)频率高的频率成分，即比成为对象的图像的采样频率(即， 取样频率)的1/2高的频率成分。因此，不能够以改善画质为目的使超 过奈奎斯特频率的频率成分恢复，也无法利用这样的频率成分使图像 清晰。于是，例如在高清晰电视(HDTV：High Definition Television) 即全高清(full high vision，1080×1920像素)的电视接收机中的显示 器，在对分辨率不到HDTV的图像信号进行图像放大(enlarge)处理 而显示图像的情况下，存在图像模糊的问题。该模糊的图像不具有奈 奎斯特频率附近的频率成分，因此即使使用现有技术中的图像增强处 理也不能够提取应放大的频率成分，画质无法得到改善。

与此相对，利用帧之间或帧内的自相关等，即使在进行上述这样 的图像放大处理的情况下也能够进行高分辨率化而得到清晰的图像的 技术(例如非专利文献1、专利文献3)，以及利用在边缘的切线方向 和边缘的垂直方向进行程度不同的平滑处理的各向异性(异方性)扩 散滤波而使图像高分辨率化的技术(例如非专利文献2)也已被提出。 另外，为了对为了增强高频成分改善画质而应与图像信号相加的核化 (coring)量、限幅(clipping)量、增强(enhance)量和限制(limit) 量等分别进行调整而使用非线性电路的图像处理装置(专利文献1)、 为了不降低视频的品质地补偿高频信号而抑制图像信号中的脉冲 (pulse)波形、阶跃(step，步进)波形的边沿部的振铃(ringing，振 荡)的发生，为此使用非线性转换电路的画质补偿电路(专利文献2) 也被提出了方案。

现有技术文献

专利文献

专利文献1：日本特开2006-304352号公报

专利文献2：日本特开平7-312704号公报

专利文献3：日本特开2007-310837号公报

非专利文献

非专利文献1：松本信幸、井田孝，《フレ一ム内再構成超解像の 領域適応処理による高画質化の検討》，电子信息通信学会技术研究报 告，社团法人电子信息通信学会，2008年4月，第108卷，第4号， IE2008-6，p.31-36

非专利文献2：Luminita A.Vese and Stanley J.Osher，“Modeling  Textures with Total variation Minimization and Oscillating Patterns in  Image Processing”，Journal of Scientific Computing，Vol.19，Nos.1-3， December 2003

发明内容

发明要解决的问题

但是，在非专利文献2中记载的利用各向异性滤波的高分辨率化 的技术，处理复杂，因此在如电视接收机等中的运动图像(活动图像) 的显示那样需要实时地处理的情况下难以应用，非专利文献1中记载 的高分辨率化的技术，即使能够应用，其实现也需要大规模的LSI，导 致成本大幅增加。另外，就专利文献1中记载的图像处理装置、专利 文献2中记载的画质补偿电路而言，使用非线性处理的目的只是与图 像信号应相加的信号的限幅处理等、以及抑制因高频信号的补偿而引 起的振铃发生，通过这样的画质补偿电路、图像处理装置，在对实施 了上述那样的放大处理的图像进行显示的情况下不能够充分地使图像 清晰。

于是，本发明的目的在于提供图像增强装置和图像增强方法等， 通过以简单的结构进行适当的高频补偿，不仅对静止图像，而且在为 运动图像的情况下也能够在实施了上述那样的图像放大处理的情况下 使图像充分清晰而提高画质，更一般而言，本发明的目的是提供能够 以简单的结构进行适当的高频补偿来提高信号的质量的信号处理装置 等。

解决问题的技术手段

本发明的第一方面为一种图像增强装置，其用于使输入信号所表 示的图像清晰，该图像增强装置的特征在于，包括：

通过将表示图像的输入信号所包含的频率成分中的至少直流成分 从该输入信号中除去而生成第一信号的滤波部；

对上述第一信号实施非线性处理而生成第二信号的非线性处理 部；和

将上述第二信号与上述输入信号相加的加法运算部，

上述非线性处理部，

基于(根据)上述第一信号生成第三信号，该第三信号相对于上 述第一信号至少在0附近非线性或正负对称地、广义地单调增加，

基于上述第三信号生成上述第二信号，使得上述第一信号的正负 被实质地保存在上述第二信号中，并且上述第二信号不包含直流成分。

本发明的第二方面的特征在于，在本发明的第一方面中，

上述非线性处理部，

通过以2以上的偶数为幂指数对上述第一信号进行乘幂运算而生 成上述第三信号，

基于上述第三信号生成上述第二信号，使得上述第一信号的正负 被实质地保存在上述第二信号中。

本发明的第三方面的特征在于，在本发明的第二方面中，

上述非线性处理部包括：

通过以2以上的偶数为幂指数对上述第一信号进行乘幂运算而生 成上述第三信号的乘幂运算器；

通过对上述第三信号进行微分而生成第四信号的第一微分器；

通过对上述输入信号进行微分而生成第五信号的第二微分器；和

基于上述第四信号与上述第五信号的积而生成上述第二信号的乘 法运算器。

本发明的第四方面的特征在于，在本发明的第二方面中，

上述非线性处理部包括：

通过以2以上的偶数为幂指数对上述第一信号进行乘幂运算而生 成上述第三信号的乘幂运算器；和

符号变换器，其基于上述第一信号使上述第三信号中正负与上述 第一信号不同的部分的正负颠倒(即，逆转或反转)，以使得基于上述 第三信号生成上述第二信号。

本发明的第五方面的特征在于，在本发明的第二方面中，

上述非线性处理部包括：

通过以2以上的偶数为幂指数对上述第一信号进行乘幂运算而生 成上述第三信号的乘幂运算器；

通过除去上述第三信号的直流成分而生成第四信号的滤波器；和

符号变换器，其基于上述第一信号使上述第四信号中正负与上述 第一信号不同的部分的正负颠倒，以使得基于上述第四信号生成上述 第二信号。

本发明的第六方面的特征在于，在本发明的第一方面中，

上述非线性处理部，

生成与上述第一信号的绝对值相当的信号作为上述第三信号，

基于上述第三信号生成上述第二信号，以使上述第一信号的正负 被实质地保存在上述第二信号中。

本发明的第七方面的特征在于，在本发明的第六方面中，

上述非线性处理部包括：

绝对值处理器，其生成与上述第一信号的绝对值相当的信号作为 上述第三信号；

第一微分器，其通过对上述第三信号进行微分而生成第四信号；

第二微分器，其通过对上述输入信号进行微分而生成第五信号； 和

乘法运算器，其基于上述第四信号与上述第五信号的积生成上述 第二信号。

本发明的第八方面的特征在于，在本发明的第六方面中，

上述非线性处理部包括：

绝对值处理器，其生成与上述第一信号的绝对值相当的信号作为 上述第三信号；

滤波器，其通过除去上述第三信号的直流成分而生成上述第四信 号；和

符号变换器，其基于上述第一信号使上述第四信号中正负与上述 第一信号不同的部分的正负颠倒，以使得基于上述第四信号生成上述 第二信号。

本发明的第九方面的特征在于，在本发明的第一方面中，

上述非线性处理部，通过以3以上的奇数为幂指数对上述第一信 号进行乘幂运算而生成上述第三信号，基于上述第三信号生成上述第 二信号。

本发明的第十方面的特征在于，在本发明的第九方面中，

上述非线性处理部包括：

乘幂运算器，其通过以3以上的奇数为幂指数对上述第一信号进 行乘幂运算而生成上述第三信号；和

调整器，其通过调整上述第三信号的振幅而生成上述第二信号。

本发明的第十一方面的特征在于，在本发明的第一方面中，

上述非线性处理部，以使得上述第三信号的绝对值比上述第一信 号的绝对值大的区间至少在上述0附近出现的方式，生成上述第三信 号。

本发明的第十二方面的特征在于，在本发明的第一方面中，

上述非线性处理部，基于上述第一信号，生成相对于上述第一信 号在上述第一信号的最大振幅的至少1/2以下的范围内，非线性或正负 对称地、广义地单调增加的信号作为上述第三信号。

本发明的第十三方面的特征在于，在本发明的第一方面中，

上述滤波部包括抽头(tap)数为3以上的高频通过型数字滤波器。

本发明的第十四方面的特征在于，在本发明的第一方面中，

上述非线性处理部包括：

舍入处理器，其将上述第一信号中绝对值比规定的下限值小的部 分的信号值改变(即，变更)为0；和

限制器(limiter，也称为“限幅器”)，其将上述第一信号中绝对值 比规定的上限值大的部分的信号值的绝对值改变为该上限值以下的规 定值。

本发明的第十五方面的特征在于，在本发明的第一方面中，

上述非线性处理部包括用于对上述第二信号的振幅进行调整的调 整器。

本发明的其他方面，通过本发明的上述第一～第十五方面以及与 后述的实施方式相关的说明能够变得清楚明了，因此省略其说明。

发明的效果

根据本发明的第一方面，从输入信号中至少除去了直流成分的信 号作为第一信号被生成，第二信号通过对该第一信号实施非线性处理 而被生成。即，相对于第一信号至少在0附近非线性或正负对称地、 广义上单调增加的第三信号被生成，基于该第三信号生成第二信号。 第一信号的正负被实质地保存在该第二信号中，并且该第二信号不包 含直流成分。这样的第二信号与输入信号相加。通过该加法运算而得 到的信号即图像增强装置的输出信号，由于通过对上述第一信号的非 线性处理得到原信号的谐波，所以含有比将输入信号离散化的情况下 的采样频率fs所对应的奈奎斯特频率fs/2高的频率成分。因此，能够 比基于线性处理的现有技术的图像增强装置得到更大的画质改善。另 外，能够以简单的结构使图像充分清晰，因此，不仅对静止图像，而 且对实时显示的运动图像也能够在不导致成本大幅增加的情况下改善 画质。进而，在以图像放大处理后的图像信号为输入信号的情况下， 与不能够进行超过奈奎斯特频率fs/2的高频区域的补偿的现有技术的 图像增强装置相比，能够使放大处理后的图像充分清晰而大幅改善画 质。

根据本发明的第二方面，基于以2以上的偶数为幂指数的上述第 一信号的乘幂运算，生成上述第二信号，以使得上述第一信号的正负 被实质地保存，这样的第二信号与输入信号进行加法运算，因此能够 比基于线性处理的现有技术中的图像增强装置得到更大的画质改善。 另外，能够以简单的结构使图像充分清晰，因此，不仅对静止图像， 而且对于实时显示的运动图像也能够在不导致成本大幅增加的情况下 改善画质。进而，在以图像放大处理后的图像信号为输入信号的情况 下，与现有技术中的图像增强装置相比，能够在通过使图像清晰而实 现画质的改善方面得到较大的效果。

根据本发明的第三方面，通过以2以上的偶数为幂指数对上述第 一信号进行乘幂运算而生成第三信号，通过对第三信号进行微分而生 成除去了直流成分的第四信号，将对输入信号进行微分而得到的第五 信号与第四信号进行乘法运算，而生成第二信号作为保存有第一信号 的正负的信号。这样，作为补偿用信号应与输入信号进行加法运算的 第二信号，基于以2以上的偶数为幂指数的上述第一信号的乘幂，以 使得上述第一信号的正负被保存的方式被生成，因此能够得到与本发 明的第二方式相同的效果。

根据本发明的第四方式，通过以2以上的偶数为幂指数对上述第 一信号进行乘幂运算而生成第三信号，基于上述第一信号使上述第三 信号中正负与上述第一信号不同的部分的正负颠倒，以基于上述第三 信号生成第二信号。这样，应与输入信号进行加法运算的第二信号， 基于以2以上的偶数为幂指数的上述第一信号的乘幂，以使得第一信 号的正负被保存的方式被生成，因此能够得到与本发明的第二方式相 同的效果。

根据本发明的第五方面，以2以上的偶数为幂指数对上述第一信 号进行乘幂运算而生成第三信号，通过除去第三信号的直流成分而生 成第四信号。并且，基于上述第一信号使上述第四信号中正负与上述 第一信号不同的部分的正负颠倒，以使得能够基于第四信号生成第二 信号。这样，应与输入信号进行加法运算的第二信号，基于以2以上 的偶数为幂指数的上述第一信号的乘幂，以使得第一信号的正负被保 存的方式被生成，因此能够得到与本发明的第二方式相同的效果。并 且，基于从第三信号除去直流成分后的信号生成第二信号，因此与本 发明的第四方面相比，效果的程度增大，能够使图像更加清晰。

根据本发明的第六方面，基于上述第一信号的绝对值生成第二信 号，因此第二信号包含输入信号的频率成分的2倍以上的高频成分。 另外，第二信号以使得上述第一信号的正负被保存的方式被生成。通 过将这样的第二信号与输入信号进行加法运算，能够比基于线性处理 的现有技术中的图像增强装置得到更大的画质改善。另外，能够以简 单的结构使图像充分清晰，因此，不仅对静止图像，而且对于实时显 示的运动图像也能够在不导致成本大幅增加的情况下改善画质。进而， 在以图像放大处理后的图像信号为输入信号的情况下，与现有技术中 的图像增强装置相比，能够在通过使图像清晰而改善画质方面得到较 大的效果。

根据本发明的第七方面，与上述第一信号的绝对值相当的信号作 为第三信号被生成，通过对第三信号进行微分而生成除去了直流成分 的第四信号，对输入信号进行微分而得到的第五信号，与第四信号进 行乘法运算，由此生成第二信号作为保存有第一信号的正负的信号。 这样，应与输入信号进行加法运算的第二信号，基于上述第一信号的 绝对值，以使得上述第一信号的正负被保存的方式被生成，因此能够 得到与本发明的第六方式相同的效果。

根据本发明的第八方面，与上述第一信号的绝对值相当的信号作 为第三信号被生成，通过除去第三信号的直流成而生成第四信号。并 且，以使得能够基于第四信号生成第二信号的方式，将第四信号中正 负与上述第一信号不同的部分的正负基于上述第一信号颠倒。这样， 应与输入信号进行加法运算的第二信号，基于上述第一信号的绝对值， 以使得上述第一信号的正负被保存的方式被生成，因此能够得到与本 发明的第六方式相同的效果。

根据本发明的第九方面，基于以3以上的奇数为幂指数的上述第 一信号的乘幂生成第二信号，上述第一信号的正负被保存在该第二信 号中。这样，应与输入信号进行加法运算的第二信号，基于以3以上 的奇数为幂指数的上述第一信号的乘幂被生成，由于没有必要进行用 于保存上述第一信号的正负的处理，因此能够以更简单的结构，比基 于线性处理的现有技术中的图像增强装置得到更大的画质改善。另外， 能够以简单的结构使图像充分清晰，因此，不仅对静止图像，而且对 于实时显示的运动图像也能够在不导致成本大幅增加的情况下改善画 质。进而，在以图像放大处理后的图像信号为输入信号的情况下，与 现有技术中的图像增强装置相比，能够在通过使图像清晰而改善画质 方面得到较大的效果。

根据本发明的第十方面，以3以上的奇数为幂指数对上述第一信 号进行乘幂而生成第三信号，调整第三信号的振幅，由此生成第二信 号。因此，即使第三信号通过第一信号的乘幂运算而具有过大的振幅 (信号电平)，也由于适当的振幅的第二信号与输入信号进行加法运 算，因此能够良好地使输入信号表示的图像清晰。

根据本发明的第十一方面，上述第三信号的绝对值比上述第一信 号的绝对值大的区间至少在上述0附近出现，因此能够将基于与该区 间对应的第三信号的第二信号附加至输入信号，使得输入信号表示的 图像得以充分地清晰。

根据本发明的第十二方面，上述第三信号相对于上述第一信号在 上述第一信号的最大振幅的至少1/2以下的范围内，非线性或正负对称 地、广义地单调增加，因此充分包含应补偿的频率成分的补偿用信号 作为第二信号被生成。通过将该第二信号附加至输入信号，能够使得 输入信号表示的图像充分地清晰。

根据本发明的第十三方面，滤波部具备抽头数为3以上的高频通 过型数字滤波器，因此包含应补偿的频率成分的适当的第一信号被生 成，通过将基于该第一信号的该第二信号与输入信号进行加法运算， 能够使输入信号表示的图像充分地清晰。

根据本发明的第十四方面，将上述第一信号中绝对值比规定的下 限值小的部分的信号值变为0，因此输入信号中包含的噪声不因对上述 第一信号的非线性处理而放大。另外，将第一信号中绝对值比规定的 上限值大的部分的信号值的绝对值变为该上限值以下的规定值，因此 已经作为高频成分具有足够能量的信号成分不因对上述第一信号的非 线性处理而被过度放大。于是，通过将基于这样调整后的第一信号的 第二信号与输入信号的加法运算，能够良好地使输入信号表示的图像 清晰。

根据本发明的第十五方面，通过对作为补偿用信号应与输入信号 进行加法运算的上述第二信号的振幅进行调整，输入信号被适当地补 偿，因此能够良好地使输入信号表示的图像清晰。

附图说明

图1是表示本发明的第一实施方式的图像增强装置的结构的框图。

图2是表示上述第一实施方式中的高通滤波器(高频通过滤波器) 的结构的框图。

图3是表示上述第一实施方式中的高通滤波器的其他的结构例的 框图。

图4是表示上述第一实施方式中的微分器的结构的框图。

图5是用于说明现有技术中的图像增强装置的动作的信号波形图 (A～E)。

图6是用于说明上述第一实施方式的图像增强装置的动作的信号 波形图(A～F)。

图7是表示用于说明现有技术中的图像增强装置的动作的频谱的 附图(A、B)。

图8是表示用于说明上述第一实施方式的图像增强装置对放大后 的图像的动作的频谱的附图(A、B)。

图9是用于说明上述第一实施方式的第一变形例的框图。

图10是表示在上述第一变形例的垂直方向处理部使用的高通滤波 器的结构的框图。

图11是表示在上述第一变形例的垂直方向处理部使用的微分器的 结构的框图。

图12是用于说明上述第一实施方式的第二变形例的框图。

图13是表示在上述第二变形例的时间方向处理部使用的高通滤波 器的结构的框图。

图14是表示在上述第二变形例的时间方向处理部使用的微分器的 结构的框图。

图15是表示本发明的第二实施方式的图像增强装置的结构的框 图。

图16是表示本发明的第三实施方式的图像增强装置的结构的框 图。

图17是用于说明上述第三实施方式的图像增强装置的动作的信号 波形图(A～D)。

图18是表示本发明的第四实施方式的图像增强装置的结构的框 图。

图19是表示本发明的第五实施方式的图像增强装置的结构的框 图。

图20是用于说明上述第四实施方式的图像增强装置的动作的信号 波形图(A～E)。

图21是用于说明上述第五实施方式的图像增强装置的动作的信号 波形图(A～F)。

图22是表示本发明的第六实施方式的图像增强装置的结构的框 图。

图23是表示本发明的第七实施方式的图像增强装置的结构的框 图。

图24是表示为了验证本发明的效果而使用的原始图像的附图。

图25是表示对象图像的图，该对象图像是对上述原始图像进行放 大处理后切取一部分而得到的图像。

图26是将对上述对象图像实施现有技术中的图像增强装置进行的 处理后所得的图像(B)，与上述对象图像(A)一起表示的附图。

图27是表示对上述对象图像实施上述第二实施方式的图像增强装 置进行的处理后所得的图像(A)，和实施上述第三实施方式的图像增 强装置进行的处理后所得的图像(B)的图。

图28是表示为了通过图像增强程序以软件的形式实现本发明的图 像增强装置而使用的个人计算机的结构的框图。

具体实施方式

下面参照附图对本发明的实施方式进行说明。

(1.第一实施方式)

(1.1结构)

图1是表示本发明的第一实施方式的图像增强装置的结构的框图。 该图像增强装置100为对作为表示图像的数字信号而从外部输入的输 入图像信号Sin，实施用于使该输入图像信号Sin所表示的图像清晰的 处理(以下称为“图像增强处理”或简称为“增强处理”)的装置，包 括：高频通过滤波器(以下称为“高通滤波器”或者“HPF”)11、非 线性处理部102和加法运算器16，其中，非线性处理部102包括平方 运算器(即，“2次幂运算器”或“自乘运算器”)12、第一微分器13、 第二微分器14和乘法运算器15。上述输入图像信号Sin被送至HPF11、 第二微分器14和加法运算器16。此外，输入图像信号Sin表示的图像 既可以是静止图像也可以是运动图像，在输入图像信号Sin表现的是运 动图像的情况下，该运动图像也可以是例如标准画质电视(SDTV： Standard Definition Television，标准分辨率电视)或高清晰电视(HDTV： High Definition Television，高分辨率电视)的接收机中实时显示的运动 图像。这点在其他的实施方式中也是同样的。

HPF11将包含输入图像信号Sin所表示的图像中的轮廓成分的高 频成分抽出。图2是表示该HPF11的结构的框图。如图2所示，该HPF 具备m抽头(m为3以上)横向(transversal)型的数字滤波器110， 此外还具备舍入处理器132和限制器133，该数字滤波器110具备m-1 个单位延迟元件111、112、……、11(m-1)，m个乘法运算器121、 122、……、12m和1个加法运算器131。在此，各乘法运算器12j将 被输入的信号乘以系数Cj并将乘法运算的结果输出至加法运算器131 (j＝1～m)，系数C1～Cm设定为：HPF11中的上述数字滤波器110 作为用于将包含上述轮廓成分的高频成分提取的高频通过滤波器起作 用。例如使m＝3，C1＝0.5，C2＝-1，C3＝0.5时，上述数字滤波器110 对在后面叙述的图5(B)中所示那样的输入图像信号Sin，输出如图5 (C)所示那样的信号作为高频成分信号Si1。这样得到的高频成分信 号Si1，经过舍入处理器132和限制器133从HPF11作为第一信号S1 被输出。

舍入处理器132是为了使得在后级的非线性处理部102中不将噪 声放大而设置的，将高频成分信号Si1中的规定的下限值以下的信号值 舍入为0。例如，在输入图像信号Sin取0～255的范围的值的情况下， 即为256灰度等级的图像信号的情况下，将2以下的信号值舍入为0。 限制器133是为了使得在后级的非线性处理部102中不过度地将作为 高频成分已经具有足够能量的信号放大而设置的，将超过规定上限值 的信号值变更为该上限值以下的规定值(例如0或该上限值)。例如， 在输入图像信号Sin取0～255的范围的值的情况下，使绝对值超过64 的信号值为0，或者使绝对值超过64的信号值按照其符号成为±64。

但是，一般而言，与实现高频通过滤波器相比，实现低域通过滤 波器更容易。因此，也可以通过如图3所示的使用低域通过滤波器(以 下称为“LPF”)1011和减法运算器1012的结构，实现图2所示的作 为高频通过滤波器的数字滤波器110。

从HPF11输出的第一信号S1被输入至非线性处理部102的平方运 算器12。平方运算器12通过将第一信号S1平方而生成平方信号S12。 即S12＝S1²。此外，第一信号S1为数字信号(离散化的信号)，更详 细而言，使构成第一信号S1的数据列为X1、X2、X3、……时，平方 信号S12为由信号数据列X1²、X2²、X3²、……构成的数字信号。该 平方信号S12被输入至第一微分器13，该微分器13通过将该平方信号 S12微分而生成第一微分信号S13。该第一微分信号S13被输入至乘法 运算器15。在此，平方信号S12为数字信号，是离散化的，因此第一 微分器13通过例如图4所示那样的算出后向差分(backward difference) 的电路生成第一微分信号S13。如图4所示的结构中，通过单位延迟元 件1021和减法运算器1022实现微分器，数字信号Sb为通过将数字信 号Sa微分而得到的信号。

另一方面，非线性处理部102的第二微分器14通过对输入图像信 号Sin进行微分而生成第二微分信号S14，该第二微分信号S14也被输 入至乘法运算器15。在此，第二微分器14也例如通过图4所示这样的 结构而实现。

乘法运算器15通过将第一微分信号S13与第二微分信号S14进行 乘法运算而生成第二信号S2。即，S2＝S13×S14。此外，第一和第二 微分信号S13、S14都是数字信号(离散化的信号)，因此更详细而言， 在使构成第一微分信号S13的数据列(数据串)为U1、U2、U3、……， 使构成第二微分信号S14的数据列为V1、V2、V3、……时，第二信 号S2为由数据列U1·V1、U2·V2、U3·V3、……构成的数字信号。 该第二信号S2从非线性处理部102输出、并被输入至加法运算器16。 此外，由于在HPF11、平方运算器12、第一和第二微分器13、14的处 理中产生延迟，因此在乘法运算器15，根据需要包含用于在第一微分 信号S13和第二微分信号S14之间调整定时(timing，即“时间”或“时 机”)的延迟元件。

加法运算器16通过将上述第二信号S2作为用于使图像清晰的补 偿用信号与输入图像信号Sin进行加法运算而生成输出图像信号Sout。 即，Sout＝Sin+S2。此外，在加法运算器16中，也根据需要包含用于在 输入图像信号Sin与第二信号S2之间调整定时的延迟元件。此外，作 为用于对作为补偿用信号的第二信号S2的电平(振幅)进行调整的调 整器，优选在加法运算器16的内部或乘法运算器15与加法运算器16 之间设置增益调整器和限制器中的至少一个。在此，增益调整器是通 过对所输入的信号乘以0≤α＜1的常数α来调整该信号的电平的单元 (器件)，限制器是将所输入的信号中绝对值大于规定的上限值的部分 的信号值的绝对值变更为该上限值(不改变正负)，由此调整该信号的 电平的单元。

加法运算器16生成的输出图像信号Sout作为表示使输入图像信号 Sin所表示的图像清晰而得到的图像的图像信号，从图像增强装置100 被输出。

(1.2动作)

接着，着眼于对输入图像信号Sin中如图5(B)所示那样在水平 方向图像信号的电平即像素值发生变化的边缘(edge)所相当的部分 的处理，对上述那样构成的本实施方式的图像增强装置100的动作， 进行说明。

为了进行比较，首先对现有技术中的图像增强装置的动作进行说 明。输入图像信号中的与边缘部相当的部分，在理想状态下是如图5 (A)所示那样的信号，实际上，由于用于图像信号的处理和传输的硬 件的特性，成为图5(B)所示那样的信号。在现有技术中的图像增强 装置中，当被施加图5(B)所示那样的输入图像信号时，通过与本实 施方式相同的HPF将图5(C)所示那样的高频信号提取，将该高频信 号与输入图像信号相加，生成图5(D)所示那样的信号作为输出图像 信号。该输出图像信号与图5(B)的输入图像信号相比，边缘部的上 升变得陡峭(急剧)，图像变得鲜明。但是，输出图像信号中的边缘部 的上升与后面叙述的本实施方式的输出图像信号(图5(E))相比，陡 的程度较低。

在本实施方式中，当输入与图5(B)的输入图像信号相同的输入 图像信号Sin(图6(A))时，通过HPF11生成与图5(C)的信号同 等的信号作为第一信号S1。由(从)该第一信号S1通过平方运算器 12生成图6(B)所示那样的平方信号S12，由该平方信号S12通过第 一微分器13生成图6(C)所示那样的第一微分信号S13。通过此时的 平方信号S12的微分将直流成分除去。

另一方面，由输入图像信号Sin通过第二微分器14生成如图6(D) 所示那样的第二微分信号S14。基于该第二微分信号S14和第一微分信 号S13，通过乘法运算器15生成图6(E)所示那样的第二信号S2。 该第二信号S2作为补偿用信号在加法运算器16中与输入图像信号Sin 进行加法运算，生成图6(F)所示那样的输出图像信号Sout。如上述 那样，该输出图像信号Sout的边缘部的上升比现有技术的图像增强装 置的图像输出信号的边缘部的上升(图5(D))更陡，因此与现有技 术相比能够得到更清晰(鲜明)的图像。

由上面的说明可知，作为补偿用信号与输入图像信号Sin进行加法 运算的第二信号S2，是通过对从HPF11输出的作为高频信号的第一信 号S1(图5(C))实施非线性处理而得到的信号。另外，由于第一微 分器13，第二信号S2成为不含直流成分的信号。进而，通过第二微分 器14得到的第二微分信号S14通过与第一微分信号S13进行乘法运算， 第一信号(图5(C))的正负被实质上保存在第二信号S2(图6(E)) 中。即，第一信号中的正的部分在第二信号S2中不会变为负，第一信 号中的负的部分在第二信号S2中也不会变为正。在本实施方式中，基 于这样的对第一信号S1的处理的非线性和第一信号S1的正负保存性， 能够充分实现图像的清晰(参照图6(F))。此外，根据第一微分信号 S13和第二微分信号S14的乘法运算结果，在第二信号S2中，第一信 号S1的正负未能得以完全地保存的部分也存在若干(参照图6(E) 中的细线的小的波形)，但这不足以对通过第二信号S2向输入图像信 号Sin的加法运算而进行的图像的清晰产生实质上的障碍的程度(参照 图6(F))。

接着，对于将实施图像放大处理后的数字图像信号作为输入图像 信号Sin施加给图像增强装置的情况，对本实施方式的动作在与不进行 图像放大处理的情况相比较的同时进行说明。

图7(A)表示采样频率为fs的数字图像信号的频谱，图7(B) 表示对于该数字图像信号，通过现有技术的图像增强装置进行用于清 晰(清晰化)的增强处理后的数字图像信号(以下称为“现有技术的 增强处理后的图像信号”)的频谱。如上所述，通过用于清晰的增强处 理，输入图像信号的高频成分被相加，由此，在增强处理后的图像信 号中，如图7(B)所示那样，奈奎斯特频率fs/2附近的频率成分增大。

另一方面，在实施将上述数字图像信号上变频(up conversion：向 上变换)使像素数在水平方向为2倍的图像放大处理后的情况下，图 像放大处理后的采样频率Fbs为上述采样频率fs的2倍(Fsb＝2·fs)， 图像放大处理后的频谱如图8(A)所示。此时，在原始(原来)的采 样频率fs所对应的奈奎斯特频率fs/2与新的采样频率Fbs所对应的新 的奈奎斯特频率Fbs/2＝fs之间不存在频率成分(Fbs/2与3fs/2之间也 同样)。因此，即使对图像放大处理后的图像信号通过现有技术的图像 增强装置实施用于清晰化的增强处理，图像放大处理后的图像信号中 的高频成分即新的奈奎斯特频率Fbs/2附近的频率成分也不被附加(参 照图8(A))。

与此相对，根据本实施方式，通过非线性处理部102的平方运算 器12，超过输入图像信号Sin所具有的频率成分的谐波成分等的奈奎 斯特频率fs/2的高频成分被生成，利用该高频成分，对输入图像信号 Sin实施用于清晰化的处理。即，从采样频率为fs的数字图像信号，通 过图像放大处理生成采样频率Fbs＝2fs的图像信号，将该图像信号作为 输入图像信号Sin使用时，基于平方运算器12的处理，包含比原始的 采样频率fs所对应的奈奎斯特频率fs/2高的频率成分的第二信号S2 作为补偿用信号被生成，该第二信号S2被附加至输入图像信号Sin。 由此，本实施方式中的输出图像信号Sout的频谱成为如图8(B)所示 的那样。由此，与现有技术的图像增强装置相比，能够对放大处理后 的图像信号进行适当的高频补偿，能够使放大处理后的图像充分地清 晰。

下面，针对如上所述那样利用通过非线性处理生成的高频成分的 图像的清晰化，进行更详细的说明。现在，使输入图像信号Sin由(水 平方向)位置x的函数f(x)表示，使输入图像信号Sin的基本角频 率为ω时，该f(x)能够用下面这样的傅里叶级数表示。

f(x)＝a_-Ncos(-N)ωx+a_-N+1cos(-N+1)ωx……+a_-1cos(-1)ωx

+a₀+a₁cosωx+a₂cos2ωx+……+a_NcosNωx

+b_-Nsin(-N)ωx+b_-N+1sin(-N+1)ωx+……+b_-1sin(-1)ωx

+b₁sinωx+b₂sin2ωx+……+b_NsinNωx    ……(1)

在此，N为不超过(图像放大处理前的)采样频率fs所对应的奈奎斯 特频率fs/2的最高频率的谐波的次数。即，

Nω/(2π)＜fs/2≤(N+1)ω/(2π)

通过上述式(1)，以由函数f(x)表示的输入图像信号Sin(以下 也称为“输入信号f(x)”)的直流成分a₀以外的部分为g(x)时，

g(x)＝a_-Ncos(-N)ωx+a_-N+1cos(-N+1)ωx……+a_-1cos(-1)ωx

+a₁cosωx+a₂cos2ωx+……+a_NcosNωx

+b_-Nsin(-N)ωx+b_-N+1sin(-N+1)ωx+……+b_-1sin(-1)ωx

+b₁sinωx+b₂sin2ωx+……+b_NsinNωx    ……(2)

从HPF11输出的第一信号S1包含上述信号g(x)或信号g(x)的高 频成分，从平方运算器12输出的平方信号S12为将该第一信号S1平 方而得的信号。在此，求(g(x))²时，通过上述式(2)，该(g(x)) ²的各项由下述式的任一个表示。

a_icosiωx·a_jcosjωx    ……(3a)

a_icosiωx·b_jsinjωx    ……(3b)

b_isiniωx·b_jsinjωx    ……(3c)

(i＝±1、±2、……、±N；j＝±1、±2、……、±N)

使用与三角函数相关的公式能够将上述式改写为下述这样。

(a_ia_j/2)[cos(i+j)ωx+cos(i-j)ωx]     ……(4a)

(a_ib_j/2)[sin(i+j)ωx-sin(i-j)ωx]     ……(4b)

(-b_ib_j/2)[cos(i+j)ωx-cos(i-j)ωx]    ……(4c)

通过上述式，(g(x))²，由于包含(N+1)ω、(N+2)ω、……、2Nω 等的角频率成分，因此包含比奈奎斯特频率fs/2高的频率成分。因此， 平方信号S12也如频率2Nω/(2π)的谐波成分等那样包含比奈奎斯特 频率fs/2高的频率成分。在如(g(x))²这样为偶数次方的情况下，在 上述式(4a)(4c)所示的项中存在产生直流成分的情况。对此，在本 实施方式中，通过第一微分器13将该直流部分除去(参照图1)。

因此，如果如上所述那样进行将数字图像信号上变频而使像素数 在水平方向为2倍的图像放大处理后的图像信号，作为输入图像信号 Sin被输入至本实施方式的图像增强装置100，则基于平方运算器12 的处理，输出图像信号Sout的频谱中，包含比图像放大处理前的奈奎 斯特频率fs/2高的频率成分的第二信号S2作为补偿用信号被生成，该 第二信号S2被附加至输入图像信号Sin。其结果是，输出图像信号Sout 的频谱成为图8(B)所示的那样，与现有技术的图像增强装置相比， 能够使实施放大处理后的图像充分的清晰。另外，附加有输入图像信 号Sin中不包含的高频成分即比原始的奈奎斯特频率fs/2高的频率成 分，图像被清晰化，就这点而言，能够说本实施方式能够使输入图像 信号Sin表示的图像高分辨率化。此外，基于上述的说明(参照式(1)～ (4c))，应输入至非线性处理部102的第一信号S1从原理上讲只要是 从输入图像信号Sin除去直流成分后的信号即可，也可以代替HPF11， 使用将输入图像信号Sin所包含的频率成分中的至少直流成分除去的 其他的滤波器。

(1.3效果)

如上所述，根据本实施方式，对从输入图像信号Sin由HPF11提 取的作为高频成分的第一信号S1进行基于平方运算器12的处理，生 成平方信号S12，基于该平方信号S12，以使得第一信号S1的正负被 保存的方式生成的第二信号S2，作为补偿用信号被与输入图像信号Sin 进行加法运算。由此，图像被充分地清晰化，比现有技术的图像增强 装置能够更大幅改善画质。另外，能够以图1～图4所示的简单的结构 实现本实施方式的图像增强装置100，因此通过将该图像增强装置100 使用在高清晰电视(HDTV)或标准画质电视(SDTV)的接收机等中， 不仅对于静止图像，而且对于实时显示的运动图像也能够在不导致成 本大幅增加的情况下改善画质。而且，本实施方式中的非线性处理部 102内的平方运算器12和乘法运算器15虽然可以作为硬件乘法运算器 实现，但由于输入图像信号Sin等的比特数并不大(例如在为256灰度 等级的图像的情况下为8比特)，所以也能够将平方运算器12和乘法 运算器15作为ROM(Read Only Memory，只读存储器)表而实现。 这样的基于ROM表的实现，能够进行高速的处理，在对象为实时显示 的运动图像的情况下有效。

另外，本实施方式能够进行现有技术的图像增强装置未能补偿的 超过奈奎斯特频率fs/2的高频区域的补偿，因此在实施放大处理后的 图像信号所表示的图像的清晰化带来的画质提高方面效果尤其好。例 如在高清晰电视(HDTV)的接收机的显示器，对标准画质电视(SDTV： Standard Definition Television，标准分辨率电视)的图像信号实施放大 处理而显示图像的情况下，本实施方式能够以简单的结构充分地使实 时显示的运动图像清晰，本实施方式在这方面具有优异的效果。另外， 现在比HDTV的像素数更多的4000×2000左右的像素数的显示器(以 下称为“4k显示器”)以及用于与该4k显示器对应的电视广播的技术 开发正在进行，在将HDTV用的图像信号上变频而以该4k显示器进行 显示的情况下，本实施方式在同样的方面具有大的效果。

(1.4第一实施方式的变形例)

在上述说明中，说明了：输入图像信号Sin通过表示作为本实施方 式的图像增强装置100的处理对象的图像的水平方向的像素列的数据 列(像素值的系列)构成，HPF11、第一和第二微分器13、14根据该 图像的水平频率、水平方向的像素值的变化而进行滤波处理、微分处 理。即，能够说：在上述实施方式中，对该图像的水平方向进行图像 增强处理。但是，除了水平方向的图像增强处理，优选还进行该图像 的垂直方向的图像增强处理。因此，如图9所示那样，图像增强装置 优选具备用于水平方向的图像增强处理的水平方向处理部1100和用于 垂直方向的图像增强处理的垂直方向处理部1200。在该结构中，表示 作为处理对象的图像的输入图像信号SI被输入至水平方向处理部 1100，来自水平方向处理部1100的输出信号被输入至垂直方向处理部 1200，来自垂直方向处理部1200的输出信号成为该图像增强装置的输 出图像信号SO。此外，在该结构中，也可以调换(交换)水平方向处 理部1100与垂直方向处理部1200的前后关系，输入图像信号SI被输 入至垂直方向处理部1200，来自垂直方向处理部1200的输出信号被输 入至水平方向处理部1100。

如果输入图像信号SI由表示作为处理对象的图像的垂直方向的像 素列的数据列(像素值的系列)构成，则上述结构的垂直方向处理部 1200能够以与本实施方式相同的结构(图1～图4)实现。但是，也可 以使用与上述实施方式相同的输入图像信号SI(由表示水平方向的像 素列的数据列构成的输入图像信号SI)，使HPF11为图10所示的结构， 使第一和第二微分器13、14为图11所示的结构。在图2的结构中提 取图像的水平方向的空间频率成分中的高频成分(至少将直流成分除 去)，与此相对，在图10的结构中，提取图像的垂直方向的空间频率 成分中的高频成分(至少将直流成分除去)。因此在图10的结构中， 图2的结构中的单位延迟元件111～11m分别被置换为与1水平期间的 量的延迟元件相当的线阵存储器(LM：line memory，也称为“线路存 储器”)111B～11(m-1)B。但是，在图10的结构中，除了这点，与 图2的结构相同，对同一部分附加相同的参照附图标记，省略其说明。 另外，在图11的结构中，图4的结构中的单位延迟元件1021置换为 与1水平期间的量相当的延迟元件的线阵存储器(LM)1021B，除了 这点，与图4的结构相同，对同一部分附加相同的参照附图标记，省 略其说明。此外，图4的结构中的第一微分器13形成为第二信号S2 中不包含有关图像的水平方向的空间频率的直流成分，而图11的结构 中的第一微分器13形成为第二信号S2中不包含有关图像的垂直方向 的空间频率的直流成分。

另外，在以由电视接收机等显示的运动图像为处理对象的情况下， 各像素值随时间而变化，因此设置用于时间方向的图像增强处理的时 间方向处理部1300，如图12所示，优选图像增强装置除了具备上述水 平方向处理部1100和垂直方向处理部1200外还具备时间方向处理部 1300。在此情况下，使用与上述实施方式相同的输入图像信号SI，在 上述实施方式中，使HPF11为图13所示的结构，使第一和第二微分器 13、14为图14所示的结构，由此能够实现时间方向部1300。图13的 结构中，除了图2的结构中的单位延迟元件111～11m被分别置换为与 1帧期间的量的延迟元件相当的帧存储器(FM)111C～11(m-1)C之 外，与图2的结构相同，对同一部分附加相同的参照附图标记，省略 其说明。另外，图14的结构中，除了图4的结构中的单位延迟元件1021 被置换为与1帧期间的量的延迟元件相当的帧存储器(FM)1021C之 外，与图4的结构相同，对同一部分附加相同的参照附图标记，省略 其说明。此外，图13的结构中的HPF11C，提取图像的时间方向的频 率成分中的高频成分(至少除去直流成分)，图14的结构中的第一微 分器13形成为：使第二信号S2不包含有关图像的时间方向的频率的 直流成分。

此外，在本实施方式中，为了对第一信号S1实施非线性处理而设 置了平方运算器12，但是也可以代替该平方运算器12，使用对第一信 号S1进行4次方运算的4次方运算器，另外，一般而言，也可以使用 生成与以2以上的偶数为幂指数的第一信号S1的乘幂相当的信号的乘 幂运算器。另外，也可以将本实施方式中的第一微分器13和第二微分 器14的一方或双方替换成其他的高通滤波器(HPF)。而且，通常微分 器也能够看作是一种高通滤波器。

(2.第二实施方式)

图15是表示本发明的第二实施方式的图像增强装置的结构的框 图。该图像增强装置200为对输入图像信号Sin实施图像增强处理的装 置，该图像增强处理用于使作为数字信号从外部输入的该输入图像信 号Sin所表示的图像清晰，该图像增强装置200包括HPF11、非线性 处理部202和加法运算器16，其中，非线性处理部202具有绝对值处 理器22以取代上述第一实施方式中的平方运算器12。本实施方式的其 他部分与上述第一实施方式相同(图1～图4)，因此对相同的部分附 加相同的参照附图标记，省略其说明。

在本实施方式中，从HPF11输出的第一信号S1，被输入至非线性 处理部202的绝对值处理器22。绝对值处理器22生成与第一信号S1 的绝对值相当的信号作为绝对值信号S22。即，使构成第一信号S1的 数据列为X1、X2、X3、……时，绝对值信号S22为由数据列|X1|、| X2|、|X3|、……构成的数字信号。该绝对值信号S22被输入至第 一微分器13，该微分器13通过对该绝对值信号S22进行微分而生成第 一微分信号S23。该第一微分信号S23被输入至乘法运算器15。

另一方面，非线性处理部202的第二微分器14通过对输入图像信 号Sin进行微分而生成第二微分信号S14。该第二微分信号S14也被输 入至乘法运算器15。

乘法运算器15通过对第一微分信号S23和第二微分信号S14进行 乘法运算而生成第二信号S2。该第二信号S2从非线性处理部102输出 并被输入加法运算器16。

加法运算器16将上述第二信号S2作为用于使图像清晰的补偿用 信号与输入图像信号Sin进行加法运算，由此生成输出图像信号Sout。

接着，着眼于对输入图像信号Sin中如图6(A)所示那样在水平 方向图像信号的电平(像素值)发生变化的边缘所相当的部分的处理， 对上述那样构成的本实施方式的图像增强装置200的动作进行说明。

本实施方式也进行与上述第一实施方式的动作基本相同的动作。 即，表示与图6(A)所示的边缘相当的部分的输入图像信号Sin被输 入至本实施方式的图像增强装置200时，生成图5(C)所示的信号作 为第一信号S1。在本实施方式中，该第一信号S1被输入至非线性处理 部102中的绝对值处理器22。该绝对值处理器22由图5(C)所示的 第一信号S1生成与图6(B)所示的信号S12类似的绝对值信号S22。 即，绝对值处理器22，在使构成第一信号S1的数据列为X1、X2、 X3、……时，生成由数据列|X1|、|X2|、|X3|、……构成的 数字信号作为绝对值信号S22。与此相对，平方信号S12为由数据列 X1²、X2²、X3²、……构成的数字信号。因此，平方信号S12与绝对值 信号S22的信号电平虽然不同，但是平方信号S12与绝对值信号S22 整体的信号波形为同样的形状(图6(B))。

于是，由这样的绝对值信号S22，通过第一微分器13生成与图6 (C)所示的第一微分信号S13相同的第一微分信号S23。通过此时的 绝对值S22的微分除去直流成分。

另一方面，由输入图像信号Sin，通过第二微分器14生成图6(D) 所示的第二微分信号S14。由该第二微分信号S14与上述第一微分信号 S23，通过乘法运算器15生成图6(E)所示的第二信号S2。该第二信 号S2作为补偿用信号在加法运算器16与输入图像信号Sin进行加法 运算，由此生成图6(F)所示的输出图像信号Sout。该输出图像信号 Sout的边缘部的上升，与现有技术的图像增强装置的图像输出信号的 边缘部的上升(图5(D))相比更陡。

从上述说明可知，从包含绝对值处理器22的非线性处理部102作 为补偿用信号输出的第二信号S2，是通过对作为从HPF11输出的高频 信号的第一信号S1(图5(C))实施非线性处理而得到的信号。另外， 通过第一微分器13，第二信号S2成为不含直流成分的信号。进而，通 过第二微分器14得到的第二微分信号S14，与第一微分信号S23进行 乘法运算，由此第一信号(图5(C))的正负被实质保存在第二信号 S2(图6(E))中。在本实施方式中，基于这样的对第一信号S1的处 理的非线性和第一信号S1的正负保存性，输出图像信号Sout的边缘 部的上升比现有技术的图像增强装置的图像输出信号的边缘部的上升 (图5(D))更陡(图6(F))，与现有技术相比能够得到更清晰的图 像。

在本实施方式中，对第一信号S1的处理的非线性是基于绝对值处 理器22的，绝对值处理器22进行的处理被施加于第一信号S1，由此 生成比输入图像信号Sin的奈奎斯特频率fs/2高的频率成分。即，当将 三角函数sinx的绝对值|sinx|以傅里叶级数展开时，包含cos(2πx) 的项等、与x的2倍以上的频率成分对应的项出现。因此，通过绝对 值处理器22生成的绝对值信号S22包含：含有输入图像信号Sin的高 频成分的第一信号S1的谐波。于是，作为补偿用信号与输入图像信号 Sin进行加法运算的第二信号S2，包含比上述奈奎斯特频率fs/2高的 高频成分。

于是，根据本实施方式，与第一实施方式同样地能够比基于线性 处理的现有技术的图像增强装置得到更大的画质改善。另外，能够以 图15所示的简单的结构使图像充分清晰，因此，不仅对静止图像，而 且对于实时显示的运动图像也能够在不导致成本大幅增加的情况下改 善画质。进而，在以图像放大处理后的图像信号为输入图像信号Sin 的情况下，与不能够进行超过奈奎斯特频率fs/2的高频区域的补偿的 现有技术的图像增强装置相比，能够使放大处理后的图像充分清晰而 大幅改善画质。

此外，在本实施方式中，也与第一实施方式同样地优选：除了进 行水平方向的图像增强处理，还进行该图像的垂直方向的图像增强处 理。因此，如图9所示那样，优选图像增强装置200具备用于水平方 向的图像增强处理的水平方向处理部1100和用于垂直方向的图像增强 处理的垂直方向处理部1200(参照图9～图11)。这一点在后述的其他 实施方式中也相同。另外，在以由电视接收机等显示的运动图像为处 理对象的情况下，各像素值随时间变化，因此优选：设置用于时间方 向的图像增强处理的时间方向处理部1300，如图12所示，图像增强装 置200除了具备上述水平方向处理部1100和垂直方向处理部1200，还 具备时间方向处理部1300(参照图12～图14)。这一点在后述的其他 实施方式中也相同。

(3.第三实施方式)

图16是表示本发明的第三实施方式的图像增强装置的结构的框 图。该图像增强装置300为对作为数字信号从外部输入的输入图像信 号Sin实施图像增强处理的装置，该图像增强处理用于使该输入图像信 号Sin所表示的图像清晰，该图像增强装置300包括HPF11、非线性 处理部302和加法运算器16，其中，非线性处理部302包括3次方运 算器32和限制器33。本实施方式的结构中非线性处理部302以外的部 分与上述第一实施方式相同(图1～图4)，因此对相同的部分附加相 同的参照附图标记，省略其说明。

在本实施方式中，从HPF11输出的第一信号S1被输入非线性处理 部302的3次方运算器32。3次方运算器32通过对第一信号S1进行3 次方运算而生成3次方信号S32。即S32＝S1³。此外，由于第一信号S1 为数字信号(离散化的信号)，更详细而言，使构成第一信号S1的数 据列为X1、X2、X3、……时，3次方信号S32为由数据列X1³、X2³、 X3³、……构成的数字信号。该3次方信号S32被输入至限制器33。

限制器33具有作为3次方信号S32振幅(信号电平)的调整器的 功能。具体而言，通过使0≤α＜1的常数α与3次方信号S32相乘， 进行该信号的电平的增益调整，进而，以使得3次方信号S32的增益 调整后的振幅为规定的上限值以下的方式进行限幅(clipping)处理。 例如，当3次方信号S32的增益调整后的信号值的绝对值超过32时， 使限制器33的输出信号与其符号相对应地为±32。限制器33的输出 信号从非线性处理部302作为第二信号S2被输出，被输入至加法运算 器16。

加法运算器16通过将上述第二信号S2作为用于使图像清晰的补 偿用信号与输入图像信号Sin相加，生成输出图像信号Sout。

接着，着眼于对输入图像信号Sin中如图17(A)所示那样在水平 方向图像信号的电平(像素值)发生变化的边缘所相当的部分的处理， 对上述那样构成的本实施方式的图像增强装置300的动作进行说明。

当表示与图17(A)所示的边缘相当的部分的输入图像信号Sin 被输入本实施方式的图像增强装置300时，生成图17(B)所示的信 号作为第一信号S1。在本实施方式中，该第一信号S1被输入至非线性 处理部102的3次方运算器32。3次方运算器32由第一信号S1生成 图17(C)所示那样的3次方信号S32。在此，在使构成第一信号S1 的数据列为X1、X2、X3、……时，该3次方信号S32为由数据列X1³、 X2³、X3³、……构成的数字信号。于是，在3次方信号S32中，第一 信号S1的正负被保存。

这样的3次方信号S32，在限制器33中，通过增益调整和减幅处 理对振幅进行调整后，作为第二信号S2从非线性处理部302被输出。 通过将该第二信号S2作为补偿用信号在加法运算器16与输入图像信 号Sin相加，生成图17(D)所示的输出图像信号Sout。该输出图像 信号Sout的边缘部的上升，与现有技术的图像增强装置的输出信号的 边缘部的上升(图5(D))相比更陡。

通过上述说明可知，作为补偿用信号与输入图像信号Sin进行加法 运算的第二信号S2，是通过对作为从HPF11输出的高频信号的第一信 号S1(图17(B))进行非线性处理而得到的信号。即该第二信号S2 由第一信号S1通过3次方运算器32被生成，并且与基于平方运算器 12的非线性处理不同，第一信号S1的正负被保存在第二信号S2中。 在本实施方式中，基于这样的对第一信号S1的处理的非线性和第一信 号S1的正负的保存性，输出图像信号Sout中的边缘部的上升比现有 技术的图像增强装置的图像输出信号的边缘部的上升(图5(D))更 陡(图17(D))，与现有技术相比能够得到更清晰的图像。

在本实施方式中，对第一信号S1的处理的非线性基于3次方运算 器32进行。即，在本实施方式中也与第一实施方式同样，从HPF11 输出的第一信号S1包含上述式(2)所示的信号g(x)或信号g(x) 的高频成分，从3次方运算器32输出的3次方信号S32是将该第一信 号S1进行3次方运算而得的信号。于是，求取(g(x))³时，通过式 (2)，该(g(x))³中的各项由下述式中的一个表示。

a_icosiωx·a_jcosjωx·a_kcoskωx  ……(5a)

a_icosiωx·a_jcosjωx·b_ksinkωx  ……(5b)

a_icosiωx·b_jsinjωx·b_ksinkωx  ……(5c)

b_isiniωx·b_jsinjωx·b_ksinkωx  ……(5d)

(i＝±1，±2，……，±N；j＝±1，±2，……，±N；k＝±1，±2，……， ±N)

现在，例如着眼于i＝j＝k＝N的项之中上述式(5a)(5d)所示的下 述项时，这些项能够通过三角函数公式改写为下述这样。

(a_NcosNωx)³＝a_N³[(3/4)cosNωx+(1/4)cos3Nωx]……(6a)

(b_NsinNωx)³＝b_N³[(3/4)sinNωx-(1/4)sin3Nωx]……(6d)

另外，例如着眼于i＝j＝k＝-N的项之中由上述式(5a)(5d)所示的 下述项时，该项能够通过三角函数公式改写为下述这样。

[a_Ncos(-Nωx)]³a_N³[(3/4)cos(-Nωx)+(1/4)cos(-3Nωx)]…… (7a)

[b_Nsin(-Nωx)]³＝b_N³[(3/4)sin(-Nωx)-(1/4)sin(-3Nωx)]…… (7d)

通过上述式(6a)(6d)(7a)(7d)，(g(x))³包含基本角函数ω的3N 倍的频率成分和-3N倍的频率成分。针对(g(x))³中的其他项，也能 够通过三角函数的公式改写，由此可知(g(x))³包含从基本角函数ω 的-3N倍到3N倍的各种频率成分。

这样，(g(x))³包含：至第一信号S1所含的频率成分的3倍的 频率成分为止的高频成分。因此，3次方信号S32也包含第一信号S1 所包含的频率成分的3倍的频率成分等这样的充分比奈奎斯特频率 fs/2高的频率成分。因此，根据本实施方式，能够比基于线性处理的现 有技术的图像增强装置得到更大的画质改善。另外，由于能够以图16 所示这样的简单的结构使图像充分清晰，因此不仅对于静止图像，而 且对于实时显示的运动图像也能够在不导致成本大幅增加的情况下改 善画质。进而，在以图像放大处理后的图像信号为输入图像信号的情 况下，与不能够进行超过奈奎斯特频率fs/2的高频区域的补偿的现有 技术中的图像增强装置相比，能够使放大处理后的图像充分清晰而大 幅改善画质。

此外，在本实施方式中，为了对第一信号S1进行非线性处理而设 置了3次方运算器32，但也可以代替该3次方运算器32而使用使第一 信号S1进行5次方运算的5次方运算器，另外，更一般而言，也可以 使用生成与以3以上的奇数为幂指数的第一信号S1的乘幂相当的信号 的乘幂运算器。

(4.第四实施方式)

图18是表示本发明的第四实施方式的图像增强装置的结构的框 图。该图像增强装置400为对作为数字信号从外部输入的输入图像信 号Sin实施图像增强处理的装置，该图像增强处理用于使该输入图像信 号Sin所表示的图像清晰，该图像增强装置400包括HPF11、非线性 处理部402和加法运算器16，其中，非线性处理部402包括平方运算 器12、符号变换器43和限制器33。本实施方式的结构中的除非线性 处理部402以外的部分与上述第一实施方式相同(图1～图4)。另外， 非线性处理部402中的平方运算器12和限制器33分别与第一实施方 式中的平方运算器12和第三实施方式中的限制器33相同。对本实施 方式的构成要素中与第一或第三实施方式中的构成要素相同的部分附 加相同的参照附图标记，省略详细的说明。

在本实施方式中，从HPF11输出的第一信号S1被输入至非线性处 理部402的平方运算器12。平方运算器12通过对第一信号S1进行平 方(2次方)运算而生成平方信号S12。该平方信号S12被输入符号变 换器43。第一信号S1也被输入该符号变换器43。

符号变换器43基于从HPF11输出的第一信号S1的符号比特信息， 进行使第一信号S1的符号在平方信号S12中恢复(复活)的符号变换 处理。即，符号变换器43保持(维持)平方信号S12中正负与第一信 号S1相同的部分的正负不变，使平方信号S12中正负与第一信号不同 的部分的正负颠倒(逆转)。通过该符号变换器43得到的信号，作为 符号变换信号S43被输入限制器33。符号变换信号S43通过该限制器 33与第三实施方式的限制器33同样地被调整振幅后，作为第二信号 S2从非线性处理部402被输出。该第二信号S2作为补偿用信号被输入 至加法运算器16。

加法运算器16将上述第二信号S2作为用于使图像清晰的补偿用 信号与输入图像信号Sin进行加法运算，由此生成输出图像信号Sout。

接着，着眼于对输入图像信号Sin之中如图20(A)所示那样在水 平方向图像信号的电平(像素值)发生变化的边缘所相当的部分的处 理，对上述那样构成的本实施方式的图像增强装置400的动作进行说 明。

表示与图20(A)所示的边缘相当的部分的输入图像信号Sin被输 入至本实施方式的图像增强装置400时，生成图20(B)所示的信号 作为第一信号S1。在本实施方式中，该第一信号S1被输入至非线性处 理部402中的平方运算器12。平方运算器12基于第一信号S1生成图 20(C)所示的平方信号S12。

该平方信号S12通过符号变换器43被变换为图20(D)所示的符 号变换信号S43。在该符号变换信号S43中，第一信号S1的正负被保 存，另外，该符号变换信号S43能够通过对不包含直流成分的第一信 号S1(图20(C))平方后实施符号变换处理而得到，因此不包含直流 成分(图20(D))。

这样的符号变换信号S43在限制器33中被调整振幅后，作为第二 信号S2从非线性处理部302输出。通过将该第二信号S2作为补偿用 信号在加法运算器16与输入图像信号Sin进行加法运算，生成图20(E) 所示的输出图像信号Sout。该输出图像信号Sout的边缘部的上升，与 现有技术的图像增强装置的图像输出信号的边缘部的上升(图5(D)) 相比更陡。

如上述说明可知，作为补偿用信号与输入图像信号Sin进行加法运 算的第二信号S2，是通过对作为从HPF11输出的高频信号的第一信号 S1(图20(B))实施非线性处理而得到的信号。即，该第二信号S2 由第一信号S1通过平方运算器12而被生成，第一信号S1的正负通过 符号变换器43保存在第二信号S2中。在本实施方式中，基于这样的 对第一信号S1的处理的非线性和第一信号S1的正负的保存性，输出 图像信号Sout中的边缘部的上升比现有技术的图像增强装置的图像输 出信号的边缘部的上升(图5(D))更陡(图20(E))，与现有技术相 比能够得到更清晰的图像。

另外，第二信号S2基于平方运算器12的处理，包含比与输入信 号Sin的采样频率fs对应的奈奎斯特频率fs/2高的频率成分。因此， 根据本实施方式，能够比基于线性处理的现有技术的图像增强装置得 到更大的画质改善。另外，能够以图18所示的简单的结构使图像充分 清晰，因此，不仅对静止图像，而且对于实时显示的运动图像也能够 在不导致成本大幅增加的情况下改善画质。进而，在以图像放大处理 后的图像信号为输入图像信号的情况下，与不能够进行超过奈奎斯特 频率fs/2的高频区域的补偿的现有技术的图像增强装置相比，能够使 放大处理后的图像充分清晰而大幅改善画质。

此外，在本实施方式中，为了对第一信号S1进行非线性处理而设 置了平方运算器12，但也可以代替该平方运算器12而使用使第一信号 S1进行4次方运算的4次方运算器，另外，更一般而言，也可以使用 生成与以2以上的偶数为幂指数的第一信号S1的乘幂相当的信号的乘 幂运算器。

(5.第五实施方式)

图19是表示本发明的第五实施方式的图像增强装置的结构的框 图。该图像增强装置500为对作为数字信号从外部输入的输入图像信 号Sin实施图像增强处理的装置，该图像增强处理用于使该输入图像信 号Sin所表示的图像清晰，该图像增强装置500包括HPF11、非线性 处理部502和加法运算器16，其中，非线性处理部502包括平方运算 器12、微分器13、符号变换器43和限制器33。本实施方式的结构中 的除非线性处理部502以外的部分与上述第一实施方式相同(图1～图 4)。另外，非线性处理部502中的平方运算器12和微分器13分别与 第一实施方式中的平方运算器12和第一微分器13为相同的构成要素， 非线性处理部502中的限制器33与第三实施方式中的限制器33为相 同的构成要素。对本实施方式的构成要素中与第一或第三实施方式中 的构成要素相同的部分附加相同的参照附图标记，省略详细的说明。

在本实施方式中，从HPF11输出的第一信号S1被输入至非线性处 理部502的平方运算器12。平方运算器12通过对第一信号S1进行平 方(2次方)运算而生成平方信号S12，该平方信号S12被输入至微分 器13。该微分器13通过对平方信号S12进行微分而生成微分信号S13， 该微分信号S13被输入至符号变换器43。第一信号S1也被输入至该符 号变换器43。

符号变换器43基于从HPF11输出的第一信号S1的符号比特信息， 进行使第一信号S1的符号在微分信号S13中恢复的符号变换处理。即， 符号变换器43维持(保持)微分信号S13中正负与第一信号S1相同 的部分的正负不变，使微分信号S13中正负与第一信号不同的部分的 正负颠倒。通过该符号变换器43得到的信号，作为符号变换信号S44 被输入至限制器33。符号变换信号S44通过该限制器33与第三实施方 式的限制器33同样地被调整振幅后，作为第二信号S2从非线性处理 部502输出。该第二信号S2作为补偿用信号被输入至加法运算器16。

接着，着眼于对输入图像信号Sin之中如图21(A)所示那样在水 平方向图像信号的电平(像素值)发生变化的边缘所相当的部分的处 理，对上述那样构成的本实施方式的图像增强装置500的动作进行说 明。

表示与图21(A)所示的边缘相当的部分的输入图像信号Sin被输 入至本实施方式的图像增强装置500时，图21(B)所示的信号作为 第一信号S1被生成。在本实施方式中，该第一信号S1被输入至非线 性处理部402中的平方运算器12。平方运算器12由第一信号S1生成 图21(C)所示的平方信号S12。

该平方信号S12被输入至微分器13，通过该微分器13生成图21 (D)所示的微分信号S13。在该微分信号S13中，平方信号S12所包 含的直流成分已被除去。该微分信号S13通过符号变换器43变换为图 21(E)所示的符号变换信号S44。在该符号变换信号S44中，第一信 号S1的正负被保存。

这样的符号变换信号S43在限制器33之被调整振幅后，作为第二 信号S2从非线性处理部302输出。通过将该第二信号S2作为补偿用 信号在加法运算器16与输入图像信号Sin进行加法运算，生成图21(F) 所示的输出图像信号Sout。该输出图像信号Sout的边缘部的上升，与 现有技术的图像增强装置的图像输出信号的边缘部的上升(图5(D)) 相比更陡。

根据上述说明可知，作为补偿用信号与输入图像信号Sin进行加法 运算的第二信号S2，是通过对作为从HPF11输出的高频信号的第一信 号S1(图21(B))实施非线性处理而得到的信号。即，该第二信号 S2由第一信号S1通过平方运算器12而被生成，通过微分器13被除去 直流成分，并且通过符号变换器43将第一信号S1的正负保存在第二 信号S2中。在本实施方式中，基于这样的对第一信号S1的处理的非 线性和第一信号S1的正负的保存性，输出图像信号Sout中的边缘部 的上升比现有技术的图像增强装置的图像输出信号的边缘部的上升 (图5(D))更陡(图20(F))，与现有技术相比能够得到更清晰的图 像。

另外，第二信号S2基于平方运算器12的处理，包含比与输入图 像信号Sin的采样频率fs对应的奈奎斯特频率fs/2高的频率成分。于 是，根据本实施方式，能够比基于线性处理的现有技术的图像增强装 置得到更大的图像改善。另外，由于能够以图19所示这样的简单的结 构充分使图像清晰，因此不仅对于静止图像，而且对于实时显示的运 动图像也能够在不导致成本大幅增加的情况下改善画质。进而，在以 图像放大处理后的图像信号为输入信号的情况下，与不能够进行超过 奈奎斯特频率fs/2的高频区域(高频域)的补偿的现有技术的图像增 强装置相比，能够使放大处理后的图像充分清晰而大幅改善画质。

在本实施方式中，为了对第一信号S1进行非线性处理而使用了平 方运算器12，但也可以代之而使用在第二实施方式中使用的绝对值处 理器22。此时，能够通过与本实施方式基本相同的动作得到同样的效 果(参照图21)。

此外，在本实施方式中，为了对第一信号S1实施非线性处理而设 置了平方运算器12，但也可以取代该平方运算器12而使用对第一信号 S1进行4次方运算的4次方运算器，另外，更一般而言，也可以使用 生成与以2以上的偶数为幂指数的第一信号S1的乘幂运算相当的信号 的乘幂运算器。另外，在本实施方式中，为了除去平方信号S12的直 流成分而使用了微分器13，但也可以代之使用高通滤波器(HPF)。进 而，在本实施方式中微分器13配置在符号变换器43的前级，但也可 以代之而将微分器13或HPF配置在符号变换器43的后级。

(6.其他的实施方式)

在以上说明的实施方式中，非线性处理部中的非线性基于平方运 算、3次方运算(更一般而言，以2以上的偶数或3以上的奇数为幂指 数的乘幂运算)，或者基于绝对值处理，但是通过其他的非线性运算也 能够得到与上述各实施方式同样的效果。

以下，将这样的用于非线性运算的非线性运算器的输入信号值设 为x、输出信号值设为y，使该非线性运算器的处理以函数f(x)表示 (y＝f(x))。在本发明中，能够使用进行与线性或正负对称地单调增 加的非线性函数f(x)相当的处理的非线性运算器。此外，这里的单 调增加是指广义的单调增加。另外，该非线性函数f(x)，没有必要随 所有的x单调增加，至少在0附近单调增加即可。进而，优选该非线 性函数f(x)至少在0附近的规定区间中f(x)＞x。

例如，通过使用进行与正负对称地单调增加的上述这样的非线性 函数f(x)相当的处理的非线性运算器62的图22所示的结构的图像 增强装置600、或使用该非线性运算器62的图23所示的结构的图像增 强装置700，也能够将输入图像信号Sin中不包含的高频成分即比原信 号的奈奎斯特频率fs/2高的高频成分附加至图像，实现与上述各实施 方式相同的效果。图22的图像增强装置600的结构为：在图18所示 的第四实施方式的图像增强装置400中，取代平方运算器12而使用上 述非线性运算器62，在第四实施方式的变形例中也能够取代图18的图 像增强装置400而使用图22的图像增强装置600。另外，图23的图像 增强装置700为在图19所示的第五实施方式的图像增强装置500中， 取代平方运算器12而使用上述非线性运算器62的结构，在第五实施 方式的变形例中也能够取代图19的图像增强装置500而使用图23的 图像增强装置700。

作为表示图22或图23所示的结构中的非线性运算器62的处理的 函数f (x)，即正负对称且广义地单调增加、(优选)f(x)＞x的非线 性函数，除了f(x)＝x²ⁿ(n为自然数)之外，例如也能够使用下述的 函数f(x)。

f(x)＝|x|^1/2……(8)

f(x)＝|x|^1/10……(9)

上述式(8)的函数f(x)和上述式(9)的函数f(x)，在x＝0～1之 间增加较大，因此在本实施方式中的图像增强装置中，使用该区间。

如果输入图像信号Sin为8比特的数字信号，则像素值取0～255 的值。在此，实际上使用上述函数时，以255使像素值x正规化(标 准化)。例如对于上述式(8)的函数，以x/255置换右边的x，并且在 右边乘以255。即，使用下面的函数。

f(x)＝255|x/255|^1/2……(10)

根据上述式(10)的函数，满足f(x)＞x。此外，如果输入图像 信号Sin为10比特的数字信号，则以1023进行正规化即可。

在上述式(10)的函数中，对式(8)的函数正规化后乘以255， 但是该乘法运算的值并非必须为与用于正规化的值(本例中为255)相 同的值。例如也可以为f(x)＝100|x/255|^1/2，只要满足f(x)＞x 的条件即可。

采用上述方法时，下述的三角函数f(x)，也能够作为表示上述非 线性运算器62的处理的非线性函数使用。

f(x)＝255|sin[(x/255)(π/2)]|……(11)

(7.实际图像的验证)

为了验证本发明的效果，对实际的图像进行本发明的图像增强处 理。下面，针对该图像增强处理的结果进行说明。

图24表示为了验证本发明的效果而使用的图像(下面称为“原始 图像”(即，“原图像”))，该原始图像为了配合图面上的登载(刊登) 空间，比实际尺寸缩小。图25为切取该原始图像中的右上部分、进行 纵、横2倍的放大处理后的图像，作为图像增强处理的对象(以下称 为“对象图像”)。该对象图像不具有与放大处理后的采样频率Fb＝2fs 对应的奈奎斯特频率Fb/2＝fs附近的频率成分(参照图8(A))。此外， 图24和图25中，考虑到打印(print out)的情况等的方便性而采用伪 (pseudo：仿)灰度等级显示法。这点在后面叙述的图26和图27也是 相同的。

图26(B)表示对对象图像实施基于线性处理的现有技术的图像 增强处理后的图像，为了比较，图26(A)表示对象图像。如已经叙 述的那样，对象图像不具有放大处理后的奈奎斯特频率Fb/2＝fs附近的 频率成分(参照图8(A))，即使对该对象图像实施现有技术的图像增 强处理也不能提升画质，在图26(A)的对象图像与图26(B)的图 像之间，几乎未发现清晰度、分辨率方面有任何差别。

图27(A)表示在水平方向和垂直方向分别对对象图像实施使用 了绝对值处理器22的图15所示的结构的图像增强处理作为一维处理 之后的图像(参照图9)。在图27(A)的图像中，与图26(A)的对 象图像相比，以围巾、椅子靠背为中心清晰度、分辨率提高，在该方 面，图27(A)的图像与图26(B)的图像相比大幅不同。因此，基 于图15的结构进行的图像增强处理，与基于线性处理的现有技术的图 像增强处理相比，显然能够充分地使放大处理后的图像清晰、大幅改 善画质。

图27(B)表示在水平方向和垂直方向各一次地对对象图像实施 使用了3次方运算器32的图16所示的结构的图像增强处理后的图像 (参照图9)。在该图像增强处理中，输入图像信号Sin为8比特，用 于限制器33中的增益调整的常数α为0.03、用于限幅处理的上限值为 ±32。将图27(B)的图像与图27(A)相比较，在围巾、椅子靠背 部分的画质改善(清晰)方面，图27(A)的图像更胜一筹，但在眼 睛和嘴唇等这样的图像信号振幅较小的部分，图27(B)的图像更胜 一筹。由此可知，图15的结构与图16的结构相比，对振幅小的图像 信号，图16的结构即使用3次方运算器32的结构能够给予好的效果； 对振幅大的图像信号，图15的结构即使用绝对值处理器22的结构能 够给予好的效果。因此，考虑这方面，为了使整个图像清晰从而提高 图像的画质，优选为共用图15的结构和图16的结构。

(8.其他的变形例)

以上，作为本发明的实施方式，对于为了进行非线性处理，使用 平方运算器12的第一、第四和第五实施方式，使用绝对值处理器22 的第二实施方式，以及使用3次方运算器32的第三实施方式进行了说 明，但是本发明的图像增强装置也可以为将这些第一～第五实施方式 或它们的变形例(图9～图14)中的任意几个进行共用或组合的结构。

另外，上述各实施方式作为硬件(LSI等电路)被实现，但也可以 使这些结构的一部分或全部以软件实现。例如，通过使图28所示那样 的个人计算机(下面称为“计算机”)800执行程序，能够以软件实现 本发明的图像增强装置，其中，该程序例如是用于进行图1、图15、 图16、图18和图19分别表示的第一、第二、第三、第四和第五实施 方式以及图22和图23表示的其他实施方式中的任一个实施方式，或 者其变形例的图像增强处理的程序(下面称为“图像增强程序”)。特 别是，在作为对象的图像为静止图像时，通过这样以软件实现的图像 增强装置也能够充分地进行实用的图像增强处理，在通过使图像清晰 而提高画质方面能够得到与上述各实施方式同样的效果。

上述的计算机800为通用的计算机，构成为：以总线连接作为中 央处理装置的CPU801、存储器803、调制解调器805、显示控制部807、 输入接口部809、硬盘装置811和CD-ROM(Compact Disc Read Only  Memory，光盘只读存储器)驱动装置813，在输入接口部809连接有 键盘和鼠标等操作部810，在显示控制部807连接有CRT或液晶显示 器等显示装置815。上述图像增强程序，典型地由作为记录有该程序的 记录介质的CD-ROM提供。即，使用者购买作为上述图像增强程序的 记录介质的CD-ROM850，安装在CD-ROM驱动装置813，从该 CD-ROM850读出该程序，安装于硬盘装置811。另外，也可以代替这 种方式，接收通过与调制解调器805连接的通信线路输送来的图像增 强程序，安装在硬盘装置811。进而，也可以为如下方式：制造商在计 算机800出货前将上述图像增强程序安装于硬盘装置811。这样，安装 在硬盘装置811的图像增强程序，由使用者对操作部810进行规定操 作而启动(起动)时，转送至存储器803并被暂时存储，由CPU801 执行。由此，计算机800作为进行与上述各实施方式或其变形例的图 像增强装置同样的图像增强处理的装置进行动作。在这样以软件实现 的图像增强装置中，表示成为图像增强处理的对象的图像的数据作为 对象图像数据预先存储在硬盘装置811中，上述图像增强程序被启动 时，对该图像数据，基于图像增强程序由CPU801进行图像增强处理， 处理后的图像数据(下面称为“完成处理后的图像数据”)被生成，存 储于硬盘装置811。

上面，对用于改善画质的图像增强处理，例如用于改善在电视(TV) 接收机实时显示的运动图像的质量的图像增强处理进行了说明。但本 发明不限于这样的图像增强处理，也能够应用在进行用于提高音质(声 音质量)的信号处理、以及用于提高包含声音等的内容的质量的信号 处理的装置中，另外，也能够应用在进行用于提高通过通信线路输送 来的信号的质量的信号处理的装置中。由于能够在这样的进行本发明 的信号处理的装置中通过非线性处理得到原始信号的谐波，因此通过 该装置生成的信号包含比与使输入信号离散化的情况下的采样频率fs 对应的奈奎斯特频率fs/2高的频率成分。由此，对于信号的质量(音 质、画质等)，能够实现比基于线性处理的现有技术的信号处理更大的 改善，另外，能够以简单的结构提高信号的质量。

产业上的可利用性

本发明应用在用于使图像清晰而改善画质的图像增强装置、图像 增强方法和图像增强程序，能够应用在用于使例如电视(TV)接收机 实时显示的运动图像清晰的图像增强装置。

附图标记的说明

11、11B、11C  ……高频通过滤波器(HPF)

12  ……平方运算器(乘幂运算器)

13  ……第一微分器

14  ……第二微分器

15  ……乘法运算器

16  ……加法运算器

22  ……绝对值处理器

32  ……3次方运算器(乘幂运算器)

33  ……限制器

43  ……符号变换器

62  ……非线性运算器

100  ……图像增强装置(第一实施方式)

102  ……非线性处理部

110、110B、110C  ……数字滤波器

132  ……舍入处理器

133  ……限制器

200  ……图像增强装置(第二实施方式)

202  ……非线性处理部

300  ……图像增强装置(第三实施方式)

302  ……非线性处理部

400  ……图像增强装置(第四实施方式)

402  ……非线性处理部

500  ……图像增强装置(第五实施方式)

502  ……非线性处理部

Sin  ……输入图像信号(输入信号)

Sout  ……输出图像信号

S1  ……第一信号

S2  ……第二信号

S12  ……平方信号(第三信号)

S13  ……第一微分信号(第四信号)

S14  ……第二微分信号(第五信号)

S22  ……绝对值信号(第三信号)

S32  ……3次方信号(第三信号)