语音速度转换装置以及语音速度转换方法

具体实施方式

图4是出根据本发明的语音速度转换装置的基本结构的示意图。

在图4中，向速度转换单元40输入声音波形和声音代码。速度转换单元40根据声音的特征，利用声音波形以及声音代码中的一个或者二者来调整语音速度，并且输出经速度调整的声音。

图5是图4所示的速度转换单元40的结构示例的示意图。

在图5中，声音分类单元41根据声音的特征对输入声音进行分类。速度调整单元42根据声音分类结果，在利用声音波形及声音代码二者的速度调整方法和利用声音波形及声音代码中的一个的速度调整方法中进行适当选择。速度调整单元42利用所选择的方法来调整速度，并且输出经调整速度的声音。声音分类单元41安装有中央处理器(CPU)和数字信号处理器(DSP)，并且由包括只读存储器(ROM)、随机存取存储器(RAM)以及输入/输出(I/O)外围装置的常规CPU电路组成。如下面的结构框图所示，速度调整单元42也有类似结构。

图6是示出图5所示的速度调整单元42的结构示例的示意图。图7是示出处理流程的一个示例的流程图。

在本示例中，利用声音波形数据以及通过线形分析操作所获得的声音代码中的一个来调整语音速度。输入选择单元43基于来自声音分类单元41的声音分类，选择声音波形数据以及声音代码中的一个，以输入一帧(步骤S101和S102)。

同样，基于声音分类，将后一级互锁开关44及47转换到声音波形速度调整单元45或者声音代码速度调整单元46(步骤S103)。速度调整单元45或速度调整单元46(通过输入选择单元43将互锁开关44及47切换到其处)利用相对应的声音波形或声音代码，来执行速度调整处理(步骤S104或S105)，并且向输出单元48输出经速度调整的声音波形。

因为基于声音分类对用来速度调整的声音波形或者声音代码进行了适当选择，所以与仅使用声音波形或者声音代码来转换速度时相比，显著降低了在转换速度后的音质的劣化。

图8是示出图5所示的速度调整单元42的结构的另一示例的示意图。图9和10是图8所示的处理流程的示例的流程图。

在本例中，通过同时使用由线形预测操作所获得的声音波形数据和声音代码二者，来调整语音速度。因此，图7所示的输入选择单元43不是必需的。将所输入的声音波形以及声音代码直接分别地施加给速度调整单元45和速度调整单元46。将通过速度调整单元45对声音波形进行速度转换所获得的声音波形以及通过速度调整单元46对声音代码进行速度转换所获得的声音波形输入下一级的输出生成单元49(步骤S201-S204)。

输出生成单元49基于来自声音分类单元41的声音分类，计算两个输入声音波形的权重(步骤S301和S302)，将加权的两项声音波形相加，然后输出相加后的结果(步骤S403)。作为该方法应用的示例，考虑了从使用声音波形的速度调整区间到使用声音代码的速度调整区间的切换。

在此情况下，首先，将权重“1”赋予从使用声音波形的速度调整单元45输入的声音波形，将权重“0”赋予从使用声音代码的速度调整单元46输出的波形。然后，在预定的区间切换时间内，将来自速度转换单元45的声音波形的权重由“1”逐渐降到“0”。另一方面，将来自速度调整单元46的声音波形的权重由“0”逐渐增加到“1”。权重可呈线性或者指数地变化。结果，在本示例中，可以充分地限制由于在声音波形区间和声音代码区间之间进行切换时生成的波形不连续性所造成的噪音。

图11是根据本发明一个实施例的处理流程的示意图。利用图5所示的声音分类单元41和速度调整单元42所执行的操作流程来解释该操作。

在本示例中，声音分类单元41首先基于帧是否包含有声音将声音分类为“有声音(voice)”和“非声音(nonvoice)”(步骤S401至S403)。例如，当所输入信号的短时间能量持续预定时间或者更长时，声音分类单元41判定该帧包含有声音。接着，对判定为声音的区间更详细地进行分类。在本示例中，将浊音分类为“周期性的”，而非语音(例如环境噪音)分类为“非周期性的”(步骤S404)。通过考虑电平变化将“有声音”进一步分类为“周期性且稳定的”和“周期性且不稳定的”(步骤S405)。

通过考虑电平变化和猝发音，将非语音可以进一步分类为“非周期性、稳定且相似的”和“非周期性、稳定且不相似的”(步骤S409和S410)。此外，通过考虑爆破音等将非语音分类为“非周期性且非稳定的”(步骤S413)。还可以将类似于上述分类的分类应用于被判定为非语音的区间。

速度调整单元42基于上述分类结果，选择适合各个分类的速度调整方法，并且将方法切换到所选择的速度调整方法。在本示例中，利用声音波形，对被判定为“有声音”的区间中的被分类为“周期性且稳定的”区间的速度进行调整。将该速度调整到中间调整等级(步骤S406)。另一方面，利用声音波形，对被判定为“有声音”的区间中的被分类为“周期性且不稳定的”区间的速度进行调整。将该速度调整到较低调整等级(步骤S407)。

利用声音代码，对被判定为“声音”的区间中的被分类为“非周期性的”区间的速度进行调整。然而，不对被分类为“非周期性、稳定且相似的”和“非周期性且不稳定的”的区间的速度进行调整。利用声音波形对被判定为“非声音”区间的速度进行调整。将该速度调整到较高调整等级。

当声音分类单元41使用“周期性”、“稳定性”以及“相似性”来对声音进行详细分类时，本示例中的速度调整单元42根据该分类，在“周期性”区间中利用声音波形来转换速度(步骤S404中的“是”之后)。除了不执行速度转换(步骤S411和S413)的情况以外，声音分类单元41在“非周期性”区间利用声音代码来转换速度(步骤S408中的“否”之后)。

在周期性区间中，通过根据周期对声音波形进行重复或删除，可以转换速度而不明显劣化音质。然而，在周期性区间中使用声音代码时，对所输入声音的残差信号的重复或删除会影响在线性预测滤波之后的态，且在预测系数与残差信号之间出现不匹配。因此，在周期性区间利用声音波形转换了速度。

另一方面，出于下列原因，在非周期性区中利用声音代码来转换速度。在“非周期性且稳定的”区间(步骤S409中的“是”之后)，当利用声音波形调整速度时，该波形由于波形的重复或删除而变得不连续。此外，会出现在最初不存在的周期性，且使声音劣化。当在该区间使用声音代码时，即使由于残差的重复或删除而出现了不连续性，该不连续性也会通过最终使该声音通过线形预测滤波而被薄化。“稳定”区间在不包括的滤波器的上升下降区间的频率特性上变化很小。因此，由于残差的重复或删除而导致的对线形预测滤波的状态的影响几乎没有，从而不容易使音质劣化。

出于下列原因，对速度调整单元42所执行的速度调整的等级进行确定。

在“非声音”区间中(步骤S408)，速度调整单元42搜索在提高速度和降低速度时非声音区间的两端都平滑相连而无间断的声音波形部分。速度调整单元42删除夹在这些非声音区间中间的所有区间。在此情况下，速度调整等级变为“高”。

在“周期性且稳定的”区间中(步骤406)，速度调整单元42通过在声音信号的周期性且稳定的区间中利用声音波形进行重复或者薄化，来调整速度而不使音质劣化。在此情况下，当执行重复或薄化的次数变得极端大时，则出现不自然。因此，将速度调整等级设为“中”。“周期性且不稳定的”区间(步骤S407)具有像声音信号的电平变化的周期性，但能量有所变化。因此，在利用声音波形进行周期性地重复或薄化时，速度调整单元42设定速度调整等级为“低”以减少由于能量变化而导致的声音劣化。

“非周期性、稳定且不相似的”区间(步骤S112)是具有无关联的信号稳定延续的区间。速度调整单元42在该区间中利用声音代码来调整速度。在此情况下，能够通过随机生成固定密码本(codebook)，来调整速度(即能够使速度降低)而不生成新的周期性。此外，能够通过在压缩(删除)残差信号后利用线形预测滤波来生成输出信号，来限制不连续性。

另一方面，“非周期性、稳定且相似的”区间(步骤S111)和“非周期性且不稳定的”区间(步骤S113)是信号变化较大的区间，且声音容易因为速度调整而劣化。因此，速度调整单元42不对该区间的速度进行调整。根据本发明，声音分类单元41对输入声音进行分类，而速度转换单元42选择性地使用速度转换方法。因此，能够增大声音的扩展及压缩区间的比例，而并不使音质劣化。

下面说明上述实施例的详细的处理内容。

图12是显示图11所示的处理的基本流程的流程图。

在图12中，图4所示速度转换单元40(即图5所示的声音分类单元41和速度调整单元42)首先输入输入信号的一帧(即声音波形和通过执行声音波形的线性预测转换所获得的声音代码)(步骤S501)。声音分类单元41对图11所示的输入信号进行分类(步骤S502)，并且速度调整单元42基于该分类执行图11所示速度转换处理(步骤S503)。速度转换单元40持续上述处理直到输入帧的序列结束(步骤S504)。

图13是通过声音分类单元41执行的对输入信号的分类处理的流程的一个示例的流程图(图12中的步骤S502)。

在本示例中，基于关于有声音和非声音的判断、以及关于有/无周期性、有/无稳定性以及有/无相似性的判断，对所输入信号进行分类。首先，将所输入信号大致地分类为“有声音”区间以及“非声音”区间。将被判定为“有声音”的区间进一步分类为“周期性的”区间、“非周期性且稳定的”区间以及“非周期性且不稳定的”区间(见图11)。

因此，声音分类单元41输入声音波形和声音代码的一帧(步骤S601)，并且将所输入信号分类为包含声音的有声音区间和不包含声音的非声音区间(步骤S602)。接着，声音分类单元41在被判定为“有声音”的区间中判断有/无周期性、有/无稳定性以及有/无相似性(步骤S603到S605)。声音分类单元41基于判断结果对输入信号进行分类(步骤S606)。在本示例中，分类项目并不局于周期性、稳定性以及相似性，也可以使用其他分类项目。不需要对未分类项目进行判定。

图14是图13所示的关于周期性的判断(S603)的一个示例的流程图。

在本示例中，将计算自动相关系数的通用方法应用于声音波形。对输入帧进行抽样，并且计算自动相关系数取最大值的频率(步骤S701至S703)。基于该频率与在紧邻的前一帧中使自动相关系数取最大值的频率之间的差异，来判断周期性(步骤S704)。例如，将预定的阈值与该差异进行比较。当该差异与阈值相等或者比阈值小时，将该区间判定为“周期性的”(步骤S705)。在其他情况下，将该区间判定为“非周期性的”。

图15是图13所示的关于稳定性的判断的一个示例的流程图。

在本示例中，使用声音代码来计算能量。首先，输入声音代码的一个帧，然后计算线性预测系数的变化(标准偏差(SD))(步骤S801和S802)。为此，根据下列公式(1)来计算线性预测系数的SD。

$>>SD>=>>1>n>\underset{}{\overset{}{{}^{}}}$

其中，n代表线性预测分析次数，Ci代表当前帧的线性预测系数(第i次)，而Pi代表前一帧的线性预测系数(第i次)。

接着，根据下述公式(2)计算能量(POW)(步骤S803)。

$>>POW>=>>1>m>\underset{}{\overset{}{{}_{}^{}}}$

其中，m代表m帧的抽样数量，而Ai代表当前帧的振幅(第i个抽样)。

接着，根据下述公式(3)计算能量的变化(DP)(步骤S804)。

DP＝POWt-POWt-1                                            (3)

其中，POWt代表当前帧的能量，以及POWt-1代表前一帧的能量。

最后，基于上述计算结果判断稳定性(步骤S805)。在本示例中，当SD与预定阈值相等或者比该值小，并且当DP与预定阈值相等或者比该值小时，将该区间判定为“稳定的”。在其他情况下，将该区间判定为“不稳定的”。为判断下一帧，存储当前帧的能量以及线性预测系数(步骤S806)。

图16是图13所示的关于相似性判断(步骤S605)的一个示例的流程图。

在本示例中，使用与参照图14所说明的相同的自动相关系数来判断相似性。首先，输入输入信号的声音波形的一帧(步骤S901)。其次，计算自动相关系数，并且计算该自动相关系数的最大值(步骤S902和S903)。将自动相关系数的最大值与预定阈值进行比较。当自动相关系数的最大值等于或者大于预定阈值时，将该区间判定为“相似的”。否则，将该区间判定为“不相似的”。

下面说明通过速度调整单元42执行的速度转换(图12中的步骤S503)的详细处理。在图17和图18所示的示例中说明了使用声音代码执行的处理(见图3)。在进行该处理之前，速度调整单元42基于通过声音分类单元41执行的分类的结果，在图11所示的流程(步骤S406、S407、S408、S411、S412以及S413)中选择一个终端处理。基于时域谐波换算算法等的现有方法，执行利用声音波形的处理(见图2)。

图17是示出利用代码的速度调整(在压缩时)的一个示例的流程图。

在本示例中，速度调整单元42首先输入声音代码的一帧(步骤S1001)。接着，从前一帧和当前帧，薄化前一帧的残差信号。结果，根据这两个帧的残差信号生成一个帧的残差信号(步骤S1002)。同时，从前一帧和当前帧，薄化紧邻的在先帧的线性预测系数。因此，根据这两个帧的线性预测系数来生成一个帧的线性预测系数(步骤S1003)。将所生成的一个帧的残差信号和所生成的一个帧的线性预测系数输入给线性预测滤波器。因此，通过组合生成了由于压缩而导致速度增大的声音波形。

图18是示出利用代码的速度调整(在扩展时)的一个示例的流程图。

在本示例中，速度调整单元42首先输入声音代码的一个帧(步骤S1101)。在此情况下，利用前一帧的残差信号以及当前帧的残差信号来生成一个帧的新的残差信号。因此，将总和为1的权重系数乘以前一帧的残差信号以及当前帧的残差信号。将加权残差信号进行相加，以生成新的残差信号。将所生成的残差信号插入在前一帧的残差信号与当前帧的残差信号之间，由此生成三个帧的残差信号(步骤S1102)。在编码系统具有密码本的情况下，随机地生成密码本的索引，从而生成一个帧的新的残差信号。

接着，对前一帧的线性预测系数和当前帧的线性预测系数进行内插，以生成新的线性预测系数。将所生成的线性预测系数插入在前一帧的线性预测系数与当前帧的线性预测系数之间，因此生成三个帧的线性预测系数(步骤S1103)。在编码系统具有密码本的情况下，随机地生成密码本的索引，从而生成一个帧的新的残差信号。最后，将所生成的这三个帧的残差信号以及所生成的这三个帧的线性预测系数输入线性预测滤波器。因此，通过组合生成了通过扩展而导致速度降低的声音波形。

如上所述，根据本发明，因为使用了声音波形数据和声音代码二者，所以能够基于声音的特征为选择性地使用信息。与通过仅使用声音波形数据和声音代码中的一个的转换速度所获得的音质相比，能够提高速度转换后的音质。此外，将所输入信号分类为几种声音。基于对声音的分类，能够通过使用声音波形数据和声音代码中的一个或二者的方法来转换输入信号的速度，从而降低了音质的劣化。与通过仅使用声音波形数据和声音代码中的一个的转换速度所获得的音质相比，能够提高速度转换后的音质。