计算机辅助语言学习系统中的发音质量评价方法

具体实施方式

以下结合附图对本发明提出的用于计算机辅助语言学习的发音质量评价方法的实施例进行详细说明。图1是根据本发明的发音质量评价方法的总体流程图。(1)首先参考语音和测试语音分别经声学模型、感知模型、段长模型和基音模型计算出匹配分数、感知分数、段长分数和基音分数。(2)将这些分别描述声学、感知和韵律等方面的发音质量的分数进行分数融合。(3)用融合后的分数对测试语音的发音质量进行评价。

参考语音是指作为发音质量评价的基准的教师的标准发音，测试语音是指作为发音质量的评价对象的学习者的语音。因此，在本发明的发音质量评价方法中，需要计算测试语音相对于参考语音的发音在质量上的差别。本发明实施例的整个计算过程细节构成如下：

1、匹配分数计算：

图2是匹配分数的示意图。首先分别对参考语音和测试语音进行分帧处理，得到短时平稳的分帧语音。然后对每帧语音提取美尔频标倒谱系数(MFCC)特征。其中，对每帧语音所提取的MFCC特征包括39维，即：12维MFCC系数及其一阶差分和二阶差分，归一化能量及其一阶差分和二阶差分。MFCC特征反映了语音的静态特征，而MFCC的一阶和二阶差分系数则反映了语音的动态特征。然后利用训练好的隐含马尔可夫模型(HMM)，采用Viterbi解码算法分别对参考语音和测试语音进行强制对准，得到参考语音和测试语音的似然分数和每个音素的时间分隔信息。这里，HMM的训练过程对于本领域技术人员来说属于公知技术，因此这里只对其作简要的说明。HMM采用从左到右的状态转移模型，该模型能够很好地描述语音的发音特点。例如可用采用3状态隐含马尔可夫模型，其拓扑结构如图3所示。其中q_i表示HMM的状态，a_ij表示HMM的跳转概率，b_j(O_t)为HMM模型的状态输出的多流混合高斯密度概率分布函数，如公式(1)所示：

$b_j\left(O_t\right)=\underset{s=1}{\overset{S}{\Pi }}{\left[\underset{m=1}{\overset{M_S}{\Sigma }}{C}_{\mathrm{jsm}}N(O_{\mathrm{st}};{\mu }_{\mathrm{jsm}};{\phi }_{\mathrm{jsm}})\right]}^{{\gamma }_s}---\left(1\right)$

其中，S是数据流的个数，M_s是每一数据流中的混合高斯密度分布的个数，N为高维高斯分布，如公式(2)所示：

$N(o;\mu ;\phi )=\frac{1}{\sqrt{{\left(2\pi \right)}^n\left|\phi \right|}}{e}^{-\frac{1}{2}(o-\mu ){\phi }^{-1}(o-\mu )}---\left(2\right)$

测试语音和参考语音是由多个音素构成。分别对参考语音和测试语音进行强制对准后，第i个音素的匹配分数L(i)由下式给出：

       L(i)＝|log(p_text(O_test|q_i))-log(p_ref(O_ref|q_i))|               (3)

其中，p_test(O_test|q_i)是测试语音的似然度，p_ref(O_ref|q_i)是参考语音的似然度。其中，q_i表示第i个音素HMM模型，O_test和O_ref分别是测试语音和参考语音的MFCC特征矢量。

匹配分数定义为音素平均匹配分数：

$S_{\mathrm{mat}\_\mathrm{sen}}=\frac{1}{N_p}\underset{i=1}{\overset{N_p}{\Sigma }}L\left(i\right)---\left(4\right)$

其中，N_p为语音发音中音素总个数，L(i)为第i个音素的匹配分数。

2、感知分数计算：

图4是感知分数的计算示意图。首先分别对参考语音和测试语音分帧并加Hanning窗。然后将每一帧语音经过在Mel频标上均匀分布的三角窗滤波器，得到每个三角窗滤波器输出的能量和的对数值M(q)：

$M\left(q\right)=\ln [\underset{n=F_{q-1}}{\overset{F_q}{\Sigma }}\frac{n-F_{q-1}}{F_q-F_{q-1}}G\left(n\right)+\underset{n=F_q}{\overset{F_{q+1}}{\Sigma }}\frac{F_{q+1}-n}{F_{q+1}-F_q}G\left(n\right)],---\left(5\right)$

q＝1，2，3…，Q

其中，F_q是第q个三角窗滤波器的中心频率，F_q+1和F_q-1分别为第q个三角窗滤波器的上、下截止频率，G(n)为三角窗函数，Q为三角窗滤波器的个数。通常Q＝20～26。

根据心理学中的幂定律，将每个三角窗滤波器输出的对数能量可以映射到响度域上，计算如下式所示：

             L(q)＝0.048M(q)^0.6                 (6)

其中，M(q)是第q个滤波器输出的对数能量，L(q)是M(q)映射到感知域的响度。

在基于所述匹配分数计算过程中得到的每个音素的时间分隔对准信息基础上，进一步利用动态时间规整(Dynamic Time Warping，DTW)方法将参考语音和测试语音的在音素层面上进一步逐帧细化对准。这里，DTW方法对于本领域技术人员来说属于公知技术，因此略去对其的说明。

利用DTW算法对参考语音和测试语音每帧进行对准后，就可以计算在每个三角窗输出的响度差D(q)：

           D(q)＝L_test(q)-L_ref(q)i＝1，2，3，…，Q        (7)

其中，L_test(q)和L_ref(q)分别表示测试语音和参考语音在第q个三角窗滤波器上输出的响度。

求出每个三角窗滤波器输出的响度差后，需要进一步计算整个Mel频带上的总响度差，也就是要计算每帧语音的响度差。一帧语音的响度可以通过对整个Mel频带上所有三角窗输出的响度差进行加权求和得到。参考语音和测试语音的第j帧语音的响度差p_frame(j)为：

$p_{\mathrm{frame}}\left(j\right)=\underset{q=1}{\overset{Q}{\Sigma }}W\left(q\right)\sqrt{\frac{\underset{i=1}{\overset{Q}{\Sigma }}{\left(D\left(q\right)W\left(q\right)\right)}^2}{\underset{i=1}{\overset{Q}{\Sigma }}W\left(q\right)}}---\left(8\right)$

其中，D(q)为参考语音和测试语音在第q个临界带内的响度差，W(q)为第q个三角滤波器的带宽。

音素的感知分数定义为参考语音和测试语音的帧平均响度差：

$p_{\mathrm{phone}}\left(i\right)\sqrt[6]{\frac{\underset{j=1}{\overset{N}{\Sigma }}{\left[p_{\mathrm{frame}}\left(j\right)\right]}^6}{N}}---\left(9\right)$

其中，N为参考语音和测试语音中较长语音对应音素的帧数，p_frame(j)为第j帧的响度差。因此，整个语音发音的感知分数p_{p_sen}为发音中所有音素响度差的平均值：

$p_{p\_\mathrm{sen}}=\frac{1}{N_p}\underset{i=1}{\overset{N_p}{\Sigma }}{p}_{\mathrm{phone}}\left(i\right)---\left(10\right)$

其中，N_p为整个语音发音中音素总个数。

3、段长分数计算：

图5是段长分数的计算示意图。基于匹配分数计算中得到的每个音素的时间分隔信息，并利用段长模型分别计算参考语音和测试语音各个音素的段长概率分数。计算段长概率分数时所采用的段长模型可以是直方图模型或者Gamma模型。对于本领域技术人员来说，这属于公知技术。因此，略去对其的详细说明。

音素的段长分数d_phone定义为测试语音和参考语音段长概率分数的对数差：

                    d_phone＝|LogD_test-LogD_ref|                 (11)

其中D_test为测试语音的相应音素的段长概率分数，D_ref为参考语音相应音素的段长概率分数。

整个语音发音的段长分数d_sen定义为所有音素段长分数的平均值：

$d_{\mathrm{sen}}=\frac{1}{N_p}\underset{i=1}{\overset{N_p}{\Sigma }}{d}_{\mathrm{phone}}\left(i\right)---\left(12\right)$

4、基音分数计算：

图6是基音分数的计算示意图。首先，分别提取参考语音和测试语音的基音。现有技术中已有多种基音提取方法。综合考虑算法复杂度、鲁棒性、基音估计的准确性等因素，本文采用基于线性预测编码的LPC分析的自相关估计算法。然后结合匹配分数计算中得到的每个音素的时间分隔信息，分别计算参考语音和测试语音中每个元音内的基音极大值和极小值之差，即元音内的基音极值差定义为：

                       S_vow(i)＝P_max(i)-P_min(i)              (13)

其中P_max(i)和P_min(i)分别表示第i个元音内的基音的极大值和极小值。

基音分数R_{vow_max_min}定义为：

$R_{\mathrm{vow}\_\max \_\min }=\frac{1}{N_v}\underset{i=1}{\overset{N_v}{\Sigma }}{|S_{\mathrm{vow}}^{\mathrm{test}}\left(i\right)-S_{\mathrm{vow}}^{\mathrm{ref}}\left(i\right)|}^2---\left(14\right)$

其中N_v为句子中的元音总数，S_vow^test(i)为测试语音中第i个元音内的基音极值差，S_vow^ref(i)为参考语音中第i个元音内的基音极值差。

5、分数映射和分数融合：

图7是分数映射和融合计算示意图。图中先对机器分数进行映射，然后采用线性加权或者SVM对映射后的机器分数进行融合，得到最终的客观分数。

(1)机器分数的映射方法：在分别计算出匹配分数、感知分数、段长分数和基音分数之后，需要将这四个分数首先进行分数映射。不同方法得出的机器分数的取值区间通常并不相同。因此需要利用映射函数将机器分数映射到与专家评分相一致的对应区间内。可以基于Sigmoid函数、多项式函数或线性函数中的一个对所述匹配分数、所述感知分数、所述基音分数和所述段长分数进行映射。最简单有效的映射方法可以采用三次多项式函数进行映射。映射中优化准则为最小均方误差准则，通过映射函数将机器分数映射到专家评分取值区间。

                    y＝a₁x³+a₂x²+a₃x+a₄                     (15)

其中，x为原始机器分数，y为映射后的机器分数，a₁，a₂，a₃和a₄为多项式系数。

(2)分数融合的方法：现有信号技术中存在多种信息融合处理方法，例如可以采用线性函数、神经网络、高斯混合模型、支持向量机、Logistic回归，以及其他适于对多种不同分数进行融合的方法。本发明主要采用线性函数和支持向量机对上述匹配分数、感知分数、段长分数和基音分数进行融合。

如果机器分数和专家评分都可以看作联合分布的高斯随机变量，或者二者之间存在线性关系，那么融合后的分数可以表示为机器分数的线性组合：

其中，s₁，s₂，…，s_n表示各个机器分数，a₁，a₂，…，a_n为组合系数。这些组合系数可以由开发集数据根据最小均方误差准则确定。

SVM的融合方法有通用的软件工具可以使用，基于SVM的融合在性能上由于线性融合的方法。对于本领域技术人员来说SVM融合方法属于公知技术，因此略去对其的说明。

在发音质量的评价中，通常用计算机对发音质量进行自动评价而得到的分数(通常称为机器分数)与专家对同一发音的评价分数之间的相关系数来表示发音质量评价方法的性能，如式(17)所示。通常，相关系数越高，说明机器分数越接近专家的分数，从而性能越好。

$C_{\mathrm{corr}}=\frac{\Sigma (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\Sigma {(x_i-\bar{x})}^2\Sigma {(y_i-\bar{y})}^2}}---\left(17\right)$

其中x_i和y_i分别是第i个单词或语句的机器评价分数和相应专家评价分数，和分别是所有测试语音的机器评价分数的均值和专家评价评分的均值。

该评价过程需要采集有一定规模的评价语音库，首先请专家对库中语音进行主观评价，然后用机器进行评价。通过公式(7)进行计算机器评价和专家评价之间的相关度。本发明针对单词和短句的发音质量机器评价分数与专家评分的相关系数达到0.800，其性能优于基于HMM的传统评价方法。