一种语言障碍评估与矫正系统

技术领域

本发明涉及语言障碍技术领域，具体为一种语言障碍评估与矫正系统。

背景技术

语言，是人类最重要的交际工具，是人类思维和表达思想的手段，也是人类社会最基本的信息载体，更是人与人之间思想碰撞的重要媒介，人们之间的交往离不开语言的存在。

当前市场上的产品，没有针对语言障碍患者的情况进行评估的产品，对于语言障碍者的评估，均是以人为的、面对面评估为准，技术上存在人为专业的参差，没有一个统一的标准，会对评估结果的准确性产生一定的影响；另一方面，现存市面上的语音辅导系统，装置复杂，需要准备各种矫正装置、投影装置、耳机耳麦等硬件设施，且矫正装置还需包含录音单元、播放单元、显示单元、和存储单元等的单元装置组合而成，装置繁琐、且必须一人一套装置。在使用上必须有专人陪同本人操作，一患一辅助一装置的设定不仅是设备成本高，人员配置相对线下一对一专业辅导相比，并没有太大的优势，且对语言障碍者的矫正过程没有针对性，过程不严谨，这也是传统的评估系统存在的高成本、难操作、地域限制等的弊端，因此，便需要一种语言障碍评估与矫正系统来解决此类问题的发生。

发明内容

本发明提供了一种语言障碍评估与矫正系统，省去了设备化、人工化的操作复杂，填补了评估系统数字化的空白，以及方便被评估者随时随地进行语言评估及矫正的优点，解决了现有技术中语言障碍者的矫正过程没有针对性，过程不严谨，评估系统存在的高成本、难操作和地域限制等问题。

本发明提供如下技术方案：一种语言障碍评估与矫正系统，包括输入模块、录音模块、存储模块、处理模块、对比模块、显示模块和播放模块，所述输入模块用于外部音频信号的输入，所述录音模块用于录制外部音频信号，所述存储模块用于存放音频信号，所述处理模块用于将要对比的数据转成可进行对比类型，所述对比模块用于将转换成同一类型的数据进行比较，产生一个对比相似度，所述显示模块用于显示给使用者看的，所述播放模块用于使用者点击播放音频，其中，所述存储模块事先会存放好标准发音音频在一个文件夹里面，数据库只存它们各自的路径，通过循环遍历的方法一个个呈现给使用者点击，当使用者点击播放相应的音频，会听到已经存好的标准发音音频，听到相应的音频后使用者将进行跟读，所述录音模块就会录制使用者说的声音，并通过所述存储模块存储起来，以此作为外部音频信号，同时，记录被点击播放的音频作为内部音频信号，所述录音模块会录制包括所述录音模块会录制包括单元音韵母、复元音韵母和辅音声母的正确发音，并通过所述存储模块存为图片注释加发音的视频文件，并通过所述存储模块存为图片注释加发音的视频文件。

优选的，所述外部音频信号和所述内部音频信号通过傅里叶变换以及运用窗函数进行处理便可以得到一段音频片段的能量谱，所述音频片段的能量谱被提取成每帧的chroma特征向量，并组成chroma特征向量组，最终得到各自的特征矩阵。

优选的，所述外部音频信号和所述内部音频信号的特征矩阵通过DTW算法比较它们的相似度，以判断两种信号的相似度。

优选的，所述图片注释加发音的视频文件中含有语音矫正方法图文说明，并配合语音讲解矫正操作，以及讲解实操音像。

优选的，所述存储模块还存有语流训练材料，所述语流训练材料用于普通话语流训练。

优选的，所述音素包括元音和辅音，所述音节包括声母和韵母。

优选的，所述元音和所述辅音包括六个单元音韵母、十八个复元音韵母和二十一个辅音声母。

本发明具备以下有益效果：

一、该发明，针对当前市场对于语言障碍者的评估系统人工化，填补了评估系统数字化的空白。

二、该发明，为线上测评及矫正，需求者在手机上即可自行操作，省去了设备化、人工操作复杂、固定地点测评等的缺陷，方便被评估者随时随地进行语言评估及矫正。

三、该发明，在被评估者进行全面的自助评估后，会依据被评估者的测评情况，出具评估报告，在后续的语言矫正系统中，可以有针对性的出具矫正方案，从而更好地进行语言矫正。

四、该发明，在矫正过程中可以随时进行评估，明确使用者的矫正进步情况，数据化记录矫正过程，系统也可以根据每次的评估情况，针对需求，调整矫正计划；评估——矫正——反馈——评估的闭环设置，能够实时检测使用者的发声情况，从而提高语言障碍者发音的准确性。

五、该发明，线上测评及矫正的方式，极大程度上方便了被评估者本人及家庭的评估过程，他们不需要专程拖家带口到达指定地点，预约排队咨询等，在家就可以自主进行；在疫情肆虐的当下，这种测评方式，也提高了安全性，符合国家疫情管控的要求。

附图说明

图1为本发明的数据收集图；

图2为本发明的数据处理图；

图3为本发明的音节示例图；

图4为本发明的词组示例图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

请参阅图1至图4，一种语言障碍评估与矫正系统，包括输入模块、录音模块、存储模块、处理模块、对比模块、显示模块和播放模块。

其中，上述的输入模块用于外部音频信号的输入，录音模块用于录制外部音频信号，存储模块用于存放音频信号，处理模块用于将要对比的数据转成可进行对比类型，对比模块用于将转换成同一类型的数据进行比较，产生一个对比相似度，显示模块用于显示给使用者看的，播放模块用于使用者点击播放音频，在输入模块输入外部音频信号，再经过录音模块将外部音频信号录制好，将录制好的音频储存起来，再将存储模块存储好的标准发音音频信号取到处理模块中，将外部信息信号和内部音频信号进行处理，转成可比较的同类型的数据结构，在对比模块中进行对比，形成一个对比相似度，记录好信息，存储起来，然后在显示模块显示测试报告；存储模块事先会存放好标准发音音频在一个文件夹里面，数据库只存它们各自的路径，通过循环遍历的方法一个个呈现给使用者点击，当使用者点击播放相应的音频，会听到已经存好的标准发音音频，听到相应的音频后使用者将进行跟读，录音模块就会录制使用者说的声音，并通过存储模块存储起来，以此作为外部音频信号，同时，记录被点击播放的音频作为内部音频信号，录音模块会录制音素和音节的正确发音，并通过存储模块存为图片注释加发音的视频文件，并通过存储模块存为图片注释加发音的视频文件。

上述外部音频信号和内部音频信号通过傅里叶变换以及运用窗函数进行处理便可以得到一段音频片段的能量谱，音频片段的能量谱被提取成每帧的chroma特征向量，并组成chroma特征向量组，最终得到各自的特征矩阵。

上述外部音频信号和内部音频信号的特征矩阵通过DTW算法比较它们的相似度，以判断两种信号的相似度。

上述图片注释加发音的视频文件中含有语音矫正方法图文说明，并配合语音讲解矫正操作，以及讲解实操音像。

上述存储模块还存有语流训练材料，语流训练材料用于普通话语流训练。

上述音素包括元音和辅音，音节包括声母和韵母。

上述元音和辅音包括六个单元音韵母、十八个复元音韵母和二十一个辅音声母。

工作原理：将已存好的标准发音音频是事先存放在一个文件夹里面，数据库只存它们各自的路径，通过循环遍历的方法一个个呈现给使用者点击，当使用者点击播放相应的音频，会听到已经存好的标准发音音频，听到相应的音频后使用者将进行跟读，系统就会录制使用者说的声音，并且存储起来，以此作为外部音频信号，同时记录被点击播放的音频作为内部音频信号。外部音频信号和内部音频信号通过傅里叶变换以及运用窗函数进行处理便可以得到一段音频片段的能量谱，音频片段的能量谱被提取成每帧的chroma特征向量，并组成chroma特征向量组，最终得到各自的特征矩阵。之后，外部音频信号和内部音频信号的特征矩阵通过DTW算法比较它们的相似度，从而判断两种信号的相似度。经过DTW算法比较后，以外部音频信号作为参考，对应记录相似度，存储并生成一系列信息，根据相似度的值达到一个给定的值，从而判断使用者读音的准确程度，最终形成一个测评报告信息，显示给使用者看。

其中，语言障碍评估内容包括：

1、单元音韵母：a、o、e、i、u、ü

2、复元音韵母：ai ei ui ao ou iu ieüe er

前鼻音韵母：an en in unün

后鼻音韵母：ang eng ing ong

3、辅音声母：双唇音b、p、m；唇齿音与舌尖前音f、z、c、s；舌尖中音d、t、n、l；舌尖后音zh、ch、sh、r；舌面音j、q、x；舌根音g、k、h。

注：对单元音韵母6个、复元音韵母等18个、辅音声母21个正确发音录制存为图片注释加发音的视频文件，使用者参照正确发音进行跟读。

语言障碍矫正内容包括

步骤一、构音障碍矫正：音素(元音和辅音)——音节(由声母和韵母组成)——评估系统重新评估音节发音直至发音标准无误；

1、元音和辅音的矫正：对单元音韵母6个、复元音韵母等18个、辅音声母21个，录制每一个韵母及声母的具体语音矫正方法法图文说明，并配合语音讲解矫正操作，以及讲解实操音像，使用者进行学习矫正错误发音方式。

2、音节的矫正：以21个辅音声母开头与所有韵母组成的汉字字音，每一个相同的声调挑一个字音作为矫正对象。录制音节矫正方法法图文说明，并配合语音讲解矫正操作，以及讲解实操音像，使用者进行学习矫正错误发音方式。

3、经过矫正不断与评估系统的正确标准发音进行对比评估直至发音完全正确无误。

步骤二、普通话语流训练：词组——短句——短文、会话，由简到难进行。

普通话语流训练：矫正系统读取语流训练材料使用者跟读，对矫正后的音节进行词组训练，提高使用者语音流畅度，待熟练后进行短句、短文练习直至正常会话流畅标准无误。