利用知识强化语言模型的口语理解方法

刘高军; 王岳; 段建勇; 何丽; 王昊

首页> 中文期刊> 《计算机工程》 >利用知识强化语言模型的口语理解方法

利用知识强化语言模型的口语理解方法

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

基于预训练的语言模型在口语理解(SLU)任务中具有优异的性能表现。然而,与人类理解语言的方式相比,单纯的语言模型只能建立文本层级的上下文关联,缺少丰富的外部知识来支持其完成更为复杂的推理。提出一种针对SLU任务的基于Transformer的双向编码器表示(BERT)的联合模型。引入单词级别的意图特征并使用注意力机制为BERT融合外部知识。此外,由于SLU包含意图检测和槽填充2个相互关联的子任务,模型通过联合训练捕捉2个子任务间的关联性,充分运用这种关联性增强外部知识对于SLU任务的性能提升效果,并将外部知识转化为可用于特定子任务的特征信息。在ATIS和Snips 2个公开数据集上的实验结果表明,该模型句子级别的语义准确率分别为89.1%和93.3%,与BERT模型相比,分别提升了0.9和0.4个百分点,能够有效利用外部知识提升自身性能,在SLU任务中拥有比BERT更为优秀的性能表现。

著录项

来源
《计算机工程》 |2023年第3期|73-79|共7页
作者
刘高军; 王岳; 段建勇; 何丽; 王昊;
展开▼
作者单位

北方工业大学信息学院;

CNONIX国家标准应用与推广实验室;

富媒体数字出版内容组织与知识服务重点实验室;

展开▼
原文格式 PDF
正文语种 chi
中图分类人工智能理论;
关键词
口语理解; 外部知识; 语言模型; 意图检测; 槽填充; 联合训练;

相似文献

中文文献
外文文献
专利

1. 面向鲁棒口语理解的声学组块混淆语言模型微调算法 [J] . 李荣军 ,郭秀焱 ,杨静远 . 智能系统学报 . 2023,第1期
2. 用多种教学方法强化学生对知识的理解 [J] . 梁晓燕 . 职业 . 2014,第36期
3. 融合预训练语言模型和标签依赖知识的关系抽取方法 [J] . 赵超 ,谢松县 ,曾道建 . 中文信息学报 . 2022,第1期
4. 知识重积累理解争当先——用理解的方法驾驭知识——漫谈特殊四边形 [J] . 蒋小铭 . 数学教学通讯：新课标中考数学 . 2010,第003期
5. 强化随文练说课堂，发展口语交际能力——论初中语文课堂中训练学生口语交际能力的策略与方法 [J] . 刘燕霞 . 中国校园导刊：教育版 . 2011,第001期
6. 基于对话知识的汉语口语理解 [C] . 宗成庆 ,张昕 . 1998中文信息处理国际会议 . 1998
7. 基于预训练语言模型的自然语言理解方法研究 [A] . 刘涛 . 2021

利用知识强化语言模型的口语理解方法

摘要

著录项

相似文献

相关主题

期刊订阅