首页> 中国专利> 基于预训练和注意力交互网络的知识型检索式对话方法

基于预训练和注意力交互网络的知识型检索式对话方法

摘要

本发明公开了一种基于预训练和注意力交互网络的知识型检索式对话方法,包括如下步骤:在目标语料库上使用领域适应性预训练方法训练预训练语言模型BERT,得到领域适应性BERT;使用领域适应性BERT作为注意力交互网络的编码器,对对话上下文、背景知识和若干候选响应文本分别编码得到相应表征;最后将对话上下文、背景知识和若干候选响应的表征分别输入到注意力交互网络进行匹配,训练注意力交互网络从若干候选响应中检索出最佳响应。本发明利用预训练语言模型强大的语义表征能力,通过两个预训练任务提高预训练语言模型在特定语料库上的语义表征能力,并采用注意力交互网络缓解为提高检索速度而采用的分离编码所带来的性能下降。

著录项

  • 公开/公告号CN114817494A

    专利类型发明专利

  • 公开/公告日2022-07-29

    原文格式PDF

  • 申请/专利权人 华南理工大学;

    申请/专利号CN202210346843.1

  • 发明设计人 苏锦钿;陈燕钊;

    申请日2022-04-02

  • 分类号G06F16/332;G06F16/33;G06F40/211;G06F40/289;G06N3/04;G06N3/08;

  • 代理机构广州粤高专利商标代理有限公司;

  • 代理人周春丽

  • 地址 510640 广东省广州市天河区五山路381号

  • 入库时间 2023-06-19 16:28:30

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号