首页> 中国专利> 提升回复生成模型抗噪性能的方法及回复生成方法

提升回复生成模型抗噪性能的方法及回复生成方法

摘要

本发明公开一种提升回复生成模型抗噪性能的方法,包括获取无噪声的训练样本,并生成无噪声输入序列;根据无噪声输入序列生成相应的有噪声输入序列;基于所述无噪声输入序列和所述相应的有噪声输入序列输入至编码器进行噪声预测训练;根据所述编码器的输出和所述训练样本对解码器进行回复生成训练。训练过程中,噪声预测训练和回复生成训练同时进行,共用相同的学习率。这个网络使得Transformer编码层除了正常的学习语言特征表示外,同时强化编码层对噪声字符的表示性能。最终,输入序列在经过编码端的特征表示后,参与解码,使得解码模型逐渐学习到处理噪声的性能。

著录项

  • 公开/公告号CN114333851A

    专利类型发明专利

  • 公开/公告日2022-04-12

    原文格式PDF

  • 申请/专利权人 思必驰科技股份有限公司;

    申请/专利号CN202111667881.9

  • 发明设计人 朱钦佩;缪庆亮;

    申请日2021-12-31

  • 分类号G10L17/04(20130101);G10L19/08(20130101);G10L21/0264(20130101);

  • 代理机构11400 北京商专永信知识产权代理事务所(普通合伙);

  • 代理人黄谦;侯晓艳

  • 地址 215123 江苏省苏州市苏州工业园区新平街388号腾飞创新园14栋

  • 入库时间 2023-06-19 14:51:31

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2022-04-12

    公开

    发明专利申请公布

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号