• 主题
高级搜索  >
历史搜索 清空历史
首页> 中国专利> 一种基于对抗训练的语言模型预训练方法、系统及电子设备

一种基于对抗训练的语言模型预训练方法、系统及电子设备

页面导航
  • 摘要
  • 著录项
  • 法律信息
  • 相似文献

摘要

本发明涉及一种基于对抗训练的语言模型预训练方法包括：步骤S1，提供一个语义提取网络、鉴别网络及原始文本；步骤S2，将原始文本中的词转换为第一初始词向量，并输入至语义提取网络，通过语义提取网络提取原始文本的第一向量；步骤S3，对原始文本进行修改，将修改文本中的词转换为第二初始词向量，并输入至语义提取网络，通过语义提取网络提取修改文本的第二向量；步骤S4，将第一向量和第二向量输入鉴别网络，以获得鉴别网络的鉴别结果；步骤S5，根据鉴别网络的鉴别结果以对语义提取网络及鉴别网络进行优化；步骤S6，重复上述步骤S2‑S5，直至第一向量与第二向量可通过鉴别网络的鉴别，以获得优化后的语义提取网络与鉴别网络。

著录项

  • 公开/公告号CN110826325A

    专利类型发明专利

  • 公开/公告日2020-02-21

    原文格式PDF

  • 申请/专利权人 创新工场(广州)人工智能研究有限公司;

    申请/专利号CN201911068053.6

  • 发明设计人 宋思睿;宋彦;

    申请日2019-11-04

  • 分类号

  • 代理机构深圳市智享知识产权代理有限公司;

  • 代理人王琴

  • 地址 510000 广东省广州市黄埔区光谱中路23号A2栋1001房

  • 入库时间 2023-12-17 07:25:54

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2020-07-14

    实质审查的生效 IPC(主分类):G06F40/289 申请日:20191104

    实质审查的生效

  • 2020-02-21

    公开

    公开

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号