首页> 中国专利> 基于预训练语言模型的上下文敏感的释义生成方法及系统

基于预训练语言模型的上下文敏感的释义生成方法及系统

页面导航

摘要
著录项
相似文献

摘要

本发明公开了一种基于预训练语言模型的上下文敏感的释义生成方法及系统，该方法包括：获取训练数据集；其中，训练数据集中包括被释义词、被释义词所在的上下文，以及被释义词对应的释义；构建用于为被释义词生成释义的释义模型；其中，释义模型基于编码器‑解码器框架，释义模型的编码器为预训练的语言模型；基于所述训练数据集，对所述释义模型进行训练；通过训练好的释义模型，基于待释义的被释义词和所述待释义的被释义词的上下文的分布式向量表示，生成所述待释义的被释义词的释义。本发明具有逻辑清晰、效率高、准确率高的优点，解决了现有技术无法为被释义词准确生成释义的问题。

著录项

公开/公告号CN112364639B

专利类型发明专利
公开/公告日2021-09-07

原文格式PDF
申请/专利权人北京语言大学;
展开▼

申请/专利号CN202011121675.3
发明设计人杨麟儿;范齐楠;杨尔弘;孔存良;
展开▼

申请日2020-10-19
分类号G06F40/284(20200101);G06F40/205(20200101);G06N3/04(20060101);G06N3/08(20060101);G06K9/62(20060101);
代理机构11237 北京市广友专利事务所有限责任公司;
代理人张仲波
地址 100083 北京市海淀区学院路15号
入库时间 2022-08-23 12:25:50

相似文献

专利
中文文献
外文文献

1. 基于预训练语言模型的上下文敏感的释义生成方法及系统 [P] . 中国专利： CN112364639B . 2021.09.07
2. 基于预训练语言模型的上下文敏感的释义生成方法及系统 [P] . 中国专利： CN112364639A . 2021-02-12
3. System and method for federated, context-sensitive, adaptive language models [P] . US11238849B1 . 2022-02-01

机译：联合，上下文敏感，自适应语言模型的系统和方法
4. Context sensitive spelling error correction system or method using masked language model [P] . KR20210128315A . 2021-10-26

机译：使用屏蔽语言模型的上下文敏感拼写纠错系统或方法
5. Cross-linguistic searching method for text and text document in computerized database system, involves generating language models and perplexity analysis within source language by using translation and by recursive use of context extensions [P] . 德国专利： DE102006060173A1 . 2008-04-10

机译：在计算机数据库系统中用于文本和文本文档的跨语言搜索方法，涉及通过翻译和递归使用上下文扩展来生成语言模型和源语言中的困惑分析