首页> 中国专利> 一种基于ALBERT和知识蒸馏的观点挖掘方法

一种基于ALBERT和知识蒸馏的观点挖掘方法

页面导航

摘要
著录项
法律信息
相似文献

摘要

本发明公开了一种基于ALBERT和知识蒸馏的观点挖掘方法，所述方法包括：以ALBERT模型作为教师模型T，Text‑CNN模型作为学生模型S，使用原始数据D对教师模型T进行微调，得到适用于观点挖掘任务的教师模型T1；通过教师模型T1预测外部数据D1所得的硬标签对学生模型S进行预训练指引，将预训练指引后的模型进行成对参数共享得到学生模型S1；使用教师模型T1和学生模型S1分别对原始数据D和外部数据D1进行预测得到两组软、硬标签；联合软、硬标签的交叉熵损失作为总损失反向传播训练学生模型S1，得到学生模型S2，作为最终的观点挖掘模型。本发明能够提高观点挖掘的准确率。

著录项

公开/公告号CN112988975A

专利类型发明专利
公开/公告日2021-06-18

原文格式PDF
申请/专利权人北京语言大学;
展开▼

申请/专利号CN202110380265.9
发明设计人刘忠宝;赵文娟;荀恩东;
展开▼

申请日2021-04-09
分类号G06F16/33(20190101);G06F16/951(20190101);G06K9/62(20060101);G06N3/04(20060101);G06N3/08(20060101);
代理机构11237 北京市广友专利事务所有限责任公司;
代理人张仲波;邓琳
地址 100083 北京市海淀区学院路15号
入库时间 2023-06-19 11:29:13

法律信息

法律状态公告日

法律状态信息

法律状态
2022-05-06

发明专利申请公布后的驳回 IPC(主分类):G06F16/33 专利申请号:2021103802659 申请公布日:20210618

发明专利申请公布后的驳回

相似文献

专利
中文文献
外文文献

1. 一种基于ALBERT和知识蒸馏的观点挖掘方法 [P] . 中国专利： CN112988975A . 2021-06-18
2. 一种基于词典改进LDA模型的评论方面观点级挖掘方法 [P] . 中国专利： CN110837740B . 2021.04.20
3. A METHOD FOR EVALUATING MULTI CONTENTS BASED ON KNOWLEDGE STRUCTURE AN APPRATUS USING IT AND A METHOD FOR RECOMMENDING CONTENTS USING KNOWLEDGE STRUCTURE [P] . 韩国专利： KR101784106B1 . 2017-10-11

机译：一种基于知识结构的评估多内容的方法，一种使用该方法的设备以及一种利用知识结构推荐内容的方法
4. Knowledge Distillation and Gradient Pruning-Based Compression of Artificial Intelligence-Based Base Caller [P] . US2021265018A1 . 2021-08-26

机译：基于人工智能的基于群体的知识蒸馏和梯度修剪压缩
5. KNOWLEDGE DISTILLATION AND GRADIENT PRUNING-BASED COMPRESSION OF ARTIFICIAL INTELLIGENCE-BASED BASE CALLER [P] . WO2021168014A1 . 2021-08-26

机译：基于人工智能的基于群体的知识蒸馏和梯度修剪压缩