融合单词贡献度与Word2Vec词向量的文档表示

彭俊利; 谷雨; 张震; 耿小航

首页> 中文期刊> 《计算机工程》 >融合单词贡献度与Word2Vec词向量的文档表示

融合单词贡献度与Word2Vec词向量的文档表示

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

针对现有文档向量表示方法受噪声词语影响和重要词语语义不完整的问题,通过融合单词贡献度与Word2Vec词向量提出一种新的文档表示方法.应用数据集训练Word2Vec模型,计算数据集中词语的贡献度,同时设置贡献度阈值,提取贡献度大于该阈值的单词构建单词集合.在此基础上,寻找文档与集合中共同存在的单词,获取其词向量并融合单词贡献度生成文档向量.实验结果表明,该方法在搜狗中文文本语料库和复旦大学中文文本分类语料库上分类的平均准确率、召回率和F1值均优于TF-IDF、均值Word2Vec、PTF-IDF加权Word2Vec模型等传统方法,同时其对英文文本也能进行有效分类.

著录项

来源
《计算机工程》 |2021年第4期|62-67|共6页
作者
彭俊利; 谷雨; 张震; 耿小航;
展开▼
作者单位

杭州电子科技大学通信信息传输与融合技术国防重点学科实验室杭州 310000;

杭州电子科技大学通信信息传输与融合技术国防重点学科实验室杭州 310000;

杭州电子科技大学通信信息传输与融合技术国防重点学科实验室杭州 310000;

杭州电子科技大学通信信息传输与融合技术国防重点学科实验室杭州 310000;

展开▼
原文格式 PDF
正文语种 chi
中图分类信息处理（信息加工）;
关键词
单词贡献度; Word2Vec词向量; 词嵌入; 文档表示; 文本分类;

相似文献

中文文献
外文文献
专利

1. 基于HowNet义原和Word2vec词向量表示的多特征融合消歧方法 [J] . 王伟 ,赵尔平 ,崔志远 . 计算机应用 . 2021,第008期
2. 基于Word2Vec的一种文档向量表示 [J] . 唐明 ,朱磊 ,邹显春 . 计算机科学 . 2016,第006期
3. 融合主题模型及双语词向量的汉缅双语可比文档获取方法 [J] . 李训宇 ,毛存礼 ,余正涛 . 中文信息学报 . 2021,第001期
4. 融合表示学习的文档链接网络语义社区发现 [J] . 郭江林 . 新一代信息技术 . 2021,第010期
5. 融合表示学习的文档链接网络语义社区发现 [J] . 郭江林 . 新一代信息技术 . 2021,第010期
6. 基于知网义原词向量表示的无监督词义消歧方法 [C] . TANG Gongbo ,唐共波 ,YU Dong . 中国中文信息学会2015学术年会（CIPS2015）暨第十四届全国计算语言学学术会议（CCL2015）、第三届基于自然标注大数据的自然语言处理国际学术研讨会（NLP-NABD2015） . 2015
7. 基于word2vec词向量的文本分类研究 [A] . 朱磊 . 2017

融合单词贡献度与Word2Vec词向量的文档表示

摘要

著录项

相似文献

相关主题

期刊订阅