大规模文本分类的训练语料去噪方法研究

高雄; 韩红旗; 王力; 薛陕

首页> 中文期刊> 《情报工程》 >大规模文本分类的训练语料去噪方法研究

大规模文本分类的训练语料去噪方法研究

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

[目的/意义]训练语料的质量对主流的文本分类算法至关重要。消除噪声,尤其是“类别外噪声”,有助于提升训练语料的质量,进而提升文本分类算法的准确率。[方法/过程]本文重点利用语义信息来消除“类别外噪声”。通过对每个类别的训练语料构建“类目-类目关键词”知识库,利用“词嵌入”自动化比较其语义信息来判断该类别下是否存在噪声,并给出“类别外噪声”类目候选列表以及文献候选列表,最后通过人机交互的方式消除噪声。[结果/结论]本文提出的去噪方法能够有效检测并消除大规模文本分类的训练语料中的噪声数据,提升训练语料的质量。

著录项

来源
《情报工程》 |2021年第4期|117-126|共10页
作者
高雄; 韩红旗; 王力; 薛陕;
展开▼
作者单位

中国科学技术信息研究所;

北京100038;

富媒体数字出版内容组织与知识服务重点实验室;

北京100038;

展开▼
原文格式 PDF
正文语种 chi
中图分类信息处理（信息加工）;情报学、情报工作;
关键词
文本分类; 去噪; 词嵌入;

相似文献

中文文献
外文文献
专利

1. 大规模文本分类的训练语料去噪方法研究 [J] . 高雄 ,韩红旗 ,王力 . 情报工程 . 2021,第004期
2. 大规模语料库中自动搭配获取的统计方法研究 [J] . 姚建民 ,屈蕴茜 ,朱巧明 . 计算机工程与设计 . 2007,第009期
3. 基于Bayes的有噪训练集去噪方法研究 [J] . 罗俊杰 ,孙江文 ,王崇骏 . 计算机科学 . 2008,第009期
4. 基于语料信息度量的文本分类性能影响研究 [J] . 李湘东 ,巴志超 ,黄莉 . 情报杂志 . 2014,第009期
5. 面向大规模裁判文书结构化的文本分类算法 [J] . 翁洋 ,谷松原 ,李静 . 天津大学学报 . 2021,第004期
6. 基于大规模真实文本的平衡语料分析与文本分类方法 [C] . 陈克利 ,宗成庆 ,王霞 . 全国第七届计算语言学联合学术会议 . 2003
7. 大规模平衡语料的收集分析及文本分类方法研究 [A] . 陈克利 . 2004

大规模文本分类的训练语料去噪方法研究

摘要

著录项

相似文献

相关主题

期刊订阅