面向信息检索的自适应中文分词系统

曹勇刚; 曹羽中; 金茂忠; 刘超

首页> 中文期刊> 《软件学报》 >面向信息检索的自适应中文分词系统

面向信息检索的自适应中文分词系统

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

新词的识别和歧义的消解是影响信息检索系统准确度的重要因素.提出了一种基于统计模型的、面向信息检索的自适应中文分词算法.基于此算法,设计和实现了一个全新的分词系统BUAASEISEG.它能够识别任意领域的各类新词,也能进行歧义消解和切分任意合理长度的词.它采用迭代式二元切分方法,对目标文档进行在线词频统计,使用离线词频词典或搜索引擎的倒排索引,筛选候选词并进行歧义消解.在统计模型的基础上,采用姓氏列表、量词表以及停词列表进行后处理,进一步提高了准确度.通过与著名的ICTCLAS分词系统针对新闻和论文进行对比评测,表明BUAASEISEG在新词识别和歧义消解方面有明显的优势.

著录项

来源
《软件学报》 |2006年第3期|356-363|共8页
作者
曹勇刚; 曹羽中; 金茂忠; 刘超;
展开▼
作者单位

北京航空航天大学计算机学院;

北京;

100083;

北京航空航天大学计算机学院;

北京;

100083;

北京航空航天大学计算机学院;

北京;

100083;

北京航空航天大学计算机学院;

北京;

100083;

展开▼
原文格式 PDF
正文语种 chi
中图分类信息处理（信息加工）;
关键词
分词系统; 分词算法; 信息检索; 新词识别; 歧义消解;

相似文献

中文文献
外文文献
专利

1. 中文分词对中文信息检索系统性能的影响 [J] . 曹桂宏 ,何丕廉 ,吴光远 . 计算机工程与应用 . 2003,第019期
2. 一种面向网店商品搜索的中文分词系统设计 [J] . 王敏 ,叶宽余 ,薛峰 . 合肥工业大学学报（自然科学版） . 2012,第006期
3. 基于中文分词的农业信息检索平台设计 [J] . 张文慧 ,张冉 . 安徽农业科学 . 2011,第020期
4. 信息检索中的中文分词问题研究 [J] . 吴凡 . 情报杂志 . 2008,第007期
5. 从传统信息检索到面向知识创新——信息检索课改革与发展前沿述评 [J] . 敬卿 ,王群 . 图书馆 . 2008,第001期
6. 一种面向统计机器翻译的中文分词自适应方法 [C] . . 第四届全国机器翻译研讨会 . 2008
7. 面向企业信息检索的中文分词系统的研究与实现 [A] . 褚敬年 . 2008

面向信息检索的自适应中文分词系统

摘要

著录项

相似文献

相关主题

期刊订阅