首页> 中文学位 >文本挖掘技术在短信息过滤中的应用研究
【6h】

文本挖掘技术在短信息过滤中的应用研究

代理获取

目录

文摘

英文文摘

声明

第一章绪论

1.1研究背景及意义

1.2垃圾短信的当前的状况及危害

1.2.1 垃圾短信的种类

1.2.2 垃圾短信的危害

1.2.3 我国垃圾短信的当前情况

1.3本论文的主要研究内容及论文的组织

1.3.1 本论文的主要研究内容

1.3.2论文组织

第二章文本挖掘概述

2.1文本挖掘的基本概念

2.2文本分类的定义

2.3文本分类的一般流程

2.4文本预处理

2.4.1文本分词

2.4.2停用词过滤

2.5特征选择

2.6文本描述

2.6.1布尔模型

2.6.2 空间向量模型

2.6.3概率模型

2.6.4概念模型

2.7分类方法

2.7.1支持向量机

2.7.2朴素贝叶斯算法

2.7.3基于神经网络的算法

2.7.4 KNN算法

2.8本章小结

第三章短信文本分类技术的研究

3.1 短信介绍

3.2短信过滤流程

3.3短信顸处理

3.4短信语义模型

3.5本章小结

第四章基于特征选择的权值计算研究

4.1 特征选择

4.1.1 文档频率

4.1.2互信息

4.1.3信息增益

4.1.4期望交叉熵

4.1.5词条CHI统计法

4.1.6 X2统计

4.2特征选取方法的比较

4.2.1性能指标

4.2.2实验结果与分析

4.3 司语权重公式的改进

4.3.1传统tfidf公式

4.3.2特征加权

4.4结束语

第五章基于粗糙集的KNN短信分类

5.1粗糙集提出的背景及发展前景

5.2知识与知识库

5.3粗糙集的定义及其性质

5.4信息表知识表达系统与决策表

5.5 连续属性的离散化

5.5.1 离散化问题描述

5.5.2离散化方法

5.6信息约简

5.6.1信息约简的基本概念

5.6.2基于差别矩阵的属性约简方法

5.6.3 二进制约简基本概念

5.6.4决策规则约简算法

5.6.5 实例计算

5.7粗糙集与KNN的结合

5.8结束语

第六章基于粗糙集的KNN短信文本分类系统的设计与实现

6.1系统功能模块

6.2系统详细设计

6.2.1文本预处理模块

6.2.2特征向量集提取模块

6.2.3粗糙集约简模块

6.2.4分类系统模块

6.3实验评估

6.4本章小结

第七章总结与展望

7.1论文工作总结

7.2展望

致谢

参考文献

攻读学位期间的研究成果

展开▼

摘要

随着移动通信技术的飞速发展和手机普及率的迅速提高,手机短信以其短小、迅速、简便、价格低廉等诸多优点日益成为人们的一种重要通信和交流方式,受到众多人士的青睐。与此同时,垃圾短信日益成为困扰手机用户和通信运营商的一个难题。目前经常采用的垃圾短信过滤技术一般包括白名单与黑名单技术、规则过滤以及基于关键词匹配的内容扫描等。基于内容的过滤是当前解决垃圾短信问题的主要技术之一。 为了解决垃圾短信给人们生活带来的困扰,本文将文本挖掘技术应用到手机短信业务模型上,对短信进行过滤。本文设计并模拟实现了一种基于粗糙集的KNN算法垃圾短信双过滤系统。该模型包过短信预处理、特征提取、权重计算、粗糙集属性约简以及短信分类与过滤几个主要功能模块。 本文的工作主要包含下列内容: (1)分析了多种特征选取算法,通过实验比较了它们的优缺点。 (2)提出了一种基于信息增益和方差的特征词的权重的计算方法,并对此方法的实现进行阐述。 (3)提出一种短信双过滤方法。KNN和粗糙集约简算法结合构成一次过滤。粗糙集约简算法降低向量空间维数,减少了特征数,降低了待分类短信数据集(测试数据集)的向量空间大小,从而提高分类速度。避免因为粗糙集约简影响分类的准确度,对已过滤为垃圾短信应用KNN算法再次过滤。 (4)在短信预处理过程中,奇异字处理、群发号码处理、短信内容整合和分词构成短信模型的预处理过程。 (5)阐述了文本分类的评价标准,通过实验对本课题所构建的分类工具进行了评估。总结了研究成果,指出了不足并提出了改进意见。 最后对文本短信分类器进行了实验评估,实验表明此工具有较高的分类准确度,达到了设计的要求。

著录项

  • 作者

    李楠;

  • 作者单位

    南昌大学;

  • 授予单位 南昌大学;
  • 学科 计算机应用技术
  • 授予学位 硕士
  • 导师姓名 段隆振;
  • 年度 2008
  • 页码
  • 总页数
  • 原文格式 PDF
  • 正文语种 中文
  • 中图分类 TP311.132;
  • 关键词

    双过滤; 短信过滤; 粗糙集; 文本挖掘;

相似文献

  • 中文文献
  • 外文文献
  • 专利
代理获取

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号