基于中文标点符号的三重网页文本内容识别及过滤方法

技术领域

本发明属于网络信息安全领域，涉及中文网页不良文本信息的识别和过滤。

背景技术

在现有的几种网页内容安全产品中，如“网络保姆”和“网络爸爸”等，它们大多采用基于URL地址和关键字的方法来禁止对非法网页和网站的访问，相对于网上非法内容的多样性和动态性而言，这种采用静态的地址库或手动更新网址和关键字的方法远不能满足人们的过滤要求，家长们期待有更加有效而全面的信息过滤产品的出现。

现有的对于网页文本内容的过滤方法主要围绕着向量空间模型进行的。

刘培德等利用向量空间模型、TC3分类算法、Rocchio反馈模型等构造了一个具有反馈机制的网络信息过滤系统(NIFS)，该系统可以实现基于用户兴趣文件的文本过滤。

曹毅、贺卫红建立的基于向量空间模型的信息安全过滤系统则将过滤分为模版训练和自适应过滤两个阶段进行。在训练阶段，通过主题处理和特征抽取建立初始的过滤模版，设置初始阈值；在过滤阶段，则根据用户的反馈信息自适应地调整模版和阈值，该方法的特点主要体现在过滤模版训练算法的设计上。

Shian-Hua Lin和Jan-Ming Ho于2002年提出了一个去除网页中噪音内容的方法，该方法依据网页中<table>标签构造网页的标签树，将一张网页规整为相互嵌套的内容块；然后，对于使用同一个模版生成的网页集，找出在该网页集中多次出现的内容块，作为噪音内容，而在该网页集中出现较少的内容块就是有效信息块。

复旦大学提出了一种基于内容过滤代理(CFA)的互联网过滤系统及过滤方法，系统框架包括：内容过滤代理(CFA)、查询服务器(QS)、内容分析与管理服务器(CAMS)三部分。网络内容过滤系统的过滤流程为：当用户发出对某个URL进行访问的请求时，CFA根据用户设置的黑白名单，允许或禁止该访问请求。倘若该URL不在CFA的黑白名单中，CFA则向查询服务器QS发出查询请求。QS将会在自己的URL库中查询该URL的分级信息并将结果返回给CFA。CFA据此做出反应。同时QS会定期从CAMS中下载更新的URL分级信息。

而微软公司的“用于网络浏览的内容过滤技术”提供了一种控制用户在使用计算机时可否访问某些互联网网站的系统和方法。当计算机用户试图访问一个由指定统一资源定位器(URL)指向的互联网网站时，过滤器通过允许-阻止列表给URL提供参考，并通过参考——交叉引用年龄组查看年龄组允许观看的分类内容映射表，来相应地决定对URL指向的网站的访问。

总结前人的研究成果，可以看到目前互联网信息过滤方法尚存在以下不足：

1.采用URL和关键字的过滤方法，过滤准确率和滤全率较低，过滤器很容易被绕过；

2.单独采用基于文本向量空间的内容过滤方法过滤速度慢，无法满足宽带网络数据传输实时过滤的要求；

3.对于网页的预处理过程研究较少，尤其关于通用网页正文内容提取方法的研究尚未见文献报道，而这方面问题的研究可以有效地提高网页数据处理的速度；

4.针对中文网页特点的内容识别和过滤方法还没有见到报道。

发明内容

为了克服已有网页信息过滤方法滤准率、滤全率和过滤速度无法满足网络流量的局限性，本发明提供了一种将已有的基于URL、基于关键字以及基于向量空间的文本过滤方法有机地融合在一起的三重过滤方法；在URL过滤上，设置了合法URL和非法URL表，即黑白名单，提高过滤的速度；采用Winsock 2 SPI直接在应用层截获HTTP数据包，省去了在底层截获数据包时要进行重组和协议解析的麻烦；提出了基于中文标点符号统计值的中文网页文本正文识别及去噪声方法。

为达到上述目标，本发明采用如下技术方案：

系统采用三级过滤模式，分别是URL过滤、关键字过滤、文本内容过滤。

系统结构如附图1所示，其中：

URL过滤模块

通过预先设置的非法URL列表(黑名单)和合法URL列表(白名单)，来判断用户的请求是否合法。

内容截获和提取模块

先截获从服务器端返回的可疑请求的响应(HTTP数据包)，然后提取出HTML文档，最后分析HTML文档提取链接信息和正文内容。

关键字过滤模块

针对链接信息，用关键字来判断网页中是否含有非法的链接，只要含有非法的链接，该网页也会得到屏蔽。

内容过滤模块

对含有合法链接的可疑网页正文进行分词、去除停用词、计算权重和特征提取，之后表示成向量空间模型，并与训练好的特征向量相匹配，判断其内容是否合法。

本发明系统的操作步骤概括如下：

1.当用户发出链接请求时，将请求URL地址与黑白名单中的地址列表相比较，并进行相应的处理。对于既不属于黑名单也不属于白名单的请求地址，标记为可疑请求。

2.截获可疑请求的响应，即服务器端返回的HTTP数据包。由于Winsock 2 SPI在应用层进行截获，所以省去了在底层截获数据包时要进行数据包重组和协议解析的麻烦，效率高，CPU占用率低。

3.从截获的HTTP数据包中提取HTML文件，从中提取链接信息，并采用基于中文标点符号统计值的网页正文内容识别方法获取网页正文文本内容。

4.采用基于关键字的过滤方法，检查链接信息，如果为非合法链接，返回警告信息，否则转内容过滤模块。

5.建立中文网页不良信息文本分类语料库，作为网页文本内容的样本训练模版。对网页正文实施内容过滤，检查其合法性，对于合法的文本内容返回给用户，非法的文本内容直接屏蔽，并更新URL列表。

本发明的效果和益处是采用Winsock 2SPI函数直接在应用层截获HTTP数据包，省去了在底层截获数据包时要进行重组和协议解析的麻烦。采用基于中文标点符号统计值的网页文本内容识别和获取方法，可以有效去除导航信息、相关链接信息、广告链接信息、版权信息等噪音信息。本发明能够有效地提高网页信息过滤的速度、准确率和过滤精度。可以用于中文网页不良信息的过滤，并可广泛应用于用户个性化文本分类信息服务领域。

附图说明

图1是基于中文标点符号的网页文本内容过滤系统总体结构图。

图2是URL过滤流程图。

图3是网页信息HTML嵌套结构及HTML树知识表示。

图4是内容过滤处理流程图。