数据流挖掘

摘要： 对数据流中的潜在信息进行分析和利用是数据流挖掘工作的重要内容。然而,数据的分布会随着时间的推移发生变化,从而使学习假设发生更改,这就是概念漂移现象,它给数据流挖掘带来了巨大的挑战。检测数据分布的变化是一种直接且有效的概念漂移检测方法,目前,已有研究方法基于树型结构或网格结构建立直方图,实现对数据分布的描述,但是,此类方法在进行分布检测时容易产生检验盲点,其可解释性较差,并且在多维数据上的内存消耗较大。文中提出了一种基于等密度分区的概念漂移检测方法PUDC(Partition Based on Uniform Density Clusters),该方法基于改进的k-Means算法,对数据进行等密度分区,利用卡方检验对每个分区进行统计和计算,从而检测数据分布变化,以达到概念漂移检测的目的。为了验证方法的有效性,选取了4个人工数据集和3个真实数据集进行实验,对比分析了不同维度的数据下的I类错误率和II类错误率,实验结果表明,PUDC算法在多维数据流的概念漂移检测中相比几种较新的算法具有一定的优势。

摘要： 不法分子通过Tor等匿名通信系统构建暗网隐匿其不法行为,给网络监管带来了严峻挑战.网站指纹识别技术能根据加密流量来推测用户访问的站点,是一种有效的监管手段.已有的网站指纹识别技术采用的多为基于批处理的静态模型,无法有效解决概念漂移问题.针对Tor网站指纹,文章提出一种基于自适应随机森林(ARF)算法的动态网站指纹识别模型.模型使用自适应随机森林算法作为分类器,支持手工特征以及自动特征两种输入,能够根据特征流动态更新分类器模型,实现网站指纹的在线分类识别.实验结果表明,基于ARF的动态网站指纹识别模型检测能力优于已有的多种网站指纹识别方法,并能够有效解决已有模型存在的概念漂移问题.

摘要： 针对基于流量分析的移动应用类别识别方法存在计算量大、难以实时识别的问题,提出一种移动应用实时识别方法.根据应用访问域名的特征,将报文进行转换和降维来生成样本向量,并使用支持向量机进行分类.在微型无线网关上对其测试,在对一组目标应用进行识别时,该方法的识别准确率约为94.4％,CPU使用率峰值约1.8％,内存消耗约1052 KB,吞吐量略微降低.实验表明,该方法能满足资源受限的网络设备进行移动应用类别实时识别的需求.

摘要： 先前事件检测算法需要大量训练样本并且不能动态检测事件.为了从微博短文本中检测金融事件,提出一种从微博中检测公司金融事件的新模型.结合词嵌入与数据流集成分类算法,词嵌入和触发词典用于中文微博文本表示.带有动态时间窗的集成数据流分类算法(DSESVM)用于在线事件分类,大大减少了训练数据并动态检测事件.使用五家上市公司的微博文本作为语料库进行测试,实验结果表明,该方法不仅降低了训练样本的比例,还检测了概念漂移,可以有效提高微博中公司金融事件检测的准确性,相对于已有方法,其平均F1值提升5.6～7.2百分点.

摘要： 从数据流中挖掘高效用项集是一项具有挑战性的任务,因为传入的数据必须在时间和存储内存约束下进行实时处理数据流挖掘通常会产生大量冗余的项集,为了减少这些无用的项集数量且保证无损压缩,需要挖掘闭合项集,它可以比全集高效用项集的集合小几个数量级.为了解决以上问题,提出一种基于滑动窗口模型的数据流闭合高效用项集挖掘(closed high utility itemsets mining over data stream based on sliding window model,CHUI_DS)算法.在 CHUI DS 中设计了 一种新的效用列表结构,该结构在提升批次插入和删除的速度方面非常有效此外,应用修剪策略来改进闭合项集挖掘过程,消除潜在的低效用候选对象.对真实数据集和合成数据集进行的广泛实验评估显示了该算法的效率以及可行性就速度而言,它优于先前提出的主要以批处理模式运行的算法.且它适用于不同大小的滑动窗口,在事务数量等方面具有较强的扩展性.

摘要： 数据流高效用模式挖掘方法是以二进制的频繁模式挖掘方法为前提,引入项的内部效用和外部效用,在模式挖掘过程中可以考虑项的重要性,从而挖掘更有价值的模式.从关键窗口技术、常用方法、表示形式等角度对数据流高效用模式挖掘方法进行分析并总结其相关算法,从而研究其特点、优势、劣势以及其关键问题所在.具体来说,说明了数据流高效用模式常用的概念;对处理数据流高效用模式的关键窗口技术进行了分析,涉及到滑动、衰减、界标和倾斜窗口模型;研究了一阶段和两阶段的数据流高效用模式挖掘方法;分析了高效用模式的表示形式,即完全高效用模式和压缩高效用模式;介绍了其他的数据流高效用模式,包括序列高效用模式、混合高效用模式以及高平均效用模式等;最后展望了数据流高效用模式挖掘的进一步研究方向.

摘要： 为解决传统入侵检测实时性不足的问题,针对当前网络安全中处理速度快、防御能力强、实时性能高等特点,研究基于数据流挖掘与入侵检测相融合的网络安全防御技术,建立新的检测模型,设计了快速剔除孤立点的算法,提出一种改进的基于衰减滑动窗口密度的数据流聚类挖掘(ASWDStream)算法,并对该算法及其在入侵检测系统中的应用效能进行了验证.仿真结果表明该算法具有较低的运行环境要求和较高的聚类准确性,入侵检测系统表现出较高的检测率和实用性.

摘要： 为解决传统入侵检测实时性不足的问题,针对当前网络安全中处理速度快、防御能力强、实时性能高等特点,研究基于数据流挖掘与入侵检测相融合的网络安全防御技术,建立新的检测模型,设计了快速剔除孤立点的算法,提出一种改进的基于衰减滑动窗口密度的数据流聚类挖掘(ASWDStream)算法,并对该算法及其在入侵检测系统中的应用效能进行了验证。仿真结果表明该算法具有较低的运行环境要求和较高的聚类准确性,入侵检测系统表现出较高的检测率和实用性。

摘要： 一些先进应用如欺诈检测和趋势学习等带来了数据流频繁模式挖掘的发展.不同于静态数据,数据流挖掘面临着时空约束和项集组合爆炸等问题.对已有数据流频繁模式挖掘算法进行综述并对经典和最新算法进行分析.按照模式集合的完整程度进行分类,数据流中频繁模式分为全集模式和压缩模式.压缩模式主要包括闭合模式、最大模式、top-k模式以及三者的组合模式.不同之处是闭合模式是无损压缩的,而其他模式是有损压缩的.为了得到有趣的频繁模式,可以挖掘基于用户约束的模式.为了处理数据流中的新近事务,将算法分为基于窗口模型和基于衰减模型的方法.数据流中模式挖掘常见的还包含序列模式和高效用模式,对经典和最新算法进行介绍.最后给出了数据流模式挖掘的下一步工作.

摘要： 随着企业信息化程度的提高和互联网的普及，每天都会产生海量的实时数据，而数据流挖掘则为分析海量数据提供了一种新途径。目前，数据流挖掘已成为数据挖掘研究领域一个重要分支。本文介绍了数据流挖掘的研究进展，重点讨论了数据流挖掘中的聚类、分类、离群点检测，并对数据流挖掘未来的研究热点进行了展望。

摘要： 数据流具有数据持续到达、到达速度快、数据规模巨大等特点,这些都给数据流挖掘领域研究工作带来了新挑战,而其中分类算法更是当前的研究热点. Domingos等人在VFDT中利用Hoeffding不等式很好地解决了在数据流上进行单遍扫描获取高精度决策树的问题. Gama等人对VFDT进行扩展并实现了VFDTc,使系统能够处理连续属性,并在叶节点采用了贝叶斯分类算法使分类精度更高.基于VFDT和VFDTc,设计并实现了一种基于线索化二叉排序树的决策树分类新算法VFDTt,其主要贡献有如下3点:1)第1次设计并实现了数据流上的基于线索化二叉排序树(TBST)的连续属性处理方法.相比VFDT,VFDTt的样本插入时间复杂度由O(n2)降低到O(nlogn).当新样本到达时,VFDTc需要更新O(logn)个属性节点,而VFDTt只需要更新相应的一个节点即可. 2)改进了VFDTc连续属性的最佳划分节点选取的计算方法,使其时间复杂度由O(nlogn)降低到O(n). 3)相比VFDTc,VFDTt只需从更少的备选划分节点中选取最佳节点,备选划分节点数由O(n)降低到O(logn)。

摘要： 数据流挖掘已在许多领域得到应用,概念漂移检测是数据流挖掘研究中的一个重点．目前关于数据流中的概念检测的研究虽然取得了很多成果，却没有充分考虑到数据流概念“周期性”出现的特点．针对周期性概念漂移的特点，提出了当“历史概念”重现时，利用对应的模型来对数据流进行分类的方法，从而减小模型更新的代价，加快分类预测的速度．实验证明这种方法提高了运行效率．

摘要： 频繁项集挖掘是数据流挖掘中的一个热点问题．提出了一种新的数据流频繁闭项集挖掘算法MFCI-SW．首先设计了两个新的数据结构：频繁闭项集表FCIL和频繁闭合模式树MFCI—SW—Tree，在此基础上以滑动窗口中的基本窗口为更新单位，在每个基本窗口中提取出频繁闭项集的数据项，将其支持度F和窗口序列号K存到FCIL中;然后随着新基本窗口的到来，通过删除频繁闭项集表中K值最小的数据项和插入新数据项完成对FCIL的更新和MFCI—SW—Tree树的裁剪;最后在MFCI—SW—Ttee中可以迅速挖掘出满足用户需要的频繁闭项集．实验结果证明了该算法在执行效率上明显优于DS-CFI算法．

摘要： 近年来,数据流挖掘已成为知识发现领域中的一个研究热点,而数据无限性和概念漂移性等特征使得传统的分类算法不能很好地适应数据流环境.提出一种基于贝叶斯的多窗口数据流分类模型(Bayesian classifier for classifying data streams based on multi-windows,BCCDSMW)对数据流进行分类.BCCDSMW考虑离散属性和连续属性的不同处理,对时间窗口内的数据进行压缩.只有少量样本被保存,其他样本只保存少量统计量,以便在有限的空间上尽可能多的利用有效历史数据.目的是在适应概念漂移的前提下,利用多个时间段的数据学习生成单个贝叶斯分类器,使其能准确地反映当前数据流的实际情况,并且该分类器能快速地对未来数据分类处理.实验结果表明,该模型有较好的分类效果.

摘要： 上世纪末,为适应网络监控、入侵检测、情报分析、商业交易管理和分析等应用的要求,数据流技术应运而生.数据流聚类是数据流挖掘最常用的方法之一,但是常见的聚类算法是无监督的。本文在介绍SHStream算法的基础上,通过对SHStream算法的改进,提出了一种能够在高维空间中处理约束条件的聚类算法CON-SHStream。

摘要： 序列模式挖掘就是在时序数据库中挖掘相对时间或其他模式出现频率高的模式．序列模式发现是最重要的数据挖掘任务之一，并有着广阔的应用前景．针对静态数据库，序列模式挖掘已经被深入的研究．近年来，出现了一种新的数据形式：数据流．针对基于数据流的序列模式挖掘的研究还不是十分深入．提出一个有效的基于数据流的挖掘频繁序列模式的算法SSPM，利用到2个数据结构(F-list和Ta-tree)来处理基于数据流的序列模式挖掘的复杂性问题．SSPM的优点是可以最大限度地降低负正例的产生，实验表明SSPM具有较高的准确率．

摘要： 序列模式挖掘就是在时序数据库中挖掘相对时间或其他模式出现频率高的模式．序列模式发现是最重要的数据挖掘任务之一，并有着广阔的应用前景．针对静态数据库，序列模式挖掘已经被深入的研究．近年来，出现了一种新的数据形式：数据流．针对基于数据流的序列模式挖掘的研究还不是十分深入．提出一个有效的基于数据流的挖掘频繁序列模式的算法SSPM，利用到2个数据结构(F-list和Ta-tree)来处理基于数据流的序列模式挖掘的复杂性问题．SSPM的优点是可以最大限度地降低负正例的产生，实验表明SSPM具有较高的准确率．

摘要： 序列模式挖掘就是在时序数据库中挖掘相对时间或其他模式出现频率高的模式．序列模式发现是最重要的数据挖掘任务之一，并有着广阔的应用前景．针对静态数据库，序列模式挖掘已经被深入的研究．近年来，出现了一种新的数据形式：数据流．针对基于数据流的序列模式挖掘的研究还不是十分深入．提出一个有效的基于数据流的挖掘频繁序列模式的算法SSPM，利用到2个数据结构(F-list和Ta-tree)来处理基于数据流的序列模式挖掘的复杂性问题．SSPM的优点是可以最大限度地降低负正例的产生，实验表明SSPM具有较高的准确率．

摘要： 序列模式挖掘就是在时序数据库中挖掘相对时间或其他模式出现频率高的模式．序列模式发现是最重要的数据挖掘任务之一，并有着广阔的应用前景．针对静态数据库，序列模式挖掘已经被深入的研究．近年来，出现了一种新的数据形式：数据流．针对基于数据流的序列模式挖掘的研究还不是十分深入．提出一个有效的基于数据流的挖掘频繁序列模式的算法SSPM，利用到2个数据结构(F-list和Ta-tree)来处理基于数据流的序列模式挖掘的复杂性问题．SSPM的优点是可以最大限度地降低负正例的产生，实验表明SSPM具有较高的准确率．

摘要： 在复用组合各数据流(DS)时将各数据流组合成各数字中间数据流(ZDS)。组合如此进行，使得各同类数据流(DS)共同组合成一个中间数据流(ZDS)，而各不同类数据流(DS)组合入各不同的中间数据流(ZDS)中。对于这些中间数据流(ZDS)实施用于此中间数据流(ZDS)的差错识别和/或差错纠正的各种措施，最后将这些中间数据流(ZDS)组合成总数据流(GDS)。

摘要： 在用于从经编码的数据流中产生经标记的数据流的方法中，由经编码的数据流的第一数据流段包括经编码的多媒体信息；将经编码的数据流的至少一个第一数据流段标记成经标记的数据流段；和通过对经标记的数据流段的标记表明，经标记的数据流段适于与水印混合。此外本发明包括用于将水印插入到经标记的数据流中的方法以及用于产生经标记的数据流和用于将水印插入到经标记的数据流中的装置。

摘要： 本发明公开了一种数据流复用方法，包括以下步骤：发送端将随机值和目的UDP端口号发送到接收端，并将随机值作为复用报文的复用ID，向接收端发送复用报文；接收端建立接收到的随机值和目的UDP端口号的映射关系，并根据建立的映射关系接收复用报文。本发明还公开了一种发送数据流复用设备、一种接收数据流复用设备以及一种数据流复用系统。本发明通过将随机值作为复用报文中的复用ID，并在发送复用初始化报文时，将该随机值携带于报文中发送到接收端，再建立复用ID与目的UDP的映射关系，提高了数据流复用技术的可靠性和传输效率。

摘要： 在复用组合各数据流(DS)时将各数据流组合成各数字中间数据流(ZDS)。组合如此进行,使得各同类数据流(DS)共同组合成一个中间数据流(ZDS),而各不同类数据流(DS)组合入各不同的中间数据流(ZDS)中。对于这些中间数据流(ZDS)实施用于此中间数据流(ZDS)的差错识别和/或差错纠正的各种措施,最后将这些中间数据流(ZDS)组合成总数据流(GDS)。

摘要： 示出了包括按时间单位在3D视频数据流中编码的编码视图4的集合、4a、4b的3D视频数据流2。3D视频数据流还包括参数集6，参数集6包括具有针对每个编码视图4、4a、4b的条目的第一表10，所述第一表通过索引来指示多个参考视图，其中，在数据流中存在针对所述参考视图的相对相机参数，其中参数集(6)的范围超过了时间单位的范围。

摘要： 本发明描述了用于电子设备之间进行高速、电容性的无线数据传输的装置、方法和系统。发射装置被联接至数据流且包括一个信号准备器和两个发射终端。所述信号准备器向第一发射终端提供所述数据流的副本，且向第二发射终端提供所述数据流的反相形式。每个发射终端发出代表其已经从所述信号准备器接收的信号的电场。通过非导电材料在空间上与所述发射装置分开的接收装置，包括在空间上彼此分开的两个接收终端和一个数据流恢复器。每个接收终端检测对应的发射终端发出的电场，使得在所述第一接收终端上感应出一个接收的重复信号，以及在所述第二接收终端上感应出一个接收的反相信号。这些接收的信号被组合以产生一个接收的数据流。

摘要： 在用于从经编码的数据流中产生经标记的数据流的方法中，由经编码的数据流的第一数据流段包括经编码的多媒体信息；将经编码的数据流的至少一个第一数据流段标记成经标记的数据流段；和通过对经标记的数据流段的标记表明，经标记的数据流段适于与水印混合。此外本发明包括用于将水印插入到经标记的数据流中的方法以及用于产生经标记的数据流和用于将水印插入到经标记的数据流中的装置。

摘要： 本发明涉及发送一个媒体数据流的方法，其中通过编码所述媒体数据流如此产生一个第一数据流和至少一个第二数据流，使得所述第一数据流代表一个基础质量的媒体数据流并且一个或者多个第二数据流与所述第一数据流一起代表相对所述基础质量提高了质量的媒体数据流。所述第一和第二数据流的数据相应地在一个预先确定地配属的传输信道中发送。此外本发明涉及接收和产生一个重建的媒体数据流的方法，其中用所述第一数据流或者第一和至少一个第二数据流重建所述重建的数据流，其中用相应的一个预先确定地配属的传输信道接收所述第一和至少一个第二数据流的数据，并且所述重建的媒体数据流通过解码所述第一数据流的数据或者通过解码所述第一数据流和至少一个第二数据流的数据产生。本发明还涉及一种实施所述发送方法的发射装置和一种实施所述接收和生成的方法的接收装置。

摘要： 本发明公开了一种数据流复用方法，包括以下步骤：发送端将随机值和目的UDP端口号发送到接收端，并将随机值作为复用报文的复用ID，向接收端发送复用报文；接收端建立接收到的随机值和目的UDP端口号的映射关系，并根据建立的映射关系接收复用报文。本发明还公开了一种发送数据流复用设备、一种接收数据流复用设备以及一种数据流复用系统。本发明通过将随机值作为复用报文中的复用ID，并在发送复用初始化报文时，将该随机值携带于报文中发送到接收端，再建立复用ID与目的UDP的映射关系，提高了数据流复用技术的可靠性和传输效率。

摘要： 本申请公开一种数据流中频繁项的挖掘方法及挖掘系统，其中，所述数据流中频繁项的挖掘方法包括：从数据流中读取一数据项；在一频繁项数组中查找是否存在所述数据项；所述频繁项数组记录有频率最大的多个数据项及其频率；当在所述频繁项数组中查找到有所述数据项时，将所述频繁项数组中对应的数据项的频率值予以更新；当在所述频繁项数组中没有查找到所述数据项时，在一辅助数据项数组中将对应的数据项的频率值予以更新。如此，能对各个数据项的频率进行更新，可快速挖掘出数据流中的频繁项，并大大节省了空间，同时，可提高估计精度。