增量聚类

摘要： 随着社交网络和互联网的飞速发展,产生了大量的微博短文本流数据。及时发现微博文本流中热点话题,对话题推荐和舆情监测等有重要作用。为了解决微博短文本特征稀疏问题,利用微博评论对微博进行特征扩展,提出了一种基于特征扩展的微博短文本流热点话题检测方法(Feature extension-based hot topic detection,FE-HTD)。首先利用评论用户的影响力以及评论文本的点赞数筛选评论文本,并使用词共现和词频-逆文档频率(Term frequency-inverse document frequency,TF-IDF)方法从选取的评论文本中抽取特征词完成对微博文本的特征扩展;然后计算微博文本流的词对速度、词对加速度,并根据点赞数、评论数计算微博文本强度,结合词对加速度与微博文本强度定义突发特征;最后,根据突发词对的速度确定可变长的热点话题窗口范围,通过聚类得到窗口中热点话题的主题结构。实验中,将所提算法与基于文本的话题检测(Text-based topic detection,T-TD)和基于突发词的话题检测(Burst words-based topic detection,BW-TD)进行对比实验。结果表明,本文算法FE-HTD准确率达76.4%,召回率达78.7%,与对比算法T-TD和BW-TD相比提高了10%。

摘要： 面向社交媒体的事件聚类旨在根据事件特征实现短文本聚类。目前,事件聚类模型主要分为无监督模型和有监督模型。无监督模型聚类效果较差,有监督聚类模型依赖大量标注数据。基于此,该文提出了一种半监督事件聚类模型(SemiEC),该模型在小规模标注数据的基础上,利用LSTM表征事件,并基于线性模型计算文本相似度,进行增量聚类。然后,利用增量聚类产生的标注数据对模型再训练,结束后对不确定样本再聚类。实验表明,SemiEC的性能相比基准模型有较大提升。

摘要： 话题发现是网络社交平台上进行热点话题预测的一个重要研究问题.针对已有话题发现算法大多基于传统余弦相似度衡量文本数据间的相似性,无法识别各维度取值成比例变化时数据对象间的差异,文本数据相似度计算结果不准确,影响话题发现正确率的问题,提出基于双向改进余弦相似度的话题发现算法(TABOC),首先从方向和取值两个角度改进余弦相似度,提出双向改进余弦相似度,能够区分各维度取值成比例变化的数据对象,保留传统余弦相似度在方向判别上的优势,提高衡量文本相似度的准确性;进一步定义集合的双向改进余弦特征向量和双向改进余弦特征向量的加法等相关定义定理,舍弃无关信息,直接计算新合并集合的特征向量,减小话题发现过程中的时间和空间消耗;还结合增量聚类框架,高效处理新增数据.采用百度贴吧数据进行实验表明,TABOC算法进行话题发现是有效可行的,算法正确率和时间效率总体上优于其他对比算法.

摘要： 针对传统微博话题发现算法中,计算文本距离时仅仅考虑词与词的距离和最小而产生的问题,提出了使用CWMD(cos-word mover's distance)作为聚类标准的算法.结合余弦距离和WMD计算句子之间的相似性;使用TF-IDF向量代替WMD中词频权重向量,将所有词对文档的贡献纳入考量;使用CWMD代替传统的距离作为SP(Single-Pass)聚类的标准;并且提出了构建文本待定池的SP算法,旨在避免话题发现过程中数据到达的先后顺序对结果产生的影响,从而提高话题发现的准确性.通过对中文语料数据库中的部分数据进行对比实验,证实了该话题发现模型效果更好.进一步将该模型应用到爬取的微博数据中,将提取的簇的关键词和微博热搜话题进行比对,结果显示二者具有很强的相关性.

摘要： 比特币是一种基于区块链的加密货币,其因具备伪匿名性而常被用于异常交易活动中.目前比特币实体识别多通过启发式聚类方法实现,但此类方法未考虑新数据出现后的结果融合问题,导致算法效率较低.针对该问题,提出一种基于比特币交易数据的增量聚类方法.对区块数据进行分析以获取钱包地址的可聚类交易,构成聚类地址组,并通过查找地址索引表提取聚类实体间的关系.利用并查集算法对该区块钱包地址数据进行增量聚类,得到新的比特币实体关系,进而推测实体类型.同时,对实体进行识别和标注,实现实体交易行为的可视分析.实验结果表明,该方法可以准确地对地址进行增量聚类,体现比特币实体的演变过程,与启发式聚类方法相比时间复杂度更低.

摘要： 为了提高测试效率,需要筛选出高质量的测试用例,传统聚类算法在计算时会产生误差,易产生多个簇,导致聚类效果不佳.结合测试用例的特点,本文提出一种增量聚类算法T_Single-Pass(Testcase_Single-Pass),首先通过句子的语法结构判断出每个词的词性,选取名词作为计算对象.接着根据词所在用例的位置计算权重值,选取权重值前三的进行向量表示.最后采用曼哈顿公式融入时间因素来计算与当前已有聚类中心对象的相关性.在现有企业所用的安卓系统性能测试用例集上进行验证,比较K-Means、传统Single-Pass以及本文提出的算法,得出本文的方法聚类效果最佳.

摘要： 大多数聚类算法都是在静态情况下运行,使其不允许添加任何增量数据.提出了一种基于K近邻(KNN)的增量聚类算法,算法包含两个创新点,利用K近邻的思想和样本紧密度两个条件处理增量数据;根据簇特征的变化分裂或合并簇.实验表明:提出的算法既可以发现新簇,又能有效规避噪声点,且能够处理非球形的数据集.

摘要： 针对属于同一个家族的恶意软件的行为特征具有逻辑相似性这一特点,从行为检测的角度通过追踪API函数调用的逻辑规则来提取恶意软件的特征,并利用静态分析与动态分析相结合的方法来分析恶意行为特征.此外,依据恶意软件家族的目的性、继承性与多样性,构建了恶意软件家族的传递闭包关系,并改进了基于高斯混合模型的增量聚类方法来识别恶意软件家族.实验证明,所提方法不仅能节省恶意软件检测的存储空间,还能显著提高检测的准确率与识别率.

摘要： 随着各个领域数据量的迅速增长,增量聚类算法随即被提出用来解决动态数据的聚类问题.本文介绍了增量聚类算法的分类,分析了数据在插入、删除和更新时使用增量聚类算法的益处.选择合适的增量聚类算法,可以保证数据在变化时能够降低时间复杂度、提高聚类的精度和效率.本文主要对几种增量聚类算法进行分析,最后给出了进一步的研究方向.本文的第一部分对该论文的相关工作进行描述，第二部分对每类增量聚类算法进行分析和描述，第三部分对每类增量聚类算法进行了归纳总结。可以看出增量聚类算法仍存在待解决和不足的地方，基于层次增量聚类算法的复杂度较高，因此不太适合处理大型数据。基于划分增量聚类算法只能发现非凹的球形簇，对于噪声数据很敏感，需要给出一个初始划分。基于密度的增量聚类算法对输人参数比较敏感，对数据维数的伸缩性较差。基于网格的增量聚类算法对噪声敏感，当数据中有噪音时，如果不加特殊处理，算法的聚类质量会很差。

摘要： 基于树结构的三支决策增量聚类算法(TIOC-TWD算法)同时解决了数据增量和重叠问题,但该算法在距离度量时没有考虑到属性重要度不同的问题.针对以上问题,本文给出了一种基于属性重要度的加权三支决策增量软聚类算法(W-TIOC-TWD算法),将属性重要度考虑到距离度量中,弥补了TIOC-TWD算法在聚类过程中将所有属性的重要程度视为相等的不足,并且提出了离群点这一定义,提高了算法的时间效率.分别在人工数据集和UCI数据集上验证W-TIOC-TWD算法的有效性,实验结果表明W-TIOC-TWD算法比原算法具有更高的聚类准确率和稳定性.

摘要： 每年都会有一些机构通过媒体发布当年的热点事件,这些事件通常都是由人工进行筛选。本文提出一种方法来自动地发现热点事件。使用从新闻网站上下载下来的2006年的网页内容,通过增量聚类得到每月的临时事件。再将各个月临时事件列表里文档数大于一定阈值的事件,做单连通聚类,得到一年的事件列表。本文提出了一种事件热度打分方案,根据事件的热度对事件过滤和排序,最终获得一年的热点事件。

摘要： 本发明公开了一种基于增量漂移聚类的复杂星空背景目标识别方法，步骤包括：(1)连续拍摄包含目标的星图；(2)自适应提取星图中的所有目标星点；(3)基于目标运动特征建立目标运动特征跟踪池；(4)目标增量漂移聚类分类识别。该方法以复杂星空中的目标识别为背景，运用自适应目标提取手段精确提取图像中包含目标，构建目标特征描述以建立目标帧间相似性跟踪池，从而建立目标的运动特征描述，结合增量式的漂移聚类方法对提取目标进行分类识别，实现了多目标识别，并提高了识别的实时性和鲁棒性。

摘要： 本发明公开了一种云端数据可信共享的增量交互式聚类可视化方法及系统，该方法包括：编写数据共享智能合约，并运行智能合约；根据编写的数据共享智能合约，对数据集进行目标数据抽取；采用聚类算法，对抽取到的目标数据进行聚类，输出聚类结果；对聚类结果进行多维尺度降维，实现在二维空间的投影，并进行可视化展示；根据用户对目标数据的改变需求，进行相应的投影交互、聚类分析和可视化操作。在基于区块链数据可信共享的基础上，对数据进行增量交互式的分析挖掘，在有效保障数据安全、提高数据处理效率的同时，方便用户更为直观的进行数据的分析与挖掘。

摘要： 本申请实施例公开了一种提供了一种增量式算法的聚类方法、电子设备及存储介质，用于划分式聚类与层次聚类的组合聚类模型，该模型可由划分式聚类快速得到聚类数较多的聚类结果，在此基础上进行目标聚类数的层次聚类，该组合聚类模型可以在更换聚类数时避免重复聚类，减少耗时。本申请实施例方法包括：在首次聚类时，将第一数据集，使用MiniBatchK‑means算法进行划分聚类，得到聚类模型；将第二数据集输入至所述聚类模型中，调整聚类中心点，进行聚类识别，输出聚类数k＝m的初步聚类结果；将所述初步聚类结果输入到层次聚类模型中，输出目标聚类数k＝n的聚类结果，n

摘要： 本公开实施例公开了一种聚类方法、增量聚类方法及相关装置，所述聚类方法首先采用Rank‑Order距离合并类，然后对合并后的类进行拆分，从类中将可能不属于该类的对象划分成单独的类，得到包含多个对象的聚类及包含单个对象的类，该方式提高了聚类结果的精确率，但是召回率有所下降；然后，对得到的多个对象的聚类和包含单个对象的类进行层次聚类，将划分出来的单独的类中可能属于同一个类的对象聚集到对应的类中，从而提高了召回率。

摘要： 本发明公开一种增量聚类方法及系统、还公开一种分布式增量聚类方法及系统，涉及数据处理领域，其中增量聚类方法包括以下步骤：获取待聚类数据和已聚类数据；基于所述待聚类数据对所述已聚类数据进行增量聚类，获得若干个第一聚类簇，各第一聚类簇均包含至少一个目标特征；检测各第一聚类簇中的异常特征，并基于所得异常检测结果对相应的第一聚类簇进行更新，获得聚类结果；增量聚类过程中存在某个聚类簇被异常特征污染，使该聚类簇包含大量不属于该聚类簇的特征，本发明通过检测各第一聚类簇中的异常特征，基于所得异常检测结果对相应的第一聚类簇进行更新，以确保所得聚类结果的准确性。

摘要： 本发明涉及图像聚类技术领域，具体涉及一种图像聚类方法、图像增量聚类方法、计算机设备及介质，旨在解决提高图像聚类准确性的问题。为此目的，本发明提供的图像聚类方法包括采用最近邻算法在图像底库中分别对每个待聚类图像进行最近邻检索，以确定每个待聚类图像的最近邻矩阵；根据待聚类图像与底库图像的图像属性，判断待聚类图像与底库图像是否冲突，根据判断的结果选择性地对图像相似度进行修正；根据修正后图像相似度对待聚类图像与底库图像进行聚类；本发明提供的图像增量聚类方法可以利用上述图像聚类方法实现图像增量聚类。通过上述方式，可以避免存在冲突的底库图像对聚类结果的准确性产生较大的影响，从而提高图像聚类准确性。

摘要： 本发明公开了一种基于多输入地址聚类的比特币地址增量聚类方法，包括如下步骤:1.对比特币交易建立三级复杂网络；2.读取以前聚类信息；3.调用增量聚类算法，基于多输入地址聚类算法开始增量聚类；4.保存新更改的聚类信息；5.对链下信息进行标签收集，组成互斥对L，合并入加有互斥对的地址集群；6，通过概率模型的可能性函数平衡启发式聚类和互斥对产生的集群中错误的部分。本发明基于多输入地址聚类启发式算法，并结合比特币区块链信息和链下公开的信息实现对比特币地址的增量聚类实现了增量聚类，提高地址聚类效率，然后将基于启发式聚类算法生成的地址集群和互斥对产生的地址集群通过概率模型平衡掉错误的部分，提高地址聚类的准确率。

摘要： 本发明公开了一种基于动态聚类趋势分析的增量聚类数据挖掘方法，首先针对动态增量数据生成最小距离连通图，然后以最小距离连通图为基础，用肘阈值分割出簇间和簇内的边，再综合数量、均值和变异系数统计量，最后动态计算数据序列的聚类趋势指数。本发明是一种非抽样的适用于批量增量DBSCAN的聚类趋势分析方法，应用于增量聚类数据挖掘系统之中，实现了非定量数据的增量聚类，进一步提高了聚类的可信度以及运行效率。

摘要： 本公开实施例公开了一种聚类方法、增量聚类方法及相关装置，所述聚类方法首先采用Rank-Order距离合并类，然后对合并后的类进行拆分，从类中将可能不属于该类的对象划分成单独的类，得到包含多个对象的聚类及包含单个对象的类，该方式提高了聚类结果的精确率，但是召回率有所下降；然后，对得到的多个对象的聚类和包含单个对象的类进行层次聚类，将划分出来的单独的类中可能属于同一个类的对象聚集到对应的类中，从而提高了召回率。

摘要： 本公开涉及基于增量聚类的代码安全检测方法以及系统，该方法包括：输入数据预处理步骤，判断包括待测代码的输入数据的具体内容，当判断为输入数据中的待测代码为首次进行检测的代码的情况下，对待测代码进行解析以获取该待测代码的控制流图的集合；数据降维处理步骤，对所述控制流图分别使用基于JL引理的随机投影和线性判别分析以进行降维处理，得到控制流图的降维数据；缺陷匹配步骤，对降维数据进行污点函数特征匹配，以提取缺陷作为匹配结果；以及网格聚类步骤，将匹配结果投影至网格中生成网格数据，使用DBSCAN算法进行网格聚类。