基于存储改进的分区并行关联规则挖掘算法

王永贵; 谢南; 曲海成

首页> 中文期刊> 《计算机应用研究》 >基于存储改进的分区并行关联规则挖掘算法

基于存储改进的分区并行关联规则挖掘算法

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

cqvip:针对现有算法存储结构简单、生成大量冗余的候选集、时间和空间复杂度高、挖掘效率不理想的情况,为了进一步提高关联规则算法挖掘频繁集的速度,优化算法的执行性能,提出基于内存结构改进的关联规则挖掘算法。该算法基于Spark分布式框架,分区并行挖掘出频繁集,提出在挖掘过程中利用布隆过滤器进行项目存储,并对事务集和候选集进行精简化操作,进而达到优化挖掘频繁集的速度、节省计算资源的目的。算法在占用较少内存的条件下,相比于YAFIM和MR-Apriori算法,在挖掘频繁集效率上有明显的提升,不但能较好地提升挖掘速度,降低内存的压力,而且具有很好的可扩展性,使得算法可以应用到更大规模的数据集和集群,从而达到优化算法性能的目的。

著录项

来源
《计算机应用研究》 |2020年第1期|167-171|共5页
作者
王永贵; 谢南; 曲海成;
展开▼
作者单位

辽宁工程技术大学软件学院辽宁葫芦岛 125105;

展开▼
原文格式 PDF
正文语种 chi
中图分类算法理论;
关键词
关联规则; 大数据; 候选集; 布隆过滤器; Spark;

相似文献

中文文献
外文文献
专利

1. 改进的并行关联规则增量挖掘算法 [J] . 毛伊敏 ,邓千虎 ,邓小鸿 . 计算机应用研究 . 2021,第010期
2. 一种改进的并行关联规则挖掘算法 [J] . 杨启仁 . 软件导刊 . 2009,第007期
3. 一种改进的并行关联规则挖掘算法 [J] . 杨启仁 . 教育技术导刊 . 2009,第007期
4. 一种基于记录分区的多值关联规则挖掘算法 [J] . 丁艺明 ,金远平 . 东南大学学报（自然科学版） . 2000,第002期
5. 基于信息熵与遗传算法的并行关联规则增量挖掘算法 [J] . 毛伊敏 ,邓千虎 ,陈志刚 . 通信学报 . 2021,第005期
6. 一个改进的并行关联规则挖掘算法 [C] . 谭政 ,王翰虎 ,陈梅 . 2009年西南地区网络与信息系统学术年会 . 2009
7. 一种改进的并行关联规则挖掘算法 [A] . 孙静姝 . 2007

基于存储改进的分区并行关联规则挖掘算法

摘要

著录项

相似文献

相关主题

期刊订阅