基于Spark的并行Eclat算法

冯兴杰; 潘轩

首页> 中文期刊> 《计算机应用研究》 >基于Spark的并行Eclat算法

基于Spark的并行Eclat算法

页面导航

摘要
著录项
相似文献
相关主题

摘要

通过对Spark大数据平台以及Eclat算法的深入分析,提出了基于Spark的Eclat算法(即SPEclat)。针对串行算法在处理大规模数据时出现的不足,该方法在多方面进行改进:为减少候选项集支持度计数带来的损耗,改变了数据的存储方式;将数据按前缀进行分组,并划分到不同的计算节点,压缩数据的搜索空间,实现并行化计算。最终将算法结合Spark云计算平台的优势加以实现。实验表明该算法可在处理海量数据集时高效运行,并且在面对数据量大规模增长的情况下具备良好的可扩展性。

著录项

来源
《计算机应用研究》 |2019年第1期|18-21|共4页
作者
冯兴杰; 潘轩;
展开▼
作者单位

中国民航大学计算机科学与技术学院;

中国民航大学信息网络中心;

展开▼
原文格式 PDF
正文语种 chi
中图分类算法理论;
关键词
关联规则挖掘; 大数据; Spark; 投影树; 并行化;

相似文献

中文文献
外文文献
专利

1. 基于Spark的并行Eclat算法 [J] . 冯兴杰 ,潘轩 . 计算机应用研究 . 2019,第1期
2. 基于位存储Tid的CPU并行化Eclat算法 [J] . SUN Zongxin ,ZHANG Guiyun . 计算机工程 . 2018,第12期
3. 基于Spark和NRSCA策略的并行深度森林算法 [J] . 毛伊敏 ,刘绍芬 . 计算机应用研究 . 2024,第1期
4. 基于Spark的扩展孤立森林算法并行化改造实验设计 [J] . 应文豪 ,孙中强 ,王诗愉 . 实验技术与管理 . 2023,第4期
5. 基于Spark的并行频繁项集挖掘算法 [J] . 毛伊敏 ,吴斌 ,许春冬 . 计算机集成制造系统 . 2023,第4期
6. 基于Spark的大规模并行协同过滤算法研究 [C] . 佟强 ,张煦渤 ,张蓓赟 . 2017“互联网+、大数据与商业创新国际会议” . 2017
7. 基于位存储Tid的Eclat算法CPU并行化与分布式研究 [A] . 孙宗鑫 . 2018

基于Spark的并行Eclat算法

摘要

著录项

相似文献

相关主题

期刊订阅