基于Spark框架和ASPSO的并行划分聚类算法

毛伊敏; 甘德瑾; 廖列法; 陈志刚

首页> 中文期刊> 《通信学报》 >基于Spark框架和ASPSO的并行划分聚类算法

基于Spark框架和ASPSO的并行划分聚类算法

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

针对划分聚类算法处理海量的数据存在的数据离散系数较大与抗干扰性差、局部簇簇数难以确定、局部簇质心随机性及局部簇并行化合并效率低等问题,提出了一种基于Spark框架和粒子群优化自适应策略(ASPSO)的并行划分聚类(PDC-SFASPSO)算法。首先,提出了基于皮尔逊相关系数和方差的网格划分策略获取数据离散系数较小的网格单元并进行离群点过滤,解决了数据离散系数较大与抗干扰性差的问题;其次,提出了基于势函数与高斯函数的网格划分策略,获取局部聚类的簇数,解决了局部簇簇数难以确定的问题;再次,提出了ASPSO获取局部簇质心,解决了局部簇质心的随机性问题;最后,提出了基于簇半径与邻居节点的合并策略对相似度大的簇进行并行化合并,提高了局部簇并行化合并的效率。实验结果表明,PDC-SFASPSO算法在大数据环境下进行数据的划分聚类具有较好的性能表现,适用于对大规模的数据集进行并行化聚类。

著录项

来源
《通信学报》 |2022年第3期|148-163|共16页
作者
毛伊敏; 甘德瑾; 廖列法; 陈志刚;
展开▼
作者单位

江西理工大学信息工程学院;

中南大学计算机学院;

展开▼
原文格式 PDF
正文语种 chi
中图分类程序设计、软件工程;
关键词
Spark框架; 并行划分聚类; 网格划分; 粒子群优化自适应策略; 并行化合并;

相似文献

中文文献
外文文献
专利

1. 基于Spark框架的并行聚类算法 [J] . 李淋淋 ,倪建成 ,曹博 . 计算机技术与发展 . 2017,第005期
2. 基于Spark的层次聚类算法的并行化研究 [J] . 余胜辉 ,李玲娟 . 计算机技术与发展 . 2020,第006期
3. 基于Spark并行的密度峰值聚类算法 [J] . 孙伟鹏 ,吴锡生 ,孟斌 . 计算机应用研究 . 2020,第001期
4. 基于Spark的密度聚类算法并行化研究 [J] . 朱子龙 ,李玲娟 . 计算机技术与发展 . 2018,第006期
5. SCoS:基于Spark的并行谱聚类算法设计与实现 [J] . 朱光辉 ,黄圣彬 ,袁春风 . 计算机学报 . 2018,第004期
6. 机群系统上基于映射和抽样划分的并行聚类算法 [C] . . 2008年全国开放式分布与并行计算学术年会 . 2008
7. 基于Spark的空间聚类算法的并行化优化研究与应用 [A] . 任晨雨 . 2020

基于Spark框架和ASPSO的并行划分聚类算法

摘要

著录项

相似文献

相关主题

期刊订阅