基于MPI的并行大数据集生成器

葛旭冉; 刘洋; 陈志广; 肖侬

首页> 中文期刊> 《计算机工程与科学》 >基于MPI的并行大数据集生成器

基于MPI的并行大数据集生成器

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

大数据处理分析算法在优化研究过程中,速度常常受限于数据集的规模。在数据集体量不足时,算法的通信时间往往要高于真正的计算时间,无法验证真实的效果。故设计实现了一个大数据集生成器,为运行在超级计算机上的并行大数据处理分析算法提供基准测试数据集。首先,使用MPI并行编程技术构造了一个并行随机数生成器,在此基础上设计实现了可控制规模及复杂性的人工数据集,主要包括:分类和聚类数据集、回归数据集、流形学习数据集和因子分解数据集等。其次,设计了大数据集生成器的I/O系统,提供MPI-I/O并行读、写数据集的接口,并设置了数据集在不同进程间的分发、映射规则,通过点对点通信实现不同节点之间的数据交互。实验结果表明,并行大数据集生成器有效提高了数据生成效率和生成规模,为并行大数据处理分析算法提供了高质量、大体量的测试数据集。

著录项

来源
《计算机工程与科学》 |2022年第7期|1152-1161|共10页
作者
葛旭冉; 刘洋; 陈志广; 肖侬;
展开▼
作者单位

国防科技大学计算机学院;

中山大学计算机学院;

展开▼
原文格式 PDF
正文语种 chi
中图分类计算机网络;
关键词
MPI; 大数据集生成器; I/O系统; 并行大数据处理算法; 算法测试;

相似文献

中文文献
外文文献
专利

1. 基于MPI的伪谱法大涡模拟并行计算的研究 [J] . 肖红林 ,罗纪生 . 计算机工程与应用 . 2009,第003期
2. 基于MPI并行开发平台的并行库研究 [J] . 李东 ,李晓明 . 小型微型计算机系统 . 1996,第012期
3. 基于蜕变关系的贝叶斯分类器测试数据集生成器的设计与实现 [J] . JIA Ming-hua ,XU Yue ,WANG Xiao-dong . 数字技术与应用 . 2019,第005期
4. 基于蜕变关系的贝叶斯分类器测试数据集生成器的设计与实现 [J] . 贾明华1 ,徐月1 ,王晓东1 . 数字技术与应用 . 2019,第005期
5. 基于MPI并行计算方法的实践 [J] . 郭福洲 . 科技资讯 . 2021,第28期
6. 基于MPI的伪谱法大涡模拟并行计算的研究 [C] . 肖红林 ,罗纪生 . 中国宇航学会计算机应用专业委员会2013年度技术交流会 . 2013
7. 基于OpenMP/MPI的大规模标量场数据并行体可视化技术研究 [A] . 范良 . 2021

基于MPI的并行大数据集生成器

摘要

著录项

相似文献

相关主题

期刊订阅