首页> 中文会议>第19届全国信息存储技术学术会议 >MapReduce框架在高性能计算机平台上的部署与性能优化技术

MapReduce框架在高性能计算机平台上的部署与性能优化技术

页面导航

摘要
著录项
相似文献
相关主题

摘要

大数据时代的来临已经为个人生活、企业经营,甚至国家和社会发展带来了新的机遇,同时大数据的存储、分析处理技术也迎来了严峻挑战.当前大规模数据处理平台主要有商用集群系统、高性能计算机系统等,相应的处理技术分别为MapReduce编程框架和MPI并行程序设计等.但是此两种技术都有各自的优势和缺点,处理效率有限.研究如何使两者优势互补、相互融合,可以一定程度上缓解大数据的存储与处理压力,而且对于拓展高性能计算机的应用领域具有一定意义.本文首先探索了在采用MPP体系结构的高性能计算机系统上直接部署MapReduce的可能性,测试发现其性能受限于共享存储系统的I/O瓶颈.于是本文提出一种内存缓存策略,将MapReduce任务的中间数据和临时数据缓存在内存中,在高性能计算机TH1-A上测试后发现,对于会产生大量中间结果数据的应用,内存缓存的效率提升达100％以上.

著录项

来源
《第19届全国信息存储技术学术会议》|2013年|84-89|共6页
会议地点武汉
作者
喻杰; 刘光明; 董文睿; 胡维;
展开▼
作者单位

中国计算机学会;

展开▼
会议组织
正文语种
原文格式 PDF
中图分类外存贮器（辅助存贮器）总论;
关键词
计算机平台; 共享存储系统; 内存缓存策略; MapReduce编程;

相似文献

中文文献
外文文献
专利

1. KD-90普及型个人高性能计算机系统设计与性能优化 [J] . 蔡晔 ,刘刚 ,毛睿 . 深圳大学学报（理工版） . 2013,第002期
2. 量子线路模拟器QuEST在多GPU平台上的性能优化 [J] . 张亮 ,常旭 ,秦志楷 . 计算机工程与科学 . 2021,第001期
3. FFT-OFDM在ARM平台上的实现与性能优化研究 [J] . 陈海波 ,张峰 ,窦昱钦 . 通信技术 . 2019,第007期
4. IA-32平台上的软件性能优化 [J] . 金峰 . 电脑编程技巧与维护 . 2005,第002期
5. Windows平台上Oracle数据库的系统性能优化 [J] . 王晓春 ,赵霁 ,张岩 . 计算机工程 . 2004,第009期
6. 面向移动化部署的高性能计算机设计 [C] . Liu Xiaoli ,刘小丽 ,曹政 . 2015全国高性能计算学术年会 . 2015
7. 高性能计算机I/O性能优化关键技术研究 [A] . 喻杰 . 2018

MapReduce框架在高性能计算机平台上的部署与性能优化技术

摘要

著录项

相似文献

相关主题

期刊订阅