基于Hadoop分布式缓存的研究与实践

梁晓杰; 王绍宇

首页> 中文期刊> 《智能计算机与应用》 >基于Hadoop分布式缓存的研究与实践

基于Hadoop分布式缓存的研究与实践

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

在大规模离线数据的分析场景中,由于元数据库被频繁访问造成的性能瓶颈导致集群计算速度急剧下降.典型的Hadoop平台多基于磁盘进行数据读写,磁盘的读写速度又明显不如内存.针对这种情况,本文基于Hadoop平台,结合对其他分布式缓存的研究,提出了一种新的分布式缓存技术来加快数据的计算速度,从而提高数据的计算时效性.实验结果表明应用于Hadoop的MMap内存模型能极大地提升了集群的计算速度.该模型能有效将文件映射到内存区域,减少内核与用户空间来回拷贝数据,同时数据异步式追加方式不会阻塞计算进程,能有效提升集群整体的计算能力.

著录项

来源
《智能计算机与应用》 |2015年第6期|29-32|共4页
作者
梁晓杰; 王绍宇;
展开▼
作者单位

东华大学计算机科学与技术学院,上海201620;

东华大学计算机科学与技术学院,上海201620;

展开▼
原文格式 PDF
正文语种 chi
中图分类各种专用数据库;
关键词
Hadoop; 分布式; 缓存;

相似文献

中文文献
外文文献
专利

1. 基于Hadoop分布式缓存的研究与实践 [J] . 梁晓杰 ,王绍宇 . 智能计算机与应用 . 2015,第006期
2. Redis分布式缓存技术在Hadoop平台上的应用 [J] . 姚经纬 ,杨福军 . 计算机技术与发展 . 2017,第006期
3. 基于Hadoop的文本分析算法研究与实践 [J] . 彭杨 . 信息与电脑 . 2020,第024期
4. ECLHadoop:基于Hadoop的有效电子商务物流大数据处理策略 [J] . 魏斐翡 . 计算机工程与科学 . 2013,第010期
5. 基于分布式缓存加速容器化深度学习的优化方法 [J] . 张凯 ,车漾 . 大数据 . 2021,第005期
6. 新疆油田信息应用平台基于分布式缓存服务的实践 [C] . 陈瑞军 . 第三届信息化创新克拉玛依国际学术论坛 . 2014
7. 基于Redis的分布式缓存系统的设计与实现 [A] . 章铖 . 2018

基于Hadoop分布式缓存的研究与实践

摘要

著录项

相似文献

相关主题

期刊订阅