Spark on Yarn模式的电信大数据处理平台

纪贵

首页> 中文期刊> 《计算机应用文摘》 >Spark on Yarn模式的电信大数据处理平台

Spark on Yarn模式的电信大数据处理平台

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

针对电信大数据处理系统中存在的问题,文章提出一种基于Spark on Yarn模型的SY-TPP。在SY-TPP平台上,应用Hadoop2.0 Yarn标准,并利用Spark分布式存储技术,将SY-TPP系统的数据在内存中进行集中处理。以分级聚类算法为案例,对SY-TPP平台的开发过程进行了详细的分析。实验结果表明,TPP平台上的GB级用户可以在半个工作日内完成数据处理,而32个实体节点的SYTPP系统的速度比相同配置下的Map Reduce平台提高了10.25倍。

著录项

来源
《计算机应用文摘》 |2023年第13期|52-54|共4页
作者
纪贵;
展开▼
作者单位

中国联合网络通信有限公司济南软件研究院;

展开▼
原文格式 PDF
正文语种 chi
中图分类程序设计、软件工程;
关键词
电信; 大数据处理; SparkonYarn模式;

相似文献

中文文献
外文文献
专利

1. Spark on Yarn模式的电信大数据处理平台 [J] . 杨玉 ,张远夏 . 福建电脑 . 2019,第3期
2. 基于Spark+YARN的空气污染预报云平台设计 [J] . 丁凡 ,马敏劲 ,丁峰 . 计算机工程与应用 . 2017,第19期
3. 基于Hadoop与Spark的大数据处理平台的构建研 [J] . 朱毓 . 互联网周刊 . 2023,第7期
4. 一种基于Spark大数据处理平台的查询方法 [J] . 张海峰 ,魏可欣 . 南京邮电大学学报（自然科学版） . 2021,第4期
5. Spark大数据处理平台的构建及应用 [J] . 王玉 . 大众标准化 . 2019,第18期
6. 打造电信级电子招投标平台推进中国移动采购模式转型 [C] . 刘刚 . 2015中国“互联网+”招标采购发展论坛 . 2015
7. 基于YARN的工业大数据处理平台研究与实现 [A] . 冯朝阁 . 2015

Spark on Yarn模式的电信大数据处理平台

摘要

著录项

相似文献

相关主题

期刊订阅