大数据环境下Spark性能优化分析研究与应用

黄志; 苏传程; 苏晓红

首页> 中文期刊> 《气象科技》 >大数据环境下Spark性能优化分析研究与应用

大数据环境下Spark性能优化分析研究与应用

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

针对长时间序列、多站点和多气象要素的大数据量查询需求,现有的CIMISS(China Integrated Meteorological Information Sharing System)存在支撑能力严重不足的问题。本研究使用广西气象站点建站至今的历史地面气象记录月报表数据资料和现有Hadoop集群物理资源,重新设计数据ETL流程,构建Parquet格式数据集并完成HDFS转换存储;嵌入Spark的Broadcast广播变量,优化Spark集群执行参数,提高了集群的处理并行度和SparkSql的关联查询效率。结果表明,Parquet格式数据集的最高压缩比超过95%,一次性大数据量的查询效率比原来提升了1~5倍,并支持高并发访问,为各类相关预报预测业务的开展提供了有效的技术支撑。

著录项

来源
《气象科技》 |2022年第1期|51-58|共8页
作者
黄志; 苏传程; 苏晓红;
展开▼
作者单位

广西壮族自治区气象信息中心;

展开▼
原文格式 PDF
正文语种 chi
中图分类电子计算机在大气科学上的应用;
关键词
HADOOP; SPARK; ETL; PARQUET; 列式存储; BROADCAST;

相似文献

中文文献
外文文献
专利

1. 大数据环境下高校选课系统性能优化应用研究 [J] . 周辉奎 ,何员子 . 电脑知识与技术 . 2016,第031期
2. 大数据环境下基于Spark的Bayes分类算法研究 [J] . 张睿敏 ,张琪淼 ,杜叔强 . 工业仪表与自动化装置 . 2018,第003期
3. 电改环境下基于大数据平台的输配电价分析研究与应用 [J] . 王筠 ,周明 . 微计算机信息 . 2017,第023期
4. 电改环境下基于大数据平台的输配电价分析研究与应用 [J] . 王筠 ,周明 . 科技与创新 . 2017,第023期
5. 基于Spark的新闻大数据分析研究 [J] . 李伟 ,孙新杰 ,张毓福 . 六盘水师范学院学报 . 2019,第003期
6. 大数据环境下用户行为审计数据的建模分析研究 [C] . XuDangsheng ,徐党生 ,LiShuo . 中国移动通信信息安全管理与运行中心第七届信息安全专家论坛 . 2017
7. 大数据环境下基于Spark的油藏经营管理系统研究 [A] . 刘珍 . 2020

大数据环境下Spark性能优化分析研究与应用

摘要

著录项

相似文献

相关主题

期刊订阅