首页> 中文会议>2016年全国高性能计算学术年会 >内存计算框架Spark的数据失效恢复策略

内存计算框架Spark的数据失效恢复策略

页面导航

摘要
著录项
相似文献
相关主题

摘要

内存计算框架充分利用RAM的低延迟特性,有效避免磁盘I/O性能瓶颈,大幅提高了计算效率.然而内存计算框架作业执行过程中,在数据失效时需要工作节点重新计算,较长的lineage和宽依赖的Shuffle同步操作导致恢复过程不仅浪费计算资源,更增加了作业延时,降低了恢复效率.本文针对内存计算框架Spark的数据失效恢复问题,建立了执行效率模型和任务恢复模型,提出了算法的优化目标.根据模型的相关定义求解,设计了失效恢复策略,建立适应节点计算能力的备份及恢复策略,有效缩减失效时的恢复延时,优化恢复效率.实验表明:该算法提高了内存计算框架作业恢复效率,使集群资源得到有效利用.

著录项

来源
《2016年全国高性能计算学术年会》|2016年|64-73|共10页
会议地点西安
作者
Ying Changtian; 英昌甜; Yu Jiong; 于炯; Bian Chen; 卞琛; Lu Liang; 鲁亮; Qian Yurong;
展开▼
作者单位

中国计算机学会;

展开▼
会议组织
正文语种
原文格式 PDF
中图分类算法理论;
关键词
内存计算框架; 数据失效; 恢复策略; 检查点策略;

相似文献

中文文献
外文文献
专利

1. 内存计算框架局部数据优先拉取策略 [J] . 卞琛 ,于炯 ,修位蓉 . 计算机研究与发展 . 2017,第004期
2. 基于Spark框架的电力大数据服务技术 [J] . 孙煜华 ,李情 ,张梦清 . 信息技术 . 2021,第005期
3. 基于Spark框架的大数据局部频繁项集挖掘算法设计 [J] . 王黎 ,吕殿基 . 微型电脑应用 . 2021,第004期
4. 基于Spark的大数据清洗框架设计与实现 [J] . 张菁楠 . 黑龙江科技信息 . 2021,第022期
5. 基于Spark框架的网络大数据分类处理方法研究 [J] . 王志 . 信息与电脑 . 2021,第010期
6. 基于Spark大数据计算框架的MRO文件快速解析工具 [C] . 汪宁 ,李亚 ,谭裴 . 中国移动通信集团设计院第22届新技术论坛 . 2016
7. 基于Spark框架的视频大数据并行处理策略及应用研究 [A] . 虞家睿 . 2020

内存计算框架Spark的数据失效恢复策略

摘要

著录项

相似文献

相关主题

期刊订阅