首页> 中文会议>第33届中国数据库学术会议（NDBC2016 ） >Helius:一个轻量级大数据运算系统

Helius:一个轻量级大数据运算系统

页面导航

摘要
著录项
相似文献
相关主题

摘要

本文阐述随着内存容量呈指数级增长,基于内存计算的大数据运算平台Spark得到广泛关注.Spark在性能上远超传统的MapReduce模型.然而,Spark有两方面的局限性:第一,数据集不可变;第二,依赖JVM运行环境,从而引起代码执行、内存管理、数据序列化/反序列化等开销.为此,采用C/C++语言,设计并实现了一种轻量级的大数据运算系统——Helius.Helius支持Spark的基本操作,同时允许数据集整体修改,利用C/C++优化了内存管理和网络传输,采用一种stateless worker的机制,简化了分布式计算平台的容错恢复过程.Helius相对Spark而言有以下几个优势:一、节约内存,二、不需要序列化和反序列化、三、减少网络交互,四、容错简单.实验表明,Helius在处理迭代任务时速度比Spark快至少3倍,TPCH性能提高了43％.集群环境下,worker节点的内存开销节省35％,master和worker间的网络传输量减少4倍.

著录项

来源
《第33届中国数据库学术会议（NDBC2016 ）》|2016年|1-8|共8页
会议地点深圳
作者

展开▼
作者单位

中国计算机学会;

展开▼
会议组织
正文语种
原文格式 PDF
中图分类 TP311.13;
关键词
大数据运算系统; 内存管理; 网络传输; 容错恢复;

相似文献

中文文献
外文文献
专利

1. 轻量级大数据运算系统Helius [J] . 丁梦苏 ,陈世敏 . 计算机应用 . 2017,第002期
2. 一个基于Web的轻量级大数据处理与可视化工具 [J] . 李炎 ,马俊明 ,安博 . 计算机科学 . 2018,第009期
3. 基于随机运算符的轻量级匿名射频识别系统双向认证协议 [J] . 吴恺凡 ,殷新春 . 计算机应用 . 2021,第006期
4. 基于用户行为的轻量级大数据分析系统构建研究 [J] . 高强 ,姜悦悦 . 移动信息 . 2021,第002期
5. 一种轻量级大数据分析系统的实现 [J] . 解文祥 . 移动信息 . 2017,第011期
6. 一个基于Web的轻量级大数据处理与可视化工具 [C] . LI Yan ,李炎 ,Ma Jun-ming . 第十六届全国软件与应用学术会议 . 2017
7. 一个基于模式匹配的轻量级网络入侵检测系统设计与实现 [A] . 霍中杰 . 2011

Helius:一个轻量级大数据运算系统

摘要

著录项

相似文献

相关主题

期刊订阅