首页> 中文会议>第33届中国数据库学术会议（NDBC2016 ） >基于Spark的方体计算与存储

基于Spark的方体计算与存储

页面导航

摘要
著录项
相似文献
相关主题

摘要

联机分析处理(OLAP)工具基于方体(Data Cube)提供在多种粒度上对多维数据的交互式分析,成为现代数据仓库和决策支持系统的重要组件.大数据时代下,方体呈指数型膨胀,传统的单机生成技术陷入内存溢出、维度爆炸的困境,将分布式计算引入方体计算是必然选择.本文适配Spark的平台特性,提出行之有效的并行方体生成算法PipeCube,以及配套的物化设计和查询方法.本算法将搜索格划分为多条线型pipeline并串行执行之,同时引入数据炸裂技术和离散型pipeline的设计增加并行度;针对大数据量下的OLAP操作,本文设计方体的分布式存储和HashMap索引以实现精准定向,避免对文件的全量扫描.在不同数据规模和不同维度数量上的实验表明,PipeCube算法高度胜任大数据量、高维度数和有限内存的计算场景。

著录项

来源
《第33届中国数据库学术会议（NDBC2016 ）》|2016年|1-9|共9页
会议地点深圳
作者

展开▼
作者单位

中国计算机学会;

展开▼
会议组织
正文语种
原文格式 PDF
中图分类信息处理（信息加工）;
关键词
联机分析处理; 方体计算; 方体储存; 并行设计;

相似文献

中文文献
外文文献
专利

1. Spark环境下并行立方体计算方法 [J] . 萨初日拉 ,周国亮 ,时磊 . 计算机应用 . 2016,第002期
2. 基于RDD非序列化本地存储的Spark存储性能优化 [J] . 赵俊先 ,喻剑 . 计算机科学 . 2019,第005期
3. 利用MongoDB+Spark技术解决大数据量存储和计算问题 [J] . 郝树海 . 信息与电脑 . 2020,第5期
4. 基于Spark字典表压缩存储的关联规则算法优化 [J] . 刘丽娜 ,姜利群 . 计算机应用与软件 . 2021,第008期
5. 基于HBase/Spark的教学大数据存储及索引模型研究 [J] . 唐立 ,李亚平 ,曲金帅 . 云南民族大学学报（自然科学版） . 2020,第005期
6. 基于Spark的方体计算与存储 [C] . SHI Shaochen ,史少晨 ,ZHAO Kankan . 第33届中国数据库学术会议（NDBC2016 ） . 2016
7. 基于Spark平台的数据立方体快速计算方法研究 [A] . 萨初日拉 . 2016

基于Spark的方体计算与存储

摘要

著录项

相似文献

相关主题

期刊订阅