首页> 中文学位 >探索性数据可视化分析系统的设计与实现
【6h】

探索性数据可视化分析系统的设计与实现

代理获取

目录

声明

摘要

第1章 绪论

1.1 课题的研究背景和意义

1.2 国内外发展现状

1.2.1 可视化分析系统发展现状

1.2.2 大数据处理技术发展现状

1.3 研究内容和论文结构

第2章 相关技术概述

2.1 数据可视化

2.1.1 数据可视化流程

2.1.2 可视化编码

2.2 Spark分布式计算框架

2.2.1 Spark概述

2.2.2 Spark运行时架构

2.2.3 Spark SQL

2.3 本章小结

第3章 系统需求分析与概要设计

3.1 需求分析

3.1.1 功能性需求分析

3.1.2 非功能性需求分析

3.2 概要设计

3.2.1 系统技术架构

3.2.2 系统模块划分

3.2.3 系统数据库设计

3.2.4 Web服务器与Spark集群交互

3.3 本章小结

第4章 系统详细设计与实现

4.1 用户操作模块

4.1.1 业务流程设计

4.1.2 模块功能实现

4.2 项目管理模块

4.2.1 业务流程设计

4.2.2 模块功能实现

4.3 数据集服务模块

4.3.1 业务流程设计

4.3.2 模块功能实现

4.4 数据集转换模块

4.4.1 业务流程设计

4.4.2 模块功能实现

4.5 数据可视化模块

4.5.1 业务流程设计

4.5.2 模块功能实现

4.5.3 具体可视化图表

4.6 本章小结

第5章 系统测试

5.1 测试环境

5.1.1 Web服务器

5.1.2 Spark集群

5.2 系统功能测试

5.3 系统性能测试

5.3.1 转换器执行阶段性能测试

5.3.2 图表生成阶段性能测试

5.4 本章小结

第6章 热力地图优化方案

6.1 热力地图前端绘制过程

6.2 GeoHash算法引入

6.3 实验分析

6.3.1 绘制效果分析

6.3.2 性能分析

6.4 本章小结

总结与展望

致谢

参考文献

攻读硕士学位期间发表的论文及科研成果

展开▼

摘要

随着信息技术的不断发展,人们在日常生活中接触到的数据正在以惊人的速度增长,数据已经成为人们生活中的重要组成部分,如何对海量数据进行有效的分析和处理已经成为当下的研究热点。数据可视化技术通过将数据映射为图形、符号和颜色等,能够直观展示数据内部隐含的信息,为人们对数据做进一步分析和处理提供了参考思路,是大数据分析不可或缺的重要手段和工具。可视化方法可以大致分为两类:探索性可视化与解释性可视化。前者的目标是在数据处理初期阶段,借助可视化图表帮助人们在杂乱的数据中发掘数据的内在联系;后者是在视觉呈现阶段,将己知的信息或知识以可视的方式传递给公众。针对海量未经加工的原始数据,提供一个能够对其进行数据转化与可视化分析的平台十分必要。
  本研究面向普通用户设计并构建了一个支持数据接入、数据管理、数据转换、数据可视化等完整功能的通用探索性数据可视分析系统。主要工作包括以下几点:对数据可视化流程、可视化编码技术、Spark相关技术进行概述,为系统的设计提供理论基础;从需求分析入手,提炼了系统的主要功能。在此基础上对系统划分为项目管理、数据集服务、数据集转换、数据可视化、用户操作五个模块;基于B/S模式对系统进行架构设计,选用Play! Framework2作为Web服务框架。采用MVC的思想将系统划分为展现层、控制层、业务逻辑层、数据访问层、数据层、加速层,并对各层中使用的工具进行简要介绍。考虑到对于海量数据的处理需求,加速层引入分布式计算框架Spark作为数据转换、数据查询的引擎;数据层使用分布式文件系统HDFS存储数据集文件;设计各模块业务流程,实现模块功能。以活动图阐述模块功能的工作流程,以时序图的形式展现模块的运行逻辑与对象关系;对系统进行功能测试以及关键功能的性能分析,针对目前系统中热力地图在大数据集下绘制能力的不足,提出了一个结合GeoHash算法的优化方案,并对方案进行验证分析。优化方案在一定程度上减轻了前端热力地图绘制的压力,并具有良好的绘制效果。

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
代理获取

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号