基于Storm的数据迁移工具的设计与实现

代理获取

页面导航

目录
摘要
著录项
相似文献
相关主题

摘要

数据作为政府机构和企业单位的核心资产，在几十年的信息技术变革中，逐渐显现其金子般的色彩。随着数据量的增长，人们所面临的数据迁移难度越来越大。在进行应用迁移和数据分析时，数据迁移的效率逐渐引起了相关人员的重视。
　　从海量数据迁移需求的角度，参考已有的数据迁移工具，以Apache Storm为底层分布式数据流处理引擎，构建了一个面向海量数据迁移需求的高效异构数据迁移工具。该数据迁移工具在结构上主要分为任务划分与分发和分布式数据流两部分。这两部分相互配合，共同完成了数据迁移任务。
　　其中分布式数据流实现了数据抽取、数据转换和数据装载。通过实现Storm中的Spout组件接口以及对异构数据源的适配完成了对数据源的数据抽取，通过实现Storm中Bolt组件接口完成了数据转换和装载，并且可以通过动态编译代码脚本的方式实现了灵活的自定义转换。
　　任务划分与分发主要是对待迁移任务的划分和分发。每一个待迁移的数据库表对应一个任务，任务的划分就是选择数据库表的一个划分字段，根据划分字段将表划分成多个部分，每一个部分对应一个子任务。任务分发则是以Zookeeper作为中介，首先将划分得到的子任务发布到Zookeeper集群中，然后由数据抽取节点从Zookeeper中获取任务执行。
　　此外，为了达到较高的可用性和可靠性，在任务划分与分发节点和数据抽取节点之间利用Zookeeper实现了节点注册和状态检测等功能。
　　最后通过实验表明，该数据迁移工具满足了设计目标，实现了高效的数据迁移功能。

著录项

作者
桂明月;
展开▼
作者单位

华中科技大学;

展开▼
授予单位华中科技大学;
学科计算机软件与理论
授予学位硕士
导师姓名李海波;
年度 2015
页码
总页数
原文格式 PDF
正文语种中文
中图分类 TP393.09;TP311.13;
关键词
分布式数据流; 海量数据迁移; 处理引擎; Bolt组件接口; 数据转换; 代码脚本;

相似文献

中文文献
外文文献
专利

1. 基于C#程序语言数据迁移工具的设计与实现 [J] . 金孟兰 ,罗恩韬 ,潘学文 . 大众科技 . 2019,第010期
2. 基于Storm平台的数据迁移合并节能策略 [J] . 蒲勇霖 ,于炯 ,鲁亮 . 通信学报 . 2019,第012期
3. 非结构化数据迁移工具的设计与实现 [J] . 李志星 . 电脑知识与技术 . 2013,第009期
4. 异构数据库数据迁移工具的设计与实现 [J] . 李秋珍 ,李立夏 ,龙红军 . 舰船电子工程 . 2007,第005期
5. 通用数据迁移工具的设计与实现 [J] . 陈昌广 . 计算机时代 . 2004,第010期
6. 高能物理海量数据迁移系统的设计与实现 [C] . 石京燕 ,臧冬松 ,程耀东 . 第十五届全国核电子学与核探测技术学术年会 . 2010
7. 基于Storm的实时数据SQL化查询工具的设计与实现 [A] . 孔建夫 . 2018

基于Storm的数据迁移工具的设计与实现

目录

摘要

著录项

相似文献

相关主题

期刊订阅