首页> 中文学位 >基于Spark的海量遥感图像并行镶嵌处理方法研究
【6h】

基于Spark的海量遥感图像并行镶嵌处理方法研究

代理获取

目录

摘要

1 绪论

1.1 研究背景

1.2 国内外研究现状

1.2.1 遥感图像镶嵌研究现状

1.2.2 遥感图像并行镶嵌研究

1.3 本文研究内容及贡献

1.4 论文结构安排

2 遥感图像镶嵌理论与相关技术

2.1 遥感图像镶嵌处理流程

2.1.1 图像预处理

2.1.2 重叠区域估计

2.1.3 图像配准

2.1.4 图像融合

2.2.1 传统并行镶嵌算法处理流程

2.2.2 图像重叠区域估计操作处理过程

2.2.3 图像配准处理过程

2.2.4 图像融合处理过程

2.2.5 传统并行镶嵌算法存在的问题

2.3 Spark分布式计算框架

2.3.1 Spark集群架构

2.3.2 Spark核心数据结构RDD

2.3.3 Spark运行逻辑

2.4 本章小结

3 基于Spark的遥感图像并行镶嵌方法研究

3.1 RDD接口分析

3.2 自定义RDD的算法实现

3.2.1 重叠区域估计操作算子

3.2.2 图像配准操作算子

3.2.3 图像融合操作算子

3.3 自定义RDD中图像镶嵌操作算子的设计

3.3.1 图像镶嵌操作算子类型的设定

3.3.2 调用操作算子生成的RDD依赖关系划分

3.4 自定义RDD的隐式转换创建

3.5 基于自定义RDD的遥感图像并行镶嵌处理

3.5.1 Spark集群中遥感图像并行镶嵌处理过程

3.5.2 Spark集群中遥感图像并行镶嵌运行逻辑

3.6 本章小结

4 实验设计及结果分析

4.1 实验环境建立

4.2 实验数据介绍

4.3 遥感图像镶嵌效果

4.4 稳定性和扩展性分析

4.4.1 稳定性分析实验

4.4.2 扩展性分析实验

4.5 处理效率分析

4.5.1 加速比对比实验

4.5.2 处理时间及吞吐率对比实验

4.6 本章小结

结论

参考文献

攻读学位期间发表的学术论文

致谢

声明

展开▼

摘要

随着对地观测技术的不断发展,海量遥感图像的分析成为近些年来军事、气象、交通等领域研究的重点,图像镶嵌作为遥感图像处理中的重要内容,在跨区域遥感图像分析中发挥着重要作用。为了解决传统遥感图像并行镶嵌算法中存在的计算节点利用率低、频繁数据I/O等问题,本文根据Spark分布式内存计算框架,充分利用Spark利于迭代类型数据处理的优势,提出一种基于Spark自定义RDD(弹性分布式数据集)的并行镶嵌方法,通过自定义针对遥感图像镶嵌处理的RDD来完成整个镶嵌过程,从而提高图像并行镶嵌的效率。本文的主要研究内容和工作如下:
  (1)Spark集群中自定义RDD的算法实现。通过重写Spark中RDD的compute和getPartitions方法,自定义针对遥感图像处理的RDD,并实现图像重叠区域估计、图像配准和图像融合三个操作算子。在实现重叠区域估计操作算子时,针对传统遥感图像并行镶嵌算法中存在的串行执行图像重叠区域估计操作导致处理效率不高的问题,根据进行重叠区域估计操作的相位相关法中傅里叶变换、傅里叶反变换等计算步骤的逻辑可分性和数据独立性,通过单指令多节点并行执行的方式对传统相位相关法进行改进,实现在集群的多节点上并行处理;在实现图像配准操作算子时,细化SIFT算法的处理步骤,解耦算法处理过程中图像间的关联关系,通过任务并行的思想,实现其并行处理;在实现图像融合操作算子时,根据泊松融合中各处理步骤的特点,在集群中同时进行多组图像的融合计算,实现图像融合操作的并行处理。
  (2)基于自定义RDD的遥感图像并行镶嵌方法的研究。将图像镶嵌中的重叠区域估计、图像配准和图像融合三个关键步骤作为自定义RDD的Transformation类型的操作算子,并根据镶嵌过程每个Partition中遥感图像的数量变化对调用操作算子生成的RDD进行依赖关系划分;然后在程序执行过程中通过隐式转换创建自定义RDD,并调用自定义RDD的操作算子来完成图像镶嵌的整个处理过程;最后通过实验表明,本文提出的基于自定义RDD的遥感图像并行镶嵌算法具有良好的稳定性和扩展性。并且与传统基于MPI的并行镶嵌算法相比,本论文中采用的方法在保证图像镶嵌效果的基础上,在加速比、吞吐率等性能指标上有了显著提高,能够有效提高海量遥感图像的并行镶嵌效率。

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
代理获取

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号