首页> 中文学位 >一种网络化测试系统中的并行数据处理架构的实现
【6h】

一种网络化测试系统中的并行数据处理架构的实现

代理获取

目录

第1章 绪论

1.1课题来源及研究的目的和意义

1.2国内外研究现状

1.3基于仪器资源的平台构建方案分析

1.4本课题的主要研究内容

1.5论文结构

第2章 基于仪器资源的并行数据处理计算架构

2.1网络化测试系统体系结构

2.2并行数据处理的基本概念

2.3实现网络化并行数据处理要解决的问题

2.4网络化测试系统中的并行数据处理架构

2.5本章小结

第3章 适于网络化测试系统的计算资源模型

3.1 PBS作业管理系统简介

3.2面向用户的顶层计算资源管理实现

3.3 Cgroups的概念和原理

3.4面向仪器资源的硬件资源管理

3.5本章小结

第4章 基于MPI的测试数据并行处理

4.1并行程序开发基础

4.2并行FFT算法设计

4.3 MPI计算平台构建

4.4并行FFT的MPI应用程序开发

4.5本章小结

第5章 网络化测试系统中并行数据处理实验验证

5.1实验硬件平台简介

5.2 Cgroups资源控制实验验证

5.3并行FFT计算性能评估

5.4资源限制下的并行FFT计算和节点计算资源使用

5.5本章小结

结论

参考文献

攻读学位期间发表的学术论文及其它成果

声明

致谢

展开▼

摘要

网络化测试以独特的分布式架构在武器装备测试、核爆炸试验、航空航天测试,钢铁、化工、石油等工厂自动化中有着广泛的应用。实时性是网络化测试系统的主要问题之一。除了采用高性能测试仪器和高速通信网络外,测试数据的处理是影响系统实时性的关键。针对目前使用较多的集中式数据处理方式下可能存在的网络传输延迟、数据处理时效性差的问题,本文提出了一种适于网络化测试系统的并行数据处理架构,存在着进一步提高系统实时性的可能。该研究可看作是并行计算、集群计算在测试领域的拓展。
  在深入分析了多种计算模式、计算平台构建方案及隔离技术的基础上,结合网络化测试系统结构特点,设计了一种双层资源管理调度模型:通过PBS在系统层进行局域网络仪器资源的管理,用户通过系统的中心—主控计算机进行包含了资源需求和如何使用这些资源的命令作业脚本的提交,并配置作业调度策略,使系统给出物理节点的运行建议。在仪器节点上,针对嵌入式节点多核、多内存节点的应用环境,基于Linux系统的Cgroups内核特性构建了资源容器,即计算任务可以以特定的CPU时间比率和内存限制,在特定的CPU、内存节点上进行运行。
  构建了适合仪器环境的并行运算平台,选取适于高性能计算的消息传递模型MPI,使用其开源实现MPICH配合并行进程管理器Hydra,在网络一系列网络配置的基础上,构建并行程序的调试、运行环境。分析并行算法的一般开发策略,按照数据分解的方式,以串行FFT算法为基础实现了FFT算法的并行化。在并行FFT算法的基础上,利用MPI标准提供的通信支持,开发了并行FFT数据处理应用程序。
  实验结果表明,可成功实现从顶层作业脚本编写、提交,系统给出运行仪器节点建议,并行FFT程序在建议节点上运行,并将计算进程纳入资源容器进行执行等功能。性能参数分析表明,通信开销是影响并行数据处理性能的主要因素,是进一步提高系统实时性的关键。

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
代理获取

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号