首页> 中文会议>上海市科学技术协会第十八届学术年会暨上海市航空学会2020年综合性学术年会 >基于SQL-on-Hadoop的不同数据格式的试飞数据查询性能研究

基于SQL-on-Hadoop的不同数据格式的试飞数据查询性能研究

页面导航

摘要
著录项
相似文献
相关主题

摘要

随着国内民用大飞机行业的快速发展,产生了海量试飞数据,使用大数据技术存储处理试飞数据的需求日益增长.针对试飞数据的特性,结合现有Hadoop生态,从数据存储格式、SQL-on-Hadoop技术等维度出发,通过数据查询实验,确定数据存储、数据处理的技术路线.实验结果表明,以ORC或Parquet格式存储试飞数据,能节省大量存储空间,且对试飞数据获取速度无影响甚至有提升;Spark SQL因其计算框架优势能在一秒内完成单次数据查询,适合在少量试飞数据集中快速查询的场景;从硬件成本角度,Hive技术在实时要求不高的试飞数据查询中能发挥关键作用.

著录项

来源
《上海市科学技术协会第十八届学术年会暨上海市航空学会2020年综合性学术年会》|2020年|42-47|共6页
会议地点上海
作者
Wang Wei; 王伟; Feng Can; 冯灿; Li Chenghao; 李成浩;
展开▼
作者单位

上海市科协上海市航空学会;

展开▼
会议组织
正文语种
原文格式 PDF
中图分类 V217.1;
关键词
民用飞机; 试飞数据; 存储格式; 查询性能;

相似文献

中文文献
外文文献
专利

1. NET基于三层的ObjectDataSource和基于两层的SqlDataSource的数据查询和删除的性能对比研究 [J] . 刘仲博 . 电子世界 . 2013,第013期
2. 基于ImpaIa的大数据查询分析计算性能研究 [J] . 郭超 ,刘波 ,林伟伟 . 计算机应用研究 . 2015,第005期
3. 基于参考重量的直升机航程性能试飞研究 [J] . 李亮明 . 工程与试验 . 2019,第004期
4. 基于试飞的机载AIS系统性能分析方法研究 [J] . 张阳 ,杨琨 ,马壮 . 电子测量技术 . 2016,第10期
5. 基于不同混合工艺的棉/舒弹丝纤维混纺纱性能研究 [J] . 梁巧敏 ,崔益怀 ,张娣 . 丝绸 . 2022,第2期
6. 基于不同试飞环境的发动机平均故障间隔时间评估方法研究 [C] . 田斐斐 ,王守敏 . 中国航空学会第十二届发动机试验与测试学术交流会 . 2014
7. 基于HBase的卫星空间数据查询系统设计与性能分析 [A] . 马育 . 2015

基于SQL-on-Hadoop的不同数据格式的试飞数据查询性能研究

摘要

著录项

相似文献

相关主题

期刊订阅