不同网络环境下大数据系统的测试与分析

朱叶青; 牛德姣; 蔡涛; 何耀

首页> 中文期刊> 《江苏大学学报：自然科学版》 >不同网络环境下大数据系统的测试与分析

不同网络环境下大数据系统的测试与分析

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

为了研究网络架构和通讯协议对大数据处理与应用系统效率的影响,在介绍与分析不同网络架构和通讯协议的基础上,使用以太网和Infiniband网络连接,安装TCP/IP,IPoIB和RDMA协议,构建了Hadoop,Tachyon和Spark原型系统,使用通用测试工具和例程等进行了测试.测试结果表明相比使用TCP/IP,使用IPoIB能提高Hadoop的I/O性能4.6-5.6倍,减少Tachyon数据处理的时间开销达2%-27%,减少了Spark 90%-95%的时间开销,同时Spark性能提高了46倍.此外使用RDMA相比IPoIB减少了3%-15%的系统开销.最终分析得出,高速网络架构和高效通讯协议能有效提高大数据处理系统的I/O性能、处理效率和适应能力.

著录项

来源
《江苏大学学报：自然科学版》 |2016年第4期|429-437|共9页
作者
朱叶青; 牛德姣; 蔡涛; 何耀;
展开▼
作者单位

江苏大学计算机科学与通信工程学院;

展开▼
原文格式 PDF
正文语种 chi
中图分类一般性问题;
关键词
大数据处理系统; 网络架构; Hadoop; Tachyon; Spark; Infiniband; IPoIB; RDMA;

相似文献

中文文献
外文文献
专利

1. ORACLE中大数据量下索引效率的测试与分析 [J] . 李志敏 ,汤琼 ,彭志刚 . 计算机时代 . 2007,第005期
2. 不同工况下V63一体式夹紧器下盖冲击的测试与分析 [J] . 范磊 . 液压与气动 . 2021,第007期
3. 基于近声场识别法的某大型客车不同车速下噪声测试与分析 [J] . 罗青东 ,郑鹏飞 ,余溆江 . 十堰职业技术学院学报 . 2021,第001期
4. 基于近声场识别法的某大型客车不同车速下噪声测试与分析 [J] . 罗青东 ,郑鹏飞 ,余溆江 . 湖北工业职业技术学院学报 . 2021,第001期
5. 不同装药量下的爆破振动测试与分析 [J] . 樊继永 ,解红军 ,叶图强 . 中国矿业 . 2009,第003期
6. 当今社会及网络环境下大数据的信息安全 [C] . 王晶 . 2017中国石油石化企业网络安全技术交流大会 . 2017
7. 不同无线传感网络环境下的分簇路由算法研究 [A] . 白永红 . 2014

1. 一种网络环境下email大数据的预处理系统及方法 [P] . 中国专利： CN109241007B . 2021.08.13

2. 大数据网络环境下的云计算数据安全防护系统 [P] . 中国专利： CN113420343A . 2021-09-21

3. AUTOMATIC TESTING AND ANALYSIS METHOD, AUTOMATIC TESTING AND ANALYSIS SYSTEM, APPLICATION SERVER AND COMPUTER-READABLE STORAGE MEDIUM [P] . 外国专利： WO2019114209A1 . 2019-06-20

机译：自动测试与分析方法，自动测试与分析系统，应用服务器和计算机可读存储介质

4. SYSTEM AND METHOD FOR ANALYZING BIG DATA IN A NETWORK ENVIRONMENT [P] . 外国专利： US2014337274A1 . 2014-11-13

机译：网络环境中的大数据分析系统和方法

5. Method and device for measurement of relative coverage between two different communication networks in various communication network environment [P] . 外国专利： KR100887735B1 . 2009-03-12

机译：在各种通信网络环境下测量两个不同通信网络之间相对覆盖的方法和装置

相关主题

不同网络环境下大数据系统的测试与分析

摘要

著录项

相似文献

相关主题

期刊订阅