物联网环境下基于上下文的Hadoop大数据处理系统模型

李敏; 倪少权; 邱小平; 黄强

首页> 中文期刊> 《计算机应用》 >物联网环境下基于上下文的Hadoop大数据处理系统模型

物联网环境下基于上下文的Hadoop大数据处理系统模型

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

针对物联网环境下异构大数据处理实时性低的问题,探讨了基于Hadoop框架实现数据处理与持久化的方法,提出了一种基于“上下文”的Hadoop大数据处理系统模型HDS,HDS利用Hadoop框架完成数据并行处理与持久化,将物联网环境下异构数据抽象为“上下文”作为HDS处理对象;并提出了“上下文距离”“上下文邻域系统(CNS)”的定义;对于Hadoop框架本身数据处理实时性不高的问题,HDS在设计上增加了“上下文队列(CQ)”作为辅助存储来提高数据处理实对性;利用“上下文”的时空特性,建立了用户请求“上下文邻域系统”对任务进行重组.以成品油配送车辆调度问题为例,利用MapReduce并行实验对HDS的数据处理与实时性能进行了验证与分析.实验结果表明,在物联网环境下,HDS不仅在大数据处理性能上较传统单点处理模型(SDS)具有明显优势,在实验环境中10台服务器的情况下,其计算性能能够超过SDS 200倍以上;同时也验证了CQ作为辅助存储能够有效提高数据处理实时性,在10台服务器环境下,其数据处理实时性能够提高270倍以上.

著录项

来源
《计算机应用》 |2015年第5期|1267-1272|共6页
作者
李敏; 倪少权; 邱小平; 黄强;
展开▼
作者单位

西南交通大学交通运输与物流学院;

成都610031;

西南交通大学交通运输与物流学院;

成都610031;

西南交通大学全国铁路列车运行图编制研发培训中心;

成都610031;

西南交通大学交通运输与物流学院;

成都610031;

西南交通大学交通运输与物流学院;

成都610031;

西南交通大学全国铁路列车运行图编制研发培训中心;

成都610031;

展开▼
原文格式 PDF
正文语种 chi
中图分类总体设计、系统设计;
关键词
大数据; 物联网; Hadoop; 上下文邻域系统; 上下文队列;

相似文献

中文文献
外文文献
专利

1. 物联网环境下基于上下文感知的智能交互模型 [J] . 李敏 ,倪少权 ,黄强 . 西南交通大学学报 . 2016,第006期
2. 物联网环境信息系统智能交互上下文模型研究 [J] . 蒲海涛 ,刁文 ,樊铭渠 . 电力信息化 . 2011,第008期
3. 普适计算环境下基于分层Agent的上下文共享模型研究 [J] . 郑笛 ,王俊 ,贾焰 . 计算机研究与发展 . 2006,第0z1期
4. 基于上下文感知的物联网智能交互模型 [J] . 吴晓强 ,张春友 ,侍红岩 . 物联网技术 . 2018,第011期
5. 物联网中基于历史上下文的决策模型 [J] . 陈志奎 ,邱一腾 ,李良 . 计算机研究与发展 . 2011,第0z2期
6. 普适计算环境下基于分层Agent的上下文共享模型研究 [C] . 郑笛 ,王俊 ,贾焰 . 第一届Agent理论与应用学术会议 . 2006
7. 物联网环境下基于上下文感知的智能交互关键技术研究 [A] . 蒲海涛 . 2011

物联网环境下基于上下文的Hadoop大数据处理系统模型

摘要

著录项

相似文献

相关主题

期刊订阅