面向海量文本数据的多任务并行调度加载技术研究与实现

陈光强; 杨树强; 张晓辉; 李润恒; 贾焰

首页> 中文期刊> 《计算机研究与发展》 >面向海量文本数据的多任务并行调度加载技术研究与实现

面向海量文本数据的多任务并行调度加载技术研究与实现

开具论文收录证明 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

随着文本数据量的急剧增长,对传统的数据库技术在数据存储、实时数据加载等方面都提出了新的挑战.海量数据管理平台MDMP就是针对海量文本数据的存储及管理需求而研制的.根据文本数据的特点,通过对大数据按照其内容和时间等属性进行划分,使得对一批海量数据的加载过程被分解为若干不相关的加栽子任务,从而利用合理的并行调度算法使各个加栽子任务高度并行执行.MDMP中基于多任务并行调度加栽技术提供了高性能的加载.主要研究了多任务并行调度加载技术.

著录项

来源
《计算机研究与发展》 |2009年第z2期|316-321|共6页
作者
陈光强; 杨树强; 张晓辉; 李润恒; 贾焰;
展开▼
作者单位

中国人民解放军国防科技大学;

中国科学院计算技术研究所;

展开▼
原文格式 PDF
正文语种 chi
中图分类程序设计、软件工程;
关键词
海量数据加载; 多任务并行调度; 数据存储; 多维任务;

相似文献

中文文献
外文文献
专利

1. 基于CORBA的海量数据加载并行任务调度技术研究与实现 [J] . 房友园 ,杨树强 ,贾焰 . 计算机应用与软件 . 2006,第010期
2. 海量数据管理平台MDMP中并行加载与查询技术研究 [J] . 张丽 ,杨树强 ,李爱平 . 计算机研究与发展 . 2007,第0z3期
3. 面向OLAP的高效海量数据存储技术研究与实现 [J] . 韩毅 ,韩伟红 ,杨树强 . 微电子学与计算机 . 2006,第z1期
4. 面向矢量瓦片的海量空间数据并行处理技术 [J] . 李瀚 ,胡明晓 ,龚志红 . 计算机与现代化 . 2018,第009期
5. 面向软件脆弱性的并行检测系统相关技术研究与实现 [J] . 范巍 . 电子制作 . 2014,第020期
6. 面向海量数据的并行UNION查询技术研究与实现 [C] . 王佳 ,杨树强 ,贾焰 . 2006年全国开放式分布与并行计算学术会议 . 2006
7. 面向异构多核系统的多任务并行在线调度技术研究 [A] . 卫灿 . 2018

面向海量文本数据的多任务并行调度加载技术研究与实现

摘要

著录项

相似文献

相关主题

期刊订阅