大数据处理框架SDC的拓展及应用

吴广建; 于梦洁

首页> 中文期刊> 《计算机时代》 >大数据处理框架SDC的拓展及应用

大数据处理框架SDC的拓展及应用

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

SDC(Streamsets Data Collector)是一款可拖拽式的大数据ETL工具,可以不用写代码就能实现大量数据的处理,但要实现任务定时管理和多数据源等复杂功能则需要利用其公司的非开源产品.文章介绍利用SDC内部接口,设计开发定时组件以及结合其自带组件,实现管道(PipeLine)的定时任务调度和多数据源应用.实验结果表明,拓展的框架组件可以实现伪实时及复杂的定时任务,并结合内部组件完成本机及远程多数据源整合应用,能解决用户对具体定时场景的应用问题.

著录项

来源
《计算机时代》 |2019年第7期|19-21|共3页
作者
吴广建; 于梦洁;
展开▼
作者单位

杭州师范大学阿里巴巴商学院;

浙江杭州 311100;

上海师范大学教育学院;

展开▼
原文格式 PDF
正文语种 chi
中图分类信息处理（信息加工）;
关键词
ETL工具; 管道; 定时组件; 多数据源;

相似文献

中文文献
外文文献
专利

1. 不同应用场景下的大数据处理框架研究 [J] . 骆魁永 ,罗丹 . 信息技术与信息化 . 2020,第006期
2. 利用SDCORS数据建立山东区域动态坐标参考框架 [J] . 姜英明 ,郭金运 ,刘智敏 . 北京测绘 . 2015,第005期
3. 基于Spark大数据处理框架的逆时偏移成像技术研究 [J] . 蒋楠 . 石油物探 . 2020,第004期
4. 常见大数据处理框架比较研究 [J] . 孙丽 . 电脑知识与技术 . 2020,第012期
5. 对大数据处理框架的认识和实践 [J] . 金琦 . 中国信息技术教育 . 2020,第013期
6. 超分子框架的构筑和功能:从葫芦脲限域空腔到框架开放空间的拓展 [C] . 曹利平 . 全国第十九届大环化学暨第十一届超分子化学学术讨论会 . 2018
7. 一种大数据处理应用框架系统设计与实现 [A] . 张彦 . 2019

大数据处理框架SDC的拓展及应用

摘要

著录项

相似文献

相关主题

期刊订阅