• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文会议>IEEE International Congress on Big Data >Flexible ingest framework: A scalable architecture for dynamic routing through composable pipelines
【24h】

Flexible ingest framework: A scalable architecture for dynamic routing through composable pipelines

机译：灵活的摄取框架：通过可组合管道进行动态路由的可伸缩体系结构

获取原文
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

In this paper we describe a flexible and scalable big data ingestion framework based on Apache Spark. It is flexible in that meta-information about the data is used to build custom processing pipelines at run-time. It is scalable in that it leverages Apache Spark with minimal additional overhead. These capabilities allow a user to setup custom big data processing pipelines capable of handling changing data types without the need to recompile code in an operational environment. This is particularly advantageous in secure environments where recompilation is undesirable or unattainable.
机译：在本文中，我们描述了一个基于Apache Spark的灵活且可扩展的大数据摄取框架。它具有灵活性，因为有关数据的元信息用于在运行时构建自定义处理管道。它具有可扩展性，因为它以最小的额外开销利用了Apache Spark。这些功能使用户可以设置自定义的大数据处理管道，从而能够处理变化的数据类型，而无需在操作环境中重新编译代码。这在不希望或无法进行重新编译的安全环境中特别有利。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号