• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文会议>IEEE International Congress on Big Data >Indexing media storms on Flink
【24h】

Indexing media storms on Flink

机译：在Flink上索引媒体风暴

获取原文
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

We propose a media storm indexing algorithm using Map-Reduce in our recently proposed CDVC framework. In this study, CDVC is built on Flink, an open-source platform for stream data processing. The question we answer is how to store massive image collections; for instance, with over one million images per second, as well as with varying incoming rate. In our experiments with two benchmark datasets of 80M and 1B image descriptors, we evaluate the proposed algorithm on different indexing workloads, that is, images that come with high volume and different velocity at the scale of 105-106 images per second. Using a limited set of computational nodes, we show that we achieve a significant speed up factor of nine, on average, compared to conventional indexing techniques, in all settings. Finally, we make our source code publicly available.
机译：我们在最近提出的CDVC框架中提出了使用Map-Reduce的媒体风暴索引算法。在本研究中，CDVC基于Flink构建，Flink是用于流数据处理的开源平台。我们回答的问题是如何存储大量图像集合;例如，每秒超过一百万的图像，以及不同的传入速率。在我们使用80M和1B图像描述符的两个基准数据集进行的实验中，我们针对不同的索引工作负载（即每秒处理105-106张图像的情况下，具有高容量和不同速度的图像）评估了所提出的算法。通过使用一组有限的计算节点，我们证明与所有传统索引技术相比，我们平均可实现显着的9倍加速因子。最后，我们使源代码公开可用。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号