• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文会议>IEEE international conference on data engineering >The DBMS - your big data sommelier
【24h】

The DBMS - your big data sommelier

机译：DBMS-您的大数据侍酒师

获取原文
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

When addressing the problem of “big” data volume, preparation costs are one of the key challenges: the high costs for loading, aggregating and indexing data leads to a long data-to-insight time. In addition to being a nuisance to the end-user, this latency prevents real-time analytics on “big” data. Fortunately, data often comes in semantic chunks such as files that contain data items that share some characteristics such as acquisition time or location. A data management system that exploits this trait can significantly lower the data preparation costs and the associated data-to-insight time by only investing in the preparation of the relevant chunks. In this paper, we develop such a system as an extension of an existing relational DBMS (MonetDB). To this end, we develop a query processing paradigm and data storage model that are partial-loading aware. The result is a system that can make a 1.2 TB dataset (consisting of 4000 chunks) ready for querying in less than 3 minutes on a single server-class machine while maintaining good query processing performance.
机译：在解决“大”数据量的问题时，准备成本是主要挑战之一：加载，聚合和索引数据的高成本导致较长的数据获取时间。这种延迟不仅给最终用户带来麻烦，而且还阻止了对“大”数据的实时分析。幸运的是，数据通常以语义块的形式出现，例如文件，其中包含共享某些特征（例如采集时间或位置）的数据项。利用此特征的数据管理系统仅投资相关块的准备工作即可显着降低数据准备成本和相关的数据收集时间。在本文中，我们开发了这样的系统，作为现有关系DBMS（MonetDB）的扩展。为此，我们开发了部分加载感知的查询处理范例和数据存储模型。结果是系统可以在不超过3分钟的时间内在一台服务器级计算机上准备好1.2 TB数据集（由4000个数据块组成）的查询，同时保持良好的查询处理性能。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号