• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文会议>Twenty-Seventh International Conference on Very Large Data Bases, 27th, Sep 11-14th, 2001, Roma, Italy >NetCube: A Scalable Tool for Fast Data Mining and Compression
【24h】

NetCube: A Scalable Tool for Fast Data Mining and Compression

机译：NetCube：用于快速数据挖掘和压缩的可扩展工具

获取原文
获取原文并翻译 | 示例
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

We propose an novel method of computing and storing DataCubes. Our idea is to use Bayesian Networks, which can generate approximate counts for any query combination of attribute values and "don't cares." A Bayesian network represents the underlying joint probability distribution of the data that were used to generate it. By means of such a network the proposed method, NetCube, exploits correlations among attributes. Our proposed preprocessing algorithm scales linearly on the size of the database, and is thus scalable; it is also parallelizable with a straightforward parallel implementation. Moreover, we give an algorithm to estimate counts of arbitrary queries that is fast (constant on the database size). Experimental results show that NetCubes have fast generation and use (a few minutes preprocessing time per 100,000 records and less than a second query time), achieve excellent compression (at least 1800:1 compression ratios on real data) and have low reconstruction error (less than 5% on average). Moreover, our method naturally allows for visualization and data mining, at no extra cost.
机译：我们提出了一种计算和存储DataCube的新颖方法。我们的想法是使用贝叶斯网络，它可以为属性值和“无关”的任何查询组合生成近似计数。贝叶斯网络表示用于生成数据的数据的潜在联合概率分布。通过这样的网络，所提出的方法NetCube利用了属性之间的相关性。我们提出的预处理算法根据数据库的大小线性扩展，因此具有可扩展性。它也可以通过简单的并行实现并行化。此外，我们提供了一种算法来估计任意查询的数量，该算法速度很快（取决于数据库大小）。实验结果表明，NetCube具有快速的生成和使用（每100,000条记录几分钟的预处理时间和不到一秒钟的查询时间），出色的压缩率（对实际数据的压缩率至少为1800：1）和低重构误差（较少超过5％）。此外，我们的方法自然允许可视化和数据挖掘，而无需任何额外费用。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号