首页> 外文期刊>Release 1.0 >A Data Architecture For Fast Platforms
【24h】

A Data Architecture For Fast Platforms

机译:快速平台的数据架构

获取原文
获取原文并翻译 | 示例
           

摘要

The data management tools and techniques covered in this report are designed to enable fast processing of large-scale data stores. To take advantage of this speed and reduce data load time, as much of the data processing as possible should be moved to the fast platform (see diagram): 1. For data coming from external systems, use the fastest extraction process available (typically reducing load on source system): 1.1. FilesrnCompress large files before transferring, reducing bandwidth required to send 1.2. Tablesrn1.2.1. Pull data in the most raw formrnDon't pull BLOBs (Binary Large OBjects) unless required for analysisrn1.2.2. When possible, use bulk unload or dump processes (e.g., Oracle SQL~*Loader, SQL Server: bcp, MySQL: mysqldump) to create the most compact data set to transferrnConsider configuring source to make bulk unload possible, e.g., use partitioning torncreate a source table containing only the data to be extractedrn1.2.3. When bulk unload processes are not available or practical, use single table queries and mfnimal filters.
机译:本报告涵盖的数据管理工具和技术旨在快速处理大规模数据存储。为了利用此速度并减少数据加载时间,应将尽可能多的数据处理移至快速平台(请参见图):1.对于来自外部系统的数据,请使用可用的最快提取过程(通常减少在源系统上加载):1.1。 FilesrnCompress大文件传输之前,减少发送1.2所需的带宽。表rn1.2.1。除非分析需要,否则不要以最原始的形式提取数据rn不要提取BLOB(二进制大对象)。如果可能,请使用批量卸载或转储过程(例如,Oracle SQL〜* Loader,SQL Server:bcp,MySQL:mysqldump)创建要传输的最紧凑的数据集。考虑配置源以使批量卸载成为可能,例如,使用分区torncreate a源表仅包含要提取的数据rn1.2.3。当批量卸载过程不可用或不可行时,请使用单表查询和多功能过滤器。

著录项

  • 来源
    《Release 1.0》 |2009年第11期|19-23|共5页
  • 作者

  • 作者单位
  • 收录信息
  • 原文格式 PDF
  • 正文语种 eng
  • 中图分类
  • 关键词

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号