首页> 中文期刊> 《北京信息科技大学学报(自然科学版)》 >面向商品筛选应用的大数据处理优化技术

面向商品筛选应用的大数据处理优化技术

         

摘要

随着电子商务的飞速发展,商品数量越来越多,商品筛选应用对海量商品信息进行分布式存储和处理时,现有模型需要分布式系统中各个节点全部并行工作,再将每个节点结果整合得到最终结果,其过程会产生很多无效查询.提出一种基于关键列预处理的分布式数据存储与查询技术.该技术通过对表的历史查询进行统计分析,选定高频或核心字段作为关键列,根据关键列和分布式系统节点结构来进行数据存储;当有数据查询请求时,对于含有关键列的查询,可只针对部分节点生成有效查询任务.结果证明,该技术在不带来额外存储开销的情况下,可减少分布式系统中各节点的总工作任务数,有效提高系统吞吐率.

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号