• 主题
高级搜索  >
历史搜索 清空历史
首页> 中国专利> 基于Hadoop平台的海量存取件记录处理方法及装置

基于Hadoop平台的海量存取件记录处理方法及装置

页面导航
  • 摘要
  • 著录项
  • 相似文献

摘要

本发明实施例所提供的基于Hadoop平台的海量存取件记录处理方法及装置，首先，获取存取件数据并在对存取件数据进行存储时实时检测预设的Hadoop集群中的HDFS的占用率是否达到设定占用率，若是，则计算存取件数据对应的当前数据量。其次，在判断出当前数据量大于设定数据量时对每个第一目标HDFS中存储的目标存取件数据进行识别得到目标存取件数据对应的查询记录。最后，根据查询记录对每个第一目标HDFS存储的至少部分目标存储件数据进行冗余数据剔除并保留至少部分目标存储件数据对应的关键数据，以释放每个第一目标HDFS的存储空间。如此，能够将Hadoop集群中的冗余数据进行剔除从而释放存储空间以动态地实现对存取件数据的存储，从而提高对存取件数据的存储效率。

著录项

  • 公开/公告号CN111797069B

    专利类型发明专利

  • 公开/公告日2020-12-08

    原文格式PDF

  • 申请/专利权人 江苏云柜网络技术有限公司;

    申请/专利号CN202010949054.8

  • 发明设计人 王彪;杨博;张友平;邵杰;

    申请日2020-09-10

  • 分类号G06F16/182(20190101);G06F16/215(20190101);G06F16/28(20190101);

  • 代理机构51224 成都顶峰专利事务所(普通合伙);

  • 代理人匡睿

  • 地址 210000 江苏省南京市雨花台区凤台南路146号天合广场1幢1501室

  • 入库时间 2022-08-23 11:24:58

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号