首页> 中国专利> 一种基于Hadoop和Spark的可扩展性大数据分析平台

一种基于Hadoop和Spark的可扩展性大数据分析平台

摘要

本发明公开了一种基于Hadoop和Spark的可扩展性大数据分析平台,包括可拓展数据接入模块、特征提取模块、全局数据分析模块、数据管理模块、流管理模块与算子管理模块,所述可拓展数据接入模块设置有多个且其用于提供多种数据源接入,其输入数据并支持分布式文件系统、列式数据库、关系型数据库的数据存储方式;所述特征提取模块与多个可拓展数据接入模块连接且其用于读取输入数据,其包括整合单元与数据类型提取单元,整合单元接收多个可拓展数据接入模块的输入数据并对输入数据进行整合,其将输入数据整合成预制数据集。本发明具有处理更快、预测更准确,具有稳定可靠、容易扩展的特点,可以进行海量数据分析以帮助用户更好地从数据中获取价值。

著录项

  • 公开/公告号CN110175207A

    专利类型发明专利

  • 公开/公告日2019-08-27

    原文格式PDF

  • 申请/专利权人 深圳供电局有限公司;

    申请/专利号CN201910463031.3

  • 发明设计人 刘昕林;罗伟峰;邓巍;黄萍;

    申请日2019-05-30

  • 分类号G06F16/25(20190101);

  • 代理机构11589 北京劲创知识产权代理事务所(普通合伙);

  • 代理人陆滢炎

  • 地址 518048 广东省深圳市福田区福华三路

  • 入库时间 2024-02-19 12:54:43

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-09-20

    实质审查的生效 IPC(主分类):G06F16/25 申请日:20190530

    实质审查的生效

  • 2019-08-27

    公开

    公开

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号