一种基于大数据技术的智能综合治理平台产品

技术领域

本发明属于大数据领域。

背景技术

大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。大数据平台处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据仓库工具无法处理完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的各类技术。

大数据平台常见的一些工具汇集主要包含：语言工具类、数据采集工具、ETL工具、数据存储工具、分析计算等。

一、语言工具类

1、Java编程技术

Java编程技术是目前使用最为广泛的网络编程语言之一，是大数据学习的基础。Java具有简单性、面向对象、分布式、健壮性、安全性、平台独立与可移植性、多线程、动态性等特点，拥有极高的跨平台能力，是一种强类型语言，可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等，是大数据工程师最喜欢的编程工具，最重要的是，Hadoop以及其他大数据处理技术很多都是用Java，因此，想学好大数据，掌握Java基础是必不可少的。

2、Python与数据分析

Python是面向对象的编程语言，拥有丰富的库，使用简单，应用广泛，在大数据领域也有所应用，主要可用于数据采集、数据分析以及数据可视化等，因此，大数据开发需学习一定的Python知识。

二、数据采集类工具

1)Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。

2)Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。大数据的采集需要掌握Nutch与Scrapy爬虫技术。

三、ETL工具

1、Sqoop

Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库(如 MySQL，Oracle)导入数据到Hadoop HDFS，并从Hadoop文件系统导出到关系数据库，学习使用Sqoop对关系型数据库数据和Hadoop之间的导入有很大的帮助。

2、Kettle

Kettle是一个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。作为Pentaho的一个重要组成部分，现在在国内项目应用上逐渐增多，其数据抽取高效稳定。

四、数据存储类工具

1、Hadoop分布式存储与计算

Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算，因此，需要重点掌握，除此之外，还需要掌握Hadoop集群、Hadoop集群管理、YARN以及Hadoop 高级管理等相关技术与操作。

2、Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。相对于用Java代码编写MapReduce 来说，Hive的优势明显：快速开发，人员成本低，可扩展性(自由扩展集群规模)，延展性(支持自定义函数)。十分适合数据仓库的统计分析。对于Hive需掌握其安装、应用及高级操作等。

3、ZooKeeper

ZooKeeper是一个开源的分布式协调服务，是Hadoop和HBase的重要组件，是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组件服务等，在大数据开发中要掌握ZooKeeper的常用命令及功能的实现方法。

4、HBase

HBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库，更适合于非结构化数据存储的数据库，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，大数据开发需掌握HBase 基础知识、应用、架构以及高级用法等。

5、Redis

Redis是一个Key-Value存储系统，其出现很大程度补偿了Memcached这类Key/Value存储的不足，在部分场合可以对关系数据库起到很好的补充作用，它提供了Java，C/C++，C#，PHP，JavaScript，Perl， Object-C，Python，Ruby，Erlang等客户端，使用很方便，大数据开发需掌握Redis的安装、配置及相关使用方法。

6、Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，其在大数据开发应用上的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。大数据开发需掌握Kafka 架构原理及各组件的作用和使用方法及相关功能的实现。

五、数据分析类工具

NBI一站式大数据可视化分析构建平台。

NBI一站式大数据分析平台作为国内领先的新一代自助式、探索式分析工具，在产品设计理念上始终从用户的角度出发，一直围绕简单、易用，强调交互分析为目的的新型产品。我们将数据分析的各环节(数据准备、自服务数据建模、探索式分析、权限管控)融入到系统当中，让企业有序的、安全的管理数据和分析数据。

发明内容

大数据智能综合治理平台是一站式大数据智能综合治理系统，构架于服务器、存储、网络等基础硬件资源和单机操作系统、中间件、数据库、大数据工具、人工智能工具等软件之上的大数据智能综合治理系统。该平台将硬件资源逻辑上整合成一台超级服务器，为上层数智应用提供统一、标准的接口，提供数据智能探索发现、数据智能建模、数据智能部署和数据智能应用开发等功能。

大数据智能综合治理平台，简称DataBrainOS，是能够满足各类组织数智化转型需求和进行数智创新的赋能平台。

该平台产品可完全处理混合负载(OLTP，OLAP，流式数据等)，提供数据探索、模型构建、实时交互式查询/分析、机器学习、数智应用构建与部署等功能能有效推动组织业务服务模式和业务运营方式的创新，并且逐步帮助各类组织快速转型为面向未来的DT组织。

从数据智能建模、数据智能探索、数据智能部署到智能应用开发，均可在平台中实现。

1)平台支持丰富的机器学习和深度学习框架，大大降低人工智能技术的使用和应用门槛。平台整合了H2O、AI，支持大部分主流算法。公司自主研发的AI Manager，支持模型训练、模型管理、模型部署、服务的申请订阅、在线预测等，图形化的操作界面极大的降低了人工智能的门槛。

2)平台提供了自动化运维的支撑，基于容器云搭建的DataBrainOS平台，更易于运维。包括：日志采集、实时监控、自动伸缩、平台迁移等。

3)平台提供了统一的安全和多租户管理功能。

附图说明

图1是平台核心概念关系图，主要包括：数智大脑、数智基础服务组件、数智应用服务、数智探索单元、数智认知单元、数智探索神经元、数智认知神经元等相关的核心概念。基础服务组件称为“数智基础服务组件”，将这种在数智大脑中构建的应用服务称为“数智应用服务”。数智应用服务包括数智探索单元和数智认知单元。而数智探索单元和数智认知单元都是通过处理组件神经元拼接构成。我们将这些处理组件按照数据功能细分为三类：1)源组件，2)处理组件，3)宿组件。平台提供了缺省的处理组件，也支撑处理组件的定制化开发和处理组件的导入、导出，这些处理组件统称为数智神经元。

大数据智能综合治理平台即一个面向大数据人工智能分析处理的类脑平台，也即“数智大脑”。该数智大脑由基本的数智基础服务组件和运行引擎组成。在数智大脑中，多个数智神经元拼接形成一个个数智认知单元，以提供数智应用服务，实现大脑对外的赋能能力构建。

具体实施方式

过程分为三个阶段：1)安装准备；2)安装及配置；3)运行及验证。

安装准备阶段

准备好5台操作系统为Centos 7的机器，此处为虚机，设置主机IP地址为103.227.51.139，端口为 20002-20009。

1)下载deploy_dpaas.tar.gz文件；

2)复制压缩包deploy_dpaas.tar.gz到所有节点的/opt目录下；

3)在每台机器上解压该文件tar-xzvf deploy_dpaas.tar.gz；

4)在node1上执行cd deploy_dpaas；

5)在node1上执行./init.sh，在当前安装python等包；

6)在node1上执行python main.py change_host改变所有待安装节点的hostname。

安装及配置

1)使用浏览器登陆进入主页面，选择安装的节点，确认服务的节点分布；

2)选择首批安装的服务，进行安装；

3)选择第二批服务，进行安装，进行服务的配置；

4)databrain_user组件配置、Kafka UI配置、predict配置、AI Manager配置、进行kerberos配置

5)配置完成，重启所有服务。

运行及验证

1)使用浏览器登陆进入主页面；

2)验证创建数智应用是否成功；

3)验证数智应用准备阶段是否正常；

4)验证数智应用流处理阶段时候正常；

5)验证服务列表中各个子模块是否正常。