首页> 中国专利> 一种判断集群中的服务器是否需要回收的方法和装置

一种判断集群中的服务器是否需要回收的方法和装置

摘要

本发明公开了一种判断集群中的服务器是否需要回收的方法和装置。该方法包括:获取多组已判断数据;将一组已判断数据输入到指定机器学习模型中,供该机器学习模型进行训练学习;将另外的多组已判断数据中的第一部分数据依次输入到机器学习模型中,并将该机器学习模型输出的判断结果与多组已判断数据中的第二部分数据对应进行比较;根据比较结果确定服务器的一个或多个关键指标参数;对于集群中的待判断服务器,获取该服务器的关键指标参数值并输入到机器学习模型中,接收机器学习模型输出的该服务器是否需要回收的判断结果。可见,本发明采用机器学习的方法,自动获得出待判断服务器是否回收的判断结果,成本降低,整体效率提高。

著录项

  • 公开/公告号CN106713021A

    专利类型发明专利

  • 公开/公告日2017-05-24

    原文格式PDF

  • 申请/专利权人 北京奇虎科技有限公司;

    申请/专利号CN201611132399.4

  • 发明设计人 王哲;

    申请日2016-12-09

  • 分类号H04L12/24;H04L12/26;H04L29/08;

  • 代理机构北京市隆安律师事务所;

  • 代理人权鲜枝

  • 地址 100088 北京市西城区新街口外大街28号D座112室(德胜园区)

  • 入库时间 2023-06-19 02:19:08

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2020-02-11

    授权

    授权

  • 2017-06-16

    实质审查的生效 IPC(主分类):H04L12/24 申请日:20161209

    实质审查的生效

  • 2017-05-24

    公开

    公开

说明书

技术领域

本发明涉及计算机技术领域,具体涉及一种判断集群中的服务器是否需要回收的方法和装置。

背景技术

随着计算机和互联网的普及,基于服务器的业务不断的发展。在服务器提供业务服务的过程中,随着时间的推移,有些服务器会面临过保或未被充分使用等情况的出现,若服务器出现问题,会对整个系统业务造成严重的影响;若服务器未被充分使用,则会造成资源的浪费。为了避免上述情况的出现,需要对这些面临过保或未被充分使用的服务器进行回收以进行淘汰或者重新分配。

现有技术中,往往是通过人工手段根据每台服务器的整体运行状态,判断哪些服务器需要进行回收处理。但是,通过人工手段导致判断过程中人为因素过多,人工成本高,整体效率低。

发明内容

鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的判断集群中的服务器是否需要回收的方法和相应的装置。

依据本发明的一个方面,提供了一种判断集群中的服务器是否需要回收的方法,其中,该方法包括:

获取多组已判断数据;其中每组已判断数据包括多条数据,每条数据对应一台服务器且包括两部分:第一部分数据是对应服务器的一组指标参数值,第二部分数据是对应服务器是否需要回收的判断结果;

将一组已判断数据输入到指定机器学习模型中,供该机器学习模型进行训练学习;

将另外的多组已判断数据中的第一部分数据依次输入到所述机器学习模型中,并将该机器学习模型输出的各服务器是否需要回收的判断结果与所述多组已判断数据中的第二部分数据对应进行比较;

根据比较结果确定服务器的一个或多个关键指标参数;

对于集群中的待判断服务器,获取该服务器的关键指标参数值并输入到所述机器学习模型中,接收所述机器学习模型输出的该服务器是否需要回收的判断结果。

可选地,获取多组已判断数据包括:

采集集群中的各服务器的指标参数值,以及接收根据所采集的指标参数值做出的各服务器是否需要回收的判断结果。

可选地,所述采集集群中的各服务器的指标参数值,以及接收根据所采集的指标参数值做出的各服务器是否需要回收的判断结果包括:

采集集群中的各服务器的指标参数值,并通过指定渠道显示输出;

通过所述指定渠道接收输入的各服务器是否需要回收的人工判断结果。

可选地,另外的多组已判断数据中的第一部分数据所包含的指标参数各不相同;

所述根据比较结果确定服务器的一个或多个关键指标参数包括:从另外的多组已判断数据中,选取所述机器学习模型输出的判断结果与相应的第二部分数据最为接近的一组已判断数据;将选取的该组已判断数据的第一部分数据中包含的一组指标参数作为关键指标参数。

可选地,该方法进一步包括:

选取多种不同类型的机器学习模型;

将同一组已判断数据输入到所述多种机器学习模型中,供各机器学习模型进行训练学习;

将另外的多组已判断数据中的第一部分数据依次分别输入到各机器学习模型中,并将各机器学习模型输出的各服务器是否需要回收的判断结果与所述多组已判断数据中的第二部分数据对应进行比较;根据比较结果确定各机器学习模型分别对应的一组关键指标参数;

根据各机器学习模型分别对应的一组关键指标参数确定最终的关键指标参数;

再选取一组或多组已判断数据,将其第一部分数据中的与最终的关键指标参数对应的参数值输入到各机器学习模型中,并根据其第二部分数据计算出各机器学习模型输出的判断结果的准确率;选取准确率最高的机器学习模型;

根据所述最终的关键指标参数和准确率最高的机器学习模型判断集群中的服务器是否需要回收。

可选地,所述根据各机器学习模型分别对应的一组关键指标参数确定最终的关键指标参数包括:

选取在各组关键指标参数中均出现的指标参数作为最终的关键指标参数;

或者,

选取在各组关键指标参数中出现的次数高于预设阈值的指标参数作为最终的关键指标参数。

可选地,根据所述最终的关键指标参数和准确率最高的机器学习模型判断集群中的服务器是否需要回收包括:

对于集群中的待判断服务器,获取该服务器的与所述最终的关键指标参数对应的参数值并输入到所述准确率最高的机器学习模型中,接收所述准确率最高的机器学习模型输出的该服务器是否需要回收的判断结果。

可选地,所述指标参数包括如下中的一种或多种:

最后登录时长;

CPU负载;

磁盘输入输出状况;

核心文件最近修改时长;

已建立连接状态的连接数。

可选地,该方法进一步包括:

每隔预设时间间隔,根据集群的当前运行状态,重新获取多组已判断数据;

根据重新获取的多组已判断数据重复执行上述流程,获取新的关键指标参数;

依据新的关键指标参数判断集群中的服务器是否需要回收。

根据本发明的另一方面,提供了一种判断集群中的服务器是否需要回收的装置,其中,该装置包括:

数据获取单元,适于获取多组已判断数据;其中每组已判断数据包括多条数据,每条数据对应一台服务器且包括两部分:第一部分数据是对应服务器的一组指标参数值,第二部分数据是对应服务器是否需要回收的判断结果;

训练单元,适于将一组已判断数据输入到指定机器学习模型中,供该机器学习模型进行训练学习;将另外的多组已判断数据中的第一部分数据依次输入到所述机器学习模型中,并将该机器学习模型输出的各服务器是否需要回收的判断结果与所述多组已判断数据中的第二部分数据对应进行比较;根据比较结果确定服务器的一个或多个关键指标参数;

回收判断单元,适于对于集群中的待判断服务器,获取该服务器的关键指标参数值并输入到所述机器学习模型中,接收所述机器学习模型输出的该服务器是否需要回收的判断结果。

可选地,所述数据获取单元,适于采集集群中的各服务器的指标参数值,以及接收根据所采集的指标参数值做出的各服务器是否需要回收的判断结果。

可选地,所述数据获取单元,适于采集集群中的各服务器的指标参数值,并通过指定渠道显示输出;通过所述指定渠道接收输入的各服务器是否需要回收的人工判断结果。

可选地,另外的多组已判断数据中的第一部分数据所包含的指标参数各不相同;

所述训练单元,适于从另外的多组已判断数据中,选取所述机器学习模型输出的判断结果与相应的第二部分数据最为接近的一组已判断数据;将选取的该组已判断数据的第一部分数据中包含的一组指标参数作为关键指标参数。

可选地,所述训练单元,进一步适于选取多种不同类型的机器学习模型;将同一组已判断数据输入到所述多种机器学习模型中,供各机器学习模型进行训练学习;将另外的多组已判断数据中的第一部分数据依次分别输入到各机器学习模型中,并将各机器学习模型输出的各服务器是否需要回收的判断结果与所述多组已判断数据中的第二部分数据对应进行比较;根据比较结果确定各机器学习模型分别对应的一组关键指标参数;根据各机器学习模型分别对应的一组关键指标参数确定最终的关键指标参数;再选取一组或多组已判断数据,将其第一部分数据中的与最终的关键指标参数对应的参数值输入到各机器学习模型中,并根据其第二部分数据计算出各机器学习模型输出的判断结果的准确率;选取准确率最高的机器学习模型;

所述回收判断单元,进一步适于根据所述最终的关键指标参数和准确率最高的机器学习模型判断集群中的服务器是否需要回收。

可选地,所述训练单元,进一步适于选取在各组关键指标参数中均出现的指标参数作为最终的关键指标参数;或者,适于选取在各组关键指标参数中出现的次数高于预设阈值的指标参数作为最终的关键指标参数。

可选地,所述回收判断单元,适于对于集群中的待判断服务器,获取该服务器的与所述最终的关键指标参数对应的参数值并输入到所述准确率最高的机器学习模型中,接收所述准确率最高的机器学习模型输出的该服务器是否需要回收的判断结果。

可选地,所述指标参数包括如下中的一种或多种:

最后登录时长;

CPU负载;

磁盘输入输出状况;

核心文件最近修改时长;

已建立连接状态的连接数。

可选地,数据获取单元,进一步适于每隔预设时间间隔,根据集群的当前运行状态,重新获取多组已判断数据;

所述训练单元,进一步适于根据重新获取的多组已判断数据重复执行上述流程,获取新的关键指标参数;

所述回收判断单元,进一步适于依据新的关键指标参数判断集群中的服务器是否需要回收。

根据本发明的技术方案,采用机器学习模型,将一组已判断数据输入到指定机器学习模型中,供该机器学习模型进行训练学习;再将其他多组已判断数据依次输入到所述机器学习模型中,比较该机器学习模型输出的判断结果和其他多组已判断数据,确定服务器的一个或多个关键指标参数,这样就可以确定出对判断结果影响最大的一个或多个关键指标参数,当真正去判断待判断服务器的时候,只需要获取该服务器的关键指标参数值并输入到所述机器学习模型中,既可以直接获得该服务器是否需要回收的判断结果。综上所述,本发明采用机器学习的方法,自动获得出待判断服务器是否回收的判断结果,替代人工判断,成本降低,整体效率提高。

上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:

图1示出了根据本发明一个实施例的一种判断集群中的服务器是否需要回收的方法的流程示意图;

图2示出了根据本发明一个实施例的一种判断集群中的服务器是否需要回收的装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的一种判断集群中的服务器是否需要回收的方法的流程示意图。如图1所示,该方法包括:

步骤S110,获取多组已判断数据;其中每组已判断数据包括多条数据,每条数据对应一台服务器且包括两部分:第一部分数据是对应服务器的一组指标参数值,第二部分数据是对应服务器是否需要回收的判断结果。

这里的指标参数值是服务器中的各指标参数在当前状态中的数值,根据服务器中的各指标参数值对服务器是否需要回收进行判断,这里的判断可以通过人工方式或者其它算法进行判断。将对应服务器的各指标参数值,以及对应服务器是否需要回收的判断结果作为一条数据。这里的各指标参数值可以是服务器中的各指标参数的一个或者多个。

例如,获取三组已判断数据组分别是数据组A、数据组B和数据组C。每组数据包含有对应1000个服务器的1000条数据。每条数据包括的两部分是:第一部分是对应服务器的一组指标参数值,每组中有若干个指标参数值,例如:CPU负载、磁盘输入输出状况、核心文件最近修改时长、已建立连接状态的连接数分等指标参数的值;第二部分是对应服务器是否需要回收的判断结果,例如“回收”或者“不回收”;或者通过标识进行判断结果的标记,用“1”代表“回收”,“0”代表“不回收”;又或者也可以用百分数代表服务器需要回收的概率,其中判断结果为80%的回收的可能性要低于判断结果为90%的服务器的回收可能性。

需要说明的是,每组已判断数据组内的各条数据的指标参数的个数和类型相同,但是组与组之间的各条数据的指标参数的个数和类型可以相同也可以不同。

步骤S120,将一组已判断数据输入到指定机器学习模型中,供该机器学习模型进行训练学习。

从获取的多组已判断数据中选取一组数据输入到指定的机器学习模型中,该机器学习模型进行训练学习,以便获得判断服务器是否回收的判断依据。

这里的机器学习模型可以是现有的一些机器学习模型,如决策树模型或向量机模型等。

步骤S130,将另外的多组已判断数据中的第一部分数据依次输入到机器学习模型中,并将该机器学习模型输出的各服务器是否需要回收的判断结果与多组已判断数据中的第二部分数据对应进行比较。

为了从服务器的多个指标参数中获得对判断服务器是否需要回收影响最大的关键指标参数,本发明获得多组已判断数据,将其中一组数据作为机器学习的数据,其它组的数据用来确定服务器的一个或多个关键指标参数,例如,将数组A的数据输入到指定机器学习模型中,供该机器学习模型进行训练学习,利用数组B和数组C的数据确定服务器的一个或多个关键指标参数。具体做法就是将其它组的已判断数据(数组B和数组C)的第一部分数据依次输入到该机器学习模型中,并将该机器学习模型输出的各服务器是否需要回收的判断结果与多组已判断数据(数组B和数组C)中的第二部分数据对应进行比较。

步骤S140,根据比较结果确定服务器的一个或多个关键指标参数。

通过比较,会获得机器学习的判断结果与已判断数据中的第二部分数据中的判断结果是否一致,以及两者判断结果一致的程度。将一致程度最大的那组已判断数据中的第一部分数据中的指标参数作为关键指标参数。例如,将数组B和数组C的第一部分数据依次输入到该机器学习模型中,并将该机器学习模型输出的各服务器是否需要回收的判断结果与数组B和数组C中的的第二部分数据对应进行比较后,发现数组C的第二部分数据与机器学习的判断结果抑制的概率较大,那么就将数组C的第一部分数据中的指标参数作为关键指标参数。

步骤S150,对于集群中的待判断服务器,获取该服务器的关键指标参数值并输入到机器学习模型中,接收机器学习模型输出的该服务器是否需要回收的判断结果。

当利用机器学习获得的判断依据开始对集群中的待判断服务器进行是否需要回收的判断的时候,只需要获取该服务器的关键指标参数值并输入到机器学习模型中,就可以直接获得该服务器是否需要回收的判断结果。获得判断结果可以是“回收”或者“不回收”,也可能是个百分数。如果是百分数,就可以进一步的根据具体实际情况确定是否进行回收处理。例如,获得的回收概率是80%,但是暂时没有更好的服务器代替该服务器,那么就可以先不进行回收。

需要说明的是,本发明中的“回收”并不完全是根据服务器的忙或闲进行判断的,例如一台机器从资源利用率看很闲,但上面有重要的业务在运行或者仍然有访问,则不能回收,所以要根据服务器的整体运行状态综合进行判断。

可见,本发明采用机器学习的方法,自动获得出待判断服务器是否回收的判断结果,替代人工判断,成本降低,整体效率提高。

在本发明的一个实施例中,步骤S110中的获取多组已判断数据包括:采集集群中的各服务器的指标参数值,以及接收根据所采集的指标参数值做出的各服务器是否需要回收的判断结果。这里的判断可以通过人工方式或者其它算法进行判断。

在本发明的一个实施例中,通过人工的方法,根据指标参数值依次做出的各服务器是否需要回收的判断结果。那么,上述方法具体包括:采集集群中的各服务器的指标参数值,并通过指定渠道显示输出,以便人工可以通过显示获得各服务器的指标参数值;然后再通过指定渠道接收输入的各服务器是否需要回收的人工判断结果。最终组成多组已判断数据。

各组已判断数据中的第一部分数据所包含的指标参数的个数和类型可以相同也可以不同。在本发明的一个实施例中,另外的多组已判断数据中的第一部分数据所包含的指标参数各不相同。例如,数据组A的第一部分数据所包括的指标参数为:CPU负载、磁盘输入输出状况、核心文件最近修改时长;数据组B的第一部分数据所包含的指标参数为:CPU负载、磁盘输入输出状况、核心文件最近修改时长、已建立连接状态的连接数;数据组C的第一部分数据所包括的指标参数为:磁盘输入输出状况、核心文件最近修改时长。

则步骤S140中的根据比较结果确定服务器的一个或多个关键指标参数包括:从另外的多组已判断数据中,选取机器学习模型输出的判断结果与相应的第二部分数据最为接近的一组已判断数据;将选取的该组已判断数据的第一部分数据中包含的一组指标参数作为关键指标参数。

这里的最为接近的一组已判断数据,可以理解为机器学习模型输出的判断结果与多组已判断数据中第二部分数据一致性最高,那么就将该组已判断数据的第一部分数据中包含的指标参数作为关键指标参数。

在机器学习模型中存在很多种的模型可以进行本发明的技术方案,为了得到更准确的最终关键指标参数,可以根据不同机器学习模型的关键指标参数进行确定。在本发明的一个实施例中,选取多种不同类型的机器学习模型;从多组已判断数据中选择一组已判断数据,将选择的同一组已判断数据输入到多种机器学习模型中,供各机器学习模型进行训练学习;将另外的多组已判断数据中的第一部分数据依次分别输入到各机器学习模型中,并将各机器学习模型输出的各服务器是否需要回收的判断结果与多组已判断数据中的第二部分数据对应进行比较;根据比较结果确定各机器学习模型分别对应的一组关键指标参数。

每个机器学习模型都会获得相应的关键指标参数,然后再根据各机器学习模型分别对应的一组关键指标参数确定最终的关键指标参数。例如,可以将每个机器学习模型均出现的关键指标参数作为最终的关键指标参数。

为了从多个机器学习模型中获得一个最适合本发明技术方案以及判断结果相对最准确的模型。在本发明的一个实施例中,可以再选取一组或多组已判断数据,将其第一部分数据中的与最终的关键指标参数对应的参数值输入到各机器学习模型中,并根据其第二部分数据计算出各机器学习模型输出的判断结果的准确率;选取准确率最高的机器学习模型作为最终判断服务器是否需要回收的机器学习模型。

最后,根据确定的最终的关键指标参数和准确率最高的机器学习模型判断集群中的服务器是否需要回收。

进一步地,上述的根据各机器学习模型分别对应的一组关键指标参数确定最终的关键指标参数包括以下的两种方法确定:

(1)选取在各组关键指标参数中均出现的指标参数作为最终的关键指标参数。

例如,在机器学习模型M1中的关键指标参数是服务器的最后登录时长、CPU负载和磁盘输入输出状况;在机器学习模型M2中的关键指标参数是服务器的CPU负载、磁盘输入输出状况和核心文件最近修改时长。那么就将CPU负载和磁盘输入输出状况最为最终的关键指标参数。

(2)选取在各组关键指标参数中出现的次数高于预设阈值的指标参数作为最终的关键指标参数。

例如,对于三种机器学习模型,设定预设阈值为1。在机器学习模型M1中的关键指标参数是服务器的最后登录时长、CPU负载和磁盘输入输出状况;在机器学习模型M2中的关键指标参数是服务器的CPU负载、磁盘输入输出状况、核心文件最近修改时长;在机器学习模型M3的关键指标参数是服务器的CPU负载、最后登录时长和已建立连接状态的连接数。那么出现的次数为2次的最后登录时长和磁盘输入输出状况以及出现次数为3次的CPU负载最为最终的关键指标参数。

那么,在本发明的一个实施例中,根据最终的关键指标参数和准确率最高的机器学习模型判断集群中的服务器是否需要回收包括:对于集群中的待判断服务器,获取该服务器的与最终的关键指标参数对应的参数值并输入到准确率最高的机器学习模型中,接收准确率最高的机器学习模型输出的该服务器是否需要回收的判断结果。

服务器的各指标参数有很多种,在本发明中的一个实施例中,指标参数包括如下中的一种或多种:最后登录时长、CPU负载、磁盘输入输出状况、核心文件最近修改时长、已建立连接状态的连接数。这些参数可以作为判断服务器是否需要回收的指标,但不一定都是关键指标参数,要根据具体运行状态,通过机器学习进行关键指标参数的确定。

前述中已经说明在判断服务器是否需要回收,要根据具体的实际运行状态进行判断,服务器的实际运行状态是不断的变化的,那么多组已判断数据值会随着实际运行状态的不同而变化,通过机器学习确定的关键指标参数也不是一成不变的,为了适应服务器不同的运行情况,需要对关键指标参数进行定期的更新。所以,在本发明的一个实施例中,图1所示的方法进一步包括:每隔预设时间间隔,根据集群的当前运行状态,重新获取多组已判断数据;根据重新获取的多组已判断数据重复执行上述流程,获取新的关键指标参数;依据新的关键指标参数判断集群中的服务器是否需要回收。这里的预设时间间隔可以根据需求进行设定,例如,预设时间间隔可以是5天,那么每隔5天,就会进行关键指标参数的更新。

图2示出了根据本发明一个实施例的一种判断集群中的服务器是否需要回收的装置的结构示意图。如图2所示,该判断集群中的服务器是否需要回收的装置200包括:

数据获取单元210,适于获取多组已判断数据;其中每组已判断数据包括多条数据,每条数据对应一台服务器且包括两部分:第一部分数据是对应服务器的一组指标参数值,第二部分数据是对应服务器是否需要回收的判断结果。

这里的指标参数值是服务器中的各指标参数在当前状态中的数值,根据服务器中的各指标参数值对服务器是否需要回收进行判断,这里的判断可以通过人工方式或者其它算法进行判断。将对应服务器的各指标参数值,以及对应服务器是否需要回收的判断结果作为一条数据。这里的各指标参数值可以是服务器中的各指标参数的一个或者多个。

例如,获取三组已判断数据组分别是数据组A、数据组B和数据组C。每组数据包含有对应1000个服务器的1000条数据。每条数据包括的两部分是:第一部分是对应服务器的一组指标参数值,每组中有若干个指标参数值,例如:CPU负载、磁盘输入输出状况、核心文件最近修改时长、已建立连接状态的连接数分等指标参数的值;第二部分是对应服务器是否需要回收的判断结果,例如“回收”或者“不回收”;或者通过标识进行判断结果的标记,用“1”代表“回收”,“0”代表“不回收”;又或者也可以用百分数代表服务器需要回收的概率,其中判断结果为80%的回收的可能性要低于判断结果为90%的服务器的回收可能性。

需要说明的是,每组已判断数据组内的各条数据的指标参数的个数和类型相同,但是组与组之间的各条数据的指标参数的个数和类型可以相同也可以不同。

训练单元220,适于将一组已判断数据输入到指定机器学习模型中,供该机器学习模型进行训练学习;将另外的多组已判断数据中的第一部分数据依次输入到机器学习模型中,并将该机器学习模型输出的各服务器是否需要回收的判断结果与多组已判断数据中的第二部分数据对应进行比较;根据比较结果确定服务器的一个或多个关键指标参数。

从获取的多组已判断数据中选取一组数据输入到指定的机器学习模型中,该机器学习模型进行训练学习,以便获得判断服务器是否回收的判断依据。

这里的机器学习模型可以是现有的一些机器学习模型,如决策树模型或向量机模型等。

为了从服务器的多个指标参数中获得对判断服务器是否需要回收影响最大的关键指标参数,本发明获得多组已判断数据,将其中一组数据作为机器学习的数据,其它组的数据用来确定服务器的一个或多个关键指标参数,例如,将数组A的数据输入到指定机器学习模型中,供该机器学习模型进行训练学习,利用数组B和数组C的数据确定服务器的一个或多个关键指标参数。具体做法就是将其它组的已判断数据(数组B和数组C)的第一部分数据依次输入到该机器学习模型中,并将该机器学习模型输出的各服务器是否需要回收的判断结果与多组已判断数据(数组B和数组C)中的第二部分数据对应进行比较。

通过比较,会获得机器学习的判断结果与已判断数据中的第二部分数据中的判断结果是否一致,以及两者判断结果一致的程度。将一致程度最大的那组已判断数据中的第一部分数据中的指标参数作为关键指标参数。例如,将数组B和数组C的第一部分数据依次输入到该机器学习模型中,并将该机器学习模型输出的各服务器是否需要回收的判断结果与数组B和数组C中的的第二部分数据对应进行比较后,发现数组C的第二部分数据与机器学习的判断结果抑制的概率较大,那么就将数组C的第一部分数据中的指标参数作为关键指标参数。

回收判断单元230,适于对于集群中的待判断服务器,获取该服务器的关键指标参数值并输入到机器学习模型中,接收机器学习模型输出的该服务器是否需要回收的判断结果。

当利用机器学习获得的判断依据开始对集群中的待判断服务器进行是否需要回收的判断的时候,只需要获取该服务器的关键指标参数值并输入到机器学习模型中,就可以直接获得该服务器是否需要回收的判断结果。获得判断结果可以是“回收”或者“不回收”,也可能是个百分数。如果是百分数,就可以进一步的根据具体实际情况确定是否进行回收处理。例如,获得的回收概率是80%,但是暂时没有更好的服务器代替该服务器,那么就可以先不进行回收。

需要说明的是,本发明中的“回收”并不完全是根据服务器的忙或闲进行判断的,例如一台机器从资源利用率看很闲,但上面有重要的业务在运行或者仍然有访问,则不能回收,所以要根据服务器的整体运行状态综合进行判断。

可见,本发明采用机器学习的方法,自动获得出待判断服务器是否回收的判断结果,替代人工判断,成本降低,整体效率提高。

在本发明的一个实施例中,数据获取单元210,适于采集集群中的各服务器的指标参数值,以及接收根据所采集的指标参数值做出的各服务器是否需要回收的判断结果。这里的判断可以通过人工方式或者其它算法进行判断。

在本发明的一个实施例中,通过人工的方法,根据指标参数值依次做出的各服务器是否需要回收的判断结果。那么,数据获取单元210,适于采集集群中的各服务器的指标参数值,并通过指定渠道显示输出,以便人工可以通过显示获得各服务器的指标参数值;然后再通过指定渠道接收输入的各服务器是否需要回收的人工判断结果。最终组成多组已判断数据。

各组已判断数据中的第一部分数据所包含的指标参数的个数和类型可以相同也可以不同。在本发明的一个实施例中,另外的多组已判断数据中的第一部分数据所包含的指标参数各不相同;例如,数据组A的第一部分数据所包括的指标参数为:CPU负载、磁盘输入输出状况、核心文件最近修改时长;数据组B的第一部分数据所包含的指标参数为:CPU负载、磁盘输入输出状况、核心文件最近修改时长、已建立连接状态的连接数;数据组C的第一部分数据所包括的指标参数为:磁盘输入输出状况、核心文件最近修改时长。

训练单元220,适于从另外的多组已判断数据中,选取机器学习模型输出的判断结果与相应的第二部分数据最为接近的一组已判断数据;将选取的该组已判断数据的第一部分数据中包含的一组指标参数作为关键指标参数。

这里的最为接近的一组已判断数据,可以理解为机器学习模型输出的判断结果与多组已判断数据中第二部分数据一致性最高,那么就将该组已判断数据的第一部分数据中包含的指标参数作为关键指标参数。

在机器学习模型中存在很多种的模型可以进行本发明的技术方案,为了得到更准确的最终关键指标参数,可以根据不同机器学习模型的关键指标参数进行确定。在本发明的一个实施例中,训练单元220,进一步适于选取多种不同类型的机器学习模型;将同一组已判断数据输入到多种机器学习模型中,供各机器学习模型进行训练学习;将另外的多组已判断数据中的第一部分数据依次分别输入到各机器学习模型中,并将各机器学习模型输出的各服务器是否需要回收的判断结果与多组已判断数据中的第二部分数据对应进行比较;根据比较结果确定各机器学习模型分别对应的一组关键指标参数;根据各机器学习模型分别对应的一组关键指标参数确定最终的关键指标参数。

每个机器学习模型都会获得相应的关键指标参数,然后再根据各机器学习模型分别对应的一组关键指标参数确定最终的关键指标参数。例如,可以将每个机器学习模型均出现的关键指标参数作为最终的关键指标参数。

为了从多个机器学习模型中获得一个最适合本发明技术方案以及判断结果相对最准确的模型。在本发明的一个实施例中,可以再选取一组或多组已判断数据,将其第一部分数据中的与最终的关键指标参数对应的参数值输入到各机器学习模型中,并根据其第二部分数据计算出各机器学习模型输出的判断结果的准确率;选取准确率最高的机器学习模型;

回收判断单元230,进一步适于根据最终的关键指标参数和准确率最高的机器学习模型判断集群中的服务器是否需要回收。

进一步地,训练单元220,进一步适于:

选取在各组关键指标参数中均出现的指标参数作为最终的关键指标参数;例如,在机器学习模型M1中的关键指标参数是服务器的最后登录时长、CPU负载和磁盘输入输出状况;在机器学习模型M2中的关键指标参数是服务器的CPU负载、磁盘输入输出状况和核心文件最近修改时长。那么就将CPU负载和磁盘输入输出状况最为最终的关键指标参数。

或者,适于选取在各组关键指标参数中出现的次数高于预设阈值的指标参数作为最终的关键指标参数。例如,对于三种机器学习模型,设定预设阈值为1。在机器学习模型M1中的关键指标参数是服务器的最后登录时长、CPU负载和磁盘输入输出状况;在机器学习模型M2中的关键指标参数是服务器的CPU负载、磁盘输入输出状况、核心文件最近修改时长;在机器学习模型M3的关键指标参数是服务器的CPU负载、最后登录时长和已建立连接状态的连接数。那么出现的次数为2次的最后登录时长和磁盘输入输出状况以及出现次数为3次的CPU负载最为最终的关键指标参数。

那么,在本发明的一个实施例中,回收判断单元230,适于对于集群中的待判断服务器,获取该服务器的与最终的关键指标参数对应的参数值并输入到准确率最高的机器学习模型中,接收准确率最高的机器学习模型输出的该服务器是否需要回收的判断结果。

服务器的各指标参数有很多种,在本发明中的一个实施例中,指标参数包括如下中的一种或多种:最后登录时长;CPU负载、磁盘输入输出状况、核心文件最近修改时长、已建立连接状态的连接数。这些参数可以作为判断服务器是否需要回收的指标,但不一定都是关键指标参数,要根据具体运行状态,通过机器学习进行关键指标参数的确定。

前述中已经说明在判断服务器是否需要回收,要根据具体的实际运行状态进行判断,服务器的实际运行状态是不断的变化的,那么多组已判断数据值会随着实际运行状态的不同而变化,通过机器学习确定的关键指标参数也不是一成不变的,为了适应服务器不同的运行情况,需要对关键指标参数进行定期的更新。所以,在本发明的一个实施例中,数据获取单元210,进一步适于每隔预设时间间隔,根据集群的当前运行状态,重新获取多组已判断数据。训练单元220,进一步适于根据重新获取的多组已判断数据重复执行上述流程,获取新的关键指标参数。回收判断单元230,进一步适于依据新的关键指标参数判断集群中的服务器是否需要回收。这里的预设时间间隔可以根据需求进行设定,例如,预设时间间隔可以是5天,那么每隔5天,就会进行关键指标参数的更新。

综上所述,根据本发明的技术方案,采用机器学习模型,将一组已判断数据输入到指定机器学习模型中,供该机器学习模型进行训练学习;再将其他多组已判断数据依次输入到所述机器学习模型中,比较该机器学习模型输出的判断结果和其他多组已判断数据,确定服务器的一个或多个关键指标参数,这样就可以确定出对判断结果影响最大的一个或多个关键指标参数,当真正去判断待判断服务器的时候,只需要获取该服务器的关键指标参数值并输入到所述机器学习模型中,既可以直接获得该服务器是否需要回收的判断结果。可见,本发明采用机器学习的方法,自动获得出待判断服务器是否回收的判断结果,替代人工判断,成本降低,整体效率提高。

需要说明的是:

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述,构造这类装置所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。

类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的判断集群中的服务器是否需要回收的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明公开了A1、一种判断集群中的服务器是否需要回收的方法,其中,该方法包括:

获取多组已判断数据;其中每组已判断数据包括多条数据,每条数据对应一台服务器且包括两部分:第一部分数据是对应服务器的一组指标参数值,第二部分数据是对应服务器是否需要回收的判断结果;

将一组已判断数据输入到指定机器学习模型中,供该机器学习模型进行训练学习;

将另外的多组已判断数据中的第一部分数据依次输入到所述机器学习模型中,并将该机器学习模型输出的各服务器是否需要回收的判断结果与所述多组已判断数据中的第二部分数据对应进行比较;

根据比较结果确定服务器的一个或多个关键指标参数;

对于集群中的待判断服务器,获取该服务器的关键指标参数值并输入到所述机器学习模型中,接收所述机器学习模型输出的该服务器是否需要回收的判断结果。

A2、如A1所述的方法,其中,获取多组已判断数据包括:

采集集群中的各服务器的指标参数值,以及接收根据所采集的指标参数值做出的各服务器是否需要回收的判断结果。

A3、如A2所述的方法,其中,所述采集集群中的各服务器的指标参数值,以及接收根据所采集的指标参数值做出的各服务器是否需要回收的判断结果包括:

采集集群中的各服务器的指标参数值,并通过指定渠道显示输出;

通过所述指定渠道接收输入的各服务器是否需要回收的人工判断结果。

A4、如A1所述的方法,其中,

另外的多组已判断数据中的第一部分数据所包含的指标参数各不相同;

所述根据比较结果确定服务器的一个或多个关键指标参数包括:从另外的多组已判断数据中,选取所述机器学习模型输出的判断结果与相应的第二部分数据最为接近的一组已判断数据;将选取的该组已判断数据的第一部分数据中包含的一组指标参数作为关键指标参数。

A5、如A1所述的方法,其中,该方法进一步包括:

选取多种不同类型的机器学习模型;

将同一组已判断数据输入到所述多种机器学习模型中,供各机器学习模型进行训练学习;

将另外的多组已判断数据中的第一部分数据依次分别输入到各机器学习模型中,并将各机器学习模型输出的各服务器是否需要回收的判断结果与所述多组已判断数据中的第二部分数据对应进行比较;根据比较结果确定各机器学习模型分别对应的一组关键指标参数;

根据各机器学习模型分别对应的一组关键指标参数确定最终的关键指标参数;

再选取一组或多组已判断数据,将其第一部分数据中的与最终的关键指标参数对应的参数值输入到各机器学习模型中,并根据其第二部分数据计算出各机器学习模型输出的判断结果的准确率;选取准确率最高的机器学习模型;

根据所述最终的关键指标参数和准确率最高的机器学习模型判断集群中的服务器是否需要回收。

A6、如A5所述的方法,其中,所述根据各机器学习模型分别对应的一组关键指标参数确定最终的关键指标参数包括:

选取在各组关键指标参数中均出现的指标参数作为最终的关键指标参数;

或者,

选取在各组关键指标参数中出现的次数高于预设阈值的指标参数作为最终的关键指标参数。

A7、如A5所述的方法,其中,根据所述最终的关键指标参数和准确率最高的机器学习模型判断集群中的服务器是否需要回收包括:

对于集群中的待判断服务器,获取该服务器的与所述最终的关键指标参数对应的参数值并输入到所述准确率最高的机器学习模型中,接收所述准确率最高的机器学习模型输出的该服务器是否需要回收的判断结果。

A8、如A1所述的方法,其中,所述指标参数包括如下中的一种或多种:

最后登录时长;

CPU负载;

磁盘输入输出状况;

核心文件最近修改时长;

已建立连接状态的连接数。

A9、如A1-A8中任一项所述的方法,其中,该方法进一步包括:

每隔预设时间间隔,根据集群的当前运行状态,重新获取多组已判断数据;

根据重新获取的多组已判断数据重复执行上述流程,获取新的关键指标参数;

依据新的关键指标参数判断集群中的服务器是否需要回收。

本发明还公开了B10、一种判断集群中的服务器是否需要回收的装置,其中,该装置包括:

数据获取单元,适于获取多组已判断数据;其中每组已判断数据包括多条数据,每条数据对应一台服务器且包括两部分:第一部分数据是对应服务器的一组指标参数值,第二部分数据是对应服务器是否需要回收的判断结果;

训练单元,适于将一组已判断数据输入到指定机器学习模型中,供该机器学习模型进行训练学习;将另外的多组已判断数据中的第一部分数据依次输入到所述机器学习模型中,并将该机器学习模型输出的各服务器是否需要回收的判断结果与所述多组已判断数据中的第二部分数据对应进行比较;根据比较结果确定服务器的一个或多个关键指标参数;

回收判断单元,适于对于集群中的待判断服务器,获取该服务器的关键指标参数值并输入到所述机器学习模型中,接收所述机器学习模型输出的该服务器是否需要回收的判断结果。

B11、如B10所述的装置,其中,

所述数据获取单元,适于采集集群中的各服务器的指标参数值,以及接收根据所采集的指标参数值做出的各服务器是否需要回收的判断结果。

B12、如B11所述的装置,其中,

所述数据获取单元,适于采集集群中的各服务器的指标参数值,并通过指定渠道显示输出;通过所述指定渠道接收输入的各服务器是否需要回收的人工判断结果。

B13、如B10所述的装置,其中,另外的多组已判断数据中的第一部分数据所包含的指标参数各不相同;

所述训练单元,适于从另外的多组已判断数据中,选取所述机器学习模型输出的判断结果与相应的第二部分数据最为接近的一组已判断数据;将选取的该组已判断数据的第一部分数据中包含的一组指标参数作为关键指标参数。

B14、如B10所述的装置,其中,

所述训练单元,进一步适于选取多种不同类型的机器学习模型;将同一组已判断数据输入到所述多种机器学习模型中,供各机器学习模型进行训练学习;将另外的多组已判断数据中的第一部分数据依次分别输入到各机器学习模型中,并将各机器学习模型输出的各服务器是否需要回收的判断结果与所述多组已判断数据中的第二部分数据对应进行比较;根据比较结果确定各机器学习模型分别对应的一组关键指标参数;根据各机器学习模型分别对应的一组关键指标参数确定最终的关键指标参数;再选取一组或多组已判断数据,将其第一部分数据中的与最终的关键指标参数对应的参数值输入到各机器学习模型中,并根据其第二部分数据计算出各机器学习模型输出的判断结果的准确率;选取准确率最高的机器学习模型;

所述回收判断单元,进一步适于根据所述最终的关键指标参数和准确率最高的机器学习模型判断集群中的服务器是否需要回收。

B15、如B14所述的装置,其中,

所述训练单元,进一步适于选取在各组关键指标参数中均出现的指标参数作为最终的关键指标参数;或者,适于选取在各组关键指标参数中出现的次数高于预设阈值的指标参数作为最终的关键指标参数。

B16、如B14所述的装置,其中,

所述回收判断单元,适于对于集群中的待判断服务器,获取该服务器的与所述最终的关键指标参数对应的参数值并输入到所述准确率最高的机器学习模型中,接收所述准确率最高的机器学习模型输出的该服务器是否需要回收的判断结果。

B17、如B10所述的装置,其中,所述指标参数包括如下中的一种或多种:

最后登录时长;

CPU负载;

磁盘输入输出状况;

核心文件最近修改时长;

已建立连接状态的连接数。

B18、如B10-B17中任一项所述的装置,其中,

数据获取单元,进一步适于每隔预设时间间隔,根据集群的当前运行状态,重新获取多组已判断数据;

所述训练单元,进一步适于根据重新获取的多组已判断数据重复执行上述流程,获取新的关键指标参数;

所述回收判断单元,进一步适于依据新的关键指标参数判断集群中的服务器是否需要回收。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号