一种基于联合训练全流程框架的模型训练方法

技术领域

本发明涉及联合训练技术领域，具体为一种基于联合训练全流程框架的模型训练方法。

背景技术

物联网是互联网基础上的延伸和扩展的网络，将各种信息传感设备与互联网结合起来而形成的一个巨大网络，实现在任何时间，任何地点，人，机，物的互联互通，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信，物联网的定义是通过射频识别，全球定位系统等信息传感设备，按约定的协议，把任何物品与互联网相连接，进行信息交换和通信，以实现对物品的智能化识别，定位，跟踪，监控和管理的一种网络，联合训练是一个机器学习框架，进行数据使用和机器学习建模，希望做到各个企业的自有数据不出本地,而后联邦系统可以通过加密机制下的参数交换方式,即在不违反数据隐私法规情况下,建立一个虚拟的共有模型，这个虚拟模型就好像大家把数据聚合在一起建立的最优模型一样，但是在建立虚拟模型的时候,数据本身不移动,也不泄露隐私和影响数据合规，这样,建好的模型在各自的区域仅为本地的目标服务，在这样一个联邦机制下,各个参与者的身份和地位相同,而联邦系统帮助大家建立了“共同富裕”的策略，联合多个参与者的共同样本的不同数据特征进行联邦学习，即各个参与者的训练数据是纵向划分的，称为纵向联邦学习，联合多个参与者的具有相同特征的多行样本进行联邦学习，即各个参与者的训练数据是横向划分的，称为横向联邦学习。

然而，现有的训练方法一般都是通过零散的操作进行工作，在进行使用的时候，并不能够进行统一的数据模型训练的工作，无法通过联合学习进行模型训练的工作，增加了用户在进行使用时候的工作难度，并且进行工作的时候，会让工作的数据不够完全，并不能够进行往复迭代的数据处理工作，无法根据用户提供过来的模型进行一系列聚合计算、各种策略和分布式异常处理的工作，不方便日后各生态用户的更高效地调用和价值共享，降低了系统的使用效果，增加了工作的成本。

发明内容

本发明的目的在于提供一种基于联合训练全流程框架的模型训练方法，以解决上述背景技术中提出现有的训练方法一般都是通过零散的操作进行工作，在进行使用的时候，并不能够进行统一的数据模型训练的工作，无法通过联合学习进行模型训练的工作，增加了用户在进行使用时候的工作难度，并且进行工作的时候，会让工作的数据不够完全，并不能够进行往复迭代的数据处理工作，无法根据用户提供过来的模型进行一系列聚合计算、各种策略和分布式异常处理的工作，不方便日后各生态用户的更高效地调用和价值共享，降低了系统的使用效果，增加了工作的成本的问题。

为实现上述目的，本发明提供如下技术方案：一种基于联合训练全流程框架的模型训练方法，其步骤如下：

步骤一：相关用户，通过终端设备配合物联接入，并对相关数据进行对应的录入工作；

步骤二：将数据保存在本地，在本地进行模型训练、模型更新、计算存储；

步骤三：训练之后的模型上传至中心，并通过引擎对其进行对应的控制工作；

步骤四：中心会对各参与用户提供过来的模型进行一系列聚合计算、各种策略和分布式异常处理；

步骤五：将联合之后的全局模型下发给各用户，往复迭代，直到训练出一个比较好的模型；

步骤六：将这些联合之后的模型沉淀在模型库里，方便日后各生态用户的更高效地调用和价值共享。

一种基于联合训练全流程框架的模型训练方法，包括边缘设备、物联传感器、终端设备、中央服务器、联合学习引擎、行业生态模型库，所述边缘设备中的数据不离开本地，直接在边缘进行计算，储存并使用新的数据更新模型，所述物联传感器和终端设备进行连接，并通过对应的控制装置进行数据的录入工作，所述中央服务器通过物联网进行数据的交互工作，更好的进行数据的比对工作，所述联合学习引擎通过物联网和中央服务器进行对应的连接，在配合内部的相关算法进行对应的处理工作，并通过数据进行输送的工作，所述行业生态模型库通过物联网进行数据的比对，并对数据进行储存的工作，所述行业生态模型库再通过中央服务器将数据发送到边缘设备上，再通过物联传感器进行数据的相互交互处理的工作。

优选的，所述终端设备为计算机，手机，服务器或其他终端设备的一种或多种。

优选的，所述联合学习引擎包括多种联合算法，安全协议，聚合策略，联合策略，分布式异常算法。

优选的，所述物联传感器是红外感应器、全球定位系统、激光扫描器等信息传感设备中的一种或多种。

优选的，所述行业生态模型库的结构和联合学习引擎的组成相似，通过对应的终端进行数据交换，并通过中央服务器进行数据交互。

与现有技术相比，本发明的有益效果是：该基于联合训练全流程框架的模型训练方法，通过联合学习进行模型训练，相关用户，通过终端设备配合物联接入，并对相关数据进行对应的录入工作，将数据保存在本地，在本地进行模型训练、模型更新、计算存储，训练之后的模型上传至中心，并通过引擎对其进行对应的控制工作，中心会对各参与用户提供过来的模型进行一系列聚合计算、各种策略和分布式异常处理，将联合之后的全局模型下发给各用户，往复迭代，直到训练出一个比较好的模型，将这些联合之后的模型沉淀在模型库里，方便日后各生态用户的更高效地调用和价值共享，包括边缘设备、物联传感器、终端设备、中央服务器、联合学习引擎、行业生态模型库，边缘设备中的数据不离开本地，直接在边缘进行计算，储存并使用新的数据更新模型，物联传感器和终端设备进行连接，并通过对应的控制装置进行数据的录入工作，中央服务器通过物联网进行数据的交互工作，更好的进行数据的比对工作，联合学习引擎通过物联网和中央服务器进行对应的连接，在配合内部的相关算法进行对应的处理工作，并通过数据进行输送的工作，行业生态模型库通过物联网进行数据的比对，并对数据进行储存的工作，行业生态模型库再通过中央服务器将数据发送到边缘设备上，再通过物联传感器进行数据的相互交互处理的工作。

附图说明

图1为本发明基于联合训练全流程框架的模型训练方法基本架构示意图；

图2为本发明基于联合训练全流程框架的模型训练方法工作步骤示意图；

图3为本发明基于联合训练全流程框架的模型训练方法处理步骤示意图；

图4为本发明联合学习引擎组成结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-4，本发明提供一种技术方案：一种基于联合训练全流程框架的模型训练方法，其步骤如下：

步骤一：相关用户，通过终端设备配合物联接入，并对相关数据进行对应的录入工作。

步骤二：将数据保存在本地，在本地进行模型训练、模型更新、计算存储。

步骤三：训练之后的模型上传至中心，并通过引擎对其进行对应的控制工作。

步骤四：中心会对各参与用户提供过来的模型进行一系列聚合计算、各种策略和分布式异常处理。

步骤五：将联合之后的全局模型下发给各用户，往复迭代，直到训练出一个比较好的模型。

步骤六：将这些联合之后的模型沉淀在模型库里，方便日后各生态用户的更高效地调用和价值共享。

一种基于联合训练全流程框架的模型训练方法，包括边缘设备、物联传感器、终端设备、中央服务器、联合学习引擎、行业生态模型库，边缘设备中的数据不离开本地，直接在边缘进行计算，储存并使用新的数据更新模型，物联传感器和终端设备进行连接，并通过对应的控制装置进行数据的录入工作，中央服务器通过物联网进行数据的交互工作，更好的进行数据的比对工作，联合学习引擎通过物联网和中央服务器进行对应的连接，在配合内部的相关算法进行对应的处理工作，并通过数据进行输送的工作，行业生态模型库通过物联网进行数据的比对，并对数据进行储存的工作，行业生态模型库再通过中央服务器将数据发送到边缘设备上，再通过物联传感器进行数据的相互交互处理的工作；

进一步的，终端设备为计算机，手机，服务器或其他终端设备的一种或多种；

进一步的，联合学习引擎包括多种联合算法，安全协议，聚合策略，联合策略，分布式异常算法；

进一步的，物联传感器是红外感应器、全球定位系统、激光扫描器等信息传感设备中的一种或多种；

进一步的，行业生态模型库的结构和联合学习引擎的组成相似，通过对应的终端进行数据交换，并通过中央服务器进行数据交互。

实施例一

一种基于联合训练全流程框架的模型训练方法，其步骤如下：

步骤一：用户A,B，通过终端设备配合物联接入，并对相关数据进行对应的录入工作。

步骤二：将数据保存在本地，在本地进行模型训练、模型更新、计算存储。

步骤三：训练之后的模型上传至中心，并通过引擎对其进行对应的控制工作。

步骤四：中心会对各参与用户提供过来的模型进行一系列聚合计算、各种策略和分布式异常处理。

步骤五：将联合之后的全局模型下发给各用户，往复迭代，直到训练出一个比较好的模型。

步骤六：将这些联合之后的模型沉淀在模型库里，方便日后各生态用户的更高效地调用和价值共享。

一种基于联合训练全流程框架的模型训练方法，包括边缘设备、物联传感器、终端设备、中央服务器、联合学习引擎、行业生态模型库，边缘设备中的数据不离开本地，直接在边缘进行计算，储存并使用新的数据更新模型，物联传感器和终端设备进行连接，并通过对应的控制装置进行数据的录入工作，中央服务器通过物联网进行数据的交互工作，更好的进行数据的比对工作，联合学习引擎通过物联网和中央服务器进行对应的连接，在配合内部的相关算法进行对应的处理工作，并通过数据进行输送的工作，行业生态模型库通过物联网进行数据的比对，并对数据进行储存的工作，行业生态模型库再通过中央服务器将数据发送到边缘设备上，再通过物联传感器进行数据的相互交互处理的工作。

实施例二

一种基于联合训练全流程框架的模型训练方法，其步骤如下：

步骤一：用户C,D，通过终端设备配合物联接入，并对相关数据进行对应的录入工作。

步骤二：将数据保存在本地，在本地进行模型训练、模型更新、计算存储。

步骤三：训练之后的模型上传至中心，并通过引擎对其进行对应的控制工作。

步骤四：中心会对各参与用户提供过来的模型进行一系列聚合计算、各种策略和分布式异常处理。

步骤五：将联合之后的全局模型下发给各用户，往复迭代，直到训练出一个比较好的模型。

步骤六：将这些联合之后的模型沉淀在模型库里，方便日后各生态用户的更高效地调用和价值共享。

一种基于联合训练全流程框架的模型训练方法，包括边缘设备、物联传感器、终端设备、中央服务器、联合学习引擎、行业生态模型库，边缘设备中的数据不离开本地，直接在边缘进行计算，储存并使用新的数据更新模型，物联传感器和终端设备进行连接，并通过对应的控制装置进行数据的录入工作，中央服务器通过物联网进行数据的交互工作，更好的进行数据的比对工作，联合学习引擎通过物联网和中央服务器进行对应的连接，在配合内部的相关算法进行对应的处理工作，并通过数据进行输送的工作，行业生态模型库通过物联网进行数据的比对，并对数据进行储存的工作，行业生态模型库再通过中央服务器将数据发送到边缘设备上，再通过物联传感器进行数据的相互交互处理的工作。

实施例三

一种基于联合训练全流程框架的模型训练方法，其步骤如下：

步骤一：用户E,F，通过终端设备配合物联接入，并对相关数据进行对应的录入工作。

步骤二：将数据保存在本地，在本地进行模型训练、模型更新、计算存储。

步骤三：训练之后的模型上传至中心，并通过引擎对其进行对应的控制工作。

步骤四：中心会对各参与用户提供过来的模型进行一系列聚合计算、各种策略和分布式异常处理。

步骤五：将联合之后的全局模型下发给各用户，往复迭代，直到训练出一个比较好的模型。

步骤六：将这些联合之后的模型沉淀在模型库里，方便日后各生态用户的更高效地调用和价值共享。

一种基于联合训练全流程框架的模型训练方法，包括边缘设备、物联传感器、终端设备、中央服务器、联合学习引擎、行业生态模型库，边缘设备中的数据不离开本地，直接在边缘进行计算，储存并使用新的数据更新模型，物联传感器和终端设备进行连接，并通过对应的控制装置进行数据的录入工作，中央服务器通过物联网进行数据的交互工作，更好的进行数据的比对工作，联合学习引擎通过物联网和中央服务器进行对应的连接，在配合内部的相关算法进行对应的处理工作，并通过数据进行输送的工作，行业生态模型库通过物联网进行数据的比对，并对数据进行储存的工作，行业生态模型库再通过中央服务器将数据发送到边缘设备上，再通过物联传感器进行数据的相互交互处理的工作。

实施例四

一种基于联合训练全流程框架的模型训练方法，其步骤如下：

步骤一：用户H,J，通过终端设备配合物联接入，并对相关数据进行对应的录入工作。

步骤二：将数据保存在本地，在本地进行模型训练、模型更新、计算存储。

步骤三：训练之后的模型上传至中心，并通过引擎对其进行对应的控制工作。

步骤四：中心会对各参与用户提供过来的模型进行一系列聚合计算、各种策略和分布式异常处理。

步骤五：将联合之后的全局模型下发给各用户，往复迭代，直到训练出一个比较好的模型。

步骤六：将这些联合之后的模型沉淀在模型库里，方便日后各生态用户的更高效地调用和价值共享。

一种基于联合训练全流程框架的模型训练方法，包括边缘设备、物联传感器、终端设备、中央服务器、联合学习引擎、行业生态模型库，边缘设备中的数据不离开本地，直接在边缘进行计算，储存并使用新的数据更新模型，物联传感器和终端设备进行连接，并通过对应的控制装置进行数据的录入工作，中央服务器通过物联网进行数据的交互工作，更好的进行数据的比对工作，联合学习引擎通过物联网和中央服务器进行对应的连接，在配合内部的相关算法进行对应的处理工作，并通过数据进行输送的工作，行业生态模型库通过物联网进行数据的比对，并对数据进行储存的工作，行业生态模型库再通过中央服务器将数据发送到边缘设备上，再通过物联传感器进行数据的相互交互处理的工作。

实施例五

一种基于联合训练全流程框架的模型训练方法，其步骤如下：

步骤一：用户T,R，通过终端设备配合物联接入，并对相关数据进行对应的录入工作。

步骤二：将数据保存在本地，在本地进行模型训练、模型更新、计算存储。

步骤三：训练之后的模型上传至中心，并通过引擎对其进行对应的控制工作。

步骤四：中心会对各参与用户提供过来的模型进行一系列聚合计算、各种策略和分布式异常处理。

步骤五：将联合之后的全局模型下发给各用户，往复迭代，直到训练出一个比较好的模型。

步骤六：将这些联合之后的模型沉淀在模型库里，方便日后各生态用户的更高效地调用和价值共享。

一种基于联合训练全流程框架的模型训练方法，包括边缘设备、物联传感器、终端设备、中央服务器、联合学习引擎、行业生态模型库，边缘设备中的数据不离开本地，直接在边缘进行计算，储存并使用新的数据更新模型，物联传感器和终端设备进行连接，并通过对应的控制装置进行数据的录入工作，中央服务器通过物联网进行数据的交互工作，更好的进行数据的比对工作，联合学习引擎通过物联网和中央服务器进行对应的连接，在配合内部的相关算法进行对应的处理工作，并通过数据进行输送的工作，行业生态模型库通过物联网进行数据的比对，并对数据进行储存的工作，行业生态模型库再通过中央服务器将数据发送到边缘设备上，再通过物联传感器进行数据的相互交互处理的工作。

工作原理：步骤一：相关用户，通过终端设备配合物联接入，并对相关数据进行对应的录入工作，步骤二：将数据保存在本地，在本地进行模型训练、模型更新、计算存储，步骤三：训练之后的模型上传至中心，并通过引擎对其进行对应的控制工作，步骤四：中心会对各参与用户提供过来的模型进行一系列聚合计算、各种策略和分布式异常处理，步骤五：将联合之后的全局模型下发给各用户，往复迭代，直到训练出一个比较好的模型，步骤六：将这些联合之后的模型沉淀在模型库里，方便日后各生态用户的更高效地调用和价值共享，包括边缘设备、物联传感器、终端设备、中央服务器、联合学习引擎、行业生态模型库，边缘设备中的数据不离开本地，直接在边缘进行计算，储存并使用新的数据更新模型，物联传感器和终端设备进行连接，并通过对应的控制装置进行数据的录入工作，终端设备为计算机，手机，服务器或其他终端设备的一种或多种，物联传感器是红外感应器、全球定位系统、激光扫描器等信息传感设备中的一种或多种，中央服务器通过物联网进行数据的交互工作，更好的进行数据的比对工作，联合学习引擎通过物联网和中央服务器进行对应的连接，在配合内部的相关算法进行对应的处理工作，并通过数据进行输送的工作，联合学习引擎包括多种联合算法，安全协议，聚合策略，联合策略，分布式异常算法，行业生态模型库通过物联网进行数据的比对，并对数据进行储存的工作，行业生态模型库再通过中央服务器将数据发送到边缘设备上，再通过物联传感器进行数据的相互交互处理的工作，行业生态模型库的结构和联合学习引擎的组成相似，通过对应的终端进行数据交换，并通过中央服务器进行数据交互。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。