联邦建模系统及方法、联邦模型预测方法、介质、设备

技术领域

本公开涉及数据建模技术领域，具体而言，涉及一种联邦建模系统、联邦建模方法、联邦模型预测方法、计算机可读存储介质和电子设备。

背景技术

随着人工智能和深度学习的快速发展，信息共享成为了促进企业合作发展的重要途径之一。

目前，多数企业采用联邦学习技术来实现信息共享。具体地，参与联邦学习的多个参与方首先从本地获取样本数据；然后，对样本数据进行加密，并将加密后的数据发送至协调方；接着，协调方对加密数据进行计算得出联邦模型的加密参数；其次，将加密的参数发送至解密设备，并将解密后的参数反馈至多个参与方，以使多个参与方对联邦模型进行训练得到联邦模型；随后，多个参与方使用训练好的联邦模型预测出目标数据。然而，基于上述情况，若协调方对解密设备进行设备控制，则可能使得多个参与方的数据泄露，导致联邦学习中数据交互存在安全隐患问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种联邦建模系统、联邦建模方法、联邦模型预测方法、计算机可读存储介质和电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致联邦模型数据安全性低的问题。

根据本公开的第一个方面，提供一种联邦建模系统，该联邦建模系统包括多个建模装置和特征处理装置，且部署于标签方和数据方，其中，特征处理装置，用于获取标签方的第一样本特征和标签值，对第一样本特征进行迭代处理，得到中间特征向量；建模装置包括：向量接收模块，用于接收数据方的加密特征向量，其中，加密特征向量由数据方的建模装置基于数据方的第一公钥加密数据对迭代处理后的第二样本特征进行加密得到；数据处理模块，用于基于中间特征向量、加密特征向量和标签值，计算并加密第一样本特征对应的多个局部数据；数据解密模块，用于在数据方对与第一公钥加密数据相关的局部数据进行解密后，接收并解密数据方解密后的局部数据以获取对应的目标解密数据，基于目标解密数据对待训练模型进行训练，以得到目标模型。

可选地，第一样本特征对应的多个局部数据包括数据处理模块计算得到的损失函数、梯度以及联合计算梯度的中间参数。

可选地，特征处理装置包括：特征迭代模块，用于基于一预设神经网络对第一样本特征进行迭代处理，得到中间特征向量。

可选地，数据处理模块包括：公钥获取单元，用于在接收数据方的加密特征向量之前，获取第一公钥加密数据；数据确定单元，用于基于第一公钥加密数据、中间特征向量、加密特征向量和标签值，计算第一样本特征对应的多个局部数据。

可选地，数据处理模块包括：公钥确定单元，用于确定标签方的第二公钥加密数据；数据加密单元，用于基于第二公钥加密数据对中间参数进行加密；分别对损失函数和梯度添加一掩码数据进行加密。

可选地，数据解密模块包括：数据接收单元，用于在数据方对与第一公钥加密数据相关的局部数据进行解密后，接收数据方解密后的局部数据作为中间解密数据；数据解密单元，用于对与第二公钥加密数据相关的中间解密数据进行解密，并删除中间解密数据中的掩码数据以获取对应的目标解密数据；数据建模单元，用于基于目标解密数据对待训练模型的参数进行迭代更新，以得到目标模型。

可选地，数据解密模块还包括：参数确定单元，用于确定解密后的损失函数；函数判断单元，用于在解密后的损失函数小于损失阈值的情况下，结束针对待训练模型的参数的迭代更新处理，以得到目标模型；若在损失函数大于损失阈值的情况下，对待训练模型的参数进行迭代更新。

根据本公开的第二个方面，提供一种联邦建模方法，应用于如上所述的联邦建模系统包括：利用特征处理装置获取标签方的第一样本特征和标签值，对第一样本特征进行迭代处理，得到中间特征向量；通过建模装置执行以下步骤：利用向量接收模块接收数据方发送的加密特征向量，其中，加密特征向量是由数据方的建模装置基于数据方的第一公钥加密数据对迭代处理后的第二样本特征进行加密得到；采用数据处理模块基于中间特征向量、加密特征向量和标签值，计算并加密第一样本特征对应的多个局部数据；利用数据解密模块在数据方对与第一公钥加密数据相关的局部数据进行解密后，接收并解密数据方解密后的局部数据以获取对应的目标解密数据，基于目标解密数据对待训练模型进行训练，以得到目标模型。

根据本公开的第三个方面，提供一种联邦模型预测方法，包括：获取标签方的第一样本特征和数据方的第二样本特征；将第一样本特征和第二样本特征输入训练后的目标模型，确定目标预测标签值；其中，目标模型由如上所述的联邦建模系统或如上所述的联邦建模方法训练得到。

根据本公开的第四个方面，提供一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现如上所述的联邦建模方法或如上所述的联邦模型预测方法。

根据本公开的第五个方面，提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如上所述的联邦建模方法或如上所述的联邦模型预测方法。

本公开的示例性实施例具有以下有益效果：

在本公开的一些实施例所提供的技术方案中，该联邦建模系统包括多个建模装置和特征处理装置，且部署于标签方和数据方，其中，特征处理装置，用于获取标签方的第一样本特征和标签值，对第一样本特征进行迭代处理，得到中间特征向量；建模装置包括：向量接收模块，用于接收数据方的加密特征向量，其中，加密特征向量由数据方的建模装置基于数据方的第一公钥加密数据对迭代处理后的第二样本特征进行加密得到；数据处理模块，用于基于中间特征向量、加密特征向量和标签值，计算并加密第一样本特征对应的多个局部数据；数据解密模块，用于在数据方对与第一公钥加密数据相关的局部数据进行解密后，接收并解密数据方解密后的局部数据以获取对应的目标解密数据，基于目标解密数据对待训练模型进行训练，以得到目标模型。一方面，本公开的联邦建模系统中多个建模装置和特征处理装置部署于标签方和数据方，联邦建模系统中的交互数据在数据方的建模装置和标签方的建模装置中加密后进行传输，避免第三方传输数据造成安全隐患，提高了训练后的联邦模型中交互数据的安全性。另一方面，本公开仅利用联邦建模系统得到训练后的目标模型，避免使用软硬件一体化设备获取多方数据而增大开发工作量和成本，降低了联邦建模的开发成本和建模难度。同时，本公开计算第一样本特征的局部数据，避免使用一种建模方法而限制固定的计算方法，提高了联邦建模系统中建模装置的选择灵活性，进一步提高了联邦建模系统的适用范围。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了根据本公开的示例性实施方式的联邦建模系统的原理简化示意图；

图2示意性示出了根据本公开的示例性实施方式的联邦建模系统的方框图；

图3示意性示出了根据本公开的示例性实施方式的建模装置的方框图；

图4示意性示出了根据本公开的示例性实施方式的数据解密模块的方框图；

图5示意性示出了根据本公开的另一示例性实施方式的数据解密模块的方框图；

图6示意性示出了根据本公开的示例性实施方式的联邦建模方法的流程图；

图7示意性示出了根据本公开的示例性实施方式的联邦建模方法的交互示意图；

图8示意性示出了根据本公开的示例性实施方式的联邦模型预测方法的流程图；

图9示意性示出了根据本公开的示例性实施方式中的电子设备的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

需要说明的是，本公开中，用语“包括”、“包含”用以表示开放式的包括在内的意思，并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等。另外，本公开所用的术语“第一”、“第二”仅是为了区分的目的，不应当作为本公开内容的限制。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

目前，在需求方平台(Demand Side Platform，DSP)与媒体网站联邦学习情况下，媒体网站拥有用户数据，例如例如性别、年龄、媒体使用历史等，DSP平台具有广告或广告绑定的商品的广告历史点击量、对应商品浏览量、购买量等数据。若将DSP平台与媒体网站两方的数据联合训练一联邦模型，则可以基于训练后的联邦模型预测目标数据。具体的模型训练过程包括：首先，将DSP平台与媒体网站两方的数据加密后发送至数据计算设备，然后由数据计算设备基于加密数据计算出联邦模型的参数，并将参数反馈至DSP平台与媒体网站，随后，DSP平台与媒体网站训练联邦模型。

然而，在其他企业恶意攻击数据计算设备的情况下，将会使得DSP平台与媒体网站两方的数据泄露，导致联邦学习中数据的安全隐患问题。

针对该问题，本公开提出了一种联邦建模系统。

图1示意性示出了根据本公开的示例性实施方式的联邦建模系统的原理简化示意图。参考图1，该联邦建模系统中包括建模装置和特征处理装置，具体如下：

特征处理装置可以包括部署于标签方的特征处理装置108和部署于数据方的特征处理装置110。特征处理装置108可以在标签方的终端设备上接收标签方的第一样本特征112，并利用神经网络B对第一样本特征112进行迭代处理得到稠密特征向量104。特征处理装置110可以在数据方的终端设备上接收数据方的第二样本特征114，并利用神经网络A对第二样本特征114进行迭代处理得到稠密特征向量106。

其中，神经网络A和神经网络B可以是不同的神经网络，也可以是相同的神经网络，本公开的稠密特征向量104和稠密特征向量106的长度相同。本公开的数据方和标签方可以使用不同的神经网络得出相同长度的稠密特征向量。本公开数据方的个数可以是多个，图中仅示意出一数据方，对此不作限制。

建模装置102可以包括分别部署于数据方和标签方的建模装置(图中未分开示出)。建模装置102接收稠密特征向量104和稠密特征向量106后，数据方的建模装置可以首先对稠密特征向量106进行加密处理，然后将加密后的稠密特征向量106发送至标签方的建模装置，随后，标签方的建模装置基于加密后的稠密特征向量106计算局部参数。

需要说明的是，在本公开的示例性实施方式中，下面所述的联邦建模方法通常可以由终端设备(如，手机、平板、个人计算机等)来实现，也就是说，可以由终端设备执行联邦建模方法的各个步骤，在这种情况下，联邦建模系统可以配置在该终端设备中。

下面，将结合附图及实施例对本示例实施方式中的联邦建模系统的各个模块进行更详细的说明。

图2示意性示出了根据本公开的示例性实施方式的联邦建模系统的方框图。参考图2，根据本公开的示例性实施方式的该联邦建模系统200可以包括多个建模装置和特征处理装置，且部署于标签方和数据方。也就是说，本公开的多个建模装置可以分别部署在数据方和标签方。多个特征处理装置可以分别部署在数据方和标签方。标签方可以部署特征处理装置108和建模装置201。数据方的特征处理装置和数据方的建模装置在图2中未示出。在下面的举例说明中，以标签方为执行主体进行示例说明。具体细节如下：

特征处理装置108，用于获取标签方的第一样本特征和标签值，对所述第一样本特征进行迭代处理，得到中间特征向量。

其中，特征处理装置108还可以包括特征迭代模块，用于基于一预设神经网络对第一样本特征进行迭代处理，得到中间特征向量。第一样本特征存储于标签方的本地终端设备上。为了描述方便，本公开可以将标签方生成的稠密特征向量用中间特征向量表示。

数据方也可以部署特征处理装置，用于对数据方的第二样本特征进行迭代处理。第二样本特征存储于数据方的本地终端设备上。标签值可以指训练模型过程中的真实标签值。标签值可以是负样本标签值，也可以是正样本标签值。本公开可以用y∈{-1,1}表示模型训练的标签值，-1可以表示负样本标签值，1可以表示正样本标签值。

在本公开的示例性实施方式中，标签方和数据方可以选用深度神经网络(DeepNeural Networks，DNN)分别对第一样本特征和第二样本特征进行迭代处理，得到DNN网络生成的稠密特征向量。

例如，DSP平台与媒体网站建立联邦建模系统的场景下，标签方DSP平台利用DNN网络B对第一样本特征进行迭代处理后得到中间特征向量，参考公式(1)，

x′

其中，x

其中，x

参考图3，建模装置201可以包括向量接收模块302、数据处理模块304以及数据解密模块306。

其中，向量接收模块302，用于接收数据方的加密特征向量；数据处理模块304，用于基于中间特征向量、加密特征向量和标签值，计算并加密第一样本特征对应的多个局部数据；数据解密模块306，用于在数据方对与第一公钥加密数据相关的局部数据进行解密后，接收并解密数据方解密后的局部数据以获取对应的目标解密数据，基于目标解密数据对待训练模型进行训练，以得到目标模型。

在本公开的示例性实施方式中，加密特征向量可以由数据方的建模装置基于数据方的第一公钥加密数据对迭代处理后的第二样本特征进行加密得到。本公开可以使用同态加密方法对第二样本特征进行加密。加密函数记为[[·]]。

第一样本特征对应的多个局部数据包括数据处理模块304计算得到的损失函数、梯度以及联合计算梯度的中间参数。其中，梯度可以包括中间特征向量的梯度、待训练模型中参数的梯度。

数据方的建模装置可以接收标签方的数据处理模块304计算的联合计算梯度的中间参数，计算出数据方的建模装置的梯度。

在本公开的示例性实施方式中，联邦建模系统的建模装置可以选用任一可以进行加密的建模模型，也可以根据实际情况构建建模装置。例如，本公开的建模装置可以采用安全线性回归模型、安全逻辑回归模型、安全提升树模型。本公开将以安全逻辑回归模型为例进行说明。

本公开可以采用任意一种安全回归模型和神经网络模型训练待训练模型得到目标模型，并利用目标模型计算预测标签值，避免使用固定模型，提高了联邦模型的构建灵活性，扩大了联邦模型的适用范围。

联邦建模系统的建模装置中，采用安全逻辑回归模型的公式，如公式(2)：

其中，

在本公开的示例性实施方式中，逻辑回归模型的损失函数的定义公式可以参考公式(3)：

l(x′,y)＝log(1+exp(-yw

其中，w

整体的损失函数定义公式可以参考公式(4)：

标签方的数据处理模块304在基于中间特征向量、加密特征向量和标签值计算损失函数之前，对整体的损失函数进行泰勒展开，如公式(5)：

数据方的建模装置中逻辑回归参数的梯度的泰勒展开公式，可以参考公式(6)：

对数据方的稠密特征向量x′

标签方的建模装置201中逻辑回归参数的梯度的泰勒展开公式，可以参考公式(8)：

对标签方的中间特征向量x′

根据本公开的示例性实施例，数据处理模块304可以包括公钥获取单元和数据确定单元。

其中，公钥获取单元，用于在接收数据方的加密特征向量之前，获取第一公钥加密数据；数据确定单元，用于基于第一公钥加密数据、中间特征向量、加密特征向量和标签值，计算第一样本特征对应的多个局部数据。

在本公开的示例性实施方式中，数据确定单元在基于第一公钥加密数据、中间特征向量、加密特征向量和标签值，参考公式(5)可以得出加密后的损失函数的计算公式(10)：

加密后的数据方的建模装置中逻辑回归参数的梯度，参考公式(6)可以得出的计算公式(11)：

其中，[[d

同理，加密后的数据方的稠密特征向量x′

同理，加密后的标签方的建模装置中逻辑回归参数的梯度，参考公式(8)可以得出的计算公式(13)：

同理，加密后的标签方的中间特征向量x′

数据方也可以基于稠密特征向量x′

标签方也可以基于中间特征向量x′

根据本公开的示例性实施例，数据处理模块304包括：公钥确定单元和数据加密单元。其中，公钥确定单元，用于确定标签方的第二公钥加密数据；数据加密单元，用于基于第二公钥加密数据对中间参数进行加密；分别对损失函数和梯度添加一掩码数据进行加密。

根据本公开的另一个实施例，参考图4，数据解密模块306包括：数据接收单元401、数据解密单元403以及数据建模单元405。

其中，数据接收单元401，用于在数据方对与第一公钥加密数据相关的局部数据进行解密后，接收数据方解密后的局部数据作为中间解密数据；数据解密单元403，用于对与第二公钥加密数据相关的中间解密数据进行解密，并删除中间解密数据中的掩码数据以获取对应的目标解密数据；数据建模单元405，用于基于所述目标解密数据对待训练模型的参数进行迭代更新，以得到目标模型。

在本公开的示例性实施方式中，数据方的建模装置可以被配置为执行：接收标签方的建模装置发送的加密后的中间参数、梯度和损失函数。数据方的建模装置可以被配置为执行：利用第一公钥加密数据数据对应的第一私钥解密数据，对第一样本特征对应的梯度、损失函数进行解密，并将解密后的第一样本特征对应的梯度、损失函数反馈至数据接收单元401。

数据方的建模装置还可以被配置为执行：基于加密后的中间参数计算数据方的建模装置对应的梯度、数据方的稠密特征向量的梯度，并将计算后的数据方的建模装置对应的梯度、数据方的稠密特征向量的梯度发送至数据接收单元401。

数据解密单元403可以被配置为执行：对与第二公钥加密数据相关的中间解密数据进行解密。具体地可以被配置为执行：对数据方的建模装置对应的梯度、数据方的稠密特征向量的梯度进行解密以获取解密后的目标解密数据。

标签方的建模装置也可以将解密后的数据方的梯度发送至数据方的建模装置。数据方的特征处理装置可以被配置为执行：基于解密后的数据方的梯度，对Net

在本公开的示例性实施方式中，联邦建模系统中的多个建模装置和特征处理装置部署于标签方和数据方，标签方的建模装置和数据方的建模装置分别对交互数据加密后进行传输，避免了第三方传输数据造成安全隐患，提高了训练后的联邦模型中交互数据的安全性。

根据本公开的示例性实施例，数据解密模块还包括：参数确定单元和函数判断单元。

其中，参数确定单元，用于确定解密后的损失函数；函数判断单元，用于在解密后的损失函数小于损失阈值的情况下，结束针对待训练模型的参数的迭代更新处理，以得到目标模型；若在损失函数大于损失阈值的情况下，对待训练模型的参数进行迭代更新。

在本公开的示例性实施方式中，参数确定单元可以被配置为执行：在解密后的损失函数达到收敛的情况下，结束针对待训练模型的参数的迭代更新处理，以得到目标模型。

图5示意性示出了根据本公开的示例性实施方式的一种数据解密模块306的方框图。

以标签方的数据解密模块306为视角，在数据方对与第一公钥加密数据相关的局部数据进行解密后，数据接收单元401首先可以接收到数据方解密后的局部数据作为中间解密数据，然后可以将中间解密数据发送至数据解密单元403，其次，数据解密单元403对与第二公钥加密数据相关的中间解密数据进行解密，并删除中间解密数据中的掩码数据以获取对应的目标解密数据；再次，数据解密单元403将目标解密数据发送至参数确定单元502；接着，参数确定单元502从目标解密数据中确定出损失函数；随后，函数判断单元504在解密后的损失函数小于损失阈值的情况下，结束针对待训练模型的参数的迭代更新处理，以得到目标模型；若在损失函数大于损失阈值的情况下，对待训练模型的参数进行迭代更新，以进行进一步训练。

在本公开的示例性实施方式中，数据方的建模装置利用第一公钥加密数据加密的交互数据，仅可以由数据方的建模装置进行解密，标签方的建模装置利用第二公钥加密数据加密的交互数据，仅可以由标签方的建模装置进行解密，避免在计算过程中泄露交互数据，提高交互数据的安全性。

进一步的，在本公开的示例性实施例中，还提供了一种联邦建模方法。

图6示意性示出了本公开的示例性实施方式的联邦建模方法的流程图。在下面的举例说明中，以标签方的终端设备为执行主体进行示例说明。参考图6，联邦建模方法具体可以包括以下步骤：

在步骤S601中，标签方的终端设备可以利用特征处理装置108获取标签方的第一样本特征和标签值，对第一样本特征进行迭代处理，得到中间特征向量；通过建模装置201执行以下步骤：在步骤S603中，可以利用向量接收模块302接收数据方发送的加密特征向量；在步骤S605中，标签方的终端设备可以采用数据处理模块304基于中间特征向量、加密特征向量和标签值，计算并加密第一样本特征对应的多个局部数据；在步骤S607中，可以利用数据解密模块306在数据方对与第一公钥加密数据相关的局部数据进行解密后，接收并解密数据方解密后的局部数据以获取对应的目标解密数据，基于目标解密数据对待训练模型进行训练，以得到目标模型。

其中，加密特征向量是由数据方的建模装置基于数据方的第一公钥加密数据对迭代处理后的第二样本特征进行加密得到。

图7示意性示出了根据本公开的示例性实施方式的一种联邦建模方法的交互示意图。

在步骤S702中，标签方的特征处理装置可以获取第一样本特征和标签值；在步骤S704中，标签方的特征处理装置可以对第一样本特征进行迭代处理，得到中间特征向量；在步骤S706中，标签方的特征处理装置可以发送中间特征向量和标签值至标签方的建模装置；在步骤S708中，数据方的特征处理装置可以获取第二样本特征；在步骤S710中，数据方的特征处理装置可以对第二样本特征进行迭代处理，得到稠密特征向量；在步骤S712中，数据方的特征处理装置可以发送稠密特征向量至数据方的建模装置；在步骤S714中，数据方的建模装置可以利用数据方的第一公钥加密数据对稠密特征向量进行加密，得到加密特征向量；在步骤S716中，标签方的建模装置可以接收加密特征向量；在步骤S718中，标签方的建模装置可以基于中间特征向量、加密特征向量和标签值，计算并加密损失函数、梯度以及联合计算梯度的中间参数；在步骤S720中，标签方的建模装置可以发送加密后的损失函数、梯度以及联合计算梯度的中间参数至数据方的建模装置；在步骤S722中，数据方的建模装置可以对与第一公钥加密数据相关的损失函数、梯度进行解密；在步骤S724中，数据方的建模装置可以基于中间参数计算并加密数据方的梯度；在步骤S726中，在数据方的建模装置对与第一公钥加密数据相关的损失函数、梯度进行解密后，标签方的建模装置可以接收并删除损失函数、梯度中的掩码数据；在步骤S728中，标签方的建模装置可以对与第二公钥加密相关的数据方的梯度进行解密；在步骤S730中，在标签方的建模装置可以对与第二公钥加密相关的数据方的梯度进行解密后，数据方的建模装置可以接收并删除数据方的梯度中的掩码数据；在步骤S732中，数据方的特征处理装置可以接收解密后的数据方的梯度，并计算数据方的特征处理装置中的模型参数梯度；在步骤S734中，标签方的特征处理装置可以接收解密后的标签方的梯度，并计算标签方的特征处理装置中的模型参数梯度；在步骤S736中，标签方的建模装置基于解密后的损失函数、梯度对待训练模型进行训练，以得到目标模型。

需要说明的是，数据方的建模装置也可以基于稠密特征向量计算出稠密特征向量的平方值，并加密发送至标签方的建模装置。

在本公开的示例性实施方式中，联邦建模方法的伪代码可以如下：

1、数据方的建模装置基于稠密特征向量u

2、标签方的建模装置根据公式(10)、(13)、(14)以及[[d

3、数据方的建模装置对[L+M

4、标签方的建模装置解密得到L、

5、数据方的建模装置去掉掩码数据R

6、标签方的特征处理装置和数据方的特征处理装置分别使用公式(15)、(16)计算特征处理装置中的模型参数梯度，进行参数更新；

7、重复上述步骤直至遍历m次训练数据或损失函数收敛，得到目标模型。

其中，[·]

本公开利用联邦建模系统训练得到的目标模型，避免使用软硬件一体化设备获取多方数据而增大开发工作量和成本，降低了联邦建模的开发成本和建模难度。同时，本公开先利用特征处理装置对样本特征的稠密特征向量进行加密，并在通过回归模型和加密后的稠密特征向量计算模型参数的梯度、损失函数，避免了交互数据的泄露问题，提高了联邦模型中交互数据的安全性。

进一步的，在本公开的示例性实施例中，还提供了一种联邦模型预测方法。参考图8，联邦模型预测方法具体可以包括以下步骤：

在步骤S801中，获取标签方的第一样本特征和数据方的第二样本特征；在步骤S803中，将第一样本特征和第二样本特征输入训练后的目标模型，确定目标预测标签值。

具体地，在使用联邦模型获取预测标签值时，数据方的建模装置首先计算出加密特征向量

接着，标签方的建模装置可以计算加密的预测值：

随后，标签方的建模装置将加密预测标签值

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

上述方法中各步骤的具体细节在系统部分的实施例中已经详细说明，因此不再赘述。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图9来描述根据本发明的这种实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930、显示单元940。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元910执行，使得所述处理单元910执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元910可以执行如图6所示的步骤S601至步骤S607和如图8所示的步骤S801至步骤S803。

存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)9201和/或高速缓存存储单元9202，还可以进一步包括只读存储单元(ROM)9203。

存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204，这样的程序模块9205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备900也可以与一个或多个外部设备1000(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备900的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器960通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。