基于深度网络多模态信息融合的生物信息识别方法和装置

技术领域

本申请涉及图像识别技术领域，具体而言，涉及一种基于深度网络多模态信息融合的生物信息识别方法和装置。

背景技术

通过人工对图像进行识别处理，得到图像所属的类别的图像识别方法存在着图像识别的效率低的问题。在生物信息识别技术领域，为了提高生物信息图像识别的效率，可以通过神经网络模型对图像进行识别，但是在基于多模态的图像识别过程中仍然存在挑战。图像在多种模态中存在较大的类内形态差异，使得分类更加困难，现有技术中的神经网络模型一般对多个模态的图像分别进行识别，从而存在着图像识别的可靠性低的问题。

发明内容

有鉴于此，本申请的目的在于提供一种基于深度网络多模态信息融合的生物信息识别方法和装置，以改善现有技术中存在的问题。

为实现上述目的，本申请实施例采用如下技术方案：

第一方面，本发明提供一种基于深度网络多模态信息融合的生物信息识别方法，包括：

获取多个模态的待识别图像，其中，所述多个模态的待处理图像属于同一生物信息；

通过预设识别模型对所述多个模态的待识别图像进行融合处理，得到融合特征；

根据所述融合特征进行分类处理，得到所述生物信息的类别，其中，所述预设识别模型根据多个模态的生物信息图像训练得到。

在可选的实施方式中，所述通过预设识别模型对所述多个模态的待识别图像进行融合处理，得到融合特征的步骤，包括：

对各个模态的所述待识别图像进行特征处理，得到各所述待识别图像的学习特征；

对各所述待处理图像的学习特征进行拼接处理，得到融合特征。

在可选的实施方式中，所述预设识别模型包括与各个模态的所述待识别图像对应的投影矩阵，所述对各个模态的所述待识别图像进行特征处理，得到各所述待识别图像的学习特征的步骤，包括：

针对每个模态的待识别图像，对该待识别图像进行深度识别处理，得到该待处理图像的深度特征；

根据该待处理图像的深度特征和对应的投影矩阵计算得到该待处理图像的学习特征。

在可选的实施方式中，所述预设识别模型包括conca层，所述对各所述待处理图像的学习特征进行拼接处理，得到融合特征的步骤，包括：

通过所述conca层对各所述待处理图像的学习特征进行拼接处理，得到融合特征。

在可选的实施方式中，所述基于深度网络多模态信息融合的生物信息识别方法还包括训练预设识别模型的步骤，该步骤包括：

根据初始模型的优化损失函数和分类损失函数计算得到总损失函数；

根据所述总损失函数对所述初始模型进行训练，得到预设识别模型。

在可选的实施方式中，所述基于深度网络多模态信息融合的生物信息识别方法还包括：

获取用户的反馈数据；

根据所述反馈数据对所述预设识别模型进行更新处理。

第二方面，本发明提供一种基于深度网络多模态信息融合的生物信息识别装置，包括：

图像获取模块，用于获取多个模态的待识别图像，其中，所述多个模态的待处理图像属于同一生物信息；

图像处理模块，用于通过预设识别模型对所述多个模态的待识别图像进行融合处理，得到融合特征；

分类模块，用于根据所述融合特征进行分类处理，得到所述生物信息的类别，其中，所述预设识别模型根据多个模态的生物信息图像训练得到。

在可选的实施方式中，所述图像处理模块具体用于：

对各个模态的所述待识别图像进行特征处理，得到各所述待识别图像的学习特征；

对各所述待处理图像的学习特征进行拼接处理，得到融合特征。

第三方面，本发明提供一种电子设备，包括存储器和处理器，所述处理器用于执行所述存储器中存储的可执行的计算机程序，以实现前述实施方式任意一项所述的基于深度网络多模态信息融合的生物信息识别方法。

第四方面，本发明提供一种存储介质，其上存储有计算机程序，该程序被执行时实现前述实施方式任意一项所述基于深度网络多模态信息融合的生物信息识别方法的步骤。

本申请实施例提供的基于深度网络多模态信息融合的生物信息识别方法和装置，通过预设识别模型对多个模态的待识别图像进行融合处理，得到融合特征，根据融合特征进行分类处理，实现了根据多个模态图像融合后的特征进行分类识别，改善了现有技术中现有技术中的神经网络模型一般对多个模态的图像分别进行识别，所导致的图像识别的可靠性低的问题。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的电子设备的结构框图。

图2为本申请实施例提供的基于深度网络多模态信息融合的生物信息识别方法的流程示意图。

图3为本申请实施例提供的基于深度网络多模态信息融合的生物信息识别方法的另一流程示意图。

图4为本申请实施例提供的预设识别模型的结构框图。

图5为本申请实施例提供的基于深度网络多模态信息融合的生物信息识别方法的另一流程示意图。

图6为本申请实施例提供的基于深度网络多模态信息融合的生物信息识别方法的另一流程示意图。

图7为本申请实施例提供的基于深度网络多模态信息融合的生物信息识别方法的另一流程示意图。

图8为本申请实施例提供的实验验证的结果图。

图9为本申请实施例提供的实验验证的另一结果图。

图10为本申请实施例提供的基于深度网络多模态信息融合的生物信息识别装置的结构框图。

图标：100-电子设备；110-网络端口；120-第一处理器；130-通信总线；140-第一存储介质；150-接口；1000-生物信息识别装置；1010-图像获取模块；1020-图像处理模块；1030-分类模块。

具体实施方式

针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及本申请针对上述问题所提出的解决方案，都应该是发明人在本申请过程中对本申请做出的贡献。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行详细地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了使得本领域技术人员能够使用本申请内容，给出以下实施方式。对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。本申请的系统或方法的应用可以包括网页、浏览器的插件、客户端终端、定制系统、内部分析系统、或人工智能机器人等，或其任意组合。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

图1示出根据本申请的一些实施例的可以实现本申请思想的电子设备100的示例性硬件和软件组件的示意图。电子设备100可以包括连接到网络的网络端口110、用于执行程序指令的一个或多个第一处理器120、通信总线130和不同形式的第一存储介质140，例如，磁盘、ROM、或RAM，或其任意组合。示例性地，电子设备100还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质或其任意组合中的程序指令，根据这些程序指令可以实现本申请的方法。电子设备100还可以包括与其他输入输出设备(例如键盘、显示屏)之间的输入/输出(Input/Output，I/O)接口150。

在一些实施例中，第一处理器120可以处理与本申请实施例有关的信息和/或数据，以执行本申请中描述的一个或多个功能。在一些实施例中，第一处理器120可以包括一个或多个处理核(例如，单核处理器(S)或多核处理器(S))。仅作为举例，第一处理器120可以包括中央处理单元(Central Processing Unit，CPU)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、专用指令集处理器(Application SpecificInstruction-set Processor，ASIP)、图形处理单元(Graphics Processing Unit，GPU)、物理处理单元(Physics Processing Unit，PPU)、数字信号处理器(Digital SignalProcessor，DSP)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、可编程逻辑器件(Programmable Logic Device，PLD)、控制器、微控制器单元、简化指令集计算机(Reduced Instruction Set Computing，RISC)或微处理器等，或其任意组合。

电子设备100中的第一处理器120可以是通用计算机或设定用途的计算机，两者都可以用于实现本申请的方法。本申请尽管仅示出了一个计算机，但是为了方便起见，可以在多个类似平台上以分布式方式实现本申请描述的功能，以均衡处理负载。

为了便于说明，在电子设备100中仅描述了一个处理器。然而，应当注意，本申请中的电子设备100还可以包括多个处理器，因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如，若电子设备100的处理器执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如，第一个处理器执行步骤A，第二个处理器执行步骤B，或者第一个处理器和第二个处理器共同执行步骤A和B。

网络可以用于信息和/或数据的交换。在一些实施例中，电子设备100中的一个或多个组件可以向其他组件发送信息和/或数据。例如，电子设备100可以经由网络获取信号。仅作为示例，网络可以包括无线网络、远程通信网络、内联网、因特网、局域网(Local AreaNetwork，LAN)、广域网(Wide Area Network，WAN)、无线局域网(Wireless Local AreaNetworks，WLAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide AreaNetwork，WAN)、蓝牙网络、ZigBee网络、或近场通信(Near Field Communication，NFC)网络等，或其任意组合。

在一些实施例中，网络可以包括一个或多个网络接入点。例如，网络可以包括有线或无线网络接入点，例如基站和/或网络交换节点，电子设备100的一个或多个组件可以通过该接入点连接到网络以交换数据和/或信息。

图2示出了本申请实施例所提供的基于深度网络多模态信息融合的生物信息识别方法的流程图之一，该方法可应用于图1所示的电子设备100，由图1中的电子设备100执行。应当理解，在其他实施例中，本实施例的基于深度网络多模态信息融合的生物信息识别方法中的部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。下面对图2所示的基于深度网络多模态信息融合的生物信息识别方法的流程进行详细描述。

步骤S210，获取多个模态的待识别图像。

其中，多个模态的待处理图像属于同一生物信息。

步骤S220，通过预设识别模型对多个模态的待识别图像进行融合处理，得到融合特征。

步骤S230，根据融合特征进行分类处理，得到生物信息的类别。

其中，预设识别模型根据多个模态的生物信息图像训练得到。

上述方法通过预设识别模型对多个模态的待识别图像进行融合处理，得到融合特征，根据融合特征进行分类处理，实现了根据多个模态图像融合后的特征进行分类识别，改善了现有技术中现有技术中的神经网络模型一般对多个模态的图像分别进行识别，所导致的图像识别的可靠性低的问题。

对于步骤S210，需要说明的是，获取待识别图像的具体方式不受限制，可以根据实际应用需求进行设置。例如，在一种可以替代的示例中，电子设备100具有图像采集功能的模块时，可以直接由电子设备100采集多个模态的待识别图像。又例如，在另一种可以替代的示例中，电子设备100不具有图像采集功能的模块时，可以通过与电子设备100连接的图像采集设备采集多个模态的待识别图像。

其中，生物信息可以为癌症病变的相关信息，具体可以为肝细胞癌的相关信息。得到的待识别图像可以为3D图像，也可以为2D图像，3D图像的形状是16*16*16，2D图像的形状是28*28。在得到待识别图像之后，可以对待识别图像进行预处理，将图像的形状维度等进行调整，以适应网络的统一输入。

需要说明的是，为了得到预设识别模型，在步骤S210之前，本申请实施例提供的基于深度网络多模态信息融合的生物信息识别方法还可以包括训练预设识别模型的步骤。因此，在图2的基础上，图3为本申请实施例提供的另一种生物信息识别方法的流程示意图，参见图3，生物信息识别方法还可以包括：

步骤S240，根据初始模型的优化损失函数和分类损失函数计算得到总损失函数。

步骤S250，根据总损失函数对初始模型进行训练，得到预设识别模型。

对于步骤S240，需要说明的是，结合图4，本申请实施例提供的预设识别模型(深度监督网络，DSN)包括三个卷积层(conv1、conv2和conv3)、两个全连接层、与各个模态的待识别图像对应的投影矩阵(Wpp、Wap和Wpvp)、conca层和softmax层，每个模态有一个深度特征学习的CNN网络，即图2的conca层前的单个横向模型。

其中，本申请实施例的目的是提供一种基于深度网络多模态信息融合的生物信息识别方法，包括如下步骤：引入判别类内损失函数，以减少同一类别中的特征的距离并扩大不同类别肿瘤中的特征的距离；基于优化迭代中不同模态的损耗值设计一种自适应加权策略，以增加损耗值相对较低的模态的贡献，并减小损耗值较大的模态对最终损失函数的影响；为拟议的深度学习框架提出一个总损失函数，该函数将拟议的两个部分结合起来以更好地表征病变。

详细地，引入判别类内损失函数的设计流程步骤如下：

将三个模态的待识别图像(造影前、动脉和门静脉期)的图像块分别放入CNN网络中，从第二个全连接层中生成每个相位的深度特征(Fpp、Fap和Fpvp)。引入模态内判别模块，以缩小同一类别特征的距离，增加不同类别特征之间的距离。然后，学习三种投影矩阵(Wpp、Wap和Wpvp)，将深度特征投影到新的特征表示，通过减少同一类别样本特征的距离使同一类别样本的相关度最大化。

并且，可以设计一个适用于多模式融合的自适应深度监督网络模块，将学习到的特征分别送入softmax层进行分类，并同时连接到softmax层。在深度监督网络融合与自适应加权调整的步骤中，通过多模式特征提取的直接监督，为提高分类性能提供良好的调整策略和规范。

详细地，采用自适应加权调整的深度监督网融合的流程步骤如下：

对原始DSN进行分类的分类损失函数可以如下所示：

Lclassify＝Lcon+λ1·Lpp+λ2·Lap+λ3·Lpvp；

其中，λ1、λ2、λ3为权重，Lcon表示三个模态融合后的loss值，Lpp、Lap、Lpvp表示单个模态的loss值。可以自适应地调整不同模态的权重：

其中，β表示正聚焦参数，是一个可自定义的超参数，当其为2时，该参数与网络m和n的分类性能成正比，将m、n的分类损失专注于正向特征知识的传递。假设“Lm”和“Ln”是网络m和n的分类损失，分别对应于第m和第n模态。令Δ＝Lm-Ln，Δ为正表示网络n的效果优于网络m的效果。

进一步地，本申请实施例提出的端到端多模融合框架的总损失函数Ltotal，将拟议的两个部分结合起来以更好地表征病变，具体流程步骤如下：

Ltotal＝LD+Lclassify，LD是能够使同类样本模态内相关性最大化，而不同类别样本模态内相关性最大化的优化函数，Lclassify是基于交叉熵损失的自适应权值的深度监督损失函数，用于分类。

其中，LD的具体生成步骤可以如下所示：

模态内判别模块可以设计一计算矩阵W，将每个相位F的深度特征投影到空间，如果他们来自同一个类，减少样本的xi和xj距离，否则增加距离。约束定义如下：如果两个肿瘤来自同一类别(yij＝1)，它们的相对深度特征距离应该小于一个预定义的阈值μ-τ，否则yij＝-1，这两种肿瘤的深层特征距离应大于μ+τ。xi，xj表示同一模态同一数据批次两个图像样本，yij表示两个样本的标签，若两个标签相同yij＝1，否则yij＝-1。μ＝10，τ＝1，μ，τ是两个经验参数。

y

一对深度特征xi与xj之间的距离dW(xi,xj)计算为：

其中，Wxi表示xi样本的投影矩阵，Wxj表示xj样本的投影矩阵。

模态内判别函数定义如下：

其中，h()的公式为h(x)＝max(0，x)，可以分别用对应的三个投影矩阵Wpp，Wap和Wpvp构造三个阶段的判别项，分别为Dpp，Dap和Dpvp。为了从这三个阶段中学习特征，我们构造了模态内判别模块的目标函数，如下所示：

其中，α表示各模态之间的协调参数，超参数k的引入使α1、α2和α3的变得非线性，避免了次优解。在当前工作中将k＝2，在该方法中测试几个k值。当k＝2时，AUC值较高。如果k>3，则网络训练次优，并且可能难以收敛。

对于步骤S250，需要说明的是，在得到总损失函数之后，可以采用“Tensorflow”算法实现多模态特征融合，并采用SGD算法实现目标函数的最小化。tensorflow只是一个框架用于模型的实现，SGD算法是随机梯度下降算法，用于将目标函数最小化，是训练模型的一个重要步骤。

对于步骤S220，需要说明的是，进行融合处理的具体方式不受限制，可以根据实际应用需求进行设置。例如，在一种可以替代的示例中，步骤S220可以包括根据学习特征得到融合特征的步骤，因此，在图2的基础上，图5为本申请实施例提供的另一种生物信息识别方法的流程示意图，参见图5，步骤S220可以包括：

步骤S221，对各个模态的待识别图像进行特征处理，得到各待识别图像的学习特征。

步骤S222，对各待处理图像的学习特征进行拼接处理，得到融合特征。

对于步骤S221，需要说明的是，进行特征处理的具体方式不受限制，可以根据实际应用需求进行设置。例如，在一种可以替代的示例中，预设识别模型包括与各个模态的待识别图像对应的投影矩阵，步骤S221可以包括根据投影矩阵计算学习特征的步骤。因此，在图5的基础上，图6为本申请实施例提供的另一种生物信息识别方法的流程示意图，参见图6，步骤S221可以包括：

步骤S2211，针对每个模态的待识别图像，对该待识别图像进行深度识别处理，得到该待处理图像的深度特征。

步骤S2212，根据该待处理图像的深度特征和对应的投影矩阵计算得到该待处理图像的学习特征。

其中，投影矩阵W是可学习的，通过CNN网络得到的深度特征F和可学习的W相乘得到学习特征。

对于步骤S222，需要说明的是，进行拼接处理的具体方式不受限制，可以根据实际应用需求进行设置。例如，在一种可以替代的示例中，预设识别模型包括conca层，步骤S222可以包括以下子步骤：

通过conca层对各待处理图像的学习特征进行拼接处理，得到融合特征。

也就是说，conca层拼接三个学习特征的特征矩阵之后，送进softmax层进行分类。

在步骤S230之后，本申请实施例提供的生物信息识别方法还可以包括更新预设识别模型的步骤。因此，在图2的基础上，图7为本申请实施例提供的另一种生物信息识别方法的流程示意图，参见图7，生物信息识别方法还可以包括：

步骤S260，获取用户的反馈数据。

步骤S270，根据反馈数据对预设识别模型进行更新处理。

其中，图像是带有标签的(高低度)，HCC的组织学分级，I、II期属于low-grade，III、IV期属于High-grade。在测试时，模型预测的标签和图像原标签作对比，可以得到肿瘤高低度分类的准确性、敏感性、特异性、AUC值等(下文表格)。通过深度学习框架下的判别学习和自适应权重的融合方法，解决上文的两个多模态融合存在的问题，使得模型性能指标得到提升。

也就是说，可以通过与目前多模式融合方法的比较以及大量的实验验证本申请实施例提供方法的优越性，实验验证的流程步骤如下。

1)进行两个融合实验：基于3D CNN的多相融合和基于2D CNN的多视图融合；

2)对典型的融合方法进行比较；

3)将提出的两个模块和典型的融合方法相结合，验证两个模块的有效性。

详细地，可以纳入117例经组织学证实的肝癌患者，将数据集随机分为训练集(77个HCC)和测试集(40个HCC)，重复进行五次训练和测试，计算准确度、灵敏度、比色性和曲线下面积(AUC)的值。

图9为基于3D CNN的多相融合性能的结果图，对117个HCC进行三维多相融合不同方法的性能比较(％)。图8为2D CNN多视图融合的性能的结果图，不同方法对117例HCC动脉期二维多视角融合的效果进行比较。得到实验验证的结果图之后，可以对每个模块进行详细研究：结果图显示本申请实施例提供的方法性能指标较好，进一步证明了所提出的判别性模态内项和自适应加权调整策略在HCC分级中的有效性，验证了所提出的自适应加权策略在基于3D CNN的多相融合中的有效性。

需要说明的是，在本申请实施例提供的方法性能指标未能满足要求时，可以获取用户的反馈数据，根据反馈数据对预设识别模型进行更新处理，直到性能指标满足需求。

结合图10，本申请实施例还提供了一种基于深度网络多模态信息融合的生物信息识别装置1000，该生物信息识别装置1000实现的功能对应上述方法执行的步骤。该生物信息识别装置1000可以理解为上述电子设备100的处理器，也可以理解为独立于上述电子设备100或处理器之外的在电子设备100控制下实现本申请功能的组件。其中，生物信息识别装置1000可以包括图像获取模块1010、图像处理模块1020和分类模块1030。

图像获取模块1010，用于获取多个模态的待识别图像，其中，多个模态的待处理图像属于同一生物信息。在本申请实施例中，图像获取模块1010可以用于执行图2所示的步骤S210，关于图像获取模块1010的相关内容可以参照前文对步骤S210的描述。

图像处理模块1020，用于通过预设识别模型对多个模态的待识别图像进行融合处理，得到融合特征。在本申请实施例中，图像处理模块1020可以用于执行图2所示的步骤S220，关于图像处理模块1020的相关内容可以参照前文对步骤S220的描述。

分类模块1030，用于根据融合特征进行分类处理，得到生物信息的类别，其中，预设识别模型根据多个模态的生物信息图像训练得到。在本申请实施例中，分类模块1030可以用于执行图2所示的步骤S230，关于分类模块1030的相关内容可以参照前文对步骤S230的描述。

进一步地，图像处理模块1020还可以具体用于：

对各个模态的待识别图像进行特征处理，得到各待识别图像的学习特征；

对各待处理图像的学习特征进行拼接处理，得到融合特征。

此外，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述生物信息识别方法的步骤。

本申请实施例所提供的生物信息识别方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行上述方法实施例中的生物信息识别方法的步骤，具体可参见上述方法实施例，在此不再赘述。

综上所述，本申请实施例提供的基于深度网络多模态信息融合的生物信息识别方法和装置，通过预设识别模型对多个模态的待识别图像进行融合处理，得到融合特征，根据融合特征进行分类处理，实现了根据多个模态图像融合后的特征进行分类识别，改善了现有技术中现有技术中的神经网络模型一般对多个模态的图像分别进行识别，所导致的图像识别的可靠性低的问题。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。