一种广义弹性网络非平行支持向量机分类算法

技术领域

本发明属于模式识别领域，具体涉及一种广义弹性网络非平行支持向量机分类算法。

背景技术

模式识别是指对信息进行处理分析、辨认和解释的过程，是信息科学和人工智能的重要组成部分，而分类是模式识别的核心任务之一。两分类问题是分类问题的基础，一般的多分类问题可转化为一系列两分类问题求解。作为有效的分类算法之一，支持向量机采用结构风险最小化原则并以统计学习理论为基础，较好地解决了高维数小样本问题，实现了非线性的自然推广，并具有良好的样本稀疏性。因此，支持向量机成功地应用于模式识别的众多领域，如手写体数字识别、人脸检测、文本分类、语音识别、信号处理等领域。

以下是本领域内对该问题进行研究的一些文献：[1]Cortes C,VapnikV.Support-vector networks.Machine learning,1995,20(3):273-297；[2]MangasarianO L,Wild E W.Multisurface proximal support vector machine classification viageneralized eigenvalues.IEEE Transactions on Pattern Analysis and MachineIntelligence,2006,28(1):69-74；[3]Li C N,Shao Y H,Deng N Y.Robust L1-norm non-parallel proximal support vector machine.Optimization,2016,65(1):169-183；[4]Yan H,Ye Q,Zhang T,et al.L1-norm GEPSVM classifier based on an effectiveiterative algorithm for classification.Neural Processing Letters,2017:1-26；[5]Sun X Q,Chen Y J,Shao Y H,Li C N,Wang C H.Robust nonparallel proximalsupport vector machine with Lp-norm regularization.IEEE Access,2018,6:20334-20347.

其中，文献[1]是基于平行超平面的L2-模经典支持向量机，文献[2]是基于非平行超平面的L2-模支持向量机，文献[3]是基于非平行超平面的L1-模支持向量机，文献[4]是基于非平行超平面且带L2-模正则项的L1-模支持向量机，文献[5]是基于非平行超平面且带Lp-模正则项的L1-模支持向量机，其中p>0。

然而，现有支持向量机算法存在以下几方面的问题：

(i)基于平行超平面的支持向量机在异或数据上失效，大大降低了其在一些实际问题上的应用推广能力；(ii)基于L2-模的支持向量机对噪声和离群点敏感，不具有鲁棒性；(iii)已有的鲁棒非平行超平面支持向量机采用固定的度量，自适应性不够强。

因此，提出可适应不同数据的非平行超平面鲁棒支持向量机模型及算法具有重要意义。

发明内容

为了解决上述现有技术中存在的问题，本发明提出一种对噪声和离群点不敏感，可以适应不同数据的广义弹性网络非平行支持向量机分类算法(Generalized elasticnet Lp-norm nonparallel support vector machine，简称GLpNPSVM)。

本发明的技术方案是：

广义弹性网络非平行支持向量机分类算法包括以下步骤：

步骤一、建立广义弹性网络非平行支持向量机分类模型：

给定数据集T＝{(x

步骤二、输入训练集T＝{(x

步骤三、设置迭代次数t＝0，随机初始化

步骤四、

(1)计算

其中diag(.)代表由其括号中元素构成的对角阵，I是单位矩阵；

(2)计算

其中sign(.)代表符号函数；

(3)计算

(4)令t＝t+1；

步骤五、若

步骤六、令

步骤七、对新来样本点x∈R

本发明提出的广义弹性网络非平行支持向量机分类算法，主要有以下几方面改进：

1.针对经典基于L

2.本发明考虑广义弹性网络，不仅增强了算法的泛化性能，而且控制了模型复杂度，提升了算法分类准确率；

3.本发明所提算法当1≤p≤2和0

4.本发明将现有几种经典非平行超平面支持向量机模型都融合于该框架中，具有较强的推广性。

附图说明

图1为本发明所应用的零件摆放方向检测中部分零件图像示例，其中第一行对应零件的正向摆放，第二行对应零件的反向摆放。该数据集包含120个正向图像，100个反向图像，每张图像大小为32×32像素。为测试本发明鲁棒性质，每类分别随机选取50％的数据做训练集，剩余50％数据做测试集，并在每张训练图像上加面积为30％，50％，80％的黑色矩形遮挡，其中矩形的长宽与位置随机。

图2为本发明(GLpNPSVM)采用10-折交叉验证方法应用在19个标准UCI数据集上的结果。为测试本发明的鲁棒性，训练集中随机选取10％、20％和30％的特征加入均值为0，标准差分别为0.01和0.05的高斯白噪声。图2展示在噪声标准差为0.01情形时，不同百分比下，本发明与其他同类方法相比的平均性能排序。由图2可以看出，本发明排序明显高于其他同类方法。

图3为本发明(GLpNPSVM)在以上19个标准UCI数据集上，在噪声百分为10％情形时，不同高斯白噪声强度下，本发明与其他同类方法相比的平均性能排序。由图3可以看出，本发明排序明显高于其他同类方法。

具体实施方式

下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。此处所述的实施例，仅用于解释本发明，并不限定本发明。

如图1所示，广义弹性网络非平行支持向量机分类算法，包括以下步骤：

步骤一、将每张图像用向量数据表示，并标记类别，构成输入训练集T＝{(x

设第1类样本点含m

步骤二、输入正则项非负参数δ＞0和σ＞0，模参数p,q>0，停机准则ò＞0，最大迭代次数itmax；

步骤三、建立广义弹性网络非平行支持向量机分类模型：

其中

通过极小化优化问题(1)和(2)分子中的第一项，可以实现在Lp-模意义下，属于同一类的每个样本点与该类超平面尽可能地近；通过极小化优化问题的分母，使得每个样本点离非本类超平面的距离尽可能地远。由此，该模型可以有效区分两类样本实现分类。此外，通过极小化目标函数分子中第二项与第三项，即极小化广义弹性网络正则项，不仅可以防止过拟合从而选择具有更好泛化性能的模型，还可以使得在实际计算中在求相差矩阵的逆矩阵时，避免矩阵非奇异的情况发生，从而解决高维小样本问题。

通过优化模型(1)与(2)，本发明不仅实现了经验风险极小化，同时实现了结构风险极小化，并且两者均可由自适应的模来实现。通过选择不同的p与q，本发明可以对不同数据达到良好的分类性能。

与目前现有的非平行超平面支持向量机模型相比，所提新模型有两个新特点：一是引入了一般的Lp-模度量，p>0，而不是固定的L2-模，L1-模等，实现了更一般的非平行超平面支持向量机；二是引入了广义弹性网络正则项。事实上，以上新提出模型可以认为广义特征值中心支持向量机的推广：当p＝2，δ＝0时，该模型为GEPSVM；当p＝1，δ＝0，σ＝0时，该模型为L1-NPSVM；当p＝1，δ＝0时，该模型为L1-GEPSVM；当p＝1，σ＝0时，该模型为LpNPSVM。

步骤四、采用迭代算法求解以上模型，设置迭代次数t＝0，初始化第一个投影方向为

步骤五、

(1)计算计算模型目标函数中二次项矩阵

其中diag(.)代表由其括号中元素构成的对角阵，I是单位矩阵。这里所构造的矩阵H

(2)计算模型约束条件系数

(3)通过求解以上正定二次优化问题计算新的超平面法向量

(4)令t＝t+1；

步骤六、检查迭代停条件，若前后两次迭代所得到的投影向量足够接近或者达到迭代次数最大值，则迭代停，即若

步骤七、输出最优超平面法向量

步骤八、对新来样本点x∈R

本发明构造的是基于向量数据输入的Lp-模非平行超平面支持向量机，其中p为任意大于0的数，且每步迭代求解严格凸二次优化问题。此外，本添加额外基于Lq-模的广义弹性网络正则项，其中q为任意大于0的数，提高了算法的分类性能与泛化性能。

以上是本发明的较佳实施方式，本发明的保护范围不限于此。任何熟悉本领域的技术人员在本发明所揭露的技术范围之内，未经创造性劳动所想到的变换或替换，都涵盖在本发明的保护范围之内。本发明的保护范围以权利要求所限定的保护范围为准。

图1为本发明所应用的零件方向检测中部分零件图像示例，其中第一行对应零件的正向摆放，第二行对应零件的反向摆放。该数据集包含120个正向图像，100个反向图像，每张图像大小为32×32像素。为测试本发明鲁棒性质，每类分别随机选取50％的数据做训练集，剩余50％数据做测试集，并在每张训练图像上加面积为30％，50％，80％的黑色矩形遮挡，其中矩形的长宽与位置随机。

图2为本发明(GLpNPSVM)采用10-折交叉验证方法应用在19个标准UCI数据集上的结果，是本发明在不同噪声百分比情况下相与其他方法比的平均性能排序。

图3为本发明(GLpNPSVM)采用10-折交叉验证方法应用在19个标准UCI数据集上的结果，是本发明在不同噪声强度情况下相与其他方法比的平均性能排序。

表1为本发明(GLpNPSVM)与其相关算法GEPSVM、PCC、L1-NPSVM,L1-GEPSVM和LpNPSVM应用于零件图像原始数据以及分别加面积为30％、50％、80％的遮挡数据上的分类准确率。表中结果表明，本发明可以通过设置不同p，q值达到预期的分类效果；在三种遮挡噪声百分比下本发明均具有最优效果。