基于Gist特征提取与概念机递归神经网络的图像分类方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种图像分类方法。

背景技术

图像识别和分类是计算机视觉和图像理解领域的一个重要方向，目前，在处理图像分类问题上，已经有许多模型取得了较为明显的成果，无论是过去的支持向量机还是现在的卷积神经网络，虽然它们具有较高的准确度，但是这些分类器在经过学习后其结构就已经建立，而且不可更改，无法在原有的基础上继续学习识别新的图像。如果需要学习识别新的图像，则必须重新初始化所有结构，这必将浪费巨大的损耗来重新训练和学习模型。

发明内容

有鉴于此，本发明的目的一种基于Gist特征提取与概念机递归神经网络的图像分类方法，以实现增量式的学习识别新的图像而不必对已学习的图像进行重复学习。

本发明基于Gist特征提取与概念机递归神经网络的图像分类方法，包括以下步骤：

1)提取图像的Gist特征

通过Gabor滤波器对场景图像进行滤波，将滤波后的图像分为n×n的网格，然后各个网格采用离散傅里叶变换和窗口傅里叶变换提取图像的全局特征信息；

具体过程为：将一幅大小为h×w的灰度图像f(x，y)划分成大小相等的n×n个网格，则每个网格块的大小为h'×w'，其中h'＝h/n，w'＝w/n；

对每个网格块图像用m个通道的滤波器进行卷积滤波，并将m个通道滤波后的结果级联起来，形成该网格块的特征，将上述每一网格块计算出的特征值取平均值，得到该网格块的Gist特征式中G'表示在第m个通道滤波后所产生的平均特征值；G(x,y)表示第m个通道滤波后所产生的特征值，每一个网格块会产生m个特征值；将每一网格块中产生的m个平均特征值级联起来，就得到了整幅图像的Gist特征，其维数为n×n×m；

2)搭建概念机递归神经网络

概念机递归神经网络由输入神经元、储备池和输出神经元组成，储备池神经元之间的连接矩阵符合ESN规则即储备池内部连接权值矩阵的谱半径β<1，保证储备池具有回声状态属性；储备池激励函数采用双曲正切函数，网络的更新方程为：

x^j(n+1)＝tanh(W*x^j(n)+W_in*p^j(n+1)+b)

y^j(n)＝x^j(n)

其中，W_in为输入层神经元与储备池神经元之间的输入权值矩阵，由标准正态分布的随机数组成；W为储备池内部神经元之间的连接权值矩阵，先由标准正态分布的随机数生成，再约束其谱半径β<1；b为偏置，值为1；p^j(n+1)为概念机递归神经网络的输入；W_in、W和b生成之后固定不变；

3)将步骤1)产生的图像Gist特征作为训练样本集输入概念机递归神经网络，即p^j(n+1)为由步骤1)产生的训练样本集；

4)根据此类图像的训练样本集激发储备池的内部状态

把图像的训练样本集p^j输入概念机递归神经网络，计算并记录由训练样本集p^j所激发的储备池内部状态集{x^j}；

5)计算并存储此类图像的概念机矩阵

当神经网络由模型p^j驱动，N维的兴奋神经元状态{x^j}位于一个状态星云之中，其几何特征由该驱动模型决定；{x^j}几何结构的基本描述为一个椭圆C^j，其主轴即为状态集{x^j}的主成分；这个椭圆C^j代表在该递归神经网络中有关模型的概念机；根据状态集{x^j}，通过学习规则训练得到C^j；对于储备池状态序列x(1),…x(L)，构建如下的代价函数：

其中C就是概念机矩阵，它描述了储备池状态空间的特征，α≥0，是一个调节参数，通过随机梯度下降法得到概念机C：

C(R,α)＝R(R+α^-2I)^-1

其中，R＝XX^T/L,为状态相关矩阵，X为状态集{x^j}；根据Frobenius平方范数的梯度寻找合适的α：

用于衡量概念机C在指数尺度上的敏感度，当达到最大值，C对数据变化的敏感程度最大；

6)根据概念机矩阵及测试样本所激发的储备池内部状态识别此类图像

通过训练样本p^j得到概念机C^j，并将训练样本p¹,p²,…加载到储备池中；通过步骤1)、3)和4)得到测试样本集pⁱ的储备池内部状态集{xⁱ}，通过以下公式得出测试图片所属类别：

E＝X^TCX

j^*就是测试图像的所属类别。

本发明的有益效果：

本发明基于Gist特征提取与概念机递归神经网络的图像分类方法，可以较好地处理图像分类问题，而且通过步骤1)、3)、4)和5)计算图像的概念机矩阵可以让概念机递归神经网络增量式的学习识别新的图像。

附图说明

图1是概念机递归神经网络结构图，图中K input units意思为K个输入神经元，Ninterlnal units意思为N个储备池神经元，L output units意思为L个输出神经元；

图2是的响应情况；

图3是概念机的几何描述。手写数字图像集“0”模型p¹激发出的神经元状态星云，它的形状可以抽象为椭圆，即概念机C¹；

图4是本发明基于Gist特征提取与概念机递归神经网络的图像分类方法的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步描述。

为了清楚说明本发明对于图像分类的有效性，在本实施例中进行了对手写数字图像增量式的学习和识别的实验，采用了常见的MNIST数据集，手写数字图像有10个类别：数字“0”、数字“1”、数字“2”、数字“3”、数字“4”、数字“5”、数字“6”、数字“7”、数字“8”和数字“9”，训练集有60000幅图像，测试集有10000幅图像，每幅图像大小为28×28。本实施例基于Gist特征提取与概念机递归神经网络的图像分类方法，具体步骤如下：

1)对手写数字图像集“0”提取图像的Gist特征。Gist特征提取方法一种图像全局特征提取方法，对外部场景形成一个整体的全局描述，从而捕捉图像的上下文信息。这种特征提取方法通过Gabor滤波器对场景图像进行滤波，将滤波后的图像分为n×n的网格，然后各个网格采用离散傅里叶变换和窗口傅里叶变换提取图像的全局特征信息。

具体过程为：将一幅大小为28×28的灰度图像f(x，y)划分成大小相等的4×4个网格，则每个网格的大小为h'×w'，其中h'＝7，w'＝7；对每个网格块图像用32个通道的滤波器进行卷积滤波，并将32个通道滤波后的结果级联起来，形成该网格块的特征，将上述每一网格块计算出的特征值取平均值，得到该网格块的Gist特征式中G'表示在第m个通道滤波后所产生的平均特征值；G(x,y)表示第m个通道滤波后所产生的特征值。这样，每一个网格块就会产生32个特征值；将每一网格块中产生的32个平均特征值级联起来，就得到了整幅图像的Gist特征，其维数为4×4×32＝512，把图像的512维Gist特征作为训练样本集。

2)搭建概念机递归神经网络，概念机递归神经网络如图1所示，概念机递归神经网络由输入神经元、储备池和输出神经元组成。其中输入神经元数量为512个，储备池神经元数量为20个，输出神经元数量为10个，储备池神经元之间的连接矩阵符合ESN规则即储备池内部连接权值矩阵的谱半径β<1，保证储备池具有回声状态属性。储备池激励函数采用双曲正切函数，网络的更新方程为：

x^j(n+1)＝tanh(W*x^j(n)+W_in*p^j(n+1)+b)

y^j(n)＝x^j(n)

其中，W_in为输入层神经元与储备池神经元之间的输入权值矩阵，可由标准正态分布的随机数组成；W为储备池内部神经元之间的连接权值矩阵，初始化方法为：先由标准正态分布的随机数生成，再计算其绝对值最大的特征值d＝abs(eigs(W)),最后约束其谱半径β<1，W＝0.8*W/d；b为偏置，值为1；p^j(n+1)为概念机递归神经网络的输入；W_in、W和b生成之后固定不变。

3)将步骤1)产生的特征作为训练样本集输入概念机递归神经网络，即p¹(n+1)为由步骤1)产生的手写数字图像集“0”的Gist特征训练样本集。

4)根据此类图像的训练样本集激发储备池的内部状态。把手写数字图像集“0”的Gist特征训练样本集p¹输入概念机递归神经网络，计算并记录由训练样本集p¹所激发的储备池内部状态集{x¹}。

5)计算并存储此类图像的概念机矩阵。当神经网络由模型p¹驱动，N维的兴奋神经元状态{x¹}位于一个状态星云之中，其几何特征由该驱动模型决定。{x¹}几何结构的基本描述为一个椭圆C¹，其主轴即为状态集{x¹}的主成分。这个椭圆C¹代表在该递归神经网络中手写数字图像集“0”的概念机，如图3所示。根据状态集{x¹}，通过简单的学习规则训练得到C¹。对于储备池状态序列x(1),…x(L)，构建如下的代价函数：

其中C就是概念机矩阵，它描述了储备池状态空间的特征，α≥0，是一个调节参数，可称为“光圈”，通过调节α可找到一个使目标函数最小化的平衡点。通过随机梯度下降法可得到概念机C：

C(R,α)＝R(R+α^-2I)^-1

其中，R＝XX^T/L,为状态相关矩阵，X为状态集{x¹}。根据Frobenius平方范数的梯度寻找合适的“光圈”α：

可衡量概念机C在指数尺度上的敏感度(2范数)，当达到最大值，C对数据变化的敏感程度最大，类似于调节光圈使得图像对亮度变化的敏感性最大，如图2所示，描述了的响应情况，此时α＝5.2。

6)根据概念机矩阵及测试样本所激发的储备池内部状态识别此类图像。假定已经通过训练样本p^j得到概念机C^j，并且训练样本p¹,p²,…都已经加载到储备池中。则可以对测试样本集pⁱ进行识别，通过步骤1)、3)和4)得到测试样本集pⁱ的储备池内部状态集{xⁱ}，通过以下公式可以得出测试图片所属类别：

E＝X^TCX

j^*就是测试图像的所属类别。

通过步骤1)、3)、4)和5)计算手写数字图像集“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”和“9”的概念机矩阵可以让概念机递归神经网络增量式的学习识别新的图像，而不必对已学习的图像进行重复学习，通过步骤6可以识别已学习的图像类别，本发明在MNIST数据集上的识别准确率在98.6％。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。