一种模仿视觉感知机制的自然场景类型辨识方法

技术领域

本发明涉及计算机视觉领域关于自然场景分析的方法，特别是涉及一种其核心部分在于模仿人类视觉感知机制的自然场景类型辨识方法。

背景技术

自然场景又称为现实世界场景，泛指真实存在的一个具有特定时空界限的物理环境。人类的视觉感知系统在漫长的自然进化中具备了极强地自然场景分析能力，其中，人类所具有的快速辨识自然场景类型的能力是目前脑神经科学和心理学的研究热点，同时也是下一代智能计算机视觉技术正在努力实现的关键技术之一。对自然场景类型的计算机辨识技术在智能视频监控、无人驾驶系统、移动式自主机器人、海量图像数据库的自动整理等实际应用中具有重要价值。

目前，对自然场景类型的计算机辨识研究主要以自然场景图像为对象。自然场景图像是真实地记录了物理环境外观与状态的图片，这些图片中包含了各种各样人们在日常生活中可能见到的自然场景类型。目前，对自然场景图像中呈现的场景类型的划分主要是依据自然场景图像的语义外观。最早的研究者们将自然场景图像划分为“室内”与“室外”两大类，或者是“城市”与“自然风光”两大类。近年来，有研究者开始探索更为细化的语义分类标准，例如：麻省理工学院的Aude Oliva等人将自然场景图像按语义外观划分为海岸、森林、山脉、旷野、市内、街道、高速公路、高层建筑等8大类；之后，斯坦福大学的Li Fei-Fei和北卡罗来纳大学的Svetlana Lazebnik等人又分别在上述的8类语义分类标准基础之上，扩展出了针对自然场景图像的13类语义分类标准和15类语义分类标准。目前，自然场景类型的计算机辨识技术的核心关键在于如何利用计算机有效地提取出自然场景图像中蕴含的语义信息，从而实现对自然场景类型的快速、准确辨识。

到目前为止，各种自然场景类型辨识技术都可以归结为以下四大途径：基于物体识别的场景类型辨识方法，基于图像区域识别的场景类型辨识方法，基于语境分析的场景类型辨识方法，以及模仿生物视觉机制的场景类型辨识方法。基于物体识别的方法需要首先辨识出场景中存在的物体再藉此推断场景所属的语义类型，该方法受限于物体识别技术的不成熟，目前已经较少使用。基于图像区域识别的方法则首先将场景图像分割为若干子区域，然后识别出每个子区域的语义，最后通过分析子区域的语义组合来推断场景所属的语义类型；由于图像分割技术远未成熟，因此这类方法的发展也受到了较大的限制。基于语境分析的方法通过直接建立图像底层特征(形状、纹理、色彩等)与高层语义之间的对应关系来实现对自然场景类型的辨识，此类方法在近年来获得了很大的成功，是目前比较主流的方法；但是，该类方法的缺点在于实现过程比较复杂，需要人工选择和设定较多参数，而且其处理过程无法与人类视觉系统的工作机制相对应。而模仿生物视觉机制的场景类型辨识方法，则通过模仿人类视觉系统对自然场景中语义信息的感知机制来实现对自然场景类型的有效辨识，该类方法在实现过程上与人类视觉系统的工作机制有较好的对应，无需人工选择和设定大量参数，而且在算法的实现上也通常较以上三种方法更简单、计算复杂度更低且鲁棒性更好，因此模仿生物视觉机制的方法被认为是该领域未来的发展方向。

模仿生物视觉机制的场景类型辨识方法实际上是从基于语境分析的场景类型辨识方法上发展起来的，两者的关键区别在于对自然场景图像底层特征的提取方式不同。基于语境分析的场景类型辨识方法利用的是一些传统的、通用的图像特征提取方法，由于没有充分挖掘自然场景图像所具有的独特视觉统计特性，因此无法保证所提取的图像特征能够真正反映自然场景图像中隐含的本质特性。而模仿生物视觉机制的场景类型辨识方法则从分析自然场景图像所具有的视觉统计特性入手，通过模仿人类视觉系统在感知自然场景图像固有统计特性时呈现的生理机制，构建出一种更具有针对性的自然场景图像特征提取方法，然后利用所提取的有效特征实现对自然场景图像类型的辨识。

发明内容

本发明所要解决的技术问题在于提供一种模仿视觉感知机制的自然场景类型辨识方法。该方法通过模仿人类视觉感知系统在处理自然场景图像时的生物机制，获得了一种能够有效对应于自然场景图像语义类型的图像统计性特征，利用该特征可以有效地提高计算机对自然场景图像进行场景类型辨识的正确率。

本发明的技术方案如下：

首先，需要具备一个自然场景图像样本集，该图像样本集必须满足以下条件：

(1)样本集中所有图像样本反映的内容必须为场景，而不是其他的内容；

(2)样本集中具有N个不同的自然场景类型，N为大于2的自然数；

(3)样本集中的每一个图像样本都唯一的归属于上述N个自然场景类型中的一种；

(4)每种自然场景类型下包含的自然场景图像样本个数不小于1；

(5)每种自然场景类型下包含的自然场景图像样本具有相同的类别标号；

(6)不同的自然场景类型下的自然场景图像样本具有不同的类别标号。

在具备满足上述条件的自然场景图像样本集的前提下，本发明通过以下步骤实现模仿视觉感知机制的自然场景类型辨识，具体如下：

步骤1：对一个给定的包含有K幅自然场景图像的自然场景图像样本集{I₁，I₂，...，I_K}(K是自然数)进行预处理，预处理包括以下步骤：

(1)对自然场景图像样本集中的任一幅图像I_k(1≤k≤K)进行色彩空间变化，转换为灰度图像，具体转化方法如下：

I_{k_Gray}＝(I_{k_Red}+I_{k_Green}+I_{k_Blue})/3    (1)

其中，I_{k_Red}、I_{k_Green}、I_{k_Blue}分别表示原图像I_k中对应的红、绿、蓝3个通道分量，I_{k_Gray}表示转化后的灰度图像(如果输入图像已经为灰度图像，则可不进行公式(1)的操作)。

(2)将步骤(1)中得到的灰度图像I_{k_Gray}归一化为m×n像素大小的图像I_{k_Gray}(m，n)，m表示图像的每行有m个像素点，n表示图像的每行有n个像素点，m和n的取值可根据需要设置，一般取m＝n＝2^P，P为正整数。

(3)用逻辑算子对步骤(2)中归一化后的图像I_{k_Gray}(m，n)进行图像局部信息增强，具体方法如下：

G_k＝I_{k_Gray}(m，n)*H    (2)

其中，H表示逻辑算子，本发明中使用的是合取逻辑算子，其形式为：*表示卷积运算，G_k是增强之后的对应图像。

(4)对给定的自然场景图像样本集{I₁，I₂，...，I_K}中的所有自然场景图像均进行上述步骤(1)至步骤(3)的操作，得到预处理后的一个对应的自然场景图像样本集{G₁，G₂，...，G_K}。

步骤2：用模仿视觉感知机制的特征提取方法，对步骤1中产生的自然场景样本集{G₁，G₂，...，G_K}中的所有自然场景图像进行特征提取，具体方法如下：

(1)模拟人类初级视皮层中简单细胞感受野所具有的多尺度选择和朝向性选择的视觉感知机制，用二维的双密度双树复小波变换(Double-density Dual-tree Complex Wavelet Transform)对{G₁，G₂，...，G_K}中的任一幅自然场景图像G_k在多个空间尺度和多个空间朝向上进行二维小波分解，具体过程如下：

①进行第一个尺度的二维双密度双树复小波分解。将图像G_k输入如附图4所示的滤波器组，在输出端得到4幅低频子带图像(LF₁～LF₄)和32幅高频子带图像(HF₁～HF₃₂)，其中，32幅高频子带图像构成16个高频子带图像对：(HF_i，HF_i+8)，i＝1，...，8，17，...，24。对每一组高频子带图像对进行“相加”和“相减”运算，产生两幅具有不同方向的小波子带图像，具体方法如下：

$W_i=({\mathrm{HF}}_i+{\mathrm{HF}}_{i+8})/\sqrt{2}$(i＝1，...，8，17，...，24)    (3)

$W_{i+8}=({\mathrm{HF}}_i-{\mathrm{HF}}_{i+8})/\sqrt{2}$(i＝1，...，8，17，...，24)    (4)

其中，W_i和W_i+8分别表示16幅不同朝向的复小波子带图像的实部子带图像和虚部子带图像。通过上述操作，第一个尺度的二维双密度双树复小波分解共产生4幅低频子带图像和32幅具有方向性的小波子带图像。

②进行第L个尺度(L≥2)的二维双密度双树复小波分解。将L-1个尺度上输出的4幅低频子带图像分别输入如附图5所示的滤波器组，在滤波器组的输出端同样得到4幅低频子带图像和32幅高频子带图像。对32幅高频子带图像使用公式(3)和(4)进行计算，又产生出32幅具有方向性的小波子带图像。

③重复进行第②步，直到完成在所有预定尺度上的分解。

对于自然场景图像样本集{G₁，G₂，...，G_K}中的任一幅自然场景图像G_k，如果对G_k进行了Q个尺度(Q≥1)上的二维双密度双树复小波变换，将产生32×Q幅不同空间尺度与空间朝向上的小波子带图像。本发明通过实验确定出Q的最佳取值在3至5之间。

(2)模拟人类视皮层中高层复杂细胞结构所呈现出的统计性特征提取的视觉感知机制，用一种基于特征层融合的复合统计性特征提取方法对步骤(1)中生成的每一个小波子带图像再进行统计性特征的提取，使得每一幅小波子带图像对应产生一个位于特定空间尺度与朝向上的复合统计特征向量。

其中，本发明使用的基于特征层融合的统计性特征提取方法是由小波熵方法(wavelet entropy)和小波共生矩阵方法(Wavelet Co-Occurrence Matrix)融合得到。对任意一幅小波子带图像W，利用小波熵方法和小波共生矩阵方法融合产生复合统计特征向量的具体步骤如下：

①由小波熵方法计算得到小波子带图像W对应的熵值。具体地，小波熵有多种不同的计算方法，本发明中使用的小波熵计算方法如下：

$E\left(W\right)=-\underset{x}{\Sigma }\underset{y}{\Sigma }{\left|W(x,y)\right|}^p---\left(5\right)$

其中，W(x，y)表示小波子带图像W在像素点位置为(x，y)处的小波系数(即像素值)，|·|表示求取绝对值，p表示幂指数(在本发明中取p＝1)，E(W)就是小波子带图像W对应的熵值。

②由小波共生矩阵方法计算得到小波子带图像W对应的共生矩阵统计特征向量，具体方法如下：

首先，求出小波子带图像W对应的小波共生矩阵，小波共生矩阵计算方法为

其中，W(x，y)和W(x+Δx，y+Δy)分别表示小波子带图像W在像素点位置为(x，y)和(x+Δx，y+Δy)处的小波系数(即像素值)，(Δx，Δy)的取值决定着两个像素点位置之间的相对距离和相对方向，Cm(s，t)表示小波共生矩阵，s和t分别表示小波共生矩阵的行下标和列下标。

本发明中分别将(Δx，Δy)的取值设置为(0，1)、(-1，1)、(-1，0)以及(0，1)，得到方向分别为0度、45度、90度以及135度的4个小波共生矩阵。对上述每个方向上的小波共生矩阵分别计算4种统计特征，分别为：能量(Energy)、对比度(Contrast)、同质性(Homogeneity)，以及相关性(Correlation)，具体方法如下：

能量$\mathrm{En}\left(\mathrm{Cm}\right)=\underset{s}{\Sigma }\underset{t}{\Sigma }{\left[\mathrm{Cm}(s,t)\right]}^p---\left(7\right)$

对比度$\mathrm{Con}\left(\mathrm{Cm}\right)=\underset{s}{\Sigma }\underset{t}{\Sigma }{(s-t)}^2\mathrm{Cm}(s,t)---\left(8\right)$

同质性$\mathrm{Hom}\left(\mathrm{Cm}\right)=\underset{s}{\Sigma }\underset{t}{\Sigma }\frac{\mathrm{Cm}(s,t)}{1+{(s-t)}^2}---\left(9\right)$

相关性$\mathrm{Cor}\left(\mathrm{Cm}\right)=\frac{\underset{s}{\Sigma }\underset{t}{\Sigma }(s-{\mu }_a)(t-{\mu }_b)}{{\sigma }_a{\sigma }_b}---\left(10\right)$

其中，Cm(s，t)表示小波共生矩阵，p表示幂指数，${\mu }_a=\underset{s}{\Sigma }s\underset{t}{\Sigma }\mathrm{Cm}(s,t),$${\mu }_b=\underset{t}{\Sigma }t\underset{s}{\Sigma }\mathrm{Cm}(s,t),$${\sigma }_a=\underset{s}{\Sigma }{(s-{\mu }_a)}^2,$${\sigma }_b=\underset{t}{\Sigma }{(t-{\mu }_b)}^2.$

经过上述计算，4个小波共生矩阵一共产生出16个统计特征值。将这16个统计特征值组成的一个维数为16的一维向量，该向量即为小波子带图像W对应的小波共生矩阵统计特征向量。

③将步骤②中产生的小波共生矩阵统计特征向量与步骤①中产生的小波熵值，首先归一化到同一个数量级，再以串联方式融合成一个维数为17的一维向量，该向量就是从小波子带图像W中提取出的复合统计特征向量。

(3)对于步骤(1)中所述的任一幅自然场景图像G_k，经过上述步骤(1)和步骤(2)的操作，产生出32×Q个包含着不同空间尺度和空间朝向信息的复合统计特征向量。将上述32×Q个复合统计特征向量再以串联方式合并成为一个(维数为32×Q×17的)一维特征向量，该特征向量就是从自然场景图像G_k中提取出的特征值。

(4)建立一个特征值矩阵F和一个对应的类型标号矩阵C，两个矩阵的行数均为K。将上述自然场景图像G_k对应的特征值和G_k所属的类型标号分别存放在F和C的第k行中。

(5)对自然场景图像样本集{G₁，G₂，...，G_K}中剩余的K-1幅自然场景图像，重复进行上述步骤(1)至步骤(4)的操作。

在完成上述步骤(1)至步骤(5)的操作后，特征值矩阵F中存放着自然场景图像样本集{G₁，G₂，...，G_K}中所有K幅自然场景图像的特征值，而类型标号矩阵C中存放的是这些自然场景图像对应的类型标号。上述的矩阵F和矩阵C就作为与步骤1中所述的自然场景图像样本集{I₁，I₂，...，I_K}相对应的特征值矩阵和类型标号矩阵。

步骤3：用步骤2中生成的与自然场景图像样本集{I₁，I₂，...，I_K}对应的特征值矩阵F和类型标号矩阵C，对支持向量机(SVM)进行训练，构建出一个自然场景类型辨识器模型(即一个训练好的支持向量机分类器)。这里，对支持向量机进行训练的方法与常规模式识别技术中对支持向量机进行训练的方法完全相同。

步骤4：对于上述自然场景样本集{I₁，I₂，...，I_K}以外的任意一幅场景类型未知的自然场景图像J，对其提取相应的特征值，具体方法如下：

(1)采用步骤1中所述的预处理方法，对自然场景图像J进行预处理；

(2)采用步骤2中所述的模仿视觉感知机制的特征提取方法中的(1)至(3)步，对自然场景图像J提取相应的特征值。

步骤5：对步骤4中所述的任意一幅场景类型未知的自然场景图像J进行场景类型的辨识，具体方法是：

将步骤4中得到的自然场景图像J对应的特征值输入步骤3中所述的自然场景类型辨识器模型，然后由自然场景类型辨识器模型计算并输出一个自然场景类型标号，该自然场景类型标号即表明了自然场景图像J所应归属的自然场景类型。

本发明的优点在于模仿了人类视觉系统在辨识不同类型自然场景时呈现的视觉感知机制，构建出一种能够对自然场景类型进行辨识的方法。该方法能够提取自然场景图像中蕴含的固有统计性视觉特征，利用该特征可以有效地提高计算机对自然场景图像进行类型辨识的正确率。与传统的基于物体识别的场景类型辨识方法和基于图像区域识别的场景类型辨识方法相比，本发明的方法无需物体识别与图像分割等中间环节，因此具有更好的鲁棒性；与基于语境分析的场景类型辨识方法相比，本发明的方法在对训练样本集的处理上更简单，无需人工选择和设定大量参数，因此计算复杂度更低、适应性更好。

附图说明

图1是本发明方法的整体处理流程示意图。

图2是本发明步骤2中模仿视觉感知机制的特征提取方法的流程示意图。

图3是本发明步骤2中基于特征层融合的复合统计性特征提取方法的流程示意图。

图4是二维双密度双树复小波变换进行第一个尺度分解所使用的滤波器组。

图5是二维双密度双树复小波变换进行第二个及以上尺度分解所使用的滤波器组。

图6是本发明第一个实施例中采用的一个国际通用的8类自然场景图像集中的部分图例。

图7是本发明在图6所示的8类自然场景图像集上进行实施所获得的识别率柱状图。

图8是本发明第二个实施例中采用的一个国际通用的13类自然场景图像集中的部分图例。

图9是本发明在图9所示的13类自然场景图像集上进行实施所获得的识别率柱状图。