变换谱关联的神经网络及实现装置

技术领域

本发明属于人工智能，神经网络，模式识别技术领域

背景技术

近年来，人工智能技术获得了长足发展，广泛应用于图像分类识别，语音识别和自动翻译，自动驾驶等领域。目前这一领域的主流技术卷积神经网络(CNN)获得了广泛应用，卷积神经网络通过后向传播(Back propagation)梯度下降(SGD)来一步步优化网络参数以达到任务要求。但随着CNN技术的广泛应用，该技术的一些缺点也日益显现，主要突出的是增加深度带来的训练周期过长，过度拟合(overfit)，梯度消失等问题。CNN型神经网络的训练方法带来的功能上的专一性使其相当于专家系统，不可通用。这些缺陷限制了人工智能的发展。本发明揭示了一种基于一系列变换为基础的神经网络架构，通过变换谱的关联来学习更新网络神经元节点存储参数，在降低学习训练时间的同时，避免过度拟合，具备良好的通用性。

发明内容

一种变换谱关联的神经网络(TSANN)，所述TSANN具备输入层、输出层和多个中间层，中间层神经元节点存储值，层间节点之间设置互联权重；所述TSANN完成前向传播和后向传播计算；所述TSANN网络层间节点互联的权重设置，实现了前向传播时前一层网络节点的前向传播输入乘以节点存储值作为该中间层的前向传播输出，该输出经正交变换后作为后一层网络节点的前向传播输入；后向传播时，后一层网络节点的后向传播输入乘以该层节点的存储值作为该层的后向传播输出，该输出经所述正交变换的逆变换后作为前一层网络节点的后向传播输入。

所述TSANN神经网络的训练过程为，中间层网络节点存储值由训练样本在该中间层的前向传播输入和目标矩阵在该层的后向传播输入互相关联更新。

本发明所述的变换谱关联方法具体为，中间层节点的训练样本的前向传播输入与目标矩阵的后向传播输入归一化后相加再计算模，再经过归一化、乘以因子处理后与原中间层节点存储值累加。

所述TSANN网络的分类过程为输入待识别样本，经前向传播计算得到的输出与目标矩阵比较。本发明揭示了TSANN网络进行多个样本集累加学习训练及联合识别方法。

本发明揭示了所述TSANN前向传播一种类型的信号，后向传播另一种类型信号，通过关联并存储两种信号在中间层的前向传播输入和后向传播输入，实现关联记忆。

本发明的TSANN网络采用的正交变换包括：分数阶傅里叶变换、小波变换、正交余弦变换、拉普拉斯变换。

本发明揭示了实现TSANN的装置。

本发明进一步揭示了GPU级联实现TSANN的装置。

本发明揭示的所述TSANN网络采用变换谱关联的训练方法，避免了CNN类型神经网络以梯度下降为基础的训练方法周期过长和过度拟合等问题。同时所述TSANN网络具备良好的可加性学习和关联记忆能力，这些优点使TSANN网络具备更好的通用性。

附图说明

图1 TSANN神经网络架构图

图2分数阶傅里叶变换的TSANN实现数字、字母分类及联合识别示意图

图3 TSANN网络训练识别流程图

图4信号关联记忆实现示意图

图5实现TSANN的装置图

图6 GPU级联实现TSANN的装置图

具体实施方式

本发明揭示的变换谱关联神经网络(Transform Spectrum Associated NeuralNetwork，以下简称TSANN)结构如附图1所示。该神经网络有P

如附图1所示，P

所述TSANN的前向传播运算方式为如附图1所示的从左向右运算，P

P

P

P

P

运算符号说明：

运算符■的含义为：矩阵A■B的元素(A■B)

*为取复共轭，A

α

如附图1所示，与前向传播对应的，所述TSANN存在后向传播运算，后向传播以目标矩阵P

P

P

D2F

所述TSANN网络的训练过程为，网络的中间层节点存储值P

卷积型神经网络(CNN)的层间互联权重通过梯度下降算法训练改变，而所述的TSANN网络的层间互联权重不随训练而改变，层间互联权重由层间传播选择的正交变换决定。所以相邻层间的传播计算相当于一系列滤波变换过程。本发明实施例以分数阶傅里叶变换(或通用傅里叶变换)为例。

在实施所述TSANN网络时，网络的设计需要根据识别任务要求、网络复杂度和计算力可获得性做出权衡选择，层数的设计如选择傅里叶变换则需要考虑到分数傅里叶变换本身具备周期性和可累加性(F

如附图2所示的具体实施例，任务为识别手写体数字0-9。网络设计为4n层，层间变换统一选择为为α＝1/n阶的D2F

网络中间层神经元的初始状态可以设置为1或随机设置。训练的样本最好首先选择清晰的印刷体字符。如附图2所示，输入样本数字5进行训练，就是要建立输入的训练样本数字图像P

如附图3所示的TSANN神经网络训练和识别流程，详细说明如下：

步骤310：输入训练样本P

步骤301：以训练样本为输入进行前向传播计算，输出前向传播(左侧)输入矩阵P

从输入训练样本矩阵P

P

(P

P

F

步骤321：以目标矩阵为输入进行后向传播计算，输出后向传播(右侧)输入矩阵P

如附图2所示P

以目标矩阵作为输入，后向传播计算过程为：

P

P

(P

步骤322：中间层网络节点存储值由训练样本在该中间层的前向传播输入P

计算过程具体为，归一化(Normalize)并关联前向传播输入P

(ΔP

(P

P

中间层的神经元节点的值通过训练更新，每一次训练把前向、后向传播计算后的中间层的左右侧输入矩阵的对应元素求和后再求模(*的含义为取复共轭)，获得P

ΔP

如上述步骤，对样本集合中的训练样本循环进行关联学习后即完成了一个训练周期。可以看到变换谱关联训练方法不需要多周期的梯度下降算法。这就大大缩短了训练时间和计算量，也避免了过度拟合问题。

如附图3所示，TSANN网络的识别流程为：

步骤300：输入识别样本集的样本，

步骤301：以识别样本为输入进行前向传播计算，网络的前向传播输出为P

如附图2所示的实施例，对于每步阶数都相等(α＝1/n)且总层数为4n的情况，输出矩阵P

P

＝F

＝F

(P

步骤302：输出结果判别，可采用Softmax方法比较P

如果匹配不理想可以进行矫正学习，重新执行步骤322，即重新把该样本的一系列前向传播输入P

本发明揭示的TSANN网络具备累加学习和联合识别能力。所述TSANN对中间层关联矩阵P

这种学习的可累加性使得所述TSANN具备良好的通用性。这种学习的累加能力也不是无限度的，新的学习构成了对旧的学习的一定程度的覆盖，这种能力取决于神经网络的容量即神经元的个数和网络深度。这与人类的学习过程有一定的相似性。基于本发明实施累加学习时，应该按照上述特点综合平衡网络容量，计算能力和任务要求。

本发明揭示的TSANN网络可以实现异类信号的关联记忆。如附图4所示的另一实施例。所述TSANN的两端作为输入，输入的信号为不同种类的信号，前向传播一种类型的信号，后向传播另一种类型信号，通过关联并存储两种信号在中间层的前向传播输入和后向传播输入，实现关联记忆。如左侧输入的是二维图像，而右侧为一维语音信息，但这两者存在某种关联关系，比如图像为数字5，语音为“5”的读音。对这两种异类信号进行所述的变换谱关联，就会使中间层的某些神经元节点存储值得到强化，从而得到的模式(pattern)可以看作一个张量：

T＝(P

互相关联的信号可以多于两种，如视觉，听觉、触觉、味觉等可以混合关联。

本发明揭示了实现TSANN的装置图。如附图5所示，该装置具备以下部分：

501：接口模块，接口模块完成信号的采集、输入和输出。

5021：层间变换模块1，层间变换模块完成层间的前向和后向传播的计算。

502N：层间变换模块N

503：谱关联模块，谱关联模块的功能为把前向传播和后向传播的左右输入归一化后关联并更新中间层节点的存储值。

这些模块按照附图5描述的方式层层级联，组成多层TSANN网络。

本发明进一步揭示了如附图6所示的利用GPU级联实现TSANN网络的装置图。

601：接口模块，完成输入信号的采集和结果输出功能

602：GPU计算单元，实现一层或多层TSANN网络功能。

利用GPU并行运算的特点，把功能模块分担到多个GPU中，附图6所示为2m个GPU级联，每一层的功能模块由多个GPU分担，不同层间以及同一层间的GPU互相通信，共同实现一定深度和广度规模的神经网络。

本发明实施装置除GPU外也可以用类神经元(Neuromorphic)器件实现，合适的类神经元计算方式会大大提高前后向传播计算的速度，提高训练识别的效率。

处理离散数字信号的正交变换种类繁多，主要有傅里叶变换，分数傅里叶变换，正交余弦变换，小波变换，拉普拉斯变换等等。本实施例选择分数傅立叶变换为例，并不应视为对本发明的限制，本发明的实质是通过变换谱的关联来实现神经网络的训练和识别，通过变换谱关联训练来设置中间层节点存储参数，充分利用了变换所带来的不同空间维度视角下的样本的固有特征，能够提高对平移，尺度缩放，畸变等的兼容能力。例如1阶傅里叶变换谱对图像平移具备不变性，所以采用傅里叶变换谱关联的神经网络对平移图像具备良好的不变性兼容。

综上所述，根据本发明的精神实质做出的改变应包括在本发明的保护范围之内。