高阶神经网络的梯度训练算法收敛性分析

代理获取

页面导航

目录
摘要
著录项
相似文献
相关主题

摘要

传统的神经网络是由多层的求和单元构成的，例如多层感知器等．这些网络不但是学者们研究的热点并且已经在各个领域得到了广泛应用．由于求和单元自身的非线性映射能力有限，因此在解决复杂的问题时，单纯由求和单元构成的网络可能无法达到要求的精度．例如，尽管有结论指出，有求和单元构成的单隐层前馈网络可以以任意的精度逼近任意函数．但是在逼近某个复杂的函数时，网络的隐层中需要补充大量的求和单元．这不但增大了网络的成本，而且还降低了网络的泛化能力．为了克服这个缺点，人们引入了某些具有更强的非线性性质的单元，例如：Sigma-Pi单元，积单元和Pi-Sigma单元等．这些单元可以通称为高阶单元．在结构中整合了高阶单元的神经网络被称为高阶神经网络(HONN)，其中包括Sigma-Pi神经网络(SPNN)，Pi-Sigma神经网络(PSNN)以及积单元神经网络(Product-Unitneuralnetwork-PUNN)等．人们已经对各类高阶神经网络的性能以及应用做了相应的研究，但是由于高阶神经网络的结构复杂，因此对其理论上的研究相对较少．梯度算法是目前最流行的前馈神经网络训练算法．梯度法有两种不同的执行方式，它们是在线执行方式和批处理执行方式．本文主要的工作是分析用梯度法训练高阶神经网络的收敛性．我给出了Sigma-Pi神经网络和积单元神经网络的梯度法收敛性结果．此外，我还研究了用高阶神经网络来实现任意的布尔函数，并给出了有效地解决方案．本文的结构及内容如下：第一章回顾有关神经网络的一些背景知识．在第二章中，通过对∑-∏-∑这类Sigma-Pi神经网络的分析，得到了一些与网络结构无关的梯度算法收敛性结论．该结论具有很好的扩展性，可以涵盖其他几类Sigma-Pi神经网络的收敛性，其中包括∑-∑-∏和∑-∏-∑-∏．并且此结论也适用于单隐层的求和神经网络，即∑-∑．在论述的过程了，对于训练过程中的误差函数的单调性也给出了相应的证明．第三章和第四章分别对用批处理梯度算法和在线梯度算法训练积单元神经网络时误差函数的单调性及收敛性进行了分析．该结论为由全局搜索算法和局部优化算法(梯度法)构成的组合算法的局部优化行为提供了理论支持．随后的数值试验也验证了理论结果的正确性．第五章提出了二进积单元神经网络(BinaryProduct-Unitneuralnetwork-BPUNN)，并证明了这种网络可以模拟逻辑数学中的主析取范式，可以实现任意的布尔函数．网络的权值是通过直接计算得到的，而且都是二值的．随后还给出了该网络的规则读取算法，可以令我们从已得的网络中直接得到真值样本的数学表达式．第六章提出了带有输入转换的二进Pi-Sigma神经网络(BPSNN)，并证明了这种网络可以实现任意的布尔函数．该网络在计算布尔函数时，对应着主合取范式．网络权值都是｛-1，1｝这样二值的，而且网络的训练不需要多步迭代的过程，权值是直接求解得到的．随后还给出了此网络的规则读取算法．

著录项

作者
张超;
展开▼
作者单位

大连理工大学;

展开▼
授予单位大连理工大学;
学科计算数学
授予学位博士
导师姓名吴微;
年度 2008
页码
总页数
原文格式 PDF
正文语种中文
中图分类人工神经网络与计算;
关键词
高阶神经网络; 梯度算法; 收敛性;

相似文献

中文文献
外文文献
专利

1. 基于混合核函数和高阶容积卡尔曼滤波的神经网络训练算法 [J] . 张沫 ,章彪 . 计算机应用与软件 . 2018,第010期
2. 神经网络梯度下降与粒子群组合的训练算法 [J] . 郭松林 ,王朝晖 . 黑龙江科技学院学报 . 2020,第004期
3. 神经网络梯度下降与粒子群组合的训练算法 [J] . 郭松林 ,王朝晖 . 黑龙江科技大学学报 . 2020,第004期
4. 神经网络的BP训练算法和遗传优化训练算法的对比研究 [J] . 刘红 ,任坤 ,陈文楷 . 北京工业职业技术学院学报 . 2008,第002期
5. 基于双神经网络结构的新型人工神经网络训练算法 [J] . 毛炳强 ,孙铁良 ,孙凌祎 . 化工自动化及仪表 . 2021,第005期
6. 基于反函数的高阶牛顿法及其收敛性分析 [C] . 龚玮 ,何文平 . 军队院校数学课程创新教学研讨会 . 2012
7. 几种高阶神经网络的梯度算法收敛性分析 [A] . 邓飞 . 2012

高阶神经网络的梯度训练算法收敛性分析

目录

摘要

著录项

相似文献

相关主题

期刊订阅