首页> 中文学位 >数值优化技术编码的PSO混合算法及其在前馈神经网络训练中的应用研究
【6h】

数值优化技术编码的PSO混合算法及其在前馈神经网络训练中的应用研究

代理获取

目录

文摘

英文文摘

论文说明:插图目录、图表目录

第一章绪论

1.1引言

1.2微粒群算法的发展

1.2.1基本微粒群算法

1.2.2基本微粒群算法的社会行为分析

1.2.3带惯性权重的PSO算法

1.2.4带有收缩因子的微粒群算法

1.2.5保证收敛的改进微粒群算法

1.2.6协同PSO算法

1.3微粒群算法的研究方向

1.4演化计算与遗传算法

1.5本文的内容安排

参考文献

第二章PSO算法在神经网络训练中的应用

2.1引言

2.2人工神经网络(Artificial Neural Network,ANN)

2.2.1人工神经网络的提出

2.2.2人工神经网络的基本概念

2.2.3前馈神经网络(feedforward neural network)

2.2.4网络的泛化能力

2.3网络训练优化算法

2.3.1反向传播算法

2.3.2基于标准梯度下降的方法

2.3.3基于数值优化方法的网络训练算法

2.4用粒子群算法优化前馈神经网络

2.4.1训练神经网络的PSO算法的设计

2.5本章小结

参考文献

第三章混合粒子群算法及其应用

3.1引言

3.2 PSO算法在函数优化中的应用

3.3基于BP算法的混合粒子群优化算法(PSO-BP)

3.3.1 PSO-BP算法的思想以及算法流程

3.3.2惯性权重的挑选策略

3.3.3实验结果和讨论

3.4基于数值优化算法的混合PSO算法

3.4.1混合算法思想以及算法流程

3.4.2实验结果以及讨论

3.5本章小结

参考文献:

总结与展望

硕士学位期间发表论文、参加科研项目情况

致谢

展开▼

摘要

前向神经网络一直是人们研究的神经网络重要模型之一。目前前向神经网络的学习算法主要分为两类:梯度下降算法和逐层优化算法。不过目前的两类算法都还有很多缺陷和不足,如梯度下降算法收敛速度有时很慢、有时容易陷入局部极小值点、有时网络模型太复杂和计算量太大等等。而现有的逐层优化算法中构造目标函数(特别是隐层目标函数)方法也很多,有的要引入惩罚项、有的要引入泰勒展开式,但线性化的过程都难免引入误差。粒子群优化算法(Particle Swarm Optimization,PSO算法)源于鸟群和鱼群群体运动行为的研究,是一种基于群体智能方法的演化计算技术,是演化计算领域中的一个重要的新的分支。本文系统地论述了PSO算法及其研究进展,并且针对粒子群优化算法的易于丧失多样性、搜索精度不高等缺点,在算法改进方面提出了基于数值优化方法的混合粒子群算法。 本论文重点在于对PSO算法的改进,并且将改进算法应用于前馈神经网络的训练中,主要内容包括: (1) 本文应用PSO算法对单峰以及多峰函数进行寻优,在算法收敛速度以及收敛的精度方面,本文将PSO算法与遗传算法进行了比较。 (2) 将PSO算法应用到前馈神经网络的训练中,并且总结了PSO算法的几种编码方法。通常来说,用PSO算法训练神经网络的缺点是在全局最优值附近,PSO算法训练精度不高。为了提高PSO算法的训练精度,基于BP算法的混合PSO算法被提出来用于训练前馈神经网络。对于如函数逼近、分类等实际问题的仿真试验证实了新的算法比基本PSO算法、经典PSO算法收敛速度更快、收敛精度更高。 (3) 本文还提出了另外一种基于数值优化算法(最速下降算法、共轭梯度算法、拟牛顿算法以及Leverlberg-Marquardt算法)的混合PSO算法,该算法改进了经典PSO算法易于丧失多样性的缺点,并且在收敛到全局最优点的基础上,提高了算法的收敛精度。实验结果表明,这类改进算法取得了令人满意的结果。

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
代理获取

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号