关于外监督学习前馈网络全局优化的理论

黄德双

首页> 中文期刊> 《电子学报》 >关于外监督学习前馈网络全局优化的理论

关于外监督学习前馈网络全局优化的理论

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

本文研究了批方式和序贯方式训练的外监督前馈网络的全局最小条件.对于序贯训练方式,我们证明在其对应误差表面上总是存在N(训练样本个数)个局部最小点;对于批处理训练方式,我们证明网络获得零代价全局最小解的充要条件是,外监督信号矩阵构成的列空间必须位于模式样本在隐层张开的矩阵的列空间内;而网络获得零代价全局最小解的充分条件是,隐节点数M大于或等于非吻合的样本数N.并且证明,在满足上面充要(分)条件下,所定义的误差代价函数对应的误差表面上不存在除零代价以外的任何局部最小值.进一步推知,若C≤M＜N(C为输出节点数),则网络有可能获得零代价的全局最小解;若M＜C≤N,则无论如何训练网络,网络也将不会收敛到零代价的全局最小解.

著录项

来源
《电子学报》 |1999年第4期|98-101|共4页
作者
黄德双;
展开▼
作者单位

北京系统工程研究所,北京,100101;

展开▼
原文格式 PDF
正文语种 chi
中图分类通信;
关键词
前馈神经网络; 批方式训练; 序贯方式训练; Hessian; 全局最小解; 局部最小解; 嵌入子空间;

相似文献

中文文献
外文文献
专利

1. 基于改进共轭梯度法的前馈网络快速监督学习算法 [J] . 杨斌 ,聂在平 ,夏耀先 . 电子学报 . 2002,第012期
2. 用改进的非监督学习方法加速前馈神经网络的训练 [J] . 方斌 ,朱明星 . 计算机技术与发展 . 2000,第003期
3. 静态前馈型网络的监督学习方法研究进展 [J] . 徐雷 ,迟惠生 . 电子学报 . 1992,第010期
4. 一种新的全局优化前馈神经网络 [J] . 高明 ,刘希玉 ,盛立 . 滨州学院学报 . 2004,第004期
5. 前馈网络外监督分类器的分类机理研究 [J] . 黄德双 . 计算机学报 . 1998,第007期
6. 前馈神经网络全局优化的理论 [C] . 黄德双 . 1997年中国神经计算科学大会 . 1997
7. 多层前馈神经网络全局优化算法研究 [A] . 李海龙 . 2007

关于外监督学习前馈网络全局优化的理论

摘要

著录项

相似文献

相关主题

期刊订阅