梯度有偏情形非光滑问题NAG的个体收敛性

刘宇翔; 程禹嘉; 陶卿

首页> 中文期刊> 《软件学报》 >梯度有偏情形非光滑问题NAG的个体收敛性

梯度有偏情形非光滑问题NAG的个体收敛性

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

cqvip:随机优化方法已经成为处理大规模正则化和深度学习优化问题的首选方法,其收敛速率的获得通常都建立在目标函数梯度无偏估计的基础上,但对机器学习问题来说,很多现象都导致了梯度有偏情况的出现.与梯度无偏情形不同的是,著名的Nesterov加速算法NAG(Nesterov accelerated gradient)会逐步累积每次迭代中的梯度偏差,从而导致不能获得最优的收敛速率甚至收敛性都无法保证.近期的研究结果表明,NAG方法也是求解非光滑问题投影次梯度关于个体收敛的加速算法,但次梯度有偏对其影响的研究未见报道.针对非光滑优化问题,证明了在次梯度偏差有界的情况下,NAG能够获得稳定的个体收敛界,而当次梯度偏差按照一定速率衰减时,NAG仍然可获得最优的个体收敛速率.作为应用,得到了一种无需精确计算投影的投影次梯度方法,可以在保持收敛性的同时较快地达到稳定学习的精度.实验验证了理论分析的正确性及非精确方法的性能.

著录项

来源
《软件学报》 |2020年第4期|1051-1062|共12页
作者
刘宇翔; 程禹嘉; 陶卿;
展开▼
作者单位

中国人民解放军陆军炮兵防空兵学院信息工程系安徽合肥230031;

展开▼
原文格式 PDF
正文语种 chi
中图分类自动推理、机器学习;
关键词
机器学习; Nesterov加速方法; 随机优化; 梯度估计有偏; 个体收敛;

相似文献

中文文献
外文文献
专利

1. 非光滑凸问题投影型对偶平均优化方法的个体收敛性 [J] . 曲军谊 ,鲍蕾 ,陶卿 . 模式识别与人工智能 . 2021,第001期
2. 非光滑凸情形Adam型算法的最优个体收敛速率 [J] . 黄鉴之 ,丁成诚 ,陶蔚 . 智能系统学报 . 2020,第006期
3. 使用Nesterov步长策略投影次梯度方法的个体收敛性 [J] . 陶蔚 ,潘志松 ,储德军 . 计算机学报 . 2018,第001期
4. 梯度有偏随机DA优化方法的个体收敛界分析 [J] . 张梦晗 ,汪海 ,刘欣 . 计算机工程 . 2019,第010期
5. 关于求解变分不等式问题的2-次梯度外梯度算法收敛性的一个补注 [J] . 屈彪 ,徐伟 ,王新艳 . 运筹学学报 . 2021,第002期
6. 一般非光滑优化问题的模型信赖域算法及其收敛性 [C] . 叶先健 . 中国数学会第四届全国最优化数值方法学术会 . 1987
7. 非凸非光滑分块优化问题Bregman乘子交替方向法收敛性分析 [A] . 邓钊 . 2017

梯度有偏情形非光滑问题NAG的个体收敛性

摘要

著录项

相似文献

相关主题

期刊订阅