基于差分修正的SGDM算法

袁炜; 胡飞

首页> 中文期刊> 《计算机系统应用》 >基于差分修正的SGDM算法

基于差分修正的SGDM算法

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

当前, 应用广泛的一阶深度学习优化器包括学习率非自适应优化器和学习率自适应优化器, 前者以SGDM为代表, 后者以Adam为代表, 这两类方法都使用指数滑动平均法来估计总体的梯度. 然而使用指数滑动平均法来估计总体梯度是有偏差且具有滞后性的, 本文提出基于差分修正的SGDM算法——RSGDM算法. 我们的贡献主要有3点: 1) 分析SGDM算法里指数滑动平均法带来的偏差和滞后性. 2) 使用差分估计项来修正SGDM算法里的偏差和滞后性, 提出RSGDM算法. 3) 在CIFAR-10和CIFAR-100数据集上实验证明了在收敛精度上我们的RSGDM算法比SGDM算法更优.

著录项

来源
《计算机系统应用》 |2021年第7期|220-224|共5页
作者
袁炜; 胡飞;
展开▼
作者单位

天津大学数学学院天津 300350;

天津大学数学学院天津 300350;

展开▼
原文格式 PDF
正文语种 chi
中图分类
关键词
深度学习; 一阶优化器; SGDM算法; 差分;

相似文献

中文文献
外文文献
专利

1. 基于RSSI的改进差分修正加权质心定位算法 [J] . 余学帆 ,王宏志 ,韩博 . 长春工业大学学报（自然科学版） . 2021,第003期
2. 基于RSSI的灰狼优化差分修正质心定位算法 [J] . 高栋 ,胡黄水 ,王宏志 . 长春工业大学学报（自然科学版） . 2021,第004期
3. 基于跳距修正与差分进化优化的改进DV-Hop定位算法 [J] . 王磊 ,巫韦华 ,齐俊艳 . 重庆邮电大学学报（自然科学版） . 2020,第001期
4. 基于差分重心公式的射频仿真近场修正算法 [J] . 唐波 ,盛新庆 . 电子学报 . 2018,第006期
5. 一种基于差分进化和编码修正的重叠联盟结构生成算法 [J] . 桂海霞 ,张国富 ,苏兆品 . 控制理论与应用 . 2018,第002期
6. 基于航位推算法的水下机器人导航系统误差分析与修正 [C] . 孙玉山 ,于洋 ,李金龙 . 2012中国制导、导航与控制学术会议 . 2012
7. 差分反射率因子的误差分析及基于标定源的修正方法实现 [A] . 刘蕾 . 2012

基于差分修正的SGDM算法

摘要

著录项

相似文献

相关主题

期刊订阅