• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文会议>International Conference on Artificial Neural Networks >Sign Based Derivative Filtering for Stochastic Gradient Descent
【24h】

Sign Based Derivative Filtering for Stochastic Gradient Descent

机译：基于符号的随机梯度下降导数滤波

获取原文
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

We study the performance of stochastic gradient descent (SGD) in deep neural network (DNN) models. We show that during a single training epoch the signs of the partial derivatives of the loss with respect to a single parameter are distributed almost uniformly over the minibatches. We propose an optimization routine, where we maintain a moving average history of the sign of each derivative. This history is used to classify new derivatives as "exploratory" if they disagree with the sign of the history. Conversely, we classify the new derivatives as "exploiting" if they agree with the sign of the history. Each derivative is weighed according to our classification, providing control over exploration and exploitation. The proposed approach leads to training a model with higher accuracy as we demonstrate through a series of experiments.
机译：我们研究了深度神经网络（DNN）模型中随机梯度下降（SGD）的性能。我们表明，在单个训练时期内，相对于单个参数的损失偏导数的符号几乎均匀地分布在微型批次上。我们提出了一个优化例程，其中我们维护每个导数符号的移动平均历史。如果新衍生工具与历史记录的标志不一致，则可使用此历史记录将其分类为“探索性”。相反，如果新衍生物与历史的标志一致，我们将其归类为“利用中”。根据我们的分类对每种衍生物进行称重，从而提供对勘探和开发的控制权。正如我们通过一系列实验所证明的那样，所提出的方法导致以更高的精度训练模型。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号