...
  • 主题
高级搜索  >
历史搜索 清空历史
首页> 外文期刊>IEEE Transactions on Automatic Control >Revisiting Normalized Gradient Descent: Fast Evasion of Saddle Points
【24h】

Revisiting Normalized Gradient Descent: Fast Evasion of Saddle Points

机译：回顾归一化梯度下降：鞍点的快速回避

获取原文
获取原文并翻译 | 示例
           
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

The paper considers normalized gradient descent (NGD), a natural modification of classical gradient descent (GD) in optimization problems. It is shown that, contrary to GD, NGD escapes saddle points "quickly." A serious shortcoming of GD in nonconvex problems is that it can take arbitrarily long to escape from the neighborhood of a saddle point. In practice, this issue can significantly slow the convergence of GD, particularly in high-dimensional nonconvex problems. The paper focuses on continuous-time dynamics. It is shown that 1) NGD "almost never" converges to saddle points and 2) the time required for NGD to escape from a ball of radius r about a saddle point x* is at most 5 root kappa r, where kappa is the condition number of the Hessian of f at x*. As a simple application of these results, a global convergence-time bound is established for NGD under mild assumptions.
机译：本文考虑归一化梯度下降（NGD），这是优化问题中经典梯度下降（GD）的自然修改。结果表明，与GD相反，NGD可以“迅速”逃脱鞍点。 GD在非凸问题中的一个严重缺陷是从鞍点附近逸出可能要花费很长时间。实际上，此问题可能会大大降低GD的收敛速度，尤其是在高维非凸问题中。本文着重于连续时间动力学。结果表明：1）NGD“几乎从不”收敛到鞍点； 2）NGD从半径为r的球中约鞍点x *逃逸所需的时间最多为5个根kappa r，其中kappa是条件f在x *处的Hessian数。作为这些结果的简单应用，在温和的假设下为NGD建立了全局收敛时间界限。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号