...
  • 主题
高级搜索  >
历史搜索 清空历史
首页> 外文期刊>Information Theory, IEEE Transactions on >The Information Geometry of Mirror Descent
【24h】

The Information Geometry of Mirror Descent

机译：镜像下降的信息几何

获取原文
获取原文并翻译 | 示例
           
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

We prove the equivalence of two online learning algorithms: 1) mirror descent and 2) natural gradient descent. Both mirror descent and natural gradient descent are generalizations of online gradient descent when the parameter of interest lies on a non-Euclidean manifold. Natural gradient descent selects the steepest descent along a Riemannian manifold by multiplying the standard gradient by the inverse of the metric tensor. Mirror descent induces non-Euclidean structure by solving iterative optimization problems using different proximity functions. In this paper, we prove that mirror descent induced by Bregman divergence proximity functions is equivalent to the natural gradient descent algorithm on the dual Riemannian manifold. We use techniques from convex analysis and connections between Riemannian manifolds, Bregman divergences, and convexity to prove this result. This equivalence between natural gradient descent and mirror descent, implies that: 1) mirror descent is the steepest descent direction along the Riemannian manifold corresponding to the choice of Bregman divergence and 2) mirror descent with log-likelihood loss applied to parameter estimation in exponential families asymptotically achieves the classical Cramér-Rao lower bound.
机译：我们证明了两种在线学习算法的等效性：1）镜像下降和2）自然梯度下降。当目标参数位于非欧几里德流形上时，镜像下降和自然梯度下降都是在线梯度下降的概括。自然梯度下降是通过将标准梯度乘以度量张量的倒数来选择沿黎曼流形的最陡下降。镜像下降通过使用不同的邻近函数来解决迭代优化问题，从而诱导出非欧几里得结构。在本文中，我们证明了由Bregman发散接近函数引起的镜像下降等同于对偶黎曼流形上的自然梯度下降算法。我们使用凸分析和黎曼流形之间的联系，Bregman发散和凸性中的技术来证明这一结果。自然梯度下降和镜像下降之间的这种等效性意味着：1）镜像下降是沿着黎曼流形的最陡下降方向，对应于布雷格曼散度的选择； 2）具有对数似然损失的镜像下降应用于指数族的参数估计渐近地达到经典的Cramér-Rao下界。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号