• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文期刊>IEEE Transactions on Automatic Control >Data-Dependent Convergence for Consensus Stochastic Optimization
【24h】

Data-Dependent Convergence for Consensus Stochastic Optimization

机译：基于数据的收敛性用于共识随机优化

获取原文
获取原文并翻译 | 示例
           
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

We study a distributed consensus-based stochastic gradient descent (SGD) algorithm and show that the rate of convergence involves the spectral properties of two matrices: The standard spectral gap of a weight matrix from the network topology and a new term depending on the spectral norm of the sample covariance matrix of the data. This data-dependent convergence rate shows that distributed SGD algorithms perform better on datasets with small spectral norm. Our analysis method also allows us to find data-dependent convergence rates as we limit the amount of communication. Spreading a fixed amount of data across more nodes slows convergence; for asymptotically growing datasets, we show that adding more machines can help when minimizing twice-differentiable losses.
机译：我们研究了基于分布式共识的随机梯度下降（SGD）算法，并表明收敛速度涉及两个矩阵的光谱属性：网络拓扑中权重矩阵的标准光谱间隙和取决于光谱范数的新项数据的样本协方差矩阵这种依赖于数据的收敛速度表明，分布式SGD算法在频谱范数较小的数据集上表现更好。我们的分析方法还允许我们在限制通信量的情况下找到依赖数据的收敛速度。在更多节点上分散固定数量的数据会降低收敛速度；对于渐近增长的数据集，我们表明添加更多的机器可以最大程度地减少两次可微分的损失。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号