• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文期刊>IEEE Transactions on Information Theory >The Global Optimization Geometry of Low-Rank Matrix Optimization
【24h】

The Global Optimization Geometry of Low-Rank Matrix Optimization

机译：低级矩阵优化的全局优化几何学

获取原文
获取原文并翻译 | 示例
           
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

This paper considers general rank-constrained optimization problems that minimize a general objective function ${f}( {X})$ over the set of rectangular ${n}imes {m}$ matrices that have rank at most r. To tackle the rank constraint and also to reduce the computational burden, we factorize $ {X}$ into $ {U} {V} ^{mathrm {T}}$ where $ {U}$ and $ {V}$ are ${n}imes {r}$ and ${m}imes {r}$ matrices, respectively, and then optimize over the small matrices $ {U}$ and $ {V}$ . We characterize the global optimization geometry of the nonconvex factored problem and show that the corresponding objective function satisfies the robust strict saddle property as long as the original objective function f satisfies restricted strong convexity and smoothness properties, ensuring global convergence of many local search algorithms (such as noisy gradient descent) in polynomial time for solving the factored problem. We also provide a comprehensive analysis for the optimization geometry of a matrix factorization problem where we aim to find ${n}imes {r}$ and ${m}imes {r}$ matrices $ {U}$ and $ {V}$ such that $ {U} {V} ^{mathrm {T}}$ approximates a given matrix $ {X}^star $ . Aside from the robust strict saddle property, we show that the objective function of the matrix factorization problem has no spurious local minima and obeys the strict saddle property not only for the exact-parameterization case where $mathrm {rank}( {X}^star) = {r}$ , but also for the over-parameterization case where $mathrm {rank}( {X}^star) < {r}$ and the under-parameterization case where $mathrm {rank}( {X}^star) > {r}$ . These geometric properties imply that a number of iterative optimization algorithms (such as gradient descent) converge to a global solution with random initialization.
机译：本文考虑一般秩约束的优化问题，最小化一般目标函数<内联公式XMLNS：MML =“http://www.w3.org/1998/math/mathml”xmlns：xlink =“http：// www .w3.org / 1999 / xlink“> $ {f}（{x}）$ 在矩形的集合中<内联 - 公式XMLNS：MML =“http://www.w3.org/1998/math/mathml”xmlns：xlink =“http://www.w3.org/1999/xlink”> $ {n} times {m} $ 最多排名的矩阵。为了解决排名约束，也可以减少计算负担，我们将<内联公式XMLNS分解：MML =“http://www.w3.org/1998/math/mathml”xmlns：xlink =“http：// www .w3.org / 1999 / xlink“> $ {x} $ 进入<内联公式xmlns：mml =”http：/ /www.w3.org/1998/math/mathml“xmlns：xlink =”http://www.w3.org/1999/xlink“> $ {u} {v} $ 其中<内联公式xmlns：mml =“http://www.w3.org/1998/math/mathml”xmlns：xlink =“http://www.w3.org/1999/xlink”> $ {u} $ 和<内联惯例xmlns ：mml =“http://www.w3.org/1998/math/mathml”xmlns：xlink =“http://www.w3.org/1999/xlink”> $ {v} $ 是<内联公式xmlns：mml =“http://www.w3.org/1998/math/mathml”xmlns：xlink =“http： //www.w3.org/1999/xlink“> $ {n} times {r} $ 和<内联公式XMLNS：MML =“http://www.w3.org/1998/math/mathml”xmlns：xlink =“http://www.w3.org/1999/xlink”> $ {m} times {r} $ 矩阵，然后通过小矩阵优化<内联公式xmlns：mml =“http：/ /www.w3.org/1998/math/mathml“xmlns：xlink =”http://www.w3.org/1999/xlink“> $ {u} $ 和 $ {v} $ 。我们表征了非透射件问题的全局优化几何形状，并表明，只要原始物镜F满足受限的强凸性和平滑度属性，确保了许多本地搜索算法的全球融合，相应的客观函数满足强大的客观函数满足了强大的严格骑马特性。作为解决因子问题的多项式时间中的嘈杂梯度下降。我们还为矩阵分组问题的优化几何进行了全面的分析，我们的目标是找到<内联公式XMLNS：MML =“http://www.w3.org/1998/math/mathml”xmlns：xlink =“ http://www.w3.org/1999/xlink“> $ {n} times {r} $ 和<内联-Formula XMLNS：MML =“http://www.w3.org/1998/math/mathml”xmlns：xlink =“http://www.w3.org/1999/xlink”> $ {m} times {r} $ 矩阵<内联公式xmlns：mml =”http://www.w3.org/1998/math/mathml “XMLNS：XLink =”http://www.w3.org/1999/xlink“> $ {u} $ 和<内联XMLNS：MML =“http://www.w3.org/1998/math/mathml”xmlns：xlink =“http://www.w3.org/1999/xlink”> $ {v} $ 这样<内联公式xmlns：mml =“http://www.w3.org/1998/math/mathml”xmlns： xlink =“http://www.w3.org/1999/xlink”> $ {u} {v} ^ { mathrm {t}} $ 近似于给定的矩阵<内联公式xmlns：mml =“http://www.w3.org/1998/math / mathml“xmlns：xlink =”http://www.w3.org/1999/xlink“> $ {x} ^ star $ 。除了强大的严格马鞍属性之外，我们表明矩阵分解问题的目标函数没有虚假的本地最小值，不仅对<内联公式XMLNS：MML =“HTTP的精确参数化案例而言，不仅是严格的骑马属性。 //www.w3.org/1998/math/mathml“xmlns：xlink =”http://www.w3.org/1999/xlink“> $ mathrm {rank} （{x} ^ star）= {r} $ ，还用于在<内联公式XMLNS：MML =“http：//www中的过参数化案例。 w3.org/1998/math/mathml“xmlns：xlink =”http://www.w3.org/1999/xlink“> $ mathrm {rank}（{x} ^ star）<{r} $ 以及<内联公式xmlns：mml =“http://www.w3.org/1998/math的下列方式/ mathml“xmlns：xlink =”http://www.w3.org/1999/xlink“> $ mathrm {rank}（{x} ^ star）> {r $ 。这些几何属性意味着许多迭代优化算法（例如梯度下降）会聚到具有随机初始化的全局解决方案。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号