• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文期刊>IEEE Transactions on Information Theory >Improved Bounds for the Nyström Method With Application to Kernel Classification
【24h】

Improved Bounds for the Nyström Method With Application to Kernel Classification

机译：Nyström方法的改进边界及其在核分类中的应用

获取原文
获取原文并翻译 | 示例
           
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

We develop two approaches for analyzing the approximation error bound for the Nyström method that approximates a positive semidefinite (PSD) matrix by sampling a small set of columns, one based on a concentration inequality for integral operators, and one based on random matrix theory. We show that the approximation error, measured in the spectral norm, can be improved from $O(N/sqrt {m})$ to $O(N/m^{1 - rho })$ in the case of large eigengap, where $N$ is the total number of data points, $m$ is the number of sampled data points, and $rho in (0, 1/2)$ is a positive constant that characterizes the eigengap. When the eigenvalues of the kernel matrix follow a $p$-power law, our analysis based on random matrix theory further improves the bound to $O(N/m^{p - 1})$ under an incoherence assumption. We present a kernel classification approach based on the Nyström method and derive its generalization performance using the improved bound. We show that when the eigenvalues of the kernel matrix follow a $p$-power law, we can reduce the number of support vectors to $N^{2p/(p^{2} - 1)}$, which is sublinear in $N$ when $p > 1+sqrt {2}$, without seriously sacrificing its generalization performance.
机译：我们开发了两种方法来分析Nyström方法的近似误差范围，该方法通过对一小组列进行采样来逼近正半定（PSD）矩阵，一种方法基于积分算子的浓度不等式，另一种方法基于随机矩阵理论。我们表明，可以通过 $ O（N / sqrt {m}）$ 改善按频谱范数衡量的近似误差。 $ O（N / m ^ {1-rho}）$ ，其中<公式Formulatype =“ inline”> $ N $ 是数据点的总数， $ m $ 是采样数据点的数量，而 $ rho in（0，1/2）$ 是表征eigengap的正常数。当内核矩阵的特征值遵循<公式公式类型=“ inline”> $ p $ -幂定律时，我们基于随机矩阵理论的分析将进一步改善在非相干性假设下绑定到 $ O（N / m ^ {p-1}）$ 。我们提出一种基于Nyström方法的内核分类方法，并使用改进的边界推导其泛化性能。我们证明，当核矩阵的特征值遵循 $ p $ -幂定律时，我们可以减少支持的次数 $ N ^ {2p /（p ^ {2}-1）} $ 的向量，在 $ p> 1 + sqrt {2时，Formulatype =“ inline”> $ N $ } $ ，而不会严重牺牲其泛化性能。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号