• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文期刊>Statistics and computing >Variational inference for sparse spectrum Gaussian process regression
【24h】

Variational inference for sparse spectrum Gaussian process regression

机译：稀疏谱高斯过程回归的变分推理

获取原文
获取原文并翻译 | 示例
       
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

We develop a fast variational approximation scheme for Gaussian process (GP) regression, where the spectrum of the covariance function is subjected to a sparse approximation. Our approach enables uncertainty in covariance function hyperparameters to be treated without using Monte Carlo methods and is robust to overfitting. Our article makes three contributions. First, we present a variational Bayes algorithm for fitting sparse spectrum GP regression models that uses nonconjugate variational message passing to derive fast and efficient updates. Second, we propose a novel adaptive neighbourhood technique for obtaining predictive inference that is effective in dealing with nonstationarity. Regression is performed locally at each point to be predicted and the neighbourhood is determined using a measure defined based on lengthscales estimated from an initial fit. Weighting dimensions according to lengthscales, this downweights variables of little relevance, leading to automatic variable selection and improved prediction. Third, we introduce a technique for accelerating convergence in nonconjugate variational message passing by adapting step sizes in the direction of the natural gradient of the lower bound. Our adaptive strategy can be easily implemented and empirical results indicate significant speedups.
机译：我们为高斯过程（GP）回归开发了一种快速的变分近似方案，其中协方差函数的频谱经过稀疏近似。我们的方法可以在不使用蒙特卡洛方法的情况下处理协方差函数超参数的不确定性，并且对于过度拟合具有鲁棒性。我们的文章做出了三点贡献。首先，我们提出一种变分贝叶斯算法，用于拟合稀疏频谱GP回归模型，该模型使用非共轭变分消息传递来导出快速有效的更新。其次，我们提出了一种新颖的自适应邻域技术来获得预测性推论，该技术可以有效地应对非平稳性。在要预测的每个点上局部执行回归，并使用基于根据初始拟合估算的长度尺度定义的度量来确定邻域。根据长度标尺对维度进行加权，这会减少相关性很小的变量，从而导致自动变量选择和改进的预测。第三，我们介绍了一种通过在下限的自然梯度方向上调整步长来加速非共轭可变消息传递中的收敛的技术。我们的自适应策略可以轻松实施，经验结果表明该方法可以显着提高速度。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号