• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文会议>International Conference on Information Fusion >Jointly Trained Variational Autoencoder for Multi-Modal Sensor Fusion
【24h】

Jointly Trained Variational Autoencoder for Multi-Modal Sensor Fusion

机译：用于多模态传感器融合的联合训练的变形AutoEncoder

获取原文
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

This work presents the novel multi-modal Variational Autoencoder approach $mathbf{M}^{mathbf{2}}mathbf{VAE}$ which is derived from the complete marginal joint log-likelihood. This allows the end-to-end training of Bayesian information fusion on raw data for all subsets of a sensor setup. Furthermore, we introduce the concept of in-place fusion – applicable to distributed sensing - where latent embeddings of observations need to be fused with new data. To facilitate in-place fusion even on raw data, we introduced the concept of a re-encoding loss that stabilizes the decoding and makes visualization of latent statistics possible. We also show that the $mathbf{M}^{mathbf{2}}mathbf{VAE}$ finds a coherent latent embedding, such that a single na?ve Bayes classifier performs equally well on all permutations of a bi-modal Mixture-of-Gaussians signal. Finally, we show that our approach outperforms current VAE approaches on a bi-modal MNIST & fashion-MNIST data set and works sufficiently well as a preprocessing on a tri-modal simulated camera & LiDAR data set from the Gazebo simulator.
机译：这项工作提出了新的多模态变自动编码方法 $ mathbf {M} ^ { mathbf {2}} {mathbf VAE} $ 这是从完整的边缘关节数似然的。这允许在原始数据的端至端训练贝叶斯信息融合的用于传感器的设置的所有子集。此外，我们引入就地融合的概念 - 适用于分布式传感 - 在观察的潜在的嵌入需要用新的数据融合。为了便于就地甚至在原始数据的融合，我们推出了稳定的解码，使可能的潜在的统计数据的可视化的再编码损失的概念。我们还表明， $ mathbf {M} ^ { mathbf {2}} {mathbf VAE} $ 发现一个相干潜嵌入，使得单个朴素贝叶斯分类器进行同样好双峰混合物-的-高斯信号的所有排列。最后，我们表明，我们的方法比目前的VAE在双峰MNIST与时尚MNIST数据集的方法和足够的工作以及三模态模拟摄像机和激光雷达数据集从帐篷模拟器上进行预处理。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号