...
  • 主题
高级搜索  >
历史搜索 清空历史
首页> 外文期刊>Bioinspiration & biomimetics >Scaling up liquid state machines to predict over address events from dynamic vision sensors
【24h】

Scaling up liquid state machines to predict over address events from dynamic vision sensors

机译：缩放液态机器以预测动态视觉传感器的地址事件

获取原文
获取原文并翻译 | 示例
           
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

Short-term visual prediction is important both in biology and robotics. It allows us to anticipate upcoming states of the environment and therefore plan more efficiently. In theoretical neuroscience, liquid state machines have been proposed as a biologically inspired method to perform asynchronous prediction without a model. However, they have so far only been demonstrated in simulation or small scale pre-processed camera images. In this paper, we use a liquid state machine to predict over the whole 128 x 128 event stream provided by a real dynamic vision sensor (DVS, or silicon retina). Thanks to the event-based nature of the DVS, the liquid is constantly fed with data when an object is in motion, fully embracing the asynchronicity of spiking neural networks. We propose a smooth continuous representation of the event stream for the short-term visual prediction task. Moreover, compared to previous works (2002 Neural Comput. 2525 282-93 and Burgsteiner H et al 2007 Appl. Intell. 26 99-109), we scale the input dimensionality that the liquid operates on by two order of magnitudes. We also expose the current limits of our method by running experiments in a challenging environment where multiple objects are in motion. This paper is a step towards integrating biologically inspired algorithms derived in theoretical neuroscience to real world robotic setups. We believe that liquid state machines could complement current prediction algorithms used in robotics, especially when dealing with asynchronous sensors.
机译：短期视觉预测在生物学和机器人中都很重要。它允许我们预测即将到来的环境国家，因此计划更有效。在理论神经科学中，已经提出了液态机器作为生物启发方法，以便在没有模型的情况下执行异步预测。然而，到目前为止，他们只有在模拟或小型预处理摄像机图像中证明。在本文中，我们使用液态机器来预测由真正动态视觉传感器（DVS或硅视网膜）提供的整体128 x 128事件流。由于DVS的基于事件的性质，当物体处于运动时，液体不断使用数据，完全接受尖刺神经网络的异步性。我们提出了对短期视觉预测任务的事件流的顺利连续表示。此外，与以前的作品相比（2002年神经计算。2525 282-93和Burgsteiner H等人2007应用。Intell。智能.26 99-109），我们缩放了液体依次运行的输入维度。我们还通过在挑战环境中运行实验，公开我们的方法的当前限制。本文是一步一步，迈为将在理论神经科学的生物启发算法集成到真实世界机器人设置。我们认为液态机器可以补充机器人中使用的电流预测算法，特别是在处理异步传感器时。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号