• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文会议>International Conference on Artificial Neural Networks >Learning Sparse Hidden States in Long Short-Term Memory
【24h】

Learning Sparse Hidden States in Long Short-Term Memory

机译：在长短期记忆中学习稀疏隐藏状态

获取原文
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

Long Short-Term Memory (LSTM) is a powerful recurrent neural network architecture that is successfully used in many sequence modeling applications. Inside an LSTM unit, a vector called "memory cell" is used to memorize the history. Another important vector, which works along with the memory cell, represents hidden states and is used to make a prediction at a specific step. Memory cells record the entire history, while the hidden states at a specific time step in general need to attend only to very limited information thereof. Therefore, there exists an imbalance between the huge information carried by a memory cell and the small amount of information requested by the hidden states at a specific step. We propose to explicitly impose sparsity on the hidden states to adapt them to the required information.
机译：长短期记忆（LSTM）是一种功能强大的递归神经网络体系结构，已成功用于许多序列建模应用程序中。在LSTM单元内部，使用一个称为“内存单元”的向量来存储历史记录。与存储单元一起工作的另一个重要向量表示隐藏状态，并用于在特定步骤进行预测。存储器单元记录整个历史，而在特定时间步的隐藏状态通常仅需要注意其非常有限的信息。因此，在特定步骤中，存储单元所携带的大量信息与隐藏状态所请求的少量信息之间存在不平衡。我们建议明确地对稀疏状态施加稀疏性，以使它们适应所需的信息。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号