• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文会议>International conference on neural information processing;Annual conference of Asia-Pacific Neural Network Society >Improving Recurrent Neural Networks with Predictive Propagation for Sequence Labelling
【24h】

Improving Recurrent Neural Networks with Predictive Propagation for Sequence Labelling

机译：用预测性传播改进递归神经网络的序列标记

获取原文
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

Recurrent neural networks (RNNs) is a useful tool for sequence labelling tasks in natural language processing. Although in practice RNNs suffer a problem of vanishing/exploding gradient, their compactness still offers efficiency and make them less prone to overfit-ting. In this paper we show that by propagating the prediction of previous labels we can improve the performance of RNNs while keeping the number of parameters in RNNs unchanged and adding only one more step for inference. As a result, the models are still more compact and efficient than other models with complex memory gates. In the experiment, we evaluate the idea on optical character recognition and Chunking which achieve promising results.
机译：递归神经网络（RNN）是在自然语言处理中用于序列标记任务的有用工具。尽管在实践中，RNN会遇到消失/爆炸梯度的问题，但其紧凑性仍可提供效率，并使其不易过拟合。在本文中，我们表明，通过传播对先前标签的预测，我们可以提高RNN的性能，同时保持RNN中的参数数量不变，并且仅增加一个推理步骤。结果，这些模型仍然比其他具有复杂存储门的模型更加紧凑和高效。在实验中，我们评估了在光学字符识别和分块方面的想法，这些想法取得了可喜的成果。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号