• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文期刊>Computer speech and language >BERT-hLSTMs: BERT and hierarchical LSTMs for visual storytelling
【24h】

BERT-hLSTMs: BERT and hierarchical LSTMs for visual storytelling

机译：BERT-HLSTMS：用于视觉讲故事的伯特和分层LSTMS

获取原文
获取原文并翻译 | 示例
       
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

Visual storytelling is a creative and challenging task, aiming to automatically generate a story-like description for a sequence of images. The descriptions generated by previous visual storytelling approaches lack coherence because they use word-level sequence generation methods and do not adequately consider sentence-level dependencies. To tackle this problem, we propose a novel hierarchical visual storytelling framework which separately models sentence-level and word-level semantics. We use the transformer-based BERT to obtain embeddings for sentences and words. We then employ a hierarchical LSTM network: the bottom LSTM receives as input the sentence vector representation from BERT, to learn the dependencies between the sentences corresponding to images, and the top LSTM is responsible for generating the corresponding word vector representations, taking input from the bottom LSTM. Experimental results demonstrate that our model outperforms most closely related baselines under automatic evaluation metrics BLEU and CIDEr, and also show the effectiveness of our method with human evaluation.
机译：Visual Storytelling是一种创造性和具有挑战性的任务，旨在为一系列图像自动生成类似的故事描述。由于它们使用字级序列生成方法而生成的先前视觉讲故事方法产生的描述缺乏一致性，并且不会充分考虑句子级依赖性。为了解决这个问题，我们提出了一种新的分层视觉讲故事框架，其单独模拟句子级和单词级语义。我们使用基于变压器的BERT获得句子和单词的嵌入物。然后我们使用分层LSTM网络：底部LSTM接收到从BERT输入句子向量表示，以了解与图像对应的句子之间的依赖关系，并且顶部LSTM负责生成相应的字向量表示，从而从底部lstm。实验结果表明，我们的模型优于自动评估度量BLEU和苹果酒下的最密切相关的基线，并还显示了我们对人类评估方法的有效性。

著录项

  • 来源
    《Computer speech and language》 |2021年第5期|101169.1-101169.14|共14页
  • 作者

    Jing Su; Qingyun Dai; Frank Guerin; Mian Zhou;

  • 作者单位

    Guangdong University of Technology Panyu District Guangzhou 510006 China Guangdong Ocean University Mazhang District Zhanjiang 524088 China;

    Guangdong University of Technology Panyu District Guangzhou 510006 China;

    University of Surrey Guildford Surrey GU2 7XH United Kingdom;

    Tianjin University of Technology Xiqing District Tianjin 300384 China;

  • 收录信息 美国《科学引文索引》(SCI);美国《工程索引》(EI);
  • 原文格式 PDF
  • 正文语种 eng
  • 中图分类
  • 关键词

    Visual storytelling; BERT; Hierarchical LSTMs; Sentence vector;

    机译：视觉讲故事;伯特;分层LSTMS;句子矢量;

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号