• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文期刊>Document Numerique >Using BLSTM for interpretation of 2-D languages
【24h】

Using BLSTM for interpretation of 2-D languages

机译：使用BLSTM解释2-D语言

获取原文
获取原文并翻译 | 示例
           
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

Nous proposons une extension de l'utilisation classique des réseaux de type BLSTM pour leur permettre de traiter des données provenant de langages graphiques bidimensionnels tels que les formules mathématiques manuscrites. La solution proposée repose sur un parcours respectant l'ordre temporel des traits. Il en résulte une séquence alternant les étiquettes de symboles et les étiquettes des relations spatiales. Dans le cas des expressions purement linéaires (1-D), nous utilisons l'étiquette « Right » pour permettre la segmentation entre les symboles. Pour une extension au cas des expressions véritablement bidimensionnelles (2-D), nous utilisons autant de nouvelles étiquettes qu 'il y a de relations spatiales différentes entre les sous-expressions. Les BLSTM sont appris en utilisant la stratégie CTC que nous avons adaptée pour fournir un étiquetage aligné avec les traits de l'encre. Il en résulte que les réseaux BLSTM permettent de résoudre à la fois la tâche de reconnaissance de symboles et celle de segmentation. Une telle approche est nouvelle dans le domaine de la reconnaissance des expressions mathématiques.%In this work, we study how to extend the capability of BLSTM networks with CTC to process data which are not only text strings but graphical two-dimensional languages such as handwritten mathematical expressions. An online math expression is a sequence of strokes which is later labeled by BLSTM network. Besides normal math symbols, we introduce 6 additional specific labels assigned to each of the different possible spatial relationships that exist between sub-expressions. The output of BLSTM network with CTC is a sequence of labels. Our aim is to build a two-dimensional (2-D) expression from this sequence of labels. CTC technology is a good choice for sequence transcription tasks but does not provide the alignment between the inputs and the target labels. In our case, we need the labels of strokes in the building process. A local CTC is proposed to solve this problem. As a result, BLSTM network is able to perform at the same time the symbol recognition task, the segmentation task and the relationship recognition task, which is a new perspective for the mathematical expression domain.
机译：我们建议对BLSTM网络的经典用法进行扩展，以允许它们处理来自二维图形语言的数据，例如手写的数学公式。提出的解决方案基于尊重线的时间顺序的路线。这导致序列交替符号的标签和空间关系的标签。在纯线性表达式（1-D）的情况下，我们使用标签“ Right”允许符号之间的分段。为了扩展真正的二维（2-D）表达式的情况，我们使用了尽可能多的新标签，因为子表达式之间存在不同的空间关系。使用适用于提供与墨水线对齐的标签的CTC策略学习BLSTM。结果，BLSTM网络使解决符号识别和分割任务成为可能。这种方法是数学表达式识别领域中的新方法。％在这项工作中，我们研究了如何使用CTC扩展BLSTM网络的功能来处理数据，这些数据不仅是文本字符串，而且还包括图形化的二维语言，例如手写的数学表达式。在线数学表达式是一系列笔画，其后由BLSTM网络标记。除了正常的数学符号外，我们还引入了6个附加的特定标签，分别分配给子表达式之间存在的每种不同的可能空间关系。带CTC的BLSTM网络的输出是一个标签序列。我们的目标是从此标签序列构建二维（2-D）表达式。 CTC技术是用于序列转录任务的不错选择，但不能提供输入和靶标标记之间的比对。在我们的案例中，我们需要在构建过程中添加笔划标签。建议使用本地CTC来解决此问题。结果，BLSTM网络能够同时执行符号识别任务，分段任务和关系识别任务，这是数学表达式领域的新视角。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号