首页> 外国专利> ATTENTION NEURAL NETWORKS WITH CONDITIONAL COMPUTATION

ATTENTION NEURAL NETWORKS WITH CONDITIONAL COMPUTATION

机译:注意神经网络具有条件计算

摘要

Methods, systems, and apparatus, including computer programs encoded on a computer storage medium, for performing a machine learning task on a network input to generate a network output. In one aspect, one of the systems includes an attention neural network configured to perform the machine learning task, the attention neural network including one or more attention layers, each attention layer comprising an attention sub-layer and a feed-forward sub-layer. Some or all of the attention layers have a feed-forward sub-layer that applies conditional computation to the inputs to the sub-layer.
机译:方法,系统和设备,包括在计算机存储介质上编码的计算机程序,用于对网络输入执行机器学习任务以生成网络输出。 在一个方面,其中一个系统包括注意神经网络,该神经网络被配置为执行机器学习任务,注意神经网络包括一个或多个注意层,每个注意层包括注意子层和前馈子层。 一些或全部注意层具有前馈子层,该子层将条件计算应用于子层的输入。

著录项

相似文献

  • 专利
  • 外文文献
  • 中文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号