首页> 中国专利> 注意力机制的激活函数加速方法、装置和注意力机制电路

注意力机制的激活函数加速方法、装置和注意力机制电路

页面导航

摘要
著录项
法律信息
相似文献

摘要

本发明实施方式提出一种注意力机制的激活函数加速方法、装置和注意力机制电路。方法包括：输入第一向量和包含多个第二向量的第一向量组；基于注意力机制，确定所述第一向量对所述第一向量组中的每个第二向量的注意力分数；对所述注意力分数施加激活函数，所述激活函数适配于将所述注意力分数中的负值转变为零且正值保持为正数；基于预定的缩放因子，对施加所述激活函数的注意力分数进行缩放；输出所述缩放后的注意力分数。本发明实施方式不再采用Softmax计算注意力机制的激活函数，规避了以自然底数e为底数的、注意力分数为指数的幂运算，提高了注意力机制的运算速度，尤其适用于以硬件方式实现注意力机制。

著录项

公开/公告号CN114528989A

专利类型发明专利
公开/公告日2022-05-24

原文格式PDF
申请/专利权人深圳比特微电子科技有限公司;
展开▼

申请/专利号CN202210432779.9
发明设计人钟雨崎;艾国;杨作兴;房汝明;向志宏;
展开▼

申请日2022-04-24
分类号G06N3/063;G06N3/06;G06N3/04;G06F17/16;
代理机构北京德琦知识产权代理有限公司;
代理人张驰;宋志强
地址 518000 广东省深圳市南山区高新南六道航盛科技大厦801
入库时间 2023-06-19 15:24:30

法律信息

法律状态公告日

法律状态信息

法律状态
2022-05-24

公开

发明专利申请公布

相似文献

专利
中文文献
外文文献

1. 可硬件实现的动态稀疏注意力机制的数据处理加速方法 [P] . 中国专利： CN113918882A . 2022-01-11
2. 一种基于离散型注意力机制的神经机器翻译解码加速方法 [P] . 中国专利： CN111178087A . 2020-05-19
3. 显示面板的驱动方法、驱动电路和显示装置 [P] . 世界知识产权组织专利： WO2020/143088A1 . 2020.07.16
4. 数模转换电路及数模转换方法、显示装置 [P] . 世界知识产权组织专利： WO2020/143398A1 . 2020.07.16
5. 像素电路及其驱动方法、显示装置 [P] . 世界知识产权组织专利： WO2020/143215A1 . 2020.07.16