基于脉动阵列的层融合注意力模型加速器结构

刘晓航; 姜晶菲; 许金伟

首页> 中文期刊> 《计算机工程与科学》 >基于脉动阵列的层融合注意力模型加速器结构

基于脉动阵列的层融合注意力模型加速器结构

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

注意力机制最近在深度神经网络中表现出优越的性能,但其计算包含复杂的数据流,内存开销和计算量大,需要定制加速器来优化推理计算。提出一种针对注意力机制计算的加速器结构。采用基于硬件控制的灵活分块方法,将模型中的巨大矩阵分成硬件亲和的计算块,使块矩阵的计算匹配加速器脉动阵列;提出基于双步softmax函数分解计算的层融合计算方法,有效减少了注意力模型计算对内存的访问。采用硬件描述语言HDL设计实现了细粒度计算调度的层融合注意力模型加速器结构。基于XILINX FPGA器件和HLS工具进行了性能评估。相同设置下,与CPU相比延迟加速了4.9倍,与GPU相比能效提升了1.24倍。

著录项

来源
《计算机工程与科学》 |2023年第5期|802-809|共8页
作者
刘晓航; 姜晶菲; 许金伟;
展开▼
作者单位

国防科技大学研究生院;

国防科技大学并行与分布处理国家重点实验室;

展开▼
原文格式 PDF
正文语种 chi
中图分类信息处理（信息加工）;
关键词
脉动阵列; 注意力机制; 层融合; 加速器结构; 矩阵分块; 柔性最大值传输函数;

相似文献

中文文献
外文文献
专利

1. 基于多头注意力机制的模型层融合维度情感识别方法 [J] . 董永峰 ,苏海洋 ,刘斌 . 信号处理 . 2021,第5期
2. 融合位置权重的基于注意力交叉注意力的长短期记忆方面情感分析模型 [J] . 武婷 ,曹春萍 . 计算机应用 . 2019,第8期
3. 融合边特征与注意力的表格结构识别模型 [J] . 吕学强 ,张煜楠 ,韩晶 . 计算机应用 . 2023,第3期
4. 结合结构重参数化方法与空间注意力机制的图像融合模型 [J] . 俞利新 ,崔祺 ,车军 . 计算机应用研究 . 2022,第5期
5. 融合语义结构的注意力文本摘要模型 [J] . 滕少华 ,董谱 ,张巍 . 广东工业大学学报 . 2021,第3期
6. 基于丢层序列和区域序列的复合材料层合结构纤维连续性优化模型 [C] . Jin Liang ,金亮 ,Jin Peng . 中国力学大会2017暨庆祝中国力学学会成立60周年大会 . -1
7. 基于注意力模型和特征层仿射对齐模型的行人再识别研究 [A] . 马丽 . 2019

基于脉动阵列的层融合注意力模型加速器结构

摘要

著录项

相似文献

相关主题

期刊订阅