基于滤波器注意力机制与特征缩放系数的动态网络剪枝

卢海伟; 夏海峰; 袁晓彤

首页> 中文期刊> 《小型微型计算机系统》 >基于滤波器注意力机制与特征缩放系数的动态网络剪枝

基于滤波器注意力机制与特征缩放系数的动态网络剪枝

开具论文收录证明 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

结构化剪枝是模型压缩的一种有效方式,裁减掉网络中不重要的滤波器,减小网络的计算量和存储量.然而,仅仅基于滤波器自身的参数信息是无法准确判断该滤波器是否冗余.针对以上问题,提出一种利用卷积层和BN层双层参数信息的动态网络剪枝方法,该方法利用滤波器注意力机制以及BN（Batch Normalization）层缩放系数选择冗余滤波器,并对其进行裁剪.该方法具有三个优势:1)端到端的训练剪枝:训练和剪枝同时进行,训练速度更快.2)更大的优化空间:训练过程中动态调整被裁剪的滤波器,搜索最优的剪枝策略.3)更准确的滤波器选择:运用多重参数信息精确选取冗余的滤波器,提高了网络的泛化性能.实验分别在标准CIFAR-10数据集和CIFAR-100数据集上进行,尤其在CIFAR-10数据集上的实验结果表明,压缩后的ResNet56和Res Net110的浮点运算率减少40%多,但精度比基本网络高.

著录项

来源
《小型微型计算机系统》 |2019年第9期|1832-1838|共7页
作者
卢海伟; 夏海峰; 袁晓彤;
展开▼
作者单位

南京信息工程大学自动化学院;

江苏省大数据分析技术重点实验室大气环境与装备技术协同创新中心;

展开▼
原文格式 PDF
正文语种 chi
中图分类滤波技术、滤波器;人工神经网络与计算;
关键词
结构化剪枝; 动态网络剪枝; 注意力机制; BN层缩放系数;

相似文献

中文文献
外文文献
专利

1. 基于层融合特征系数的动态网络结构化剪枝 [J] . 卢海伟 ,袁晓彤 . 模式识别与人工智能 . 2019,第011期
2. 基于通道自适应动态网络剪枝算法的FPGA加速器设计与实现 [J] . 龚赛君 ,曹红 . 信息与电脑 . 2021,第022期
3. 基于参数子空间和缩放因子的YOLO剪枝算法 [J] . 杨民杰 ,梁亚玲 ,杜明辉 . 计算机工程 . 2021,第002期
4. 基于PCA的深度可分离卷积滤波器剪枝算法研究 [J] . 黄晓丹 ,赵鸣 ,吴卫贤 . 电脑与信息技术 . 2022,第1期
5. 基于双DDPG的全局自适应滤波器剪枝方法 [J] . 王彩玲 ,王炯 ,蒋国平 . 南京邮电大学学报（自然科学版） . 2021,第005期
6. 一种基于复合特征的内容感知视频缩放被动取证方法 [C] . DONG Qiong ,董琼 ,YANG Gaobo . 第十二届全国信息隐藏暨多媒体信息安全学术大会 . 2015
7. 基于多特征融合与连续特征缩放的WiFi室内定位算法研究 [A] . 陈培林 . 2019

基于滤波器注意力机制与特征缩放系数的动态网络剪枝

摘要

著录项

相似文献

相关主题

期刊订阅