一种量化因子自适应学习量化训练算法

聂慧; 李康顺; 苏洋

首页> 中文期刊> 《系统仿真学报》 >一种量化因子自适应学习量化训练算法

一种量化因子自适应学习量化训练算法

开具论文收录证明 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

深度神经网络因参数量过多而影响嵌入式部署，解决的办法之一是模型小型化（如模型量化，知识蒸馏等）。针对这一问题，提出了一种基于BN（batch normg lization）折叠的量化因子自适应学习的量化训练算法（简称为LSQ-BN算法）。采用单个CNN（convolutional neural）构造BN折叠以实现BN与CNN融合；在量化训练过程中，将量化因子设置成模型参数；提出了一种自适应量化因子初始化方案以解决量化因子难以初始化的问题。实验结果表明：8bit的权重和激活量化，量化模型的精度与FP32预制模型几乎一致；4bit的权重量化和8 bit的激活量化，量化模型的精度损失在3%以内。因此，LSQ-BN是一种优异的模型量化算法。

著录项

来源
《系统仿真学报》 |2022年第7期|1639-1650|共12页
作者
聂慧; 李康顺; 苏洋;
展开▼
作者单位

1. 东莞城市学院计算机与信息学院 2. 广东科技学院计算机学院 3. 华南农业大学数学与信息学院;

展开▼
原文格式 PDF
正文语种 chi
中图分类人工智能理论;
关键词
BN折叠; CNN卷积; 自适应初始化; 模型量化因子;

相似文献

中文文献
外文文献
专利

1. 基于自适应量化矩阵的硬判决量化算法 [J] . 李瑞阳 ,王鸿奎 . 电视技术 . 2017,第11期
2. 一种基于比例,量化因子在线自调整的自适应模糊控制器 [J] . 屠宇 ,梁慧冰 . 广东自动化与信息工程 . 1999,第2期
3. 一种基于自适应遗传算法优化BP神经网络的漏磁缺陷量化框架 [J] . 刘思娇 ,郑莉 ,焦晓亮 . 无损检测 . 2020,第10期
4. 一种改进的自适应图像量化算法 [J] . 高文斌 ,蒋华 ,赵成 . 北京电子科技学院学报 . 2019,第2期
5. 一种内容自适应的硬判决量化算法 [J] . 王鸿奎 ,李瑞阳 ,殷海兵 . 中国计量大学学报 . 2017,第2期
6. 一种自适应速率的线谱频率参数暂时分解量化算法 [C] . . 2008年通信理论与信号处理学术年会 . 2008
7. 结合机器学习算法的多因子量化交易策略 [A] . 吴俊裕 . 2019

一种量化因子自适应学习量化训练算法

摘要

著录项

相似文献

相关主题

期刊订阅