基于混合机制的深度神经网络压缩算法

赵旭剑; 李杭霖

首页> 中文期刊> 《计算机应用》 >基于混合机制的深度神经网络压缩算法

基于混合机制的深度神经网络压缩算法

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

近年来人工智能(AI)应用飞速发展,嵌入式设备与移动设备等有限资源设备对深度神经网络(DNN)的需求急剧增加。如何在不影响DNN效果的基础上对神经网络进行压缩具有极大理论与现实意义,也是当下深度学习的热门研究话题。首先,针对DNN因模型大、计算量大而难以移植至移动设备等有限资源设备的问题,深入分析已有DNN压缩算法在内存占用、运行速度及压缩效果等方面的实验性能,从而挖掘DNN压缩算法的影响要素;然后,设计学生网络和教师网络组成的知识迁移结构,融合知识蒸馏、结构设计、网络剪枝和参数量化机制,提出基于混合机制的DNN优化压缩算法。在mini-ImageNet数据集上以AlexNet为Benchmark,进行实验比较与分析。实验结果表明,所提算法在压缩结果的准确率降低6.3%的情况下,使压缩后的AlexNet的容量减小98.5%,验证了所提算法的有效性。

著录项

来源
《计算机应用》 |2023年第9期|2686-2691|共6页
作者
赵旭剑; 李杭霖;
展开▼
作者单位

西南科技大学计算机科学与技术学院;

展开▼
原文格式 PDF
正文语种 chi
中图分类人工神经网络与计算;
关键词
深度神经网络; 网络压缩; 网络剪枝; 知识蒸馏; 参数量化;

相似文献

中文文献
外文文献
专利

1. 基于联合动态剪枝的深度神经网络压缩算法 [J] . 张明明 ,卢庆宁 ,李文中 . 计算机应用 . 2021,第6期
2. 权重量化的深度神经网络模型压缩算法 [J] . 陈昀 ,蔡晓东 ,梁晓曦 . 西安电子科技大学学报（自然科学版） . 2019,第2期
3. 基于混合深度神经网络的就业推荐方法 [J] . 张婳 ,彭海英 . 计算机工程与设计 . 2022,第4期
4. 基于深度神经网络-近似线性网络混合模型的电力系统状态估计方法 [J] . 宋雨露 ,樊艳芳 ,刘雨佳 . 科学技术与工程 . 2022,第25期
5. 基于高斯混合模型和深度神经网络的大型船舶主机功率预测 [J] . 张嘉琦 ,苏伟 ,张久文 . 船舶力学 . 2021,第12期
6. 基于混合编码的超光谱图像无损压缩算法研究 [C] . 闫红梅 ,李科 ,吴冬梅 . 第七届全国信号与信息处理联合会议暨首届全国省(市)级图象图形学会联合年会 . 2008
7. 深度神经网络可解释压缩算法的研究 [A] . 陈颖 . 2021

基于混合机制的深度神经网络压缩算法

摘要

著录项

相似文献

相关主题

期刊订阅