首页> 中文期刊> 《计算机应用研究》 >深度神经网络的压缩研究

深度神经网络的压缩研究

         

摘要

深度神经网络中过多的参数使得自身成为高度计算密集型和内存密集型的模型,这使得深度神经网络的应用不能轻易地移植到嵌入或移动设备上以解决特殊环境下的实际需求.为了解决该问题,提出了基于网络删减、参数共享两者结合的神经网络压缩方案.首先通过删减掉权重小于阈值的网络连接,保留其重要的连接;然后使用K-means聚类算法将删减后每层的参数进行聚类,每簇内的各个参数共享该簇的中心值作为其权重.实验在MNIST数据集上完成手写数字识别功能的LeNet-300-100网络和修改得到的LeNet-300-240-180-100网络分别压缩了9.5×和12.1×.基于网络删减、参数共享两者结合的神经网络压缩方案为未来在特殊环境下更丰富的基于深度神经网络的智能应用提供了可行方案.

著录项

  • 来源
    《计算机应用研究》 |2018年第10期|2894-28972903|共5页
  • 作者单位

    中国科学院新疆理化技术研究所;

    乌鲁木齐830011;

    新疆民族语音语言信息处理实验室;

    乌鲁木齐830011;

    中国科学院大学;

    北京100049;

    中国科学院新疆理化技术研究所;

    乌鲁木齐830011;

    新疆民族语音语言信息处理实验室;

    乌鲁木齐830011;

    中国科学院大学;

    北京100049;

    中国科学院新疆理化技术研究所;

    乌鲁木齐830011;

    新疆民族语音语言信息处理实验室;

    乌鲁木齐830011;

    中国科学院大学;

    北京100049;

    中国科学院新疆理化技术研究所;

    乌鲁木齐830011;

    新疆民族语音语言信息处理实验室;

    乌鲁木齐830011;

    中国科学院大学;

    北京100049;

    中国科学院新疆理化技术研究所;

    乌鲁木齐830011;

    新疆民族语音语言信息处理实验室;

    乌鲁木齐830011;

    中国科学院大学;

    北京100049;

  • 原文格式 PDF
  • 正文语种 chi
  • 中图分类 人工神经网络与计算;
  • 关键词

    神经网络; 压缩; 网络删减; 参数共享;

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号