首页> 中文期刊> 《北京信息科技大学学报(自然科学版)》 >基于知识蒸馏的轻量型神经网络设计

基于知识蒸馏的轻量型神经网络设计

         

摘要

为了解决神经网络深度不断加深带来结构冗余的问题,提出了一种基于改进知识蒸馏算法的轻量型神经网络设计方法.该方法中,轻量型神经网络的卷积结构使用分组卷积与点式卷积相结合的残差结构,并结合基于风格迁移与特征重建的知识蒸馏算法对模型进行训练.网络在Cifar10和Cifar100中的实验结果表明,在准确率相当的前提下,轻量型神经网络的参数数量比普通残差网络减少了20%以上.同时,两种知识蒸馏算法结果的相近性说明分组卷积的人工设计部分对网络的影响较小.

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号