首页> 中文期刊> 《微电子学与计算机》 >面向AIoT芯片的OCR模型压缩方案研究

面向AIoT芯片的OCR模型压缩方案研究

         

摘要

基于深度学习的OCR模型通常由CNN和RNN/LSTM构成,模型计算量大、权重参数多,导致在边缘设备上推理需要大量的计算资源才有可能达到性能要求.CPU和GPU这样的通用处理器无法同时满足处理速度和功耗要求,并且成本非常高.随着深度学习的普及,神经处理单元NPU在许多嵌入式和边缘设备中变得普遍,它具有高吞吐量的计算能力来处理神经网络所涉及的矩阵运算.以基于CRNN的OCR模型为例,面向AIoT芯片给出一个解决方案,通过剪枝和量化两种压缩算法降低网络参数冗余度,减少计算开销但仍能得到一个准确性和鲁棒性高的压缩模型,使得模型能够部署在NPU上.实验结果表明:对剪枝微调后的模型进行参数量化,稀疏度为78%量化后的模型精度降低不超过3%,模型大小从15.87 MB压缩为3.13 MB,将压缩后的模型部署到NPU端,与在CPU和GPU上的实现相比,NPU在延迟上分别实现了28.87倍和6.1倍的加速.

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号