首页> 中文期刊> 《计算机工程与科学》 >面向模型并行训练的模型拆分策略自动生成方法

面向模型并行训练的模型拆分策略自动生成方法

         

摘要

随着训练数据规模的增大以及训练模型的日趋复杂,深度神经网络的训练成本越来越高,对计算平台提出了更高的算力需求,模型训练并行化成为增强其应用时效性的迫切需求.近年来基于分布式训练的AI加速器(如FPGA、T PU、AI芯片等)层出不穷,为深度神经网络并行训练提供了硬件基础.为了充分利用各种硬件资源,研究人员需要在集合了多种不同算力、不同硬件架构AI加速器的计算平台上进行神经网络的模型并行训练,因此,如何高效利用各种AI加速器计算资源,并实现训练任务在多种加速器上的负载均衡,一直是研究人员关心的热点问题.提出了一种面向模型并行训练的模型拆分策略自动生成方法,该方法能够基于静态的网络模型自动生成模型拆分策略,实现网络层在不同AI加速器上的任务分配.基于该方法自动生成的模型分配策略,能够高效利用单个计算平台上的所有计算资源,并保证模型训练任务在各设备之间的负载均衡,与目前使用的人工拆分策略相比,具有更高的时效性,节省拆分策略生成时间100倍以上,且降低了由于人为因素带来的不确定性.

著录项

  • 来源
    《计算机工程与科学》 |2020年第9期|1529-1537|共9页
  • 作者单位

    浪潮电子信息产业股份有限公司高效能服务器与存储技术国家重点实验室 山东济南250000;

    浪潮电子信息产业股份有限公司高效能服务器与存储技术国家重点实验室 山东济南250000;

    浪潮电子信息产业股份有限公司高效能服务器与存储技术国家重点实验室 山东济南250000;

    浪潮电子信息产业股份有限公司高效能服务器与存储技术国家重点实验室 山东济南250000;

    浪潮电子信息产业股份有限公司高效能服务器与存储技术国家重点实验室 山东济南250000;

    广东浪潮大数据研究有限公司 广东广州510000;

  • 原文格式 PDF
  • 正文语种 chi
  • 中图分类 TP393.02;
  • 关键词

    模型并行; 模型训练; 模型拆分; 负载均衡;

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号