首页> 中国专利> 一种基于深度强化学习的流水线并行训练任务分配方法

一种基于深度强化学习的流水线并行训练任务分配方法

页面导航

摘要
著录项
法律信息
相似文献

摘要

本发明公开一种基于深度强化学习的流水线并行训练任务分配方法，步骤为：初始化深度学习模型，并把该模型载入；建立对目标深度学习模型运行时分析方案，构建模型参数文本库；根据获取的模型参数文本信息，构建任务分配预测网络；使用策略梯度训练预测网络，直至生成最优流水线并行任务分配方案；按照生成的最优任务分配方案，在异构计算节点中部署模型，完成训练任务。本发明有效避免节点计算能力和网络带宽差差异带来的负载不均衡问题，提高模型训练速度，并且模型参数越大，提升效果越明显。

著录项

公开/公告号CN113312178A

专利类型发明专利
公开/公告日2021-08-27

原文格式PDF
申请/专利权人河海大学;
展开▼

申请/专利号CN202110563603.2
发明设计人毛莺池;屠子健;吴俊;平萍;郭宏乐;徐淑芳;
展开▼

申请日2021-05-24
分类号G06F9/50(20060101);G06N3/04(20060101);G06N3/08(20060101);
代理机构32326 南京乐羽知行专利代理事务所(普通合伙);
代理人李玉平
地址 211100 江苏省南京市江宁开发区佛城西路8号
入库时间 2023-06-19 12:22:51

法律信息

法律状态公告日

法律状态信息

法律状态
2023-04-14

发明专利申请公布后的驳回 IPC(主分类):G06F 9/50 专利申请号:2021105636032 申请公布日:20210827

发明专利申请公布后的驳回

相似文献

专利
中文文献
外文文献

1. 一种基于深度强化学习的流水线并行训练任务分配方法 [P] . 中国专利： CN113312178A . 2021-08-27
2. 一种基于版本差异的流水线并行训练节点权重分配方法 [P] . 中国专利： CN113469341A . 2021-10-01
3. PC-based computing system employing a silicon chip implementing parallelized GPU-driven pipelines cores supporting multiple modes of parallelization dynamically controlled while running a graphics application [P] . 美国专利： US2008129744A1 . 2008-06-05

机译：基于PC的计算系统，采用硅芯片实现并行GPU驱动的流水线内核，支持运行图形应用程序时动态控制的多种并行化模式
4. Pipelined decoding apparatus and method based on parallel processing [P] . 韩国专利： KR101279507B1 . 2013-06-28

机译：基于并行处理的流水线解码装置和方法
5. Hardware based parallel processing cores with multiple threads and multiple pipeline stages [P] . 美国专利： US8059650B2 . 2011-11-15

机译：具有多个线程和多个流水线级的基于硬件的并行处理核心