基于训练数据动态分配的深度学习并行优化机制

颜子杰; 陈孟强; 吴维刚

首页> 中文期刊> 《计算机工程与科学》 >基于训练数据动态分配的深度学习并行优化机制

基于训练数据动态分配的深度学习并行优化机制

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

基于MXNet框架,针对同步并行下参数同步耗时过长这一问题,提出了一种多机同步并行下的训练数据动态分配算法。基于计算节点的计算效率,每一次迭代后将动态调整节点需要处理的样本数据量。这样的机制使模型既能同步并行也降低了等待梯度更新的耗时。最后,利用天河二号超级计算机对此优化算法进行了对比实验,实验结果表明,所提出的优化机制达到了预期效果。

著录项

来源
《计算机工程与科学》 |2018年第a01期|141-144|共4页
作者
颜子杰; 陈孟强; 吴维刚;
展开▼
作者单位

中山大学数据科学与计算机学院;

展开▼
原文格式 PDF
正文语种 chi
中图分类理论、方法;
关键词
深度学习; 数据分配; 同步并行; 并行训练; 超级计算;

相似文献

中文文献
外文文献
专利

1. 并行数据库系统PBASE/2的查询优化机制 [J] . 陈红 ,文继荣 ,王珊 . 计算机工程 . 2000,第007期
2. 一种基于动态分配模式求解三对角线性方程组的并行算法 [J] . 张选平 ,高由兵 ,崔骏 . 微电子学与计算机 . 2008,第5期
3. 网格环境下基于并行加工的制造资源动态分配方法 [J] . 付景枝 ,张友良 . 机械设计 . 2006,第9期
4. 基于人机交互的深度学习训练数据标注系统 [J] . 尹兆杰 . 铁路通信信号工程技术 . 2021,第008期
5. 基于三调水域数据的深度学习模型训练方法研究 [J] . 陈志达 ,林川 ,曹昌磊 . 浙江测绘 . 2021,第002期
6. 面向媒体融合的深度学习训练数据集研究 [C] . Zhang Zhijun ,张智军 ,Wang Qian . 第25届媒体融合技术研讨会 . 2017
7. 面向高并发数据访问的并行I/O性能优化机制研究 [A] . 王志翔 . 2015

基于训练数据动态分配的深度学习并行优化机制

摘要

著录项

相似文献

相关主题

期刊订阅