一种面向分布式深度学习的轻量级聚合通信库

王笑雨; 董德尊

首页> 中文期刊> 《计算机工程与科学》 >一种面向分布式深度学习的轻量级聚合通信库

一种面向分布式深度学习的轻量级聚合通信库

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

聚合通信操作在分布式训练中应用广泛,特别是AllReduce操作被用于同步每个节点上模型的参数。为了获得更高的精度,数据集和神经网络模型的规模越来越大,节点间的通信开销在训练过程中占比很大且已成为训练加速的瓶颈。目前已有许多针对这一场景下聚合操作的优化工作,但都聚焦于操作的合理使用而不是其本身,例如通信调度和梯度量化。事实上,聚合操作与分布式训练应用之间存在许多不相匹配的地方,比如后者不要求所有节点同时同步梯度,而前者却需要。这使得针对分布式训练中聚合通信的研究是有必要的。然而发现目前分布式训练中的通信框架结构复杂、代码量大,对开展相关工作来说是不合适的。为了解决这一问题,设计并实现了一个轻量级的聚合通信库,以方便分析和改进分布式训练中的聚合操作。它支持主流框架和网络,并且架构简洁。这便于研究人员实现自定义通信操作,并能应用到主流的实验环境中以产生较广的影响。在多种情况下分别通过纯聚合操作和分布式深度学习应用来评估所设计的聚合通信库。实验结果显示,该库可以实现与MPI相近的性能,可以作为分析和研究分布式训练中梯度同步的聚合通信库。

著录项

来源
《计算机工程与科学》 |2022年第7期|1191-1198|共8页
作者
王笑雨; 董德尊;
展开▼
作者单位

国防科技大学计算机学院;

展开▼
原文格式 PDF
正文语种 chi
中图分类计算机软件;
关键词
分布式深度学习; 神经网络; 聚合通信; Gloo; UCX;

相似文献

中文文献
外文文献
专利

1. N3LDG:一种轻量级自然语言处理深度学习库 [J] . 王潜升 ,余南 ,张梅山 . 北京大学学报：自然科学版 . 2019,第1期
2. 一种面向分布式深度学习系统的资源及批尺寸协同配置方法 [J] . 梁毅 ,丁振兴 ,赵昱 . 计算机学报 . 2022,第2期
3. 一种面向分布式数据库的多并发OLAP型查询性能预测方法 [J] . 刘骥超 ,杜建华 ,谢寒生 . 计算机测量与控制 . 2022,第10期
4. 一种面向海量分布式数据库的游标构造方法 [J] . 刘文洁 ,陈震 ,李战怀 . 西北工业大学学报 . 2017,第004期
5. 一种面向海量分布式数据库的嵌套查询策略 [J] . 裴欧亚 ,刘文洁 ,李战怀 . 华东师范大学学报（自然科学版） . 2014,第005期
6. 一种面向现场传感器网络的轻量级通信协议 [C] . 胡华 ,黄菁 ,邢建国 . 2007年首届仪表、自动化与先进集成技术大会 . 2007
7. 一种面向深度学习的分布式作业平台 [A] . 张夏 . 2021

一种面向分布式深度学习的轻量级聚合通信库

摘要

著录项

相似文献

相关主题

期刊订阅