首页> 中国专利> 基于改进的Ring All Reduce算法的面向深度学习的GPU并行方法

基于改进的Ring All Reduce算法的面向深度学习的GPU并行方法

页面导航

摘要
著录项
相似文献

摘要

本发明公开了一种基于改进的RingAllReduce算法的面向深度学习的GPU并行方法,用于提升数据并行多设备间传输效率,缓解传统参数服务器并行结构带宽损耗问题；另外,利用传统深度学习主干网络包含权重参数较全连接层小,同步开销小而全连接层权重庞大梯度传输开销过高这一特点,将主干网络进行数据并行处理,全连接层采用模型并行处理,解决了数据并行模式难以支撑大规模网络参数及加速延缓的问题。相比其他方法,本方法最终测试与训练精度差异不大,但在加速效果上衰减幅度更小,效果更好,实验也发现,相比Cifar10等类别较少的数据集,该方法在miniImageNet上存在更大的加速优势,因此更适用于海量数据并行训练。

著录项

公开/公告号CN113961337A

专利类型发明专利
公开/公告日2022-01-21

原文格式PDF
申请/专利权人上海海洋大学;
展开▼

申请/专利号CN202111073054.7
发明设计人韩彦岭;沈思扬;曹守启;张云;洪中华;周汝雁;王静;杨树瑚;
展开▼

申请日2021-09-14
分类号G06F9/50(20060101);G06K9/62(20220101);G06N3/04(20060101);G06N3/08(20060101);
代理机构32218 南京天华专利代理有限责任公司;
代理人张磊
地址 200090 上海市杨浦区军工路318号
入库时间 2023-06-19 13:58:51

相似文献

专利
中文文献
外文文献

1. 基于改进的Ring All Reduce算法的面向深度学习的GPU并行方法 [P] . 中国专利： CN113961337A . 2022-01-21
2. 一种基于GPU的多变量密码算法并行化加速方法 [P] . 中国专利： CN108510429B . 2021.11.02
3. GPGPU GPGPU-BASED SATELLITE IMAGE ALGORITHM PARALLEL OPTIMIZATION METHOD [P] . 韩国专利： KR20190091972A . 2019-08-07

机译： GPGPU基于GPGPU的卫星图像算法并行优化方法
4. GPU BASED IMPLEMENTATION OF SENSE (A PARALLEL MRI ALGORITHM) USING LEFT INVERSE METHOD [P] . 美国专利： US2017371020A1 . 2017-12-28

机译：基于左逆方法的基于GPU的感知实现（并行MRI算法）
5. GPU based implementation of sense (a parallel MRI algorithm) using left inverse method [P] . 美国专利： US10598753B2 . 2020-03-24

机译：使用左逆方法基于GPU的感知实现（并行MRI算法）