首页> 中国专利> 训练深度神经网络时的利用压缩权重的直接计算

训练深度神经网络时的利用压缩权重的直接计算

页面导航

摘要
著录项
法律信息
相似文献

摘要

包括参数服务器的分布式训练系统被配置为根据聚类算法来压缩权重度量，然后权重矩阵的压缩表示可以被分发给训练工作方。压缩表示可以包括矩心索引矩阵和矩心表，其中矩心索引矩阵的每个元素对应于对应的权重矩阵的元素并且包括对矩心表的索引，并且其中矩心表的每个元素包括矩心值。在另外的示例方面，通过执行聚集缩减相加操作，该聚集缩减相加操作累加与同一矩心值相对应的训练数据矩阵的所有元素以生成部分总和，将每个部分总和乘以其对应矩心值，并且对生成乘积求和，训练工作方可以直接从权重矩阵和训练数据矩阵的压缩表示来计算激活结果。

著录项

公开/公告号CN114008630A

专利类型发明专利
公开/公告日2022-02-01

原文格式PDF
申请/专利权人微软技术许可有限责任公司;
展开▼

申请/专利号CN202080029838.7
发明设计人奚锦文;B·普蒂佩迪;
展开▼

申请日2020-03-30
分类号G06N3/04(20060101);G06N3/063(20060101);G06N3/08(20060101);
代理机构11256 北京市金杜律师事务所;
代理人马明月
地址美国华盛顿州
入库时间 2023-06-19 14:05:00

法律信息

法律状态公告日

法律状态信息

法律状态
2022-02-01

公开

国际专利申请公布

相似文献

专利
中文文献
外文文献

1. 训练深度神经网络时的利用压缩权重的直接计算 [P] . 中国专利： CN114008630A . 2022-02-01
2. 一种基于权重归一化的深度神经网络压缩方法 [P] . 中国专利： CN110276451A . 2019-09-24
3. Exploiting sparseness in training deep neural networks [P] . 美国专利： US8700552B2 . 2014-04-15

机译：在训练深度神经网络时利用稀疏性
4. DIRECT COMPUTATION WITH COMPRESSED WEIGHT IN TRAINING DEEP NEURAL NETWORK [P] . 美国专利： US2020342288A1 . 2020-10-29

机译：训练深层神经网络的压缩直接计算
5. DIRECT COMPUTATION WITH COMPRESSED WEIGHT IN TRAINING DEEP NEURAL NETWORK [P] . 世界知识产权组织专利： WO2020219229A1 . 2020-10-29

机译：训练深层神经网络的压缩直接计算