首页> 中国专利> 一种基于参数服务器异步更新Spark MLlib中线性分类模型参数的方法

一种基于参数服务器异步更新Spark MLlib中线性分类模型参数的方法

页面导航

摘要
著录项
法律信息
相似文献

摘要

本发明公开了一种基于参数服务器异步更新Spark MLlib中线性分类模型参数的方法,结合Spark和参数服务器的特征，首先设置和分配Spark和参数服务器启动资源，然后启动服务器应用程序和Spark应用程序来执行相关操作。在服务器应用程序中，首先初始化执行环境和相关参数，然后接收来自Spark应用程序中Executor计算的梯度信息来更新模型参数。本发明通过引入参数服务器的方式，将线性分类模型参数划分到不同的服务节点中，并通过设置时钟的方式实现异步传输，服务节点只需获取部分工作节点的梯度信息即可对模型参数进行更新。本发明通过添加服务器节点来减轻Spark中Driver节点的计算负载，并通过异步传输方式来降低集群中慢节点对算法性能的影响。

著录项

公开/公告号CN113342313A

专利类型发明专利
公开/公告日2021-09-03

原文格式PDF
申请/专利权人上海大学;
展开▼

申请/专利号CN202110560289.2
发明设计人李中正;王冬霞;
展开▼

申请日2021-05-21
分类号G06F8/20(20180101);G06F8/70(20180101);G06N20/00(20190101);
代理机构31205 上海上大专利事务所(普通合伙);
代理人何文欣
地址 200444 上海市宝山区上大路99号
入库时间 2023-06-19 12:27:31

法律信息

法律状态公告日

法律状态信息

法律状态
2023-04-18

授权

发明专利权授予

相似文献

专利
中文文献
外文文献

1. 一种基于参数服务器异步更新Spark MLlib中线性分类模型参数的方法 [P] . 中国专利： CN113342313A . 2021-09-03
2. 一种参数服务器中全局参数的更新方法 [P] . 中国专利： CN109032630A . 2018-12-18
3. Acoustic model parameter learning method and that device which are based on the linear taxonomic model, phoneme weight equipped limited state transmitter formation method and that device, those [P] . 日本专利： JP5385810B2 . 2014-01-08

机译：基于线性分类模型的声学模型参数学习方法和装置，配备音素权重的有限状态发射机的形成方法和装置，
4. ACOUSTIC MODEL PARAMETER LEARNING METHOD BASED ON LINEAR CLASSIFICATION MODEL AND DEVICE, METHOD AND DEVICE FOR CREATING FINITE STATE CONVERTER WITH PHONEME WEIGHTING, AND PROGRAM THEREFOR [P] . 日本专利： JP2011164124A . 2011-08-25

机译：基于线性分类模型和设备的声学模型参数学习方法，用语音加权创建有限状态转换器的方法和设备及其程序设计
5. A system and method for estimating an engine operating parameter using a physics-based model and adjusting the estimated engine operating parameters using an experimental model [P] . 德国专利： DE102016116852A1 . 2017-03-23

机译：一种使用基于物理学的模型估计发动机运行参数并使用实验模型调整估计的发动机运行参数的系统和方法