基于Spark的流程化机器学习分析方法

赵玲玲; 刘杰; 王伟

首页> 中文期刊> 《计算机系统应用》 >基于Spark的流程化机器学习分析方法

基于Spark的流程化机器学习分析方法

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

Spark通过使用内存分布数据集,更加适合负载数据挖掘与机器学习等需要大量迭代的工作.但是数据分析师直接使用Spark进行开发十分复杂,包括scala学习门槛高,代码优化与系统部署需要丰富的经验,同时代码的复用度低导致重复工作繁多.本文设计并实现了一种基于Spark的可视化流程式机器学习的方法,一方面设计组件模型来刻画机器学习的基本步骤,包括数据预处理、特征处理、模型训练及验证评估,另一方面提供可视化的流程建模工具,支持分析者设计机器学习流程,由工具自动翻译为Spark平台代码高效执行.本工具可以极大的提高Spark平台机器学习应用开发的效率.论文介绍了工具的方法理论和关键技术,并通过案例表明工具的有效性.

著录项

来源
《计算机系统应用》 |2016年第12期|162-168|共7页
作者
赵玲玲; 刘杰; 王伟;
展开▼
作者单位

中国科学院大学;

北京100190;

中国科学院软件研究所;

北京100190;

中国科学院软件研究所;

北京100190;

中国科学院软件研究所;

北京100190;

展开▼
原文格式 PDF
正文语种 chi
中图分类
关键词
机器学习; 数据分析; 分布式; 大数据; Spark;

相似文献

中文文献
外文文献
专利

1. 基于Spark架构的机器学习平台设计与研究 [J] . 宋国兴 ,张家铭 ,张清伟 . 信息技术与信息化 . 2020,第005期
2. 基于Apache Spark机器学习的生态安全格局构建方法 [J] . 袁少雄 ,陈军 ,宫清华 . 生态学报 . 2019,第013期
3. 基于Spark机器学习实现医疗保险关联频繁模式的欺诈行为挖掘技术探讨 [J] . 刘鹏 . 中国数字医学 . 2019,第005期
4. 一种基于机器学习的Spark容器集群性能提升方法 [J] . 田春岐 ,李静 ,王伟 . 信息网络安全 . 2019,第004期
5. 基于Spark的机器学习Web服务引擎设计 [J] . 夏冉 . 指挥控制与仿真 . 2018,第001期
6. 基于LTE语音业务异常事件的流程化分析方法 [C] . 王文博 ,常静 ,柏杨 . 中国移动通信集团设计院第20届新技术论坛 . 2014
7. 基于Spark机器学习的服饰电商推荐系统研究与实现 [A] . 袁龙龙 . 2017

基于Spark的流程化机器学习分析方法

摘要

著录项

相似文献

相关主题

期刊订阅