首页> 中文学位 >基于Spark大数据处理的协同过滤推荐系统研究与实现
【6h】

基于Spark大数据处理的协同过滤推荐系统研究与实现

代理获取

目录

声明

第一章 绪论

1.1 论文研究背景及意义

1.2 国内外研究现状

1.3 论文的主要研究内容

1.4 论文组织情况

第二章 相关知识概述

2.1 协同过滤算法的分类

2.2 推荐系统评价指标

2.3 大数据处理技术

2.4 本章小结

第三章 改进的协同过滤推荐算法

3.1 基于项目相似度传递的协同推荐算法

3.2 用户兴趣变化隐语义模型

3.3 实验分析

3.4 本章小结

第四章 基于Spark大数据处理推荐引擎系统的设计

4.1 推荐引擎系统总体架构

4.2 核心模块设计

4.3 大数据推荐系统引擎设计

4.4 本章小结

第五章 电影推荐系统实现

5.1 数据预处理

5.2 推荐引擎核心算法实现

5.3 混合推荐引擎实现

5.4 系统实现情况

5.5 本章小结

第六章 系统测试与运行

6.1 系统测试方案

6.2 系统功能测试

6.3 系统性能测试

6.4系统运行

6.5本章小结

第七章 总结与展望

7.1 总结

7.2 展望

参考文献

致谢

展开▼

摘要

现代社会信息越来越庞杂,人们生活在一个信息过载的时代,通过某种方式为用户过滤掉无用信息是研究者不断追求的目标。推荐系统就是用来满足用户需求或者服务的系统,它能够满足用户个性化的需求,在用户获取和查询信息中占据着重要的地位。但是推荐系统在发展过程中,也存在一系列的难题需要解决,例如业务调整频繁,系统响应速度慢,推荐结果准确度低下以及海量数据的处理与分析时较慢等问题。为了解决以上问题,需要对推荐系统不断的研究改进。一个良好的个性化推荐系统一方面需要拥有较好的扩展性,能够随着业务需求的不断变化对系统进行调整和更新;另一方面还需要采用大数据处理相关技术来解决推荐过程的效率问题。目前Hadoop及Spark分布式处理平台是解决大数据处理的重要方案,通过分布式的计算与处理实现对海量数据的管理与分析,本文的研究正是基于这些方案。
  推荐系统现在面临的主要问题是数据的稀疏性,它也是导致推荐系统结果不准确的重要原因。随着数据量的不断增加,对于数据的处理过程也变得更为复杂。为了更加有效地解决以上问题,本文设计并完成了一种基于Spark框架的推荐系统。在文中对本系统的总体结构和具体算法进行了介绍,并对不同算法的优势和缺点进行了分析,最终选择了基于用户偏好实现个性化推荐的方法。论文首先描述了课题研究的背景及国内外研究现状,并分析了论文的主要内容;随后分析了协同过滤算法的相关情况和Spark大数据处理框架的相关技术;课题分别从相似度传递和语义分析算法两方面来改善推荐效果;为了做到“实时”推荐,提升推荐速度,采用了Spark大数据处理技术;在分析设计相关算法之后,本文的系统设计从系统总体框架、推荐引擎总体框架和推荐引擎设计三个部分予以分析设计实现;为了证明推荐算法的有效性,文中进行了大量的试验和测试。最后实现了一个利用本文算法的电影网站。
  实验表明,本文的协同过滤推荐算法具有良好的推荐效果,由于采用了Spark大数据处理框架,速度优势明显,此外本课题的推荐引擎在电影网站的应用取得了一定的成功,该研究具有一定的理论价值及现实意义。

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
代理获取

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号