首页> 中文学位 >基于Hadoop的企业知识管理系统构建与关键技术研究
【6h】

基于Hadoop的企业知识管理系统构建与关键技术研究

代理获取

目录

声明

第1章 绪论

1.1 研究背景和意义

1.1.1 研究背景

1.1.2 研究意义

1.2 国内外研究现状

1.2.1 知识管理相关研究

1.2.2 知识管理系统相关研究

1.2.3 研究评述

1.3 研究内容、技术路线及研究方法

1.3.1 研究的内容框架

1.3.2 论文的技术路线

1.3.3 研究方法

1.3.4 论文创新点

1.4 本章小结

第2章 相关理论与技术

2.1 知识管理的主要理论

2.1.1 知识管理

2.1.2 知识管理系统

2.2 数据挖掘与知识发现相关技术

2.2.1 文本挖掘

2.2.2 推荐系统技术

2.2.3 知识图谱

2.3 大数据相关技术

2.3.1 大数据平台Hadoop

2.3.2 大数据平台Spark

2.3.3 分布式数据库HBase

2.3.4 CDH大数据平台

2.4 本章小结

第3章 基于Hadoop的企业知识管理系统构建

3.1 传统的知识管理系统存在的问题

3.1.1知识文档难以个性化推荐

3.1.2 人工处理海量文本知识

3.2 基于Hadoop的企业知识管理系统的优势

3.2.1 满足用户个性化的需求

3.2.2 提升知识存储与分析的性能

3.2.3 实现面向管理决策的知识发现

3.2.4 提高系统的可扩展性

3.3 基于Hadoop的企业知识管理框架模型

3.3.1 知识创造

3.3.2 知识存储

3.3.3 知识集成

3.3.4 知识创新

3.4 基于Hadoop的企业知识管理系统设计

3.4.1 技术支撑层

3.4.2 应用层

3.5 本章小结

第4章 企业知识管理系统文档推荐模块仿真研究

4.1文档推荐模块设计思路

4.2 文档推荐引擎设计

4.2.1 文档推荐流程

4.2.2 文档推荐流程分析

4.3 文档推荐算法研究

4.3.1 基于用户的协同过滤算法

4.3.2 基于交替最小二乘的隐语义模型

4.3.3 文档推荐算法的优化与改进

4.4 实验分析

4.4.1 实验环境搭建

4.4.2 基于MapReduce的协同过滤算法实现

4.4.3 基于Spark的隐语义模型算法实现

4.4.4 结果分析

4.5 本章小结

第5章 企业知识管理系统文本挖掘模块仿真研究

5.1文本挖掘模块设计思路

5.2 文本挖掘模块设计

5.2.1 文本挖掘流程

5.2.2 文本挖掘流程分析

5.3 文本挖掘模块算法研究

5.3.1 LDA主题模型算法

5.3.2 K均值算法

5.3.3 文本挖掘算法优化

5.4 实验分析

5.4.1 基于Spark的LDA主题模型算法实现

5.4.2 Spark平台下基于LDA的k-means算法实现

5.4.3 结果分析

5.5 本章小结

总结与展望

本文总结

研究展望

参考文献

附录

攻读硕士学位期间发表的学术论文及参加的科研项目

致谢

展开▼

摘要

随着大数据时代的到来,大规模生产、分析和应用数据成为了新的发展趋势。随着企业产生的半结构化和非结构化数据逐年增加,如何存储和分析数据、如何挖掘和共享知识,成为了面临的主要问题。知识管理系统有助于建立开放和协作的生态系统、利用内外部知识流,从而提高创新能力。然而,对于PB级别的非结构化数据而言,现有的知识管理系统仅靠传统的数据库技术已不能满足用户多样化的需求。解决大数据环境下的知识存储、知识共享、知识挖掘、知识检索与推荐的问题,企业需要构建一种基于大数据技术的知识管理系统,从而支持知识创新和知识应用。 在大数据技术的背景下,通过对知识管理系统架构再思考,结合Hadoop生态圈的大数据技术,本文构建了更加个性化和智能化的企业知识管理系统,并对知识文档推荐模块及算法实现、文本挖掘模块设计及算法实现等关键技术进行了研究,主要内容包括: 1.构建基于Hadoop的企业知识管理框架模型。通过研究Hadoop生态的大数据技术,分析了传统知识管理系统存在的问题,阐述了基于Hadoop的知识管理系统的优势,构建了基于Hadoop的企业知识管理框架模型,设计了基于Hadoop的知识管理系统的逻辑架构,并对知识管理模型和知识管理系统的逻辑架构进行了剖析。 2.知识管理系统的文档推荐模块仿真研究。在基于Hadoop的企业知识管理系统框架基础上,设计了文档推荐模块,并利用基于MapReduce的协同过滤算法进行了仿真实验,针对该算法的缺点,在Spark平台上实现了基于隐语义模型的推荐算法,解决了推荐的冷启动与扩展性问题,使得文档推荐更加完善。 3.知识管理系统的文本挖掘模块仿真研究。在基于Hadoop的企业知识管理系统框架基础上,设计了文本挖掘模块,利用基于Spark的LDA主题模型算法进行了仿真实验,分析文本数据集的主题-单词概率分布及文本-主题概率分布,从而估计出文本聚类中心,克服了传统K-means算法的缺陷,扩展了文本聚类的思路。 通过基于Hadoop的企业知识管理框架模型构建及文档推荐模块、文本挖掘模块等关键技术的设计与实现,有效提高企业海量数据的存储与处理的能力,加强企业内部面向管理决策的知识发现,实现知识管理的个性化和智能化,同时满足了企业知识管理系统的扩展性和经济性的需求。

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
代理获取

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号