首页> 中文学位 >实时社交媒体分析系统的设计与实现
【6h】

实时社交媒体分析系统的设计与实现

代理获取

目录

封面

中文摘要

英文摘要

目录

第1章 绪论

1.1 课题名称和背景及研究目的和意义

1.2 与本课题相关的国外研究状况

1.3 本文的主要研究内容

第2章 实时社交媒体分析需求与相关技术

2.1 应用场景分析

2.2 需求分析

2.3 相关技术

2.4本章小结

第3章 实时社交媒体分析系统的设计

3.1 系统总体设计

3.2模块划分和各模块设计

3.3 本章小结

第4章 实时社交媒体分析系统的实现

4.1 Twitte r Stre aming API适配模块

4.2 流计算和短文本分析模块

4.3 网络结构分析模块

4.4 数据维护模块

4.5 内容推送模块

4.6 配置模块

4.7 日志模块

4.8 本章小结

第5章 实时社交媒体分析系统的测试

5.1 系统测试目标与测试方法

5.2 测试环境说明

5.3 系统功能测试

5.4 系统性能测试

5.5 测试结果分析

5.6 本章小结

结论

参考文献

声明

致谢

个人简历

展开▼

摘要

随着国际互联网络的进一步普及以及网络之上所承载的信息量的进一步丰富,互联网成为新的媒体已经是不争的事实,众多社交网站的访问量已不亚于传统媒体,以脸谱网和推特网为代表的社交网站已经成为了互联网信息传播的新势力,它们散发出的巨大能量使得传播领域出现了一个新的名词——社交媒体。同时,由社交媒体产生的社交媒体数据也蕴含着巨大的信息。本文构建了一个以Twitter网站数据为基础,对用户的社交媒体数据进行统计分析的实时社交媒体分析系统。该分析系统以Twitter Storm流计算系统为平台,利用Twitter API和Python NLTK等技术,实现对社交媒体数据的关键字提取和情感分析等任务,为用户提供数据推荐。
  首先,根据系统的应用场景和需求定义确定技术方案,选择Twitter Storm流计算系统实现对社交媒体数据的快速处理,保证系统持续计算和实时性;并选择Python NLTK解决关键字抽取和情感分析任务。
  然后根据需求定义将系统划分为Twitter Streaming API适配模块、流计算和短文本分析模块、数据维护模块、网络结构分析模块、内容推送模块以及配置和日志模块,前五个模块主要用于实现系统功能目标,而配置和日志模块提高了系统的可用性。流计算和短文本分析模块包括Twitter Storm系统执行逻辑和Python NLTK文本分析逻辑,利用Twitter Storm系统对流数据的处理优势实现对社交媒体流数据的快速处理,利用Python NLTK抽取Twitter数据的关键字,使用朴素贝叶斯分离器实现对社交媒体数据的情感分析,朴素贝叶斯分类器以其简单高效的计算模式和相对合理的计算结果,能够提高系统的计算质量和响应时间;网络结构分析模块利用节点相似度和Q值算法实现对用户群的社群划分工作,节点相似度计算利用矩阵运算得到所有节点的相似度拓扑序列,而Q值算法利用相似度计算结果分析得到相对合理的社群划分方案;系统配置利用Zookeeper提供的锁机制保证配置完整性。
  最后,进行模块和系统测试,对系统各个模块和整体工作效果进行功能测试和性能测试。测试结果表明各模块满足需求定义的要求,系统响应速度和运行效果满足设计目标。

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
代理获取

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号