• 主题
高级搜索  >
历史搜索 清空历史
首页> 中文期刊> 《北京信息科技大学学报（自然科学版）》 >基于分布式LDA-Spark的微博用户兴趣挖掘

基于分布式LDA-Spark的微博用户兴趣挖掘

         
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

为了挖掘海量微博数据中潜在的语意信息,通过Gibbs采样方式,并结合Spark分布式计算框架,实现了一种LDA主题模型并行化的算法.该算法针对微博数据的特点,将3层贝叶斯概率模型改为用户-主题-词模型;为了满足LDA的并行化处理需求,采用了一种无冲突的数据分割方法将数据集分成了P×P个数据块,将分割好的数据块重新排序整合成P个子集,保证每个子集中均包含P个数据块,对每个子集进行并行采样.从困惑度、收敛速度及加速比3个方面对改进算法与标准LDA算法进行了对比实验,困惑度2种算法的结果接近;在收敛速度方面,改进算法较标准LDA慢,但在实际应用中对效率没有太大影响;加速比实验中,总词数为100万、work节点为8时,改进算法所用时间是标准LDA的16.78％.实验结果表明,改进算法能得到较为精确的模型,并在大数据环境下可以取得良好的加速效果.

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号