首页> 中文会议>CERNET(中国教育和科研计算机网)第二十二届学术年会 >基于Data Thinker技术的大规模实时网络日志分析

基于Data Thinker技术的大规模实时网络日志分析

摘要

日志分析作为数据中心系统和在线服务运维中重要的技术手段,常用于事件追溯、性能优化、入侵检测、用户行为统计等任务中.传统的日志分析手段,通常在单个或少数计算机上通过文件读写和文本解析命令组合完成,其并行程度有限.随着数据量的增长,传统手段的性能瓶颈日益突出.设计和实现了一个并行全文检索计算框架Greppy,使得若干节点在同一命名空间下可对TB级文本日志数据进行关键字检索并达到秒级响应时间,同时具有接近线性的扩展能力.Greppy使用了Data Thinker技术提供内存中计算能力,并融合内外存以提高可扩展性和性价比.通过性能测量和比较,验证了Greppy系统在数据量和节点数同步增长时能保持常数数据检索时间,而随着节点数增加可获得接近线性的加速比.

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号