首页> 中国专利> 一种基于birch聚类的海量文本聚类方法

一种基于birch聚类的海量文本聚类方法

摘要

本发明涉及机器学习技术领域,提出一种基于birch聚类的海量文本聚类方法。针对海量文本的处理,使用改进的birch聚类算法建立哈希聚类特征树CF Tree,当初始CF Tree构建完成后,通过提升阈值T来重建CF树以吸收更多的异常样本值,直到异常值磁盘不再溢出;在对文本进行切词和去停用词的基础上,使用加权技术TF‑IDF计算关键词权重,并选取其中权重值较大的部分作为文本特征通过局部敏感哈希算法进行特征的降维,去除了文本中复杂的冗余信息,提取了能代表文本的关键信息,降低了文本特征的维度,提升了聚类的速度;采用了启发式的阈值提升模式,使得算法更好的适应不同文本的需求,降低人为设置超参数导致的聚类效果较差情况发生的概率。

著录项

  • 公开/公告号CN114266249A

    专利类型发明专利

  • 公开/公告日2022-04-01

    原文格式PDF

  • 申请/专利权人 东北大学;

    申请/专利号CN202111586056.6

  • 申请日2021-12-20

  • 分类号G06F40/289(20200101);G06F16/35(20190101);

  • 代理机构21109 沈阳东大知识产权代理有限公司;

  • 代理人李在川

  • 地址 110819 辽宁省沈阳市和平区文化路3号巷11号

  • 入库时间 2023-06-19 14:43:46

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2022-04-01

    公开

    发明专利申请公布

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号