一种基于MapReduce的局部相似自连接算法

王晓霞; 孙德才

首页> 中文期刊> 《计算机技术与发展》 >一种基于MapReduce的局部相似自连接算法

一种基于MapReduce的局部相似自连接算法

开具论文收录证明 >>

期刊封面封底目录下载 >>

文献代查 >>

页面导航

摘要
著录项
相似文献
相关主题

摘要

cqvip:局部相似自连接能在给定的单个数据集中快速找到所有满足相似要求的记录对,它在数据清洗、基因序列比对和剽窃检测等领域都有广泛的应用。为研究基于单个字符串集的并行自连接算法,提出了一种基于MapReduce框架的自连接算法,解决了局部相似自连接的定位问题。该算法采用了过滤验证二阶段模式;在过滤阶段,采用无关对过滤和冗余对过滤抛弃了大量的无效字符串对;在验证阶段,通过生成小编号串内容保留项解决了字符串编号和内容的快速配对问题。实验结果显示,该算法在大数据集上的自连接速度一直快于当前的优秀算法LS-Join,同时非常适合动态编辑距离参数环境下的局部相似自连接操作。实验结果也证明,该算法中提出的相关技术有效地提高了局部相似自连接的速度。

著录项

来源
《计算机技术与发展》 |2020年第2期|88-93|共6页
作者
王晓霞; 孙德才;
展开▼
作者单位

渤海大学信息科学与技术学院辽宁锦州 121013;

展开▼
原文格式 PDF
正文语种 chi
中图分类信息处理（信息加工）;
关键词
相似连接; 自连接; MapReduce; 数据清洗; 大数据;

相似文献

中文文献
外文文献
专利

1. 一种基于MapReduce的大数据集相似自连接算法 [J] . 孙德才 ,王晓霞 . 计算机科学 . 2017,第005期
2. 基于MapReduce的相似自连接新方法：过滤和内切圆算法 [J] . 鲍广慧 ,张兆功 ,李建中 . 计算机研究与发展 . 2016,第012期
3. BMGSJoin：一种基于MapReduce的图相似度连接算法 [J] . 陈一帆 ,赵翔 ,何培俊 . 模式识别与人工智能 . 2015,第005期
4. 一种基于节点局部相似性的复杂网络链路预测算法 [J] . 白桦 ,马云龙 ,毕玉 . 计算机应用与软件 . 2020,第005期
5. 一种基于节点局部相似度的标签传播算法 [J] . 孙美琪 ,薛涛 ,梁家瑞 . 西安工程大学学报 . 2020,第005期
6. 一种MapReduce架构下基于遗传算法的K-Medoids聚类 [C] . Han Laiming ,韩来明 ,Gong Xiujun . 2015全国高性能计算学术年会 . 2015
7. 基于MapReduce的海量数据集的相似自连接算法的设计与实现 [A] . 鲍广慧 . 2016

一种基于MapReduce的局部相似自连接算法

摘要

著录项

相似文献

相关主题

期刊订阅