首页> 中国专利> 一种基于局部性表达函数优化MapReduce框架的运行效率的方法和装置

一种基于局部性表达函数优化MapReduce框架的运行效率的方法和装置

页面导航

摘要
著录项
相似文献

摘要

本发明涉及一种基于局部性表达函数优化MapReduce框架的运行效率的方法和装置。该方法在Map阶段之前建立局部性表达函数，局部性表达函数通过实数值的大小关系表达局部性；在Map阶段根据计算出的局部性表达函数的值进行数据的加载，将不同数据按照局部性表达函数的数值区间分配给不同的计算节点来进行运算。在多轮MapReduce任务中，将局部性表达函数的值作为中间结果附带在Map和Reduce阶段，并在各个计算节点之间传递，以迭代计算局部性表达函数的值，在达到设定的收敛阈值之后，按照局部性表达函数的数值区间进行数据的重新分布。本发明的目的是通过局部性表达函数优化MapReduce框架的运行效率。

著录项

公开/公告号CN108153585B

专利类型发明专利
公开/公告日2021-08-20

原文格式PDF
申请/专利权人北京大学;
展开▼

申请/专利号CN201711249478.8
发明设计人汪小林;潘成;陈一峯;罗英伟;
展开▼

申请日2017-12-01
分类号G06F9/48(20060101);
代理机构11200 北京君尚知识产权代理有限公司;
代理人邱晓锋
地址 100871 北京市海淀区颐和园路5号北京大学
入库时间 2022-08-23 12:20:52

相似文献

专利
中文文献
外文文献

1. 一种基于局部性表达函数优化MapReduce框架的运行效率的方法和装置 [P] . 中国专利： CN108153585B . 2021.08.20
2. 一种基于局部性表达函数优化MapReduce框架的运行效率的方法和装置 [P] . 中国专利： CN108153585A . 2018-06-12
3. A METHOD FOR REVERSIBLE DATA HIDING BASED ON PIXEL VALUE PREDICTION ACCORDING TO SPATIAL LOCALITY AND SURFACE CHARACTERISTICS A METHOD FOR REVERSIBLE WATERMARKING USING IT AND AN APPRATUS FOR REVERSIBLE DATA HIDING REVERSIBLE WATER MARKING [P] . 韩国专利： KR101875401B1 . 2018-07-06

机译：基于空间局部性和表面特征的基于像素值预测的可逆数据隐藏方法一种可逆水印使用的方法及一种用于可逆数据隐藏的方法
4. A METHOD FOR REVERSIBLE DATA HIDING BASED ON PIXEL VALUE PREDICTION ACCORDING TO SPATIAL LOCALITY AND SURFACE CHARACTERISTICS A METHOD FOR REVERSIBLE WATERMARKING USING IT AND AN APPRATUS FOR REVERSIBLE DATA HIDING REVERSIBLE WATER MARKING [P] . 韩国专利： KR20180022450A . 2018-03-06

机译：基于空间局部性和表面特征的基于像素值预测的可逆数据隐藏方法一种可逆水印使用的方法及一种用于可逆数据隐藏的方法
5. SMART TAGGING APPARATUS BASED IN A LOCAL AREA COMMUNICATION AND A LOCATION AWARE METHOD THEREOF CAPABLE OF FORMING A LOCATION BASED SOCIAL NETWORK [P] . 韩国专利： KR20120081448A . 2012-07-19

机译：基于局部通信的智能标记装置及一种能够形成基于位置的社交网络的位置预警方法