MapReduce模型下增量重复数据检测方法 |
| |
引用本文: | 董富森,杨波,马坤,王文华.MapReduce模型下增量重复数据检测方法[J].济南大学学报(自然科学版),2015(4):241-245. |
| |
作者姓名: | 董富森 杨波 马坤 王文华 |
| |
作者单位: | 济南大学山东省网络环境智能计算技术重点实验室 |
| |
基金项目: | 国家自然科学基金(61173078) |
| |
摘 要: | 针对重复数据检测过程中增量数据重复值检测问题进行分析,在基本近邻排序算法基础上,提出增量近邻排序比较算法。该算法通过跳动窗口形式比较相邻数据,大大减少了数据比较次数;同时引入MapReduce模型对该算法加以改进以提高其海量数据处理的能力。实验表明,改进后的增量近邻排序比较算法在保证检则结果准确的前提下,能够有效提高增量数据重复检测的速度,并且算法具有较高的稳定性,更适应海量数据环境中重复数据检测任务。
|
关 键 词: | 增量重复数据检测 跳动窗口 MapReduce模型 |
本文献已被 CNKI 等数据库收录! |
|