|
|||||
|
|
| Spark框架下混合SACS-GS的大数据清洗方法 | |
| 作者姓名： | 何翼 田华 |
| 作者单位： | 铜仁学院大数据学院 |
| 摘 要： | 提出一种Spark框架下自适应布谷鸟搜索(self-adaptive cuckoo search,SACS)和引力搜索(Gravitational Search,GS)算法的混合SACS-GS方法,并给出了Spark框架下SACS-GS方法大数据清洗方案.首先提出自适应布谷鸟算法,给出两种改进的搜索策略,通过线性递减概率规则将两种策略结合起来,形成自适应搜索策略,避免种群早熟和提高收敛速度,然后引入自适应发现概率,提高种群的多样性. SACS算法混合GS算法得到SACS-GS方法,该方法通过引力搜索算法的局部搜索能力来确定自适应布谷鸟算法的全局范围,并找到使卵生长和成熟的最佳解决方案,有效地识别大数据中的错误数据.实验结果表明, SACS-GS方法具有较高的大数据异常检测精度,且精度高于其他现有方法,处理时间低于其他方法. |
| 关 键 词： | 大数据清洗 Spark框架 自适应布谷鸟算法 引力搜索算法 异常检测 |
| 本文献已被 CNKI 等数据库收录！ | |