| 基于Spark的改进K-means快速聚类算法 |
| |
| 引用本文： | 徐健锐,詹永照.基于Spark的改进K-means快速聚类算法[J].江苏大学学报(自然科学版),2018(3). |
| |
| 作者姓名： | 徐健锐 詹永照 |
| |
| 作者单位： | 江苏大学计算机科学与通信工程学院;江苏联合职业技术学院镇江分院 |
| |
| 摘 要： | 针对大数据环境下聚类算法所处理数据规模越来越大、对算法时效性要求越来越高的问题,提出一种基于分布式计算框架Spark的改进K-means快速聚类算法Spark-KM.首先针对K-means算法因初始聚类点选择不当导致局部最优、迭代次数增加而无法适应大规模数据聚类的问题,通过预抽样和最大最小距离相结合对K-means算法进行改进;然后对原始数据进行矩阵分割,并存储在不同的Spark计算框架的结点当中;最后根据改进的K-means算法,结合分布式矩阵计算和Spark平台进行大数据快速聚类.结果表明,文中算法可以有效减少结点间的数据移动次数,并具有良好的可扩展性.通过该算法在单机环境和集群环境的对比测试,说明该算法适用于大规模数据环境,且算法性能与数据规模成正比,集群环境较单机环境也具有很大的性能提高.
|
| 本文献已被 CNKI 等数据库收录！ |
|
