基于Hadoop云平台的空间属性数据挖掘技术研究

为了提升数据挖掘效率，为众多空间数据应用领域提供数据支撑，提出基于Hadoop云平台的空间属性数据挖掘技术：利用分布式编程模型MapReduce和Hadoop分布式文件系统构建Hadoop云平台，在云平台中实现分布式计算、数据挖掘、业务响应以及用户交互；其中数据挖掘层利用归一化变换将空间数据与属性数据调整为正态分布并统一量纲后，采用快速独立成分分析算法去噪处理变换后数据；依据贝叶斯分类理论以及极大后验和似然假设构建朴素贝叶斯分类器，将去噪处理后的数据作为分类器输入，完成空间属性数据挖掘。试验结果表明该技术应用在农业生产中，可以增加经济效益，数据经去噪后峰值信噪比与结构相似性较高，可有效挖掘城市空间属性数据，且具有较高数据挖掘速度。