基于Hadoop云平台的并行数据挖掘方法 |
| |
引用本文: | 杨来,史忠植,梁帆,齐保元.基于Hadoop云平台的并行数据挖掘方法[J].系统仿真学报,2013,25(5). |
| |
作者姓名: | 杨来 史忠植 梁帆 齐保元 |
| |
作者单位: | 1. 中科院计算技术研究所智能信息处理重点实验室,北京 100190;中国科学院大学 北京 100039 2. 中科院计算技术研究所智能信息处理重点实验室,北京,100190 |
| |
基金项目: | 国家自然科学基金,国家973项目,国家863高技术研究发展计划课题,国家科技支撑计划 |
| |
摘 要: | 业界已经开始运用云平台来处理海量高维数据,将各种异构系统仿真为一个系统,其中在Hadoop环境进行数据挖掘会遇到数据模型的全局性、HDFS的文件随机写操作、数据生命周期短等问题.为解决这些问题,在Hadoop上实现高效海量数据挖掘,提出了在Hadoop上一种高效数据挖掘框架,利用数据库来模拟链表结构,管理挖掘出来的知识,提供了树形结构、图模型的分布式计算方法;在此基础上实现一个统计算法——Yscore分箱算法,以及决策树和KD树的建树算法;并利用Vega云对Hadoop集群进行仿真.实验数据表明该框架和算法实用可行,且可能拓展与数据挖掘之外的其他领域.
|
关 键 词: | 并行数据挖掘 决策树算法 KD树算法 JPA 云计算 |
Parallel Approach in Data Mining Based on Hadoop Cloud Platform |
| |
Abstract: | |
| |
Keywords: | |
本文献已被 万方数据 等数据库收录! |
|