| 一种基于MapReduce的动态数据流分类算法 |
| |
| 引用本文： | 冯林,姚远,陈沣,金博. 一种基于MapReduce的动态数据流分类算法[J]. 大连理工大学学报, 2014, 54(4): 461-468 |
| |
| 作者姓名： | 冯林 姚远 陈沣 金博 |
| |
| 作者单位： | 大连理工大学电子信息与电气工程学部计算机科学与技术学院;大连理工大学创新实验学院;大连民族学院信息与通信工程学院 |
| |
| 基金项目： | 国家自然科学基金资助项目(6117316351105052)；教育部新世纪优秀人才支持计划资助项目(NCET-09-0251)；辽宁省教育厅资助项目(201102037). |
| |
| 摘 要： | 当前动态数据流下的实时分类问题存在3个难点:针对海量数据的实时处理;概念漂移的跟踪和模型的更新;模型的稳定和鲁棒性.针对上述问题,将极端支持向量机(extreme support vector machine,ESVM)与MapReduce框架结合,提出了带遗忘因子的鲁棒ESVM算法.该方法通过构造残差权重矩阵,对残差进行修正,同时加入遗忘因子,提高新样本的作用,从而实现对海量数据处理问题的求解.实验结果显示,所提出方法能够快速有效地对动态数据流进行分类,且结果不易受到噪声干扰,稳定性强.
|
| 关 键 词： | 数据流分类 增量式学习 极端支持向量机(ESVM) MapReduce 遗忘因子 鲁棒性 |
A dynamic data stream classification algorithm based on MapReduce |
| |
| FENG Lin,YAO Yuan,CHEN Feng,JIN Bo. A dynamic data stream classification algorithm based on MapReduce[J]. Journal of Dalian University of Technology, 2014, 54(4): 461-468 |
| |
| Authors: | FENG Lin YAO Yuan CHEN Feng JIN Bo |
| |
| Affiliation: | FENG Lin;YAO Yuan;CHEN Feng;JIN Bo;School of Computer Science and Technology,Faculty of Electronic Information and Electrical Engineering,Dalian University of Technology;School of Innovation Experiment,Dalian University of Technology;College of Information and Communication Engineering,Dalian Nationalities University; |
| |
| Abstract: | |
| |
| Keywords: | data stream classification incremental learning extreme support vector machine (ESVM) MapReduce forgetting factor robustness |
| 本文献已被 CNKI 等数据库收录！ |
| 点击此处可从《大连理工大学学报》浏览原始摘要信息 |
|
点击此处可从《大连理工大学学报》下载全文 |
|
