|
|||||
|
|
| 基于MapReduce的分布式改进随机森林学生就业数据分类模型研究 | |
| 作者姓名： | 乔非 葛彦昊 孔维畅 |
| 作者单位： | 同济大学 电子与信息工程学院 CIMS中心, 上海 201804 |
| 基金项目： | 国家自然科学基金（71690234） |
| 摘 要： | 教育数据挖掘(educational data mining)是当代教育信息化发展的前沿研究领域,正在吸引越来越多教育学家和数据科学家的关注."大数据"时代背景下,随着数据处理规模的不断激增,现有的数据挖掘模型在单一处理节点的计算能力遭遇瓶颈,各类面向大数据处理的分布式计算框架应运而生.借助这些框架,面向解决高校就业数据挖掘问题的机器学习模型便可以满足未来大规模数据处理的需求,在未来数据集体量庞大的信息集成系统中为数据挖掘和决策支持提供帮助.以此为背景,本研究对比现有数据模型对研究目标对象的分类性能,提出了以引入输入特征加权系数来计算特征的信息增益作为特征最优分裂评判指标的改进随机森林模型来提升数据分类性能,通过仿真测试改进模型对于现有模型分类性能的提升情况,与此同时为解决大数据时代背景下面向海量数据分类任务的单节点性能瓶颈问题,提出了基于分布式改进随机森林算法的大规模学生就业数据分类预测模型.通过使用MapReduce分布式计算框架实现已训练模型在本地磁盘与分布式文件系统之间的序列化写入与反序列化加载过程,进而实现了基于改进随机森林模型的大规模数据分类模型的分布式扩展. |
| 关 键 词： | 机器学习 数据分类模型 大数据处理 MapReduce |
| 收稿时间： | 2016-07-18 |
| 本文献已被 CNKI 等数据库收录！ | |
| 点击此处可从《系统工程理论与实践》浏览原始摘要信息 | |
| 点击此处可从《系统工程理论与实践》下载全文 | |