基于Hadoop框架和ARIMA算法的气象预测系统研究

对气象数据挖掘和ARIMA预测算法进行分析,构建了基于Hadoop的气象数据挖掘平台,并在该平台上设计实现了基于ARIMA算法的气象预测系统.实验结果表明,该气象预测系统具有易扩展性、易维护性和对海量气象数据的高效管理特性,实现了气象预测功能.     

针对城市道路拥堵的优化随机森林预测模型

为了及时对城市道路拥堵情况进行预测,缓解通行压力、降低能源损耗,通过一种结合Spark与阴阳对优化随机森林的模型预测城市道路交通拥堵情况,利用阴阳对优化算法对随机森林进行参数调优,选取决策树个数和分裂属性个数最优解,以此建立阴阳对优化随机森林(Yin-Yang-pair optimization random forest, YYPORF)城市道路拥堵情况预测模型,并通过Spark实现了YYPORF模型的并行化设计方案。结果表明,基于Spark的YYPORF准确率达到95.58%,较传统随机森林提高了3.17%;加速比达到2.83。可见,所提出的模型预测性能更优,可为大数据背景下城市智能交通管理提供可靠依据。     

参数并行：一种基于群启发式算法的机器学习参数寻优方法

针对机器学习算法超参数寻优效率低的问题和参数寻优主流算法的特点,提出了一种基于参数并行机制的机器学参数寻优方法。该方法利用群启发式算法来进行机器学习算法的参数寻优,将种群转换为Spark平台特有的弹性分布式数据集,针对参数寻优耗时特点并行计算种群中个体适应度。选取随机森林和遗传算法作为实验算法设计了多组实验对所提出的学习训练方法进行验证。实验结果表明,在20万条以下的小数据量下,文中提出的基于参数并行机制的机器学习参数寻优方法与基于数据并行机制的机器学习参数寻优方法相比,运行时间最多能够减少2个小时,并具有良好的可扩展性。