大数据环境下决策树的研究

传统决策树在中小型数据集的预测分类上表现优秀,但在大数据集的处理上仍然存在效率低下、准确率较低等问题.为了适应大数据集环境,国内外学术界和工业界提出了将决策树与分布式处理平台相结合的分布式决策树算法,面向大数据处理的Hadoop和Spark分布式计算系统的出现,为研究分布式决策树算法提供了新的契机.为此,面向以基于大数据系统的分布式决策树算法为研究对象,从决策树基础算法、大数据平台的分布式并行机制和大数据平台下分布式决策树实现的三个方面进行剖析,以呈现Hadoop和Spark平台下的分布式决策树算法当前研究现状,并分析未来分布式决策树的研究方向.     

基于Spark/Shark的电力用采大数据OLAP分析系统

用电信息大数据上的OLAP查询涉及数据量大,具有多表连接操作频繁、SQL结构复杂等特点,传统关系型数据库面对该类应用,表现出可扩展性弱、数据写入吞吐量低与查询效率低等问题.为此设计了一套基于Spark/Shark的电力大数据OLAP分析系统,该系统采用分布式文件系统HDFS保存电力用电信息采集系统的大数据,通过Shark进行前端SQL解析,Spark进行查询计算;然而,原生Shark只支持粗粒度分区,不支持细粒度的索引技术,难以高效地过滤无关数据,影响了查询性能.为克服这一不足,该系统设计了一种基于前缀树的细粒度索引结构TrieIndex,并通过数据重组技术优化了数据在HDFS的分布,提升了Shark的数据过滤能力以及用电信息大数据OLAP分析的性能.真实用电信息采集系统数据与查询的实验结果表明,该系统比关系型数据库的写入速度提升了12倍,比原生Shark的查询效率提升了10倍以上.     

随机配置网络在短时电力负荷曲线预测中的应用

传统梯度类神经网络负荷预测模型在面对高维度、大规模负荷数据集时，存在模型构建复杂、训练时间长等问题.为提高负荷曲线预测模型训练的时效性和预测准确性，提出了一种基于随机配置网络的短时电力负荷曲线预测方法.首先针对弱局部负荷波动对预测模型的影响，利用Savitzky-Golay滤波器对负荷时序平滑进行处理，将时序滤波处理后的负荷序列、节假日、气象等数据作为预测模型的输入组成部分.在此基础上，发挥随机配置网络模型的随机增量学习优势，完成负荷曲线预测模型的训练.利用某电厂采集的短时负荷数据及其影响因素数据对模型的预测效果进行验证，仿真结果表明，随机配置网络预测模型相较于深度神经网络模型在模型训练的时间效率方面更具优势，预测的效果基本与深度神经网络模型接近.     

一种利用Spark-GPU加速 CT图像重建的设计

目的:进一步解决CT图像重建耗时长的问题,实现大批量重建CT图像.方法:利用大数据框架Spark构建GPU集群.首先对加速滤波反投影(FBP)和同时代数迭代重建技术(SART)算法的复杂度进行分析及并行化设计,并比较在GPU和CPU上的运行速度.通过对比耗时选择最佳的计算组合,实现单机GPU加速.通过thunder工具读取批量的投影数据并创建分布式数据集,使用Numba开发CUDA程序并部署在Spark运行.结果:FBP算法运行速度有近40倍的提升,SART算法运行速度有近10倍的提升.结论:Spark和GPU结合能够扩展Spark的性能,突破单机加速瓶颈,大幅提升计算速度,对于不同的图像重建算法均有良好的加速效果,表明Spark-GPU在图像重建方向有良好的应用前景.     

组合灰色预测模型在电力负荷预测中的应用

基于灰色预测理论,研究了基本灰色预测模型及其几种传统改进模型的原理和它们在电力负荷预测中存在的局限性,提出了电力系统中长期负荷预测的实用新方法--组合灰色预测模型.以实际算例为基础,应用基本灰色预测模型和传统改进模型以及组合灰色预测模型分别对电力负荷进行了预测,并进行了分析比较.结果表明,用灰色理论预测电力负荷,理论可靠、方法简单.对于中长期电力负荷预测这样复杂的问题,组合灰色预测模型具有预测精度高、简捷实用等优点,该方法可作为中长期电力负荷预测的工具之一.     

船舶电力负荷预测混沌时间序列分析法

为提高船舶电力系统安全稳定性,提出对船舶电力负荷时间序列进行预测.首先分析船舶电力负荷是否为混沌时间序列,利用相空间重构对船舶电力负荷时间序列的最大Lyapunov指数进行了定量计算,由计算结果发现船舶电力负荷具有混沌特性.在此基础上,提出了船舶电力负荷预测模型,该模型将混沌局域预测与灰关联相结合,并将相点间的关联性大小经过加权的方式作用于船舶电力负荷预测模型.实际船舶电力系统的计算分析表明,灰关联加权局域预测模型具有较高的预测精度,是一种有效的用于船舶电力负荷混沌时间序列的预测模型.     

蝙蝠算法优化极限学习机的电力负荷预测模型

为提高电力负荷预测的准确性,提出蝙蝠算法优化极限学习的电力负荷预测模型.首先收集电力负荷历史数据,然后采用蝙蝠算法对延迟时间和嵌入维以及极限学习的隐含层结点数目进行优化,利用电力负荷历史数据进行重构,最后采用最优隐含层结点数目的极限学习机建立电力负荷预测模型,并采用具体数据仿真测试.实验结果表明:模型建立了整体性能优异的电力负荷预测模型,提高了电力负荷的预测精度.     

基于RBF-ARX模型的短期电力负荷预测

为了提高短期电力负荷预测的精度,提出基于RBF-ARX模型的短期电力负荷循环预测法:将短期电力负荷预测看作非线性时间序列预测问题,并根据历史负荷数据建立电力负荷自回归预测模型(ARX模型),用RBF神经网络逼近ARX模型的参数,并用结构化非线性参数优化法(SNPOM)离线估计模型参数。用该方法对湖南某市电力负荷进行预测,将预测结果与实际负荷值进行比较,结果表明:基于RBF-ARX模型的短期电力负荷循环预测法精度高,可靠性强,具有很好的实用性。     

Spark平台下KNN-ALS模型推荐算法

考虑Spark大数据平台内存计算框架在迭代计算的优势,提出Spark平台下KNN-ALS模型的推荐算法.针对矩阵分解算法只考虑隐含信息而忽视相似度信息的缺陷,将相似度信息加入评分预测中,并采用适合并行化的交替最小二乘法进行模型最优.在MovieLens数据集上的实验表明:该算法能够提高协同过滤推荐算法在大数据集下的处理效率,且加速比也达到并行处理的线性要求,相比其他方法有较好的精度.     

基于门控循环单元神经网络的公交到站时间预测

为提高用户公交出行积极性、方便管理部门合理调度公交班次,利用大数据分析公交浮动车辆历史GPS数据,考虑不同线路、公交站点地理位置、不同驾驶员、气象情况、时间分布等多因素的影响,建立了一种基于门控循环单元(gated recurrent unit, GRU)神经网络的公交到站时间预测模型。该模型结合5 000多万条原始数据,借助分布式Hadoop集群中的Spark弹性分布式数据集进行数据清理,并运用站点匹配算法进行源数据匹配、Lasso算法优化特征选项及去除干扰。实验仿真结果表明:改进的GRU模型R-square拟合度达到94.547%,并且算法效率较传统长短期记忆(long short-term memory,LSTM)神经网络提高了近14%,为进一步提高公交到站时间的预测精度与效率提供了参考。