噪声大数据的MapReduce高度随机模糊森林算法

为解决日趋增长的噪声大数据分类问题,提出了一种高度随机模糊森林算法.该算法在决策树学习中生成连续属性的模糊分区,并给出在MapReduce框架中所提算法的分布式实现,用于受属性噪声污染的大数据集中学习模糊决策树的集合,该分布式实现模型可以适应计算的有效分配策略,从而产生良好的可扩展性数据,这种分布式算法使得模糊随机森林能够处理大数据集的学习和分类.高度随机模糊森林算法能够实现噪声大数据的高精度分类,为以后的大数据分析打下良好的基础.实验结果表明,所提算法比现有算法准确率更高,在属性噪声情况下,该文分类准确率也高于随机森林算法,说明该文算法的可行性和有效性.     

基于随机森林算法的旋转机械齿轮组故障诊断

针对单一的分类器用于旋转机械故障诊断时存在准确率不高的问题,提出一种基于随机森林算法的旋转机械齿轮组故障诊断方法。该方法利用随机森林多分类器组合决策树的思想,通过多分类器的组合学习提高故障诊断的准确率,并在风力涡轮动力传动系统故障诊断模拟器系统上进行了多工况多故障的实验验证。首先,收集多工况、多故障的齿轮传感器信号,提取传感器信号的时域特征作为随机森林的输入特征量。然后,利用构建好的随机森林模型进行齿轮组的故障诊断,并将随机森林算法的分类结果与支持向量机方法的分类结果进行对比。通过对故障诊断结果的分析,随机森林算法避免了复杂的寻参过程和传统分类器的过拟合现象,能够处理大规模数据集,通过分类器的组合,提高了故障诊断准确率,并缩短了分类模型的预测时间,具有较好的应用前景。     

基于隐变量后验生成对抗网络的不平衡学习

针对现有不平衡分类问题中过采样方法不能充分利用数据概率密度分布的问题,提出了一种基于隐变量后验生成对抗网络的过采样(LGOS)算法.该方法利用变分自编码求取隐变量的近似后验分布,生成器能有效估计数据真实概率分布,在隐空间中采样克服了生成对抗网络采样过程的随机性,并引入边缘分布自适应损失和条件分布自适应损失提升生成数据质量.此外,将生成样本当作源领域样本放入迁移学习框架中,提出了改进的基于实例的迁移学习(TrWSBoost)分类算法,引入了权重缩放因子,有效解决了源领域样本权重收敛过快、学习不充分的问题.实验结果表明,提出的方法在分类问题各指标上的表现明显优于现有方法.     

基于粗糙集和随机森林算法辅助糖尿病并发症分类研究

提出基于粗糙集和随机森林算法辅助糖尿病并发症分类。首先,运用简化的分明矩阵法对属性约简,产生新的决策信息系统;其次,采用随机森林算法对该新信息系统生成随机森林,实现分类;最后,通过糖尿病并发症临床诊断数据子集测试。实验表明该方法有效性,并优于直接用随机森林算法分类。     

基于遗传算法的随机森林算法优化研究

本文提出了一种新的基于遗传算法的随机森林的子森林选择方法,选择高质量的决策树加入初始种群生成子森林,以减小随机森林的规模并提高分类精度.在UCI数据集上进行的实验验证了该方法的有效性.     

基于分类精度和相关性的随机森林算法改进

为了提升传统随机森林算法的分类精度,首先对传统随机森林模型中的决策树根据分类性能评价指标AUC(area under curve)值进行降序排列,从中选取出AUC值高的决策树,计算这些决策树之间的相似度,并生成相似度矩阵;然后根据相似度矩阵对这些决策树进行聚类。从每一类中选出一棵AUC最大的决策树组成新的随机森林模型,从而达到提升传统随机森林算法分类精度的目的。通过UCI(university of Californialrvine)数据集的实验表明,改进后的随机森林算法在分类精度上最大提高了2.91%。     

基于分类精度和相关性的随机森林算法改进研究

为了提升传统随机森林算法的分类精度,本文首先对传统随机森林模型中的决策树根据分类性能评价指标AUC值进行降序排列,从中选取出AUC值高的决策树,计算这些决策树之间的相似度并生成相似度矩阵,然后根据相似度矩阵对这些决策树进行聚类,从每一类中选出一棵AUC最大的决策树组成新的随机森林模型,从而达到提升传统随机森林算法分类精度的目的。通过UCI数据集的实验表明,改进后的随机森林算法分类精度上最大提高了2.91%。     

基于深度森林算法的分布式WSN入侵检测模型

针对现有的特征选择算法和分类算法在无线传感器网络(WSN)入侵检测系统中检测性能表现不佳、检测实时性差、模型复杂度高等问题,提出一种基于随机森林和深度森林算法的分布式WSN入侵检测模型.该模型首先对传感器节点流量数据进行预处理;然后将轻量级随机森林分类器部署到传感器节点和簇头节点,传感器节点和簇头节点合作对流量数据进行处理,并在基站上采用深度森林算法从大量流量数据中发现攻击行为;最后对WSN中的入侵行为进行实时分类入侵检测.使用无线传感器数据集WSN-DS和NSL-KDD数据集来评估所提出的模型性能.实验结果表明,该模型与现有的入侵检测模型相比,具有良好的检测性能,实时性较高,可避免模型过度拟合.     

基于贝叶斯模型组合的随机森林预测方法

为了能够精准可靠地估计太阳能辐照度,本文提出一种基于贝叶斯模型组合的随机森林算法用于太阳能辐照度预测.首先,引入K-means聚类和K折交叉验证将气象数据训练集生成多个训练子集,以增加训练子集的多样性并保证均匀采样.其次,将随机森林作为基学习器建立集成学习预测模型,导入训练子集并训练各个随机森林.之后,依据各个随机森林在验证集上的预测性能,采用贝叶斯模型组合算法制定组合策略.个体随机森林在测试集上的预测值经过模型组合策略得到最终输出.最后,基于气象实测数据建立仿真实验,并引入其他四种预测方法进行对比仿真研究,通过实验结果验证了文中所提出预测方法在太阳能辐照度预测问题中的准确性和可靠性.     

基于最大平衡度的自适应随机抽样算法

针对分类算法在非平衡数据集的情况下分类性能不理想的问题,总结了常见的数据平衡化方法,包括改造数据集与改进算法,提出一种全新的基于最大平衡度的自适应随机抽样算法,进一步优化了随机森林算法的分类效果.将其应用在随机森林算法的数据预处理阶段,并通过实验证明了该随机抽样方法的有效性,在合理的整体精度范围内能够较好地处理非平衡数据.产生的新数据比较拟合初始数据,能够提高分类器处理非平衡数据的能力.     

Combinatorial Optimization Based Analog Circuit Fault Diagnosis with Back Propagation Neural Network

Electronic components＇ reliability has become the key of the complex system mission execution. Analog circuit is an important part of electronic components. Its fault diagnosis is far more challenging than that of digital circuit. Simulations and applications have shown that the methods based on BP neural network are effective in analog circuit fault diagnosis. Aiming at the tolerance of analog circuit,a combinatorial optimization diagnosis scheme was proposed with back propagation（ BP） neural network（ BPNN）.The main contributions of this scheme included two parts：（ 1） the random tolerance samples were added into the nominal training samples to establish new training samples,which were used to train the BP neural network based diagnosis model;（ 2） the initial weights of the BP neural network were optimized by genetic algorithm（ GA） to avoid local minima,and the BP neural network was tuned with Levenberg-Marquardt algorithm（ LMA） in the local solution space to look for the optimum solution or approximate optimal solutions. The experimental results show preliminarily that the scheme substantially improves the whole learning process approximation and generalization ability,and effectively promotes analog circuit fault diagnosis performance based on BPNN.     

基于随机抽样和聚类特征的聚类算法

在分析BIRCH算法不足的基础上，提出了一种基于随机抽样和聚类特征的聚类算法(CLAP)，该算法采用随机抽样技术，从数据库中抽取一部分数据进行聚类的预处理过程，这样大大降低了运行时间，CLAP通过设立索引树的叶节点的直径和聚类直径，提高了聚类的精度，并采用全局搜索和局部搜索相结合的方式，消除了输入顺序对聚类质量的影响．测试结果表明，CLAP算法不仅提高了聚类速度，而且改善了聚类质量。     

基于BTS数据集的航班延误分类和预测算法

针对神经网络分类模型对美国联邦运输统计局(Bureau of Transportation Statistics, BTS)航班数据集中的不均衡数据预测误差较大的问题,采用自适应合成采样算法(adaptive synthetic sampling approach, ADASYN)和合成少数类过采样算法(synthetic minority over-sampling technique, SMOTE)对航班延误类别进行平衡处理,并用随机森林(random forest, RF)模型进行训练和贝叶斯调参。结果表明：与不经过平衡采样的方法比较,该方法在权重平均下的精确率、召回率和F₁评分分别提高了19%、8%和16%;分类预测准确率提升8.03%,模型拟合指数AUC(area under curve)提升5.4%。同时,采用多特征相融合的图神经网络模型Graph WaveNet对航班平均延误时间进行预测。实验结果表明：与单特征模型比较,该模型平均绝对误差和均方根误差分别降低了16%和12.45%。这些方法和结果对研究航班延误分类和预测算法研究具有参考价值。     

面向不平衡数据集融合Canopy和K-means的SMOTE改进算法

针对SMOTE算法和随机森林可较好解决不平衡数据集的分类问题但对少数类样本分类效果还有待提高的问题,融合Canopy和K-means两种聚类算法,设计了C-K-SMOTE改进算法。先后利用Canopy算法进行快速近似聚类,再利用K-means算法进行精准聚类,得到精准聚类簇,最后利用SMOTE算法增加少数类样本数量,使数据趋于平衡。选取公开数据集KEEL(knowledge extraction on evolutionary learning)数据库中的不平衡数据集,结合随机森林分类模型进行了实验验证,实验表明C-K-SMOTE算法可有效平衡不平衡数据集。     

基于随机森林算法的函数缺陷定位

缺陷定位是软件调试过程中的重要阶段,通过挖掘程序执行过程中的动态信息与执行结果之间的关系,可以有效定位缺陷位置。由此提出了一种基于随机森林算法的函数缺陷定位方法（Function Defect Location based on Random Forest,简称FDLRF）。其具体思想是:首先动态执行测试用例获取函数的动态调用图并生成DOT文件,解析该文件获取各个函数的轨迹信息,建立特征矩阵,同时利用合成少数类过采样技术（Synthetic Minority Over-sampling Technique,简称SMOTE）得到均衡样本,运用随机森林算法对数据进行训练,从而获得每个属性的贡献度信息,即函数缺陷概率。实验结果表明,该方法较传统算法在定位准确率有了一定程度的提升。     

参数并行：一种基于群启发式算法的机器学习参数寻优方法

针对机器学习算法超参数寻优效率低的问题和参数寻优主流算法的特点,提出了一种基于参数并行机制的机器学参数寻优方法。该方法利用群启发式算法来进行机器学习算法的参数寻优,将种群转换为Spark平台特有的弹性分布式数据集,针对参数寻优耗时特点并行计算种群中个体适应度。选取随机森林和遗传算法作为实验算法设计了多组实验对所提出的学习训练方法进行验证。实验结果表明,在20万条以下的小数据量下,文中提出的基于参数并行机制的机器学习参数寻优方法与基于数据并行机制的机器学习参数寻优方法相比,运行时间最多能够减少2个小时,并具有良好的可扩展性。     

基于变量分析和粒子群优化加权随机森林的交通事件检测方法

为了提高高速公路交通事件检测的效果,首先从交通流基本参数、交通流组合参数、不同区间交通流参数对交通事件参数的变化进行全面的分析,构建交通事件初始特征变量集,并利用AdaBoost算法、梯度提升树(GBDT)算法、随机森林(RF)算法对初始特征变量进行筛选,通过三种方法综合比较分析得出最终的重要变量.对随机森林中的决策树进行加权计算,构建加权随机森林,并利用粒子群(PSO)算法优化加权随机森林模型.通过采集的高速公路交通事件数据进行对比分析,实验结果表明,在交通事件初始特征变量中筛选出重要变量,对检测的精度有所提高,加权随机森林的检测性能也要优于传统的支持向量机(SVM)和随机森林.     

基于SMOTE和机器学习的网络入侵检测

网络入侵检测已经广泛运用机器学习模型,但是研究者们多关注模型选择和参数优化,很少考虑数据不平衡的影响,往往会导致少数类入侵样本的检测效果较差.针对该问题,以SMOTE （synthetic minority oversampling technique）数据再平衡算法为研究重点,应用入侵检测数据集KDD99作为原始训练集,使用简单抽样和SMOTE算法生成再平衡训练集.采用多种机器学习模型分别在原始训练集和再平衡训练集进行5折交叉验证.实验结果表明,与原始训练集相比,使用再平衡训练集建模能够在不降低甚至提高多数类样本识别效果前提下,使少数类样本的识别准确率和召回率增强10%～20%.因此,SMOTE算法对不平衡样本下的网络入侵检测有显著的提升作用.      

神经网络在雷达杂波仿真中的应用研究——自然梯度算法

文中运用广义维纳过程的零记忆非线性变换法(Zero Memory Nonlinearity,ZMNL)获得K分布雷达杂波的序列,由此得到神经网络所需的训练样本,再根据经特定算法训练的神经网络仿真得到K模型分布雷达杂波序列。文中的重点在于对比传统梯度算法和自然梯度算法的不同,突出自然梯度算法在神经网络权值的训练中收敛速度和准确性上的优势。     

基于优化随机森林算法的浮动车GPS数据插补模型

为改善浮动车GPS数据因采集过程中受到干扰造成数据缺失问题,通过分析法研究了浮动车GPS数据与交通流状态和道路线形之间的关联性,提出一种基于优化随机森林算法的浮动车GPS数据插补模型,本模型针对随机森林算法插补过程中,因自身的随机性而引起插补结果具有波动性问题,在结果输出部分引入权重因子,通过线性优化算法,调节权重因子大小使输出结果波动性降低的同时满足道路线形特征。实验对6名志愿者21天的出行轨迹数据进行插补,结果表明：本文所构建的模型平均误差12.3m,相较于随机森林模型、决策树模型和线性回归模型分别减少14.9m、24.3m和239.3m,可见采用优化随机森林算法建立的插补模型有效提升了浮动车GPS数据插补精度,为交通状态分析、地图匹配等应用提供数据基础。