基于随机森林的智能锁螺丝机锁附判别研究

为了解决工业生产制造中的智能锁螺丝机无法准确判断螺丝锁附是否成功的问题,运用机器学习算法建立螺丝锁附判别模型;针对螺丝锁附过程中产生的时间序列数据不等长的问题,提出改进的基于随机森林的加权特征选择算法,用以提取能够描述序列性质的有效特征,并从判别准确率和运行时间2个方面与其他特征选择算法进行比较;对比这些被选择的特征在不同机器学习算法中的表现。结果表明,本文中提出的特征选择算法不仅能够提取出最优的特征组合,而且运行时间较短,计算效率较高,并且该特征组合应用于随机森林时可达到99.9%的判别准确率,能够有效判别螺丝锁附的情况。     

面向螺丝锁附序列的多分辨率融合卷积神经网络

为了准确识别螺丝锁附是否发生故障和具体故障类型,提出了一种多分辨率融合卷积神经网络。使用原始序列数据作为输入以提高识别速度和精度;为了提取多尺度特征,分别在分辨率(数据长度)为4 000、2 000和1 000的特征向量上进行一维卷积运算;在Fusion层通过上采样、下采样和1×1卷积等策略,将各分辨率特征向量融合得到3组新特征向量,使得该网络能够获得锁附序列的整体和局部特征信息;在输出层使用类别加权交叉熵(CWCE)损失,通过为损失函数设置惩罚系数来加大对样本较少类别的惩罚力度,缓解了各类别数据不平衡的问题。收集了3 149条螺丝锁附序列,并在该数据集上进行了实验,结果表明:在6分类实验中,所提方法的准确率为96.00%,宏F1为93.93%,均高于其他方法;在2分类实验中,所提方法的准确率为99.36%,CWCE损失的有效性得到了验证;所提方法能够有效地判别锁附故障,并具有较好的实时性。     

基于k-means++的多分类器选择分类研究

【目的】机器学习中不同算法适用于具有不同分布特征的数据集。在用整个训练集上训练得到的单个分类器预测新样本类别时,由于缺少对局部区域样本的针对性,可能导致分类器对某一区域数据的预测能力较差而产生错误分类。为了解决这个问题,提出基于k-means+ +的多分类器选择算法。【方法】首先用3种分类综合性能较好的算法———Ada-Boost、SVM、随机森林(RF)在训练集上分别训练得到3个分类器作为候选基分类器,然后利用k-means++算法将训练数据集分为k个簇,用3个候选分类器分别对每个簇进行分类测试,选择对这一簇中数据分类精度最高的分类器作为与它的数据相似数据的分类器。在对新样本进行类别预测时,首先判定样本属于哪个簇,然后用它的分类器进行分类预测。【结果】实验结果表明,新算法在9个UCI数据集上优于单个分类算法。【结论】基于局部区域动态选择最优分类器可以提高模型分类准确性。
     

基于深度森林算法的分布式WSN入侵检测模型

针对现有的特征选择算法和分类算法在无线传感器网络(WSN)入侵检测系统中检测性能表现不佳、检测实时性差、模型复杂度高等问题,提出一种基于随机森林和深度森林算法的分布式WSN入侵检测模型.该模型首先对传感器节点流量数据进行预处理;然后将轻量级随机森林分类器部署到传感器节点和簇头节点,传感器节点和簇头节点合作对流量数据进行处理,并在基站上采用深度森林算法从大量流量数据中发现攻击行为;最后对WSN中的入侵行为进行实时分类入侵检测.使用无线传感器数据集WSN-DS和NSL-KDD数据集来评估所提出的模型性能.实验结果表明,该模型与现有的入侵检测模型相比,具有良好的检测性能,实时性较高,可避免模型过度拟合.     

基于分类精度和相关性的随机森林算法改进研究

为了提升传统随机森林算法的分类精度,本文首先对传统随机森林模型中的决策树根据分类性能评价指标AUC值进行降序排列,从中选取出AUC值高的决策树,计算这些决策树之间的相似度并生成相似度矩阵,然后根据相似度矩阵对这些决策树进行聚类,从每一类中选出一棵AUC最大的决策树组成新的随机森林模型,从而达到提升传统随机森林算法分类精度的目的。通过UCI数据集的实验表明,改进后的随机森林算法分类精度上最大提高了2.91%。     

基于分类精度和相关性的随机森林算法改进

为了提升传统随机森林算法的分类精度,首先对传统随机森林模型中的决策树根据分类性能评价指标AUC(area under curve)值进行降序排列,从中选取出AUC值高的决策树,计算这些决策树之间的相似度,并生成相似度矩阵;然后根据相似度矩阵对这些决策树进行聚类。从每一类中选出一棵AUC最大的决策树组成新的随机森林模型,从而达到提升传统随机森林算法分类精度的目的。通过UCI(university of Californialrvine)数据集的实验表明,改进后的随机森林算法在分类精度上最大提高了2.91%。     

基于光谱特征对中药材类别及产地鉴别的多分类方法研究

根据红外光谱数据对中药材类别产地进行鉴别，本文利用线性判别分类器、随机森林分类器以及k近邻分类器训练模型对中药材进行类别及产地的鉴别.通过方差分析取信息量最大的1 000个特征(光谱波数)对红外光谱数据进行PCA分析，最后使用聚类划分3类药材.同时使用相同的方法对同类药材的产地进行分析，最后采用十折交叉验证评估模型的准确率，并根据三个分类器的预测结果以及预测准确率综合决定最终预测结果.本文使用多种方法相结合的方式进行类别划分，取长补短，相互验证，实验证明能够更加准确的进行类别判断.     

面向不平衡数据集融合Canopy和K-means的SMOTE改进算法

针对SMOTE算法和随机森林可较好解决不平衡数据集的分类问题但对少数类样本分类效果还有待提高的问题,融合Canopy和K-means两种聚类算法,设计了C-K-SMOTE改进算法。先后利用Canopy算法进行快速近似聚类,再利用K-means算法进行精准聚类,得到精准聚类簇,最后利用SMOTE算法增加少数类样本数量,使数据趋于平衡。选取公开数据集KEEL(knowledge extraction on evolutionary learning)数据库中的不平衡数据集,结合随机森林分类模型进行了实验验证,实验表明C-K-SMOTE算法可有效平衡不平衡数据集。     

基于随机森林算法的航空高光谱数据分类方法研究

高光谱数据具有光谱范围广,光谱分辨率高等优势,可以用于不同地物的分类识别,为近年来遥感领域的研究热点。采用随机森林算法对机载高光谱数据进行了地物分类识别研究,首先选取不同种类的地物样本,并对每类样本打上类别标签,每个像素包含的波段数即为样本的特征数,送入随机森林分类器进行训练;然后将训练好的分类器对待分类的高光谱影像数据进行分类,待分类的数据初始化为统一的类别标签;并根据袋外数据自变量的扰动对分类精度的影响,计算不同波段特征对分类效果的重要性系数。实验采用C++语言结合Intel Open CV计算机视觉库,编写了高光谱影像分类识别程序,对机载AISA高光谱传感器获取的甘肃省张掖市农村与城市影像数据进行分类,结果表明本文算法具有较高分类精度和可靠性。     

基于随机森林算法的城区土地覆盖分类研究

随机森林算法是一种高度灵活且易于使用的机器学习算法,目前在遥感影像分类中应用广泛。为了验证其在城市土地覆盖分类中的效果,本文对河南省洛阳市局部城区进行了土地覆盖分类实验,将Landsat 8(OLI)遥感影像的光谱波段、光谱指数和纹理特征相结合,构成多种特征组合进行随机森林算法分类比较,选择分类效果最佳方案,并与支持向量机方法进行比较。后利用随机森林算法对该组合特征变量高维数据进行降维处理,得到优化特征方案。实验结果表明:采用多源特征组合的随机森林算法的土地利用分类效果最佳,总体精度为90.54%,Kappa系数为0.890,比支持向量机方法的分类精度提高了3.1%;降维处理后的特征方案与随机森林结合在保证分类结果拥有高准确度的同时,减少了运算时间,实现了土地覆被类型信息的高效获取。表明随机森林算法在城区土地覆盖分类上有很好的适用性与稳定性。     

随机森林在高光谱遥感数据中降维与分类的应用

高光谱数据的特征数目庞大,而且波段之间存在冗余信息,对高光谱数据进行分类的成本较高,因此需要提取合适的特征达到提高效率的目的.随机森林作为一种热门算法,广泛应用于各种分类、特征选择等问题中,均取得了良好的效果.本文选择北京小汤山农业试验区的OMIS高光谱影像作为研究数据,利用随机森林算法计算每个特征的重要性指标并对其排序,针对面向精度和效率的特征选择策略,使用RF-RFE波段选择方法去除价值低的特征分别得到最佳波段组合,实现高光谱数据降维,进行随机森林、支持向量机分类.实验结果表明随机森林分类精度为72.82%,SVM分类精度为65.21%,随机森林分类器优于SVM,是一种较好的高光谱数据分类器.     

基于语义与分类贡献的文本特征选择研究

针对传统文本特征选择算法没有考虑特征的语义及特征与类别之间关系的问题,提出了一种结合语义和分类贡献的特征选择算法.利用LDA主题模型获取文本和词的表示,通过计算词与文本之间的语义相似度,获取词对文本的重要性.再利用Word2vec词向量模型获取文本类别特征,通过计算文本中的词与文本类别特征之间的语义相似度,获取词对类别的重要性,最后结合词对文本的重要性和词对类别的重要性选择分类贡献度高的词作为最终的分类特征.实验表明,该算法能够有效地降低文本特征数量,减少分类计算开销,降低噪声对分类的影响,提升分类效果.     

基于模糊聚类SVM的混合像元分类方法

针对遥感影像分类过程中混合像元难判别的问题, 提出一种基于Gustafson-Kessel模糊聚类算法的支持向量机（SVM）分类模型. 以Gustafson-Kessel算法优选训练样本方式提高支持向量机的分类性能. 为验证其有效性, 将该模型应用于森林覆盖类别分类, 并与标准支持向量机模型分类结果对比. 实验结果表明, 该方法能提高支持向量机对混合像元划分的精度.     

基于逐步Logistic回归下分类算法的个人信用评估分析

为了给消费者信贷决策提供合理依据,基于真实的客户信贷数据,运用逐步Logistic回归方法依据AIC准则进行变量选择建立经典决策树、条件推断树、随机森林、支持向量机等分类模型,并对4个分类模型的预测结果进行比较.结果表明:基于逐步Logistic回归建立的随机森林分类模型准确率达97％,预测效果最优;随机森林算法具有较高的分类精度,可以很好地应用在个人信用评估问题研究中.     

基于聚类的垃圾邮件识别技术研究

随着垃圾邮件数量日益攀升,如何有效识别垃圾邮件已成为一项非常重要的课题。为克服k最近邻(k-nea-rest neighbor,kNN)分类法在垃圾邮件识别中的缺陷,本文基于聚类算法提出了一种改进kNN识别方法。首先使用基于最小距离原则的一趟聚类算法将训练邮件集合划分为大小几乎相同的超球体,每个超球体包含一个类别或多个类别的文本;其次,采用投票机制对得到的聚类结果进行簇标识,即以簇中最多文本的类别作为簇的类别,得到的识别模型由具有标识的簇组成;最后,结合最近邻分类思想,对输入的邮件进行自动识别。实验结果表明,该方法可大幅度地降低邮件相似度的计算量,较TiMBL、Nave Bayesian、Stacking等算法效果要好。同时,该方法是一种可增量式更新识别模型的方法,具有一定的实用性。     

基于集成迁移学习的细粒度图像分类算法

针对现有的大部分细粒度图像分类算法都忽略了局部定位和局部特征学习是相互关联的问题,提出了一种基于集成迁移学习的细粒度图像分类算法。该算法的分类网络由区域检测分类和多尺度特征组合组成。区域检测分类网络通过类别激活映射(class activation mapping,CAM)方法获得局部区域,以相互强化学习的方式,从定位的局部区域中学习图像的细微特征,组合各局部区域特征作为最终的特征表示进行分类。该细粒度图像分类网络在训练过程中结合提出的集成迁移学习方法,基于迁移学习,通过随机加权平均方法集成局部训练模型,从而获得更好的最终分类模型。使用该算法在数据集CUB-200-2011和Stanford Cars上进行实验,结果表明,与原有大部分算法对比,该算法具有更优的细粒度分类结果。     

基于随机森林结合地球物理测井资料的煤体结构识别方法及应用

在更加复杂的地质因素影响下,常规测井方法识别煤体结构准确度低,为精确识别煤体结构,研究了煤体结构测井曲线响应机理以及随机森林决策树个数的优选,从而建立煤体结构与测井曲线的随机森林分类模型进行煤体结构识别。结果表明:决策树个数为500时,随机森林分类模型效果最佳;通过袋外误差和模型对测试集样本的预测结果可知,随机森林分类模型的结果稳定且泛化性强,并且适合处理非均衡数据,预测精度较高。可见随机森林算法能有效识别煤体结构,为煤层气开发提供帮助。     

一种可用于分类型属性数据的多变量决策树算法

针对绝大部分多变量决策树只能联合数值型属性,而不能直接为带有分类型属性数据集进行分类的问题,提出一种可联合多种类型属性的多变量决策树算法(CMDT).该算法通过统计各个分类型属性的属性值在各个类别或各个簇中的频率分布,来定义样本集合在分类型属性上的中心,以及样本到中心的距离.然后,使用加权k-means算法划分决策树中的非终端结点.使用这种结点划分方法构建的决策树可用于数值型数据、分类型数据以及混合型数据.实验结果表明,该算法建立的分类模型在各种类型的数据集上均获得比经典决策树算法更好的泛化正确率和更简洁的树结构.     

监控视频异常检测:综述

监控视频在社会安全领域具有重要应用。该文对经典和新兴的监控视频异常检测算法进行分类和总结。首先,依据算法的3个属性,算法的发展阶段、算法的模型类型、算法的异常判别标准,将算法分类并逐类概述。然后,将不同类别的算法进行关联对比,分析不同模型的优缺点以及聚类判别与重构判别在不同发展阶段的特点。最后,提炼了领域内常用的模型假设与相关知识、汇总了不同算法的异常检测效果,并对未来的研究方向进行了探讨和展望。     

基于树模型的差分隐私保护算法

目前面向分类的差分隐私保护算法中,大部分都是基于决策树或者随机森林等树模型。若数据集中同时存在连续数据和离散数据时,算法往往会选择调用2次指数机制,并且进行隐私预算分配时往往选择平均分配。这都使得隐私预算过小、噪声过大、时间成本增加以及分类准确性降低。如何在保证数据隐私的同时尽可能地保证数据可用性,并提高算法性能,成为目前差分隐私保护技术研究的重点。提出了面向决策树和随机森林的差分隐私保护数据挖掘算法,使用Laplace机制来处理离散型特征,使用指数机制处理连续型特征,选择最佳分裂特征和分裂点,并采用最优特征选择策略和等差预算分配加噪策略。对金融数据集的测试结果表明,提出的2种基于树模型的差分隐私保护算法都能在保护数据隐私的同时,具有较高的分类准确性,并且能够充分利用隐私保护预算,节省了时间成本。