一种快速选择性神经网络集成方法

选择性集成通过选择部分个体能够获得比传统全部集成更好的泛化性能．已有的一些选择性集成方法实现的时间复杂性较高，或没有充分利用个体的先验信息．提出了一种新的选择性集成方法FASEN（fast approach to selective ENsemble）．该方法在独立训练出一批神经网络后，采用一种近似搜索策略，只选择与其他个体差异较大且估计泛化误差较小的网络参加集成，把个体选择的搜索空间从2^N降到N．理论分析与实验结果表明，该方法简单高效，泛化性能与已有的几种选择性集成方法相当甚至占优．     

一种新的基于PCA的集成学习算法

给出了主成分分析法(PCA)的数学描述及解释,提出了基于PCA的分类器提取方法及基于PCA的集成学习算法.在UCI的6个公用数据集上,对提出的算法进行了较全面的实验研究和分析,实验表明在多项指标上所提出的算法优于表现良好的传统集成学习算法.     

一种新的选择性支持向量机集成学习算法

针对支持向量机(SVM)在应用于集成学习中会失效的问题,提出一种选择性SVM集成学习算法(SE-SVM),利用ξα误差估计法估计个体SVM泛化性度量,并基于负相关学习理论引入差异性度量,通过递归删除法选择出一组泛化性能优良、相互间差异性大的SVM参与集成学习.基于UCI数据的仿真实验表明,SE-SVM能够平均提高SVM的分类正确率0.4%,比常规的Bag-ging集成学习方法和负相关集成学习方法的分类正确率分别提高了0.24%和0.16%.     

一种新的动态SVM选择集成算法

针对动态选择集成算法存在当局部分类器无法对待测样本正确分类时避免错分的问题,提出基于差异聚类的动态SVM选择集成算法。算法首先对训练样本实施聚类,对于每个聚类,算法根据精度及差异度选择合适的分类器进行集成,并根据这些分类器集成结果为每个聚类标定错分样本区,同时额外为之设计一组分类器集合。在测试过程中,根据待测样本所属子聚类及在子聚类中离错分样本区的远近,选择合适的分类器集合为之分类,尽最大可能的减少由上一问题所带来的盲区。在UCI数据集上与Bagging-SVM算法及文献［10］所提算法比较,使用该算法在保证测试速度的同时,能有效提高分类精度。     

基于R-ELM-C的大样本集成分类算法

由于信息技术的飞速发展,在实际的数据处理过程中,单个分类器往往不能满足：(1)要求越来越高的数据分类精度和运行速度;(2)更强的泛化性能;(3)有效地适用于大样本数据分类。该文将旋转森林算法(Rotation-Forest, ROF)与极限学习机(Extreme Learning Machine, ELM)相结合,有效地解决了旋转森林算法中过拟合现象的发生,同时也提高了算法的分类性能。最后通过UCI数据集的实验验证表明,和传统的集成分类算法相比,该算法(R-ELM-C)与Bagging、Adaboosting、Rotboost、ROF、ELM等算法相比,具有更好地分类性能、稳定性与泛化性能,同时也适合于大样本数据分类。     

一种融合特征选择的AdaBoost集成算法

针对Ada Boost算法训练分类器的特征具有大量冗余问题,提出了一种融合特征选择的Ada Boost集成算法.首先,使用一种特征选取方法,选择图像特征之间冗余度最小的特征,构造最优训练集;其次,采用Ada Boost算法训练分类器,构建分类模型;最后,使用分类模型实现待标注图像的自动标注.实验使用华盛顿大学用于图像自动标注的数据集,结果验证算法的有效性,并且相比其他传统算法,该算法具有更高的分类精度.     

一种识别手写字符的多分类器集成方法

提出了一个识别手写字符的综合网络集成模型,该模型由2个B-小波神经网络分类器和一个Morlet-小波神经网络分类器构成,实验的结果充分显示了该方法的有效性。     

神经网络紧凑集成模式

在分析现有神经网络集成构造过程的基础上，提出了一种神经网络紧凑集成模式，集成中成员网络的训练和网络组合权重的优化在同一个学习过程中进行，各参数的调整以提高集成泛化性能为目的．与现有神经网络集成模式相比，集成构造过程更加紧凑，它将个体网络生成阶段与结论合成阶段合二为一，并且网络之间的信息交互建立在实时动态的集成结构基础上，保证了成员网络训练与结论合成之间信息传递的始终一致性．为验证该模式的有效性及优越性，采用4种典型的分类数据集对神经网络紧凑集成模式与CNNE、Bagging、Boosting等现有的集成模式在泛化性能上进行了比较，结果表明神经网络集成模式在测试数据集上的错误率降低了8％～16％．     

一种新的支持向量机混合集成算法

针对基于Boosting和Bagging的集成算法不能有效提高"强学习器"泛化性能的问题,融合Boosting的样本扰动和快速核独立分量分析的特征扰动以生成若干个体支持向量分类器,使生成的训练样本集具有较大的差异性。然后基于模糊核聚类算法根据各个体支持向量机在验证集上的泛化误差选择最优个体进行集成。实验结果表明该算法能进一步提高支持向量机分类器的泛化性能,而且具有较强的稳定性。     

串行集成CNN模型的两种机械故障诊断算法

表征机械故障的数据种类和数量多样,数据质量参差不齐,故障信息的价值密度也较低,对机械故障诊断提出了挑战。由于浅层神经网络模型自学能力较弱,无法达到精确诊断故障的要求,因此对故障特征提取和故障诊断模型进行了深入研究。利用时间序列排序转换和连续小波变换,分别构建了基于时间序列图像和时频图的两种2D-CNN故障特征数据集,结合卷积神经网络（convolutional neural network,CNN）和梯度提升决策树（gradient boosting decision tree,GBDT）算法的优点,提出了基于GBDT的CNN-Z和CNN-F两种故障诊断算法。通过实验,两种算法的故障诊断精度分别为9433%和9862%。与传统CNN算法相比较,实验结果展示了所提的两种故障诊断算法的精度更高,另外基于GBDT的CNN-F故障诊断算法的误差收敛时间为前者的三分之一,验证了所提算法的有效性和精确性。     

基于聚类算法的选择性神经网络集成

为了提高集成个体的差异度,提出了一种利用聚类算法去除冗余个体的选择性集成方法,该方法通过使用神经网络作为基学习器,并在多值分类数据集上进行实验．结果表明,该技术计算效率高,精度与稳健性也与基于遗传算法的选择性集成方法相当甚至占优．     

基于边际的组合分类器选择算法

研究表明,具有较大边际分别的组合分类器泛化性能更高.根据该结论,论文构造了一个新的基于边际的度量指标(MM)以充分考虑基分类器和组合分类器的分类能力,进而提出了一种新的组合分类器选择方法.该方法初始化组合分类器为空(或满),迭代的加入(或移除)具有最大(或最小)MM值的分类器,以降低组合分类器规模并提高它的分类准确率.在随机选择的24个UCI数据集上的实验表明,与其他一些高级的贪心组合选择算法相比,该方法具有更好的泛化能力.     

一种新的朴素贝叶斯属性选择算法

贝叶斯分类算法存在一个不足之处,即在搜索空间添加属性时与属性的顺序无关,导致在添加几个相关的属性时留下的属性不能具有最优的分类性能.提出的一种选择性朴素贝叶斯算法,先按照属性信息增益值的大小对属性进行排序,然后再对属性进行选择,从而能够提高分类的准确率.     

基于选择性的贝叶斯分类器集成方法

提出一种基于选择性的贝叶斯分类器集成方法．该方法为避免数据预处理时的属性约简对分类效果的直接影响，在训练集上通过随机属性选取生成若干属性子集，并以这些子集训练不同的贝叶斯分类器，进而采用遗传算法优选贝叶斯分类器集成，其适应度函数综合了分类器的精度和差异度两项指标．实验中，将该方法与已有方法在UCI的标准数据集上进行了性能比较，并将该方法用于C^3I系统中的威胁度估计。     

基于分类的集成学习算法研究

集成学习可以提高分类器的泛化性能,这种方法已经成为机器学习的重要研究方向之一.通常,集成学习主要由2部分构成,即个体生成方法及结论生成方法.从集成学习的差异性角度出发,对集成学习中个体的构造方法及结论生成方法进行了分析与研究,对集成学习中存在的问题及未来的研究方向进行了探讨.     

图像分割的谱聚类集成算法

针对谱聚类算法对尺度参数敏感的问题,利用集成学习算法良好的鲁棒性和泛化能力,提出了一种无监督集成学习算法——谱聚类集成算法.该算法先利用谱聚类的内在特性产生集成学习所需的多个聚类个体,再采用Hungarian算法对生成的聚类个体进行重新标记,计算每个样本点关于每一个类别所占的比例,得到一个成分向量,然后运用对数比变换将所得的成分向量映射到另一个空间,去除成分数据的不适定性,最后对映射后的数据进行聚类,从而得到最终的集成结果.通过对UCI数据集和纹理图像的仿真实验表明,所提算法的聚类准确率与常用的共识函数具有一定的可比性,且运算代价较小,所需时间大约为MCLA算法的一半,同时避免了精确选择谱聚类算法的尺度参数.