一种基于集成学习的分布式聚类算法

基于集成学习的思想,提出一种分布式聚类模型.该模型的分布式处理过程分为2个阶段:先在局部站点局部聚类,然后在全局站点全局聚类.局部站点的局部聚类看作是一种基于数据子集的学习过程,所有的局部聚类结果组成了聚类集成系统的个体学习器,全局聚类采用平均法对局部结果进行集成,并定义了一个准则函数来度量集成的精度.把K-means算法推广到分布式环境,提出一种基于该模型的分布式K均值算法DK-means,该算法对局部数据的分布有较强的伸缩性.实验结果表明,DK-means在同等条件下能达到集中式聚类的精度水平,是有效可行的,从而验证了基于集成学习的分布式聚类模型的有效性.     

一种基于数据关联的聚类集成方法

聚类集成是集成学习中的一个重要分支,其目标是解决无监督聚类分析中聚类算法的选择性、偏差性与数据特殊性等导致聚类结果不理想的问题。文章提出了一种基于数据关联的聚类集成方法(CEBDR),该算法先提取出在聚类成员中体现有关联关系的数据对象来组成新的类,然后对这些类进行二次聚类得到最终的集成结果。文中选用了一些标准数据集,采用CEBDR算法、已有的基聚类和聚类集成算法来进行对比实验,实验结果表明,该算法能够有效地提高聚类质量。     

基于重采样策略的选择性谱聚类集成学习算法

提出了一种新的基于双重采样的选择性集成学习算法。针对集成学习要求学习器个体的差异性分布在样本空间的不同部分,对得到的聚类个体学习器输出进行重采样,以此来计算聚类个体的差异性。针对集成学习要求得到的个体学习器具有一定的精确性,对所有得到的学习器个体集合进行重采样来评估聚类个体精确性。在此基础上选择出集成学习所需的个体集合。以谱聚类算法作为基学习器,用聚类集成策略部分解决了谱聚类算法存在的尺度参数敏感问题,在UCI数据集上的仿真实验验证了算法的有效性。     

基于聚类算法的选择性神经网络集成

为了提高集成个体的差异度,提出了一种利用聚类算法去除冗余个体的选择性集成方法,该方法通过使用神经网络作为基学习器,并在多值分类数据集上进行实验．结果表明,该技术计算效率高,精度与稳健性也与基于遗传算法的选择性集成方法相当甚至占优．     

基于信息熵加权的聚类集成算法

聚类集成的目的是通过集成多个不同的基聚类来生成一个更好的聚类结果,近年来研究者已经提出多个聚类集成算法,但是目前仍存在的局限性是这些算法大多把每个基聚类和每个簇都视为同等重要,使聚类结果很容易受到低质量基聚类和簇的影响.为解决这个问题,研究者提出一些给基聚类加权的方法,但大多把基聚类看作一个整体而忽视其中每个簇的差异....     

基于聚类的标签集成传播算法

基于图的标签传播算法是半监督学习中的研究热点之一,其性能很大程度依赖于图的质量.为了应对这一问题,文章提出了基于聚类的标签集成传播算法.该算法对样本集进行多次聚类,在每次聚类产生的簇中,利用互补熵度量簇内样本标签的混乱程度,并在混乱程度较小的簇中进行标签传播,当一个未标记样本获得某个标签的次数与聚类次数的比值大于50％...     

一种基于灰色聚类和模糊聚类的集成方法

根据灰色聚类,模糊聚类,关联系数原理,提出一种新的综合集成方法,利用灰色关联系数将灰色聚类与模糊聚类集成,使聚类结果不仅反映了各聚类对象所属灰类的信息,还有效显化了各个对象间的相互关系的信息.     

基于聚类质量的两阶段集成算法

针对现有的集成聚类算法通常默认使用K-means算法作为基聚类生成器,虽能确保聚类成员的多样性,却忽视了差的基聚类可能会对最终聚类结果造成极大干扰的问题,提出一种基于聚类质量的两阶段集成算法.鉴于K-means算法运行高效但聚类质量较粗糙,提出首先在生成阶段采用K-means算法生成基聚类成员,然后通过群体一致性度量筛选出兼具高质量和强多样性的聚类成员,形成候选集成;其次,进一步在集成阶段应用信息熵知识构建基聚类加权的共协矩阵;最后应用一致函数得到最终聚类结果.采用3个指标在10个真实数据集上进行对比实验,实验结果表明,该算法在有效提升聚类结果准确度的同时,能保持较好的鲁棒性.     

一种基于聚类和AdaBoost的自适应集成算法

为同时保证基分类器的准确性和差异性, 提出一种基于聚类和AdaBoost的自适应集成算法. 首先利用聚类算法将训练样本分成多个类簇; 然后分别在每个类簇上进行AdaBoost训练并得到一组分类器; 最后按加权投票策略进行分类器的集成. 每个分类器的权重是自适应的, 且为基于测试样本与每个类簇的相似性及分类器对此测试样本的分类置信度计算得到. 实验结果表明, 与AdaBoost,Bagging(bootstrap aggregating)和随机森林等代表性集成算法相比, 该算法可取得更高的分类精度.     

图像分割的谱聚类集成算法

针对谱聚类算法对尺度参数敏感的问题,利用集成学习算法良好的鲁棒性和泛化能力,提出了一种无监督集成学习算法——谱聚类集成算法.该算法先利用谱聚类的内在特性产生集成学习所需的多个聚类个体,再采用Hungarian算法对生成的聚类个体进行重新标记,计算每个样本点关于每一个类别所占的比例,得到一个成分向量,然后运用对数比变换将所得的成分向量映射到另一个空间,去除成分数据的不适定性,最后对映射后的数据进行聚类,从而得到最终的集成结果.通过对UCI数据集和纹理图像的仿真实验表明,所提算法的聚类准确率与常用的共识函数具有一定的可比性,且运算代价较小,所需时间大约为MCLA算法的一半,同时避免了精确选择谱聚类算法的尺度参数.     

基于熵权法集成异质分类器的窃电检测

针对传统检测模型仅通过单一方法进行窃电检测具有局限性且用电数据中存在类不平衡的问题,从集成学习的角度出发,本文提出一种基于熵权法融合异质分类器的窃电检测模型。首先,通过少数类样本合成过采样技术（synthetic minority oversampling technique,SMOTE）处理用电数据不平衡的问题,其次综合考虑个体分类器之间的多样性以及各自的检测性能和训练机理进行基分类器的优选,最后,引入信息熵的概念,基于各个基分类器分类结果的分散程度,计算其权重占比,并以该权重占比集成各基分类器的输出。实验结果表明,对比传统的窃电检测模型,本文所提模型在多项评价指标下表现较好,具有良好的检测性能。     

基于随机旋转集成的降维方法

对随机旋转集成方法提出了一种针对降维问题的改进,得到了新的降维算法框架进行随机变换降维,可以显著减少降维过程中造成的信息损失.采用随机变换降维后,训练监督学习算法时可以获得更高的准确率和更好的泛化性能.通过在模拟数据上进行的实验,证明了使用多重共线性数据进行回归分析时,与传统降维算法相比,经随机变换降维处理后可以保留更多的信息,获得更小的均方误差.对随机变换降维在手写数字识别数据集上的表现进行了研究,证明了与一般性的降维算法相比,随机变换降维在图像分类问题上可以获得更高的准确率.     

层次预处理的非负矩阵分解加权集成聚类算法

图像聚类是当前的研究热点，非负矩阵分解（non-negative matrix factorization, NMF）算法在图像聚类领域得到了广泛应用。但是单一的NMF算法无法应用于所有数据集，并且NMF算法直接在数据的原始空间进行处理，抗噪能力较差。集成聚类可以解决上述问题，集成聚类将若干个基础聚类结果合成一个一致性结果，不仅可以提高聚类的求解质量，还可以增强算法的鲁棒性。因此本文提出一种层次预处理的NMF加权集成聚类算法。该算法将层次划分、集成聚类和二部图的思想引入到NMF算法中。在预处理阶段，利用层次划分得到聚类数目。之后采用局部加权的方法得到协关联矩阵。最后利用基于二部图的一致性函数进行划分得到最终的聚类结果。在5个数据集上进行实验，验证了本文算法相对于传统算法和其他集成算法的有效性。     

SVM集成研究与应用

集成学习是机器学习的重要研究方向之一,SVM集成近年来已经受到国内外很多从事机器学习、统计学习的研究者们的重视,并使得该领域成为了一个相当活跃的研究热点。对近年来SVM集成的研究与应用进行了综述,讨论了SVM集成需要解决的基本问题;讨论分析了构造差异性大的集成成员SVM的方法、有效的集成结论生成方法、SVM集成的典型应用;指出了目前存在的问题、以及几个重要的研究方向。     

基于特征选择的神经网络集成方法

将特征选择技术ReliefF引入Bagging方法中,提出了一种新的神经网络集成方法——ReBag．实验结果表明,本方法的泛化能力优于Bagging方法,与Attribute Bagging方法相当但效率更高．     

Support Vector Machine Ensemble Based on Genetic Algorithm

Support vector machines （SVMs） have been introduced as effective methods for solving classification problems. However, due to some limitations in practical applications, their generalization performance is sometimes far from the expected level. Therefore, it is meaningful to study SVM ensemble learning. In this paper, a novel genetic algorithm based ensemble learning method, namely Direct Genetic Ensemble （DGE）, is proposed. DGE adopts the predictive accuracy of ensemble as the fitness function and searches a good ensemble from the ensemble space. In essence, DGE is also a selective ensemble learning method because the base classifiers of the ensemble are selected according to the solution of genetic algorithm. In comparison with other ensemble learning methods, DGE works on a higher level and is more direct. Different strategies of constructing diverse base classifiers can be utilized in DGE. Experimental results show that SVM ensembles constructed by DGE can achieve better performance than single SVMs, hagged and boosted SVM ensembles. In addition, some valuable conclusions are obtained.     

Clustering Categorical Data：A Cluster Ensemble Approach

Clustering categorical data, an integral part of data mining, has attracted much attention recently. In this paper, the authors formally define the categorical data clustering problem as an optimization problem from the viewpoint of cluster ensemble, and apply cluster ensemble approach for clustering categorical data. Experimental results on real datasets show that better clustering accuracy can be obtained by comparing with existing categorical data clustering algorithms.     

选择性集成学习模型在岩性-孔隙度预测中的应用

储层是油藏地质建模的主要对象,储层属性参数的预测是建模的重要基础和主要难点之一。利用机器学习方法建立预测模型是目前研究的一个热点。针对单一机器学习方法在孔隙度预测方面存在的容错率低、过拟合等缺点,提出了融合岩性分类进行选择性集成学习建立预测模型的方法。该方法首先使用支持向量机进行岩性分类,并将岩性分类结果作为孔隙度选择性集成预测模型的输入。然后在研究分析典型机器学习方法的基础上,通过主成分方法分析法从支持向量回归、径向基(radial basis function,RBF)神经网络、随机森林、岭回归和K近邻回归等经典模型中选择出一组表现优异的个体学习模型组成集成学习模型,个体在集成模型中的权重由"主成分权重平均"法获得,最终采用加权平均法得到集成学习模型的输出。该方法考虑了岩性对孔隙度的影响,克服了单一模型存在的不足,模型的泛化能力强。研究结果表明,该方法的预测精度明显优于其他单一机器学习方法,适应性好。