层次预处理的非负矩阵分解加权集成聚类算法

图像聚类是当前的研究热点，非负矩阵分解（non-negative matrix factorization, NMF）算法在图像聚类领域得到了广泛应用。但是单一的NMF算法无法应用于所有数据集，并且NMF算法直接在数据的原始空间进行处理，抗噪能力较差。集成聚类可以解决上述问题，集成聚类将若干个基础聚类结果合成一个一致性结果，不仅可以提高聚类的求解质量，还可以增强算法的鲁棒性。因此本文提出一种层次预处理的NMF加权集成聚类算法。该算法将层次划分、集成聚类和二部图的思想引入到NMF算法中。在预处理阶段，利用层次划分得到聚类数目。之后采用局部加权的方法得到协关联矩阵。最后利用基于二部图的一致性函数进行划分得到最终的聚类结果。在5个数据集上进行实验，验证了本文算法相对于传统算法和其他集成算法的有效性。     

复杂高维数据中异常点挖掘算法研究

为了分析当前高维数据中各类异常点检测算法的性能,采用8个典型数据集,对10种代表性算法在这些数据集上进行了详细的实验分析,给出了不同算法在算法精度、ROC曲线面积及运行时间上的分析比较.实验结果表明:受到数据集分布及属性相关性的影响,同一算法在不同数据集上的效果有很大差异性,基于近邻排序的算法在各个数据集中的结果相对稳定,但其结果受k值的影响较大;和其他算法相比,基于集成的算法效果较好,但用于集成的有效算法选择较为困难.     

基于混淆熵的分类器集成方法

本文提出了一种基于混淆熵（confusion entropy,CEN）的分类器集成算法.该算法按照候选分类器的CEN值升序排序，遍历选择使得CEN值减小的分类器，从而使组合不断优化，以获得更好的集成分类结果.使用7个候选分类器在5个UCI数据集上进行实验，结果表明，所提算法整体上优于经典的分类器集成算法AdaBoost和XGBoost以及另外3种近期算法（AdaCost、AdaCost-CNN和CU-AdaCost），验证了算法的可行性.     

基于集成间隔优化的对海雷达目标识别算法

综合考虑对海雷达目标识别的高实时性和强泛化能力要求,提出一种利用模拟退火算法(SA)进行集成间隔优化的静态选择集成(SSE)算法.该算法首先利用SA基于集成间隔最大化搜索出不同大小的最优基分类器子集,然后利用集成分类精确度从中筛选出最终的集成分类器系统.进而提出一种分类器权值、样本权值的迭代求解算法,并考虑这两类权值以及基分类器的分类置信度,给出了8种集成间隔定义.在自建全极化高分辨率距离像(HRRP)分类数据集和17个UCI数据集上分析了集成间隔定义对集成算法性能的影响,通过对比实验验证了该算法的有效性.     

基于矩阵填充的肿瘤基因表达谱数据缺失点估计

为解决肿瘤基因表达谱数据后续研究需要完整数据矩阵的问题,针对包含缺失点的数据集。提出基于矩阵填充(matrix completion)与模糊C均值(fuzzy c-means algorithm,FCM)相结合的缺失点估计方法(FCM_MC)。该方法充分利用肿瘤基因表达谱数据的冗余信息,通过模糊C均值聚类得到具有良好的低秩特性的基因语义片段,再利用矩阵填充方法分别对每个语义片段进行缺失点的重建。在不同数据集上进行实验,与传统缺失点估计算法比较。实验表明FCM_MC算法在缺失数据估计准确度和类结构保持度上效果得到有效提升,同时运行效率较高。     

一种新的基于PCA的集成学习算法

给出了主成分分析法(PCA)的数学描述及解释,提出了基于PCA的分类器提取方法及基于PCA的集成学习算法.在UCI的6个公用数据集上,对提出的算法进行了较全面的实验研究和分析,实验表明在多项指标上所提出的算法优于表现良好的传统集成学习算法.     

基于SVM评价准则的高维数据混合特征选择算法

基于高维数据的特征选择性, 运用功能扰动集成方法, 对４种不同特征选择器的结果进行集成, 得到了分类精度高且稳定性较好的特征子集.  在基因数据集上与原有算法进行性能对比实验, 结果表明, 多特征选择混合算法可使特征选择的结果间具有互补性, 从而有效提高特征选择的稳定性和分类精度.     

一种基于集成学习策略的单细胞转录组数据集成分类算法

针对单细胞转录组数据上细胞分类准确率较低的问题, 提出一种新的细胞集成分类算法. 该方法能充分利用不同分类模型的优点, 降低单细胞数据的分类误差. 分别在慢性粒细胞白血病单细胞测序数据和三阴性乳腺癌单细胞测序数据两个不同数据集上进行实验验证, 实验结果表明， 由集成算法划分的细胞分类更清晰准确, 验证了该算法的有效性.     

一种基于数据关联的聚类集成方法

聚类集成是集成学习中的一个重要分支,其目标是解决无监督聚类分析中聚类算法的选择性、偏差性与数据特殊性等导致聚类结果不理想的问题。文章提出了一种基于数据关联的聚类集成方法(CEBDR),该算法先提取出在聚类成员中体现有关联关系的数据对象来组成新的类,然后对这些类进行二次聚类得到最终的集成结果。文中选用了一些标准数据集,采用CEBDR算法、已有的基聚类和聚类集成算法来进行对比实验,实验结果表明,该算法能够有效地提高聚类质量。     

基于重采样策略的选择性谱聚类集成学习算法

提出了一种新的基于双重采样的选择性集成学习算法。针对集成学习要求学习器个体的差异性分布在样本空间的不同部分,对得到的聚类个体学习器输出进行重采样,以此来计算聚类个体的差异性。针对集成学习要求得到的个体学习器具有一定的精确性,对所有得到的学习器个体集合进行重采样来评估聚类个体精确性。在此基础上选择出集成学习所需的个体集合。以谱聚类算法作为基学习器,用聚类集成策略部分解决了谱聚类算法存在的尺度参数敏感问题,在UCI数据集上的仿真实验验证了算法的有效性。     

A Heterogeneous Ensemble of Extreme Learning Machines with Correntropy and Negative Correlation

The Extreme Learning Machine(ELM) is an effective learning algorithm for a Single-Layer Feedforward Network(SLFN). It performs well in managing some problems due to its fast learning speed. However, in practical applications, its performance might be affected by the noise in the training data. To tackle the noise issue, we propose a novel heterogeneous ensemble of ELMs in this article. Specifically, the correntropy is used to achieve insensitive performance to outliers, while implementing Negative Correlation Learning(NCL) to enhance diversity among the ensemble. The proposed Heterogeneous Ensemble of ELMs(HE2 LM) for classification has different ELM algorithms including the Regularized ELM(RELM), the Kernel ELM(KELM), and the L2-norm-optimized ELM(ELML2). The ensemble is constructed by training a randomly selected ELM classifier on a subset of the training data selected through random resampling. Then, the class label of unseen data is predicted using a maximum weighted sum approach. After splitting the training data into subsets, the proposed HE2 LM is tested through classification and regression tasks on real-world benchmark datasets and synthetic datasets. Hence, the simulation results show that compared with other algorithms, our proposed method can achieve higher prediction accuracy, better generalization, and less sensitivity to outliers.     

一种基于投票的不平衡数据分类集成算法

不平衡数据分类是机器学习的研究热点之一。传统的机器学习分类算法通常假定用于训练的数据集是平衡的,不能直接应用于不平衡数据分类。利用朴素贝叶斯和决策树对数据不平衡的敏感度不同,提出一种基于投票的不平衡数据分类集成算法。基分类器选择NB和C4.5,通过投票平均方法进行分类决策;并选择公开的不平衡数据集进行实验验证。实验结果表明,该算法能有效提高不平衡数据的分类性能,特别是对正类(少数类)的误报率较低,具有良好的鲁棒性。     

基于集成迁移学习的细粒度图像分类算法

针对现有的大部分细粒度图像分类算法都忽略了局部定位和局部特征学习是相互关联的问题,提出了一种基于集成迁移学习的细粒度图像分类算法。该算法的分类网络由区域检测分类和多尺度特征组合组成。区域检测分类网络通过类别激活映射(class activation mapping,CAM)方法获得局部区域,以相互强化学习的方式,从定位的局部区域中学习图像的细微特征,组合各局部区域特征作为最终的特征表示进行分类。该细粒度图像分类网络在训练过程中结合提出的集成迁移学习方法,基于迁移学习,通过随机加权平均方法集成局部训练模型,从而获得更好的最终分类模型。使用该算法在数据集CUB-200-2011和Stanford Cars上进行实验,结果表明,与原有大部分算法对比,该算法具有更优的细粒度分类结果。     

基于低秩矩阵填充的推荐算法

针对已有协同过滤推荐技术中评分矩阵极度稀疏问题,提出了一种基于低秩矩阵填充技术的推荐算法.该算法从贝叶斯框架出发,提出了能够解决低秩矩阵问题的分层高斯先验模型,并将广义近似消息传递算法嵌入到贝叶斯框架,规避了贝叶斯学习过程中烦琐的矩阵逆运算,提升了算法运算速度,同时在广义近似消息传递算法中施加阻尼运算以促进收敛.在开放数据集上的实验结果表明,所提出的算法与相关的矩阵填充推荐算法相比,有效地提高了推荐准确度.     

基于Bagging集成策略和多元状态估计的风电机组齿轮箱状态监测

风电机组齿轮箱的故障率和维护成本相对较高,有必要对其运行状态进行实时监测。多元状态估计(multivariate state estimate technique, MSET)是一种常用的状态监测方法,但在记忆矩阵规模较大时,MSET在线计算的实时性较差。为此,提出一种基于Bagging集成策略和MSET的新方法:首先基于Bagging集成策略,对训练数据进行多次随机抽样,构造多个记忆矩阵规模较小的MSET子模型,最终将子模型的结果平均后作为集成模型的输出。以某2 MW风电机组的运行数据为算例,对集成MSET的性能进行了对比实验。结果表明:在精度相当的前提下,集成方法的计算时间仅为常规方法的60%;结合统计过程控制技术设计了预警阈值和滑动窗口异常率,并对集成MSET的故障预警能力进行验证,结果表明,集成方法能够提前约10 d预警齿轮箱的实际故障。     

集成学习算法的比较研究

从差异性出发,研究了基于特征技术与数据技术的集成学习算法,深入分析了这些集成学习算法产生差异性的方法;针对决策树与神经网络模型在标准数据集对集成学习算法进行了实验研究,结果表明集成学习算法的性能依赖于数据集的特性以及产生差异性的方法等因素,并且基于数据的集成学习算法的性能优于基于特征集的集成学习算法的性能.     

对不平衡类分类的一种组合方法

具有不平衡类分布的数据集在许多实际应用中是很常见的,但由于类分布不平衡,给那些已有的分类算法带来了很多问题。一种为处理不平衡类问题而开发的基于决策树和人工神经网络的有效组合方法被讨论。它基于数据抽样的方法构建组合分类器,并利用ROC曲线(Receiver Operating Characteristic curve)作为评价挖掘性能的分析工具,最后在PAKDD2007竞赛活动提供的实际数据上进行了有效性验证。     

贝叶斯分类器的集成学习方法及其在图像标注中的应用

针对贝叶斯(Naive Bayes,NB)分类器的集成学习方法,研究如何提高分类器集成中各成员分类器之间的多样性,同时提高分类器系统准确率。实现方法是把训练集的所有属性特征划分特征子集,并处理所划分的属性特征子集,最后为每个成员分类器构造出不同的完整特征属性训练集。研究结果表明采用的NB集成方法(Ensemble ofNaive Bayes,ENB)提高了分类性能,把ENB机器学习方法应用到自动图像标注中也获得了很好的效果。     

带等式状态约束的集合卡尔曼滤波算法

对含等式状态约束的非线性系统状态估计问题,本文考虑将集合卡尔曼滤波算法与估计投影方法结合,分别对每个状态粒子和加权平均后的状态估计向量使用估计投影方法,得到两种新的带约束的状态估计算法. 实验表明,与粒子滤波和不带约束的集合卡尔曼滤波相比,新算法的估计精度有所提高