基于分类的集成学习算法研究

集成学习可以提高分类器的泛化性能,这种方法已经成为机器学习的重要研究方向之一.通常,集成学习主要由2部分构成,即个体生成方法及结论生成方法.从集成学习的差异性角度出发,对集成学习中个体的构造方法及结论生成方法进行了分析与研究,对集成学习中存在的问题及未来的研究方向进行了探讨.     

基于聚类技术的集成学习方法研究

研究了基于聚类技术提高分类器差异性的方法.通过Bootstrap技术与分类器学习算法训练分类器模型,利用分类器在验证集上的分类结果作为聚类的数据对象;然后应用聚类算法对这些数据聚类,并在每个簇中选择分类器代表模型,以此构成集成学习的成员;最后应用融合方法实验研究了基于聚类技术提高差异性的集成学习性能,并与集成学习方法bagging,adaboost进行了实验比较.     

基于神经网络多分类器融合系统的人脸识别方法

在主成分分析方法（PCA）的基础上,采用3种神经网络（BP、RBF、LVQ）分类器进行人脸识别实验研究.实验中引入多数投票法（MVS）,构建了多分类器组合决策体系,对分类结果进行决策融合.最后,将使用此决策体系的人脸识别结果与使用单一分类器的人脸识别结果进行对比分析.分析结果显示,采用MVS规则的人脸识别系统,能有效提高人脸识别系统的准确率和稳定性,且方法简单可行.     

基于神经网络多分类器融合系统的人脸识别方法

在主成分分析方法(PCA)的基础上,采用3种神经网络(BP、RBF、LVQ)分类器进行人脸识别实验研究.实验中引入多数投票法(MVS),构建了多分类器组合决策体系,对分类结果进行决策融合.最后,将使用此决策体系的人脸识别结果与使用单一分类器的人脸识别结果进行对比分析.分析结果显示,采用MVS规则的人脸识别系统,能有效提高人脸识别系统的准确率和稳定性,且方法简单可行.     

一种新的支持向量机混合集成算法

针对基于Boosting和Bagging的集成算法不能有效提高"强学习器"泛化性能的问题,融合Boosting的样本扰动和快速核独立分量分析的特征扰动以生成若干个体支持向量分类器,使生成的训练样本集具有较大的差异性。然后基于模糊核聚类算法根据各个体支持向量机在验证集上的泛化误差选择最优个体进行集成。实验结果表明该算法能进一步提高支持向量机分类器的泛化性能,而且具有较强的稳定性。     

神经网络分类器动态集成方法

提出一种神经网络分类器的动态集成方法.基于bootstrapping构建不同的个体神经网络,针对混合属性,通过不同的加权最近邻设计评估单个网络的分类精度,在此基础上动态选择误差率较小的神经网络,经过投票形成集成分类结果.将该方法与其它几种集成方法在10个UCI数据集上进行了分类性能比较.实验结果表明,该方法在上述所有数据集上的平均分类精度最佳,同时发现,Bagging比隐层神经元数法能更好地生成个体网络,而将两者结合起来训练个体神经网络,并不能明显提高集成性能.     

基于坐标系人脸注册和集成分类器的3D人脸识别方法

由于三维人脸识别精度很大程度上取决于对齐模块的质量,提出一种内在坐标系注册人脸、两层集成分类器进行人脸识别的方法.首先进行3D人脸注册,人脸注册是基于由鼻尖、鼻子水平面以及人脸垂直对称平面表征的内在坐标系统,只需注册1次人脸扫描;然后进行预处理,去除噪声和填充空洞区域;最后通过主成分分析(PCA)提取图像特征,两层集成分类器采用马氏余弦(MahCos)匹配度和加权波达计数法(WBC)对人脸区域分类并进行合并和重新排列.FRGC v2.0和CurtinFaces数据库的实验结果验证了此方法的有效性.与Mesh shift方法、三维PCA方法、ICP匹配方法和LDA方法相比,此方法提高了识别性能,且在计算复杂度上也有较大优势.     

利用特征子空间评价与多分类器融合的高光谱图像分类

为应对高光谱图像分类中的特征高维度问题,提出一种基于多分类器融合的高光谱图像分类方法.利用高光谱数据相邻波段的高相关性,通过自适应子空间分解产生多个特征子空间,进而训练生成子分类器;利用ReliefF-S算法,对各特征子空间进行评价并生成各子分类器的权重,最终通过加权表决融合实现分类决策.实验表明,所提方法可有效规避高维特征问题并提升分类性能.     

基于复杂网络的分类器融合

分类器融合指使用一系列学习器进行学习得到个体分类器,并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果。结合统计机器学习理论及复杂网络分析技术,提出了一种基于复杂网络的分类器融合算法。该方法利用“边”（个体分类器输出的共现关系）的先验分布信息及个体分类器对新样本输出的共现关系信息,计算新样本属于各类别的后验概率。     

基于Bagging的LDA集成算法及其在人脸识别中的应用

针对线性判别分析(linear discriminant analysis,LDA)在处理人脸图像时对局部变化识别不稳定性的问题,提出一种基于Bagging的LDA人脸识别方法 Bagging LDA.首先将人脸图像集划分成若干子图像集,然后将Bagging应用于每个子图像集并融合初始图像集构建多个LDA分类器,选择其中一个分类性能最好的分类器作为集成基分类器,最后使用权重投票的方法将各个基分类器的分类结果进行组合.仿真结果表明,Bagging LDA算法识别性能好,精度较高,在图像遮挡、表情变化等条件下仍具有较强的稳定性.     

基于协同学的人脸分类集成

提出了一种基于协同学的人脸分类集成方法.选择不同的训练样本作为原型模型,以增加原型模型的多样性;识别时,将序参量转化为后验概率,分别运用投票法和基于和的后验概率集成方法进行识别,并提出了一种改进的基于和的后验概率集成方法,来提高集成的效果.另外,将核主分量分析和协同模式识别进行结合,在运用协同模式识别之前,先采用核主分量分析获得原始图像的最优非线性表示,以提高模式的可分性,并消除图像冗余信息的影响,然后再进行协同人脸分类.对Y a le人脸库中的图像进行识别实验,结果表明所提方法的有效性,取得了比经典的协同模式识别方法和核主成分分析更好的结果.     

基于多分类器融合的人脸识别方法

提出了一种融合整体和局部信息进行人脸识别的新方法。首先利用DCT LDA方法提取表达人脸信息能力强的左眼、右眼和嘴巴的局部特征,利用F isherface方法和简单频谱脸方法提取人脸的整体特征,然后应用多分类器组合规则融合整体和局部特征,实验结果表明利用加法融合规则在ORL和FERET数据库上识别率分别达到98.45%和90.79%,说明了该方法的有效性,同时也表明将多分类组合应用于人脸识别是一种比较可行的思路。     

局部模式纹理描述符在光照变化的人脸识别中的应用

针对光照变化的人脸识别系统识别率偏低的问题,提出了基于局部模式纹理描述符的人脸识别方法,通过提取出局部模式对光照改变不敏感的纹理特性,采用距离转换度量(Distance Conversion Metrics, DCM)和K均值(K-Mean)算法,有效地提高了人脸识别的识别率。所提方法的有效性分别在ATR-Jaffe及Yale两大人脸库上得到了验证,实验结果表明,与其它最先进的几种方法相比,所提方法在处理非限制条件下的人脸识别问题上取得了更好的识别效果。     

一种基于局部奇异值分解和最近邻决策规则的人脸识别方法

提出了一种基于局部奇异值分解和最近邻决策规则的人脸图像识别方法。其主要内容包括以下方面：由于奇异值向量具有稳定性、转置不变性等特点,对归一化的人脸图像,采用局部奇异值分解抽取人脸图像特征作为识别特征;针对人脸识别问题,采用最近邻决策规则取代隶属度函数来进行分类识别。实验结果显示,所提出的方法减少了数据计算量,运行速度快,并提高了识别率。同时,人脸识别结果也证明了该方法的有效性。     

基于改进Fisher准则与极限学习机集成的图像隐写分析

集成分类器是目前图像隐写分析中广泛使用的分类器。针对集成分类器中基分类器受离群样本影响较大,集成策略效果不佳的缺点,提出一种基于改进Fisher准则与极限学习机集成的图像隐写分析算法。首先,通过重新定义类内散度矩阵以提高Fisher准则模型的准确性,之后基于改进的Fisher准则并使用Bagging算法训练若干基分类器,最后使用极限学习机作为元分类器来建立基分类器集合与正确决策之间的联系。实验结果表明,在不同的隐写算法与嵌入率的条件下,与传统集成分类器和基于选择性集成的集成分类器相比,所提算法降低了3.5%与1.8%的检测错误率,说明能够有效提高集成分类器的检测精度。     

基于多特征集成分类器的人脸表情识别

提出基于多特征集成分类器的人脸表情识别新算法。新算法首先对预处理后的人脸表情图像通过3种不同的特征提取方法来提取不同类型的表情特征,然后对不同特征构造不同的分类器,最后构造一个基于神经网络的集成分类器模型,对这3个分类器的输出进行决策融合,从而实现人脸表情的最终识别。在JAFFE人脸表情数据库中的试验结果表明,所提算法的识别效果优于单个特征和单一的分类器。     

基于位平面和协作表示的人脸识别算法

为提高人脸识别的准确性和高效性,提出了一种基于位平面信息的协作表示人脸识别算法,利用8位灰度图像的8个位平面和协作表示原理进行人脸识别.采用直方图均衡算法增强图像的对比度,并将均衡后的图像分解成8个包含有不同信息的二进制位平面图像.根据各位平面图像包含的识别信息量对它们进行加权求和,构造虚拟人脸图像.最后在虚拟人脸图像数据库上采用协作表示进行识别.实验结果表明,该算法具有较高的识别率和较快的识别速度.      

多分类器结合的人脸识别

用贝叶斯理论分析了常见的和、积、中值及投票多分类器结合方法,指出它们各自的缺陷,类比真实的选举情形,对原投票法进行了改进：赋予不同分类器不同的“说话份量、被重视程度”,即不同权值,增加“第二候选人”备选,并考虑“第一与第二候选人”的可信度差给予“附加选票”。采用Olivetti和Oracle研究室的人脸图像库,结合本征脸法、协同算法和自联想神经网络法分类器,对比了新方法和常见结合方法。实际结果表明,改进的方法有较好的识别率。     

结合可信度和DS证据理论的ECOC多类分类研究

针对多类目标识别问题,利用三符号纠错输出编码作为将多类分解为若干个二类问题的结构框架,用改进的证据理论作为融合策略,将每一个二分器的输出作为证据之一进行融合;同时对分类器的可信度进行估计,并将得到的信任度量值融入证据中,从而提高多类分类的正确率。实验中分别对UCI数据集和三种一维距离像数据集进行测试,结果表明本文提出的基于分类器可信度的多类目标识别方法能有效地提高复杂环境下多传感器目标识别的正确率。