基于重采样策略的选择性谱聚类集成学习算法

提出了一种新的基于双重采样的选择性集成学习算法。针对集成学习要求学习器个体的差异性分布在样本空间的不同部分,对得到的聚类个体学习器输出进行重采样,以此来计算聚类个体的差异性。针对集成学习要求得到的个体学习器具有一定的精确性,对所有得到的学习器个体集合进行重采样来评估聚类个体精确性。在此基础上选择出集成学习所需的个体集合。以谱聚类算法作为基学习器,用聚类集成策略部分解决了谱聚类算法存在的尺度参数敏感问题,在UCI数据集上的仿真实验验证了算法的有效性。     

基于随机贪心选择的选择性集成算法

针对现有的基于贪心选择的选择性集成算法易过早陷入局部最优的问题,提出一种基于随机贪心选择的选择性集成算法(SERGS);该算法引入了随机化策略来扩展贪心搜索的搜索空间,从而降低了算法陷入局部最优的可能性,并且算法的计算性能也得到了改善。在UCI数据集上的实验表明,与现有的集成学习算法和选择性集成算法相比,SERGS的分类精度高于其他算法,且建模时间少于同类型的算法。     

基于聚类算法的选择性神经网络集成

为了提高集成个体的差异度,提出了一种利用聚类算法去除冗余个体的选择性集成方法,该方法通过使用神经网络作为基学习器,并在多值分类数据集上进行实验．结果表明,该技术计算效率高,精度与稳健性也与基于遗传算法的选择性集成方法相当甚至占优．     

广义邻域粗集下的集成特征选择及其选择性集成算法

针对实际模式识别系统中样本特征常具有的连续值属性、高维性、强相关性和冗余性等影响分类效果的问题,在广义邻域粗集模型下提出一种集成特征选择及其选择性集成算法.该算法先提取样本特征并利用所提出的马氏距离分布熵评估其重要度,再基于特征重要度构建广义邻域粗集模型,并在此模型上以特征重要度为启发式信息设计基于蚁群算法的属性约简算法,然后通过改变广义邻域粗集模型参数的方式获得更多具有更大差异性的基分类器,最后利用主成分分析法对产生的基分类器进行选择性集成.模拟电路故障诊断结果表明,该算法比AdaBoost等算法取得的分类精度至少提高了2.6%.     

神经网络分类器动态集成方法

提出一种神经网络分类器的动态集成方法.基于bootstrapping构建不同的个体神经网络,针对混合属性,通过不同的加权最近邻设计评估单个网络的分类精度,在此基础上动态选择误差率较小的神经网络,经过投票形成集成分类结果.将该方法与其它几种集成方法在10个UCI数据集上进行了分类性能比较.实验结果表明,该方法在上述所有数据集上的平均分类精度最佳,同时发现,Bagging比隐层神经元数法能更好地生成个体网络,而将两者结合起来训练个体神经网络,并不能明显提高集成性能.     

基于集成间隔优化的对海雷达目标识别算法

综合考虑对海雷达目标识别的高实时性和强泛化能力要求,提出一种利用模拟退火算法(SA)进行集成间隔优化的静态选择集成(SSE)算法.该算法首先利用SA基于集成间隔最大化搜索出不同大小的最优基分类器子集,然后利用集成分类精确度从中筛选出最终的集成分类器系统.进而提出一种分类器权值、样本权值的迭代求解算法,并考虑这两类权值以及基分类器的分类置信度,给出了8种集成间隔定义.在自建全极化高分辨率距离像(HRRP)分类数据集和17个UCI数据集上分析了集成间隔定义对集成算法性能的影响,通过对比实验验证了该算法的有效性.     

基于代表的交叉验证分类

基于代表的邻域覆盖粗糙集分类算法,在某些数据集上表现良好,数据的类别不平衡问题严重影响算法的分类精度.为尽量消除类别不平衡问题的影响,在k折交叉验证方法的基础上,针对基于代表的邻域覆盖粗糙集分类算法,提出了3种集成策略.策略1依靠k折交叉验证,获得对应的k个基分类器,所有的基分类器组成委员会对未分类样本分类;在策略1的基础上,策略2选择分类精度相对较高的基分类器组成委员会,对未分类的样本进行分类;策略3在前2种策略的基础上,利用主动学习的思想,对训练集进行扩充,得到新的分类器再对未分类样本分类.实验所用数据集为UCI标准数据集,且对k的取值做了对比实验.结果显示,3种策略均有不同程度的提升,且k取5时总能取得较好的提升效果.对于不同数据集,应选择相适应的改进策略.     

一种融合特征选择的AdaBoost集成算法

针对Ada Boost算法训练分类器的特征具有大量冗余问题,提出了一种融合特征选择的Ada Boost集成算法.首先,使用一种特征选取方法,选择图像特征之间冗余度最小的特征,构造最优训练集;其次,采用Ada Boost算法训练分类器,构建分类模型;最后,使用分类模型实现待标注图像的自动标注.实验使用华盛顿大学用于图像自动标注的数据集,结果验证算法的有效性,并且相比其他传统算法,该算法具有更高的分类精度.     

基于SVM评价准则的高维数据混合特征选择算法

基于高维数据的特征选择性, 运用功能扰动集成方法, 对４种不同特征选择器的结果进行集成, 得到了分类精度高且稳定性较好的特征子集.  在基因数据集上与原有算法进行性能对比实验, 结果表明, 多特征选择混合算法可使特征选择的结果间具有互补性, 从而有效提高特征选择的稳定性和分类精度.     

基于AdaBoost集成学习的演化硬件DNA微阵列数据分类

为了更好地解决DNA微阵列数据的分类问题并进一步提高系统的识别率,提出了一种用于DNA微阵列数据分类的演化硬件多分类器Ada Boost选择性集成学习方法.在系统集成阶段,介绍了2种改进的Ada Boost算法,分别探讨了以样本标记提升抽样有效容量和直接面向组合分类器分类精度提升的选择性集成策略.对急性白血病、肺癌、结肠癌数据集进行了试验.结果表明,基于Ada Boost集成学习的演化硬件方法对白血病、肺癌、结肠癌的平均识别率为97.06%,99.32%,和94.44%.相对于传统演化硬件集成学习方法,文中方法保证更优识别率的同时有效降低了硬件实现代价.