基于贝叶斯支持向量机模型选择算法改进

通过对贝叶斯方法的分析,探讨了SVM的模型选择问题,提出SVM模型的选择可以看作等价于求解概率模型下置信度最大化的观点.首先,通过使用相关后验概率上的数学期望近似计算置信度梯度,然后用拟牛顿法求解置信度最大化问题.在数据集训练过程中引入阶梯度的SMO算法以提高训练效率.实验证明:此算法与网格法和Span估计法相比,改善了SVM的多参数选择问题,提高了执行效率.     

一种低功耗架构下毫米波信道估计算法研究

针对低分辨率模数转换器量化误差大、信道估计准确性低等问题,提出一种两阶段信道估计算法。利用量化过程构造优化问题,采用梯度下降算法估计支撑集;根据估计的支撑集将信道估计问题降维;采用最大化期望算法降低量化误差并估计信道复增益。仿真结果表明,提出的算法比目前最先进的对比算法性能提高了6 dB,且时间复杂度由对数线性数量级降为线性数量级。     

高光谱图像半监督局部稀疏嵌入降维算法

针对目前高光谱图像半监督降维算法中基于流形学习的开放性选择近邻参数问题,以及利用传统算法不能有效地获取标签数据的局部信息,提出了一种无需考虑近邻参数的半监督局部稀疏嵌入（SELSE）算法.该算法基于稀疏表示理论,通过求解范数优化问题构建稀疏系数图,并且利用有限的标签数据最大化类间信息,提取高光谱图像的特征.在AVIRIS高光谱遥感图像的Indian Pine数据集上进行仿真实验,结果表明所提出算法在分类精度和计算效率上都有所提高.     

基于参数嵌入算法的支持向量机分类可视化研究

针对常用的降维算法只能可视化高维数据某一方面或某几方面特征的不足,运用参数嵌入算法在低维空间可视化其所有的特征。首先假设数据的类别在嵌入空间服从高斯分布,通过支持向量机分类算法获得训练数据在高维空间类别属性的后验概率,然后运用参数嵌入算法得到测试数据在嵌入空间的坐标和类别属性,从而实现高维数据分类的可视化．在Usps,YaleB,Mini Newsgroups数据集上的实验结果表明,该方法不仅能在低维空间表示高维数据与所属类别的联系,而且能正确揭示出数据集内部和类别集内部的关系,有利于深入研究高维数据分类的性质,参数嵌入算法的可视化效果优于直接应用PCA,ISOMAP等算法得到的低维图形,并且计算复杂度仅是数据类别和相应个数的乘积,非常适合于数据量大,类别数较少的数据分类可视化。     

基于自适应主成分分析维度寻优的脑力负荷识别

脑力负荷识别对提高作业操作人员工作效率,减少人因事故具有重要意义。然而,由于脑电(electroencephalogram, EEG)信号的采集是由多通道脑电帽采集的,并且分布在各个频带上,因此经过特征提取得到的特征维度过高,造成后续识别模型复杂度过高。对此,通常使用主成分分析(principal component analysis, PCA)对高维特征向量进行降维处理,但是降维维度的取值很难确定。提出了一种基于主成分分析的自适应维度寻优方法,将实验数据集中的高维特征使用主成分分析降维到寻优维数范围内的各个维度,并将各个维度的分类精度绘制成维度—分类精度曲线,通过识别该曲线的“肘部”来确定该实验数据集的最优降维维度,并将该维度应用到同实验的其他实验数据上进行脑力负荷识别。结果表明,该方法可以准确识别出在同实验数据集中通用的最优降维维度,有效提高识别效率。     

基于Spark的ISOMAP算法并行化

为了实现大数据环境下非线性高维数据的快速降维,提出了一种基于Spark的并行ISOMAP算法.在该算法中,为了快速构建邻域矩阵,设计并实现了基于精确欧式位置敏感哈希的近邻搜索并行算法;为了实现特征值的快速求解,设计并实现了基于幂法和降阶法交替执行的特征值求解并行算法.为了进一步提高算法的性能,基于Spark的特性,利用Spark的稀疏向量、广播机制和缓存机制对并行ISOMAP算法进行了优化,减少了计算过程中的内存消耗和数据传输.在Swissroll数据集和S-curve数据集上的实验结果表明,基于Spark的并行ISOMAP算法通过并行执行和计算过程的优化,极大地提高了算法的执行效率,能够适用于大规模数据集的降维处理.     

基于互信息可信度的主成分分析数据降维

数据降维就是将数据集从高维特征空间向低维特征空间的映射.传统的主成分分析(PCA)算法是一种常用的线性数据降维算法.但是耗时太长,降维结果不够好,同时不能满足实际分类要求.为此,通过引入互信息可信度,提出了一种基于互信息综合可信度的主成分分析(MIS-PCA)数据降维算法.该算法首先介绍互信息(MI)、相对互信息可信度(MIR)和绝对互信息可信度(MIA)的思想;然后根据MIA和MIR求解互信息综合可信度(MIS),利用互信息综合可信度进行特征筛选;最后再运用PCA算法对处理后的数据进行降维,并将降维后的数据采用KNN、SVM算法进行分类.对比PCA、E-PCA算法,通过试验表明该方法的降维结果较好、分类精确度较高.     

基于深度特征蒸馏的人脸识别

在人脸识别系统中,深度学习由于强大的表征能力被广泛应用,但模型推理的高计算复杂度和特征表示的高维度分别降低了特征提取和特征检索的效率,阻碍了人脸识别系统的实际部署.为了克服这两个问题,本文提出一种基于深度特征蒸馏的人脸识别方法,该方法通过多任务学习实现大深度模型知识与领域相关数据信息的蒸馏,从而统一地压缩深度网络参数及特征维度.联合特征回归与人脸分类,以预训练的大网络为教师网络,指导小网络训练,将知识迁移得到轻量级的学生网络,实现了高效的特征提取.在LFW人脸识别数据集上进行了实验,学生模型在识别精度相比教师模型下降3.7%的情况下,模型参数压缩到约2×107、特征维度降到128维,相比教师模型分别获得了7.1倍的参数约减、32倍的特征降维及95.1%的推理复杂度下降,表明了方法的有效性和高效性.     

基于DEC算法的多标记学习

由于多标记学习中的"维度灾难"问题,鉴于判别嵌入式聚类(DEC)算法对数据降维的特点,本文提出了基于DEC算法的多标记学习。该算法在多标记数据集作分类处理之前,采取DEC算法对多标记数据集进行维度约简,从而降低算法复杂度、提高分类性能。实验结果表明,这种基于DEC算法的多标记学习是有效的。     

基于混合属性全距离的粗糙集论域空间纵向降维模型

在混合属性和大规模数据集条件下,针对粗糙集理论所面临的计算复杂度高的问题,本文提出了从横向和纵向两个方向上对粗糙集论域空间进行双向降维的研究思路.针对工程实际中,论域纵向维度对计算复杂度的影响更为明显,本文提出了混合属性全距离(WDMA)纵向降维数学模型.该模型基于粗糙集理论的可分辨性原理,能有效降低论域的纵向维数,简化粗糙集理论中所涉及的属性约简和属性值约简计算,显著降低后续计算的复杂性.工程实例验证表明,该模型能有效提高后续决策的运算效率,改善粗糙集理论的计算性能.     

基于PCA的参数化间隔双子支持向量机及其在手写体识别上的应用

改进了基于参数化间隔的双子支持向量机算法的预处理过程,在数据预处理阶段使用了主成分分析法对数据进行降维,提出了基于主成分分析的参数化间隔双子支持向量机,从而加快了整个算法的训练速度.公共数据库上的实验结果显示了该算法的优秀分类能力,对高维数据集的降维效果也比较成功.最后,将这种算法应用到手写体数字识别技术上,实验结果显示出该算法较好的分类性能.     

结合PCA的t-SNE算法的并行化实现方法

为了提高大数据环境下高维非线性数据的处理速度和精确度,提出一种结合主成分分析(PCA)的基于t分布的随机近邻嵌入(t-SNE)算法.首先,通过主成分分析法对原始数据进行预处理,去除噪声点;然后,结合t-SNE算法,构建K最邻近(K-NN)图,以表示高维空间中数据的相似关系;最后,在Spark平台上进行并行化运算,并在BREAST CANCER,MNIST和CIFAR-10数据集上进行实验.结果表明:文中算法完成了高维数据至低维空间的有效映射,提升了算法的效率和精确度,可应用于大规模高维数据的降维.     

基于多行为交互的变维协同进化特征选择方法

针对大规模数据集上的特征选择问题,一种变长表示的粒子群特征选择方法（VLPSO）表现出了良好的性能。然而,其完全随机的粒子生成方式导致初始化阶段具有一定的盲目性。同时,VLPSO单一的更新机制和种群间的信息隔离也影响了模型的分类性能。为了解决VLPSO的缺陷,提出了一种基于多行为交互的变维协同进化特征选择方法 (M-CVLPSO)。首先,为了改善随机初始化带来的盲目性,采用连续空间上的层次初始化策略,从期望上缩短了初始解与最优解之间的距离。其次,将粒子根据适应度分为领导者、追随者与淘汰者,在迭代过程中采用多种更新策略动态平衡算法的多样性和收敛性。同时,将维度缩减指标加入到适应度函数中,进一步增强了算法在部分数据集上的性能。从理论上证明了该算法的收敛性,并基于11个大规模特征选择数据集在分类精度、维度缩减和计算时间上进行实验分析。实验结果表明,本文算法相较于4种对比算法具有更好的综合表现。     

基于PCA-二叉树的大规模图像索引技术研究

针对大数据数据库中图像索引中维度灾难问题,该文提出一种基于云的大规模图像检索技术,该方法创新性地将主成分分析法和二叉树引入到图像检索技术中,首先采用尺度不变特征变换和加速鲁棒特征描述符作为帧特征,面对大规模维度特征,将主成分分析法对帧特征进行降维,并使用二叉树表示降维后的特征,以加速研究阶段并减少存储空间,最终实现图像检索.实验表明:该文方法在降维70%的条件下,搜索精确率/召回率(Precision/Recall,PR)值能够达到传统方法20%降维条件下的PR值,并且在搜索时间上,该文方法与正常搜索相比,搜索速度得到30%～50%的提升.     

基于混沌蚁群神经网络的浮选过程经济技术指标预测

以选矿中的浮选生产过程为研究对象,提出一种基于混沌蚁群神经网络算法预测浮选过程经济技术指标的测量模型.采用主元分析进行输入数据集降维,应用混沌蚁群算法与最小二乘法相结合的混合算法调整前提参数和目标值,以取代二次规划求解优化问题,并达到求解速度快、仿真精度高的效果;同时,采用混沌蚁群算法训练神经网络,在随机扰动或测量噪声存在的情况下仍可以达到较好的训练目的,并提高了网络参数辨识的收敛速度.同时,以某实际选矿浮选生产过程的生产数据作为建模和预测数据进行仿真分析,并与初始的主元分析-反向传播(BP)神经网络模型预测结果加以对比.结果表明,所提出的模型能够实现浮选过程经济技术指标的全局预测,与优化前的模型相比其预测误差明显较低,预测精度提高了1.8%,满足优化浮选药剂添加的计算要求.     

基于SVM的刻蚀工艺失效状态识别

针对反应离子刻蚀工艺,研究其状态监测与识别.采用主元分析(PCA)方法对原始数据进行降维,提取出有效的特征子集,再应用SVM建立失效状态的诊断识别模型,分析模型参数对失效状态的分类识别效果.采用主元分析法进行数据降维,从多监控量中提取影响最大的特征子集,再基于支持向量机(SVM)算法建立了失效状态的诊断识别模型,并分析了模型参数对失效状态的分类识别效果.研究结果验证了基于SVM方法的有效性,表明该模型具有高效的模式识别能力,可应用于存在小样本问题的其他半导体工艺状态分类和识别中.     

基于增量稀疏核极限学习机的柴油机故障在线诊断

为实现柴油机故障在线诊断,提出了基于增量稀疏核极限学习机(ISKELM)的快速在线诊断方法.针对核在线学习中的样本稀疏化与模型膨胀问题,提出了基于瞬时信息测量的稀疏核函数字典构造策略,根据最小化字典冗余和最大化字典元素自信息量的原则实现样本前向稀疏与后向删减,在最佳阶数内对字典进行在线扩充与修剪,从而建立阶数有限且结构稀疏的诊断模型.针对模型核权重矩阵更新问题,提出了增样学习与改进减样学习算法对核权重矩阵进行在线递推求解,降低了计算复杂度,提高了模型在线更新速度.UCI标准数据与柴油机故障数据分类实验结果表明,与几类现有在线诊断算法相比,ISKELM在保证较高分类精度的同时,极大地提高了在线建模速度,更加快速准确地实现了柴油机故障在线诊断.     

求解最小体积闭包椭球问题的积极集算法

先建立求解最小体积闭包椭球(MVEE)问题秩-2更新算法的线性收敛性,然后给出一种简单的积极集策略,每次迭代计算距离当前椭球最远的N个点.结合该策略到秩-2更新算法中,得到一个求解MVEE问题的积极集算法.数值结果表明,积极集算法能有效求解高精度的大规模数据计算问题.     

基于人工加噪正则化与稀疏贝叶斯回归的核密度估计稀疏构造算法

核密度估计(Kernel Density Estimation,简称KDE)算法是当前最有效和应用最广泛的一种非参数密度估计算法,其主要缺点在于二次的算法复杂度,与训练集容量正相关的空间复杂度以及高维密度估计中的性能降低.为了加快KDE的计算速度,简化模型的复杂度,提出了一种新型的基于稀疏贝叶斯回归的快速的KDE的计算模型,该模型用经过人工加噪处理过的分布函数逼近数据作为输入数据,获得了KDE的极为稀疏的表示.在一元和二元人工数据集上的实验结果表明,该算法与传统的KDE算法相比,在保持了相当的计算精度(多数情况下降低了模型误差)的情况下,将算法执行的时空效率大幅度提高,而且该算法在小样本情况下,得到的密度估计也更为光滑. 二元人造数据集上的初步实验结果还表明通过应用数据高斯化技术得到的算法的多元扩展在一定程度上缓解了“维数灾难”.     

基于MapReduce的分布式期望最大化算法

利用MapReduce编程模型的简化性和期望最大化算法(Expectation maximization,EM)的高精度、恒收敛性,提出了一种对数据集规模无限制的数据处理算法;并通过对高斯混合模型的参数估计进行算法性能的测试。结果表明,算法能改善传统EM算法在处理大规模数据集时效率低的缺点,具有较好的加速比及可扩展性。