基于正则化损失的MeshNet半监督分类

深度学习在网格分类中的应用越来越受到人们的关注，在网格分类任务中，通常使用交叉熵损失作为损失函数。文章提出一种利用数据的结构相似性和几何一致性的正则化损失，将其加入损失函数中进行优化，可有效提高网格的分类准确率。从实验结果的量化指标来看，提出的正则化损失对于网格半监督分类任务的准确率有很好的提升效果。     

基于最小熵正则化的半监督分类

生成式模型需要对复杂的联合概率密度建模,并估计较多的参数,为此,文中提出了一种基于最小熵正则化的半监督分类算法.该算法利用Havrda-Charvat's结构α-熵作为目标的正则项,并用拟牛顿法进行求解.该算法既是判别式的,又是直推式的,从而降低了对模型的依赖程度,同时可以方便地预测训练集之外的示例标记.在UCI数据库上的仿真实验结果表明,所提出的算法即使在有标记数据较少的情况下仍能获得较低的分类误差.     

基于Mixup数据增强的LSTM-FCN时间序列分类

在时间序列分类任务中,针对时间序列数据少和多样性导致深度学习模型准确率不高的问题,提出Mixup数据增强的长短期记忆网络–全卷积网络(LSTM-FCN)时间序列分类算法.该算法首先使用Mixup对原始数据进行数据增强,通过简单的线性插值对时序数据进行混合,得到新的混合之后的增强数据;然后使用增强数据训练LSTM-FCN...     

自适应双正则化支持向量机的解路算法

针对自适应双正则化支持向量机,证明了其最优解关于单正则化参数是分段线性的,并据此提出了完全正则化解路算法,最后,通过在急性白血病数据集上进行分类实验,验证了所提算法的有效性.     

分布数据缺失的最优传输研究

针对分布数据缺失情形下的最优传输问题,给出其基本理论以及优化模型,同时考虑到模型的较大稀疏性,基于熵正则化思想提出了一种数据缺失情形下的最优传输的熵正则化算法,最后将其应用于运输问题和图像检索领域,并给出相应的实例,验证了本文算法及其对提出问题的有效性.     

基于对抗性自编码器的入侵检测算法

针对当前无监督学习的入侵检测算法准确度低、误报率高以及有监督学习算法所需训练样本标记成本高的问题,提出一种基于对抗性自编码器的入侵检测算法.这是一种半监督学习算法,仅需要训练数据集中少量标记数据进行训练,并在训练数据集中支持未标记数据,从而提高性能.首先,自编码器通过提取重要特征作为潜在变量来降低输入数据的维数;其次,利用生成对抗网络使自编码器的潜在变量遵循任意分布以进行正则化;最后,利用标记数据的交叉熵损失来实现半监督学习的分类.实验结果表明:相较于其他算法,本文所提算法对少量标记的数据集检测具有一定的优势,在实现高准确度、低误报率的同时,降低对标记数据的需求.     

一种结合Dropblock和Dropout的正则化策略

为了能够全面且高效加快卷积分类网络的收敛速度和提升稳定性,提出了一种新的正则化策略,将Dropblock算法和Dropout算法相结合,从而实现对整个卷积分类网络的浅层、中层和深层网络进行正则化.其中,Dropblock通过隐藏部分特征图实现卷积层正则化,Dropout通过隐藏部分权重参数实现全连接层正则化,从而实现对整个卷积分类网络进行全面正则化.通过Kaggle猫狗分类大赛提供的数据集进行训练和测试实验表明,提出的新的正则化策略可有效加快分类网络的收敛速度和提升稳定性,此外,能有效提高深度卷积分类网络的分类准确率.     

基于Jerk流形正则化深度极限学习机的电能质量复合扰动识别

为了有效利用电能质量复合扰动识别中存在的大量难以标注的实测样本,提出了一种基于Jerk流形正则化深度极限学习机(DJRELM)的半监督扰动学习方法.算法通过堆叠嵌入Jerk流形正则化的极限学习机自编码器(JRELM-AE)实现在复合扰动特征自动提取的同时保持数据内部流形结构.分类层通过阈值预测极限学习机和Jerk正则化...     

基于半无限规划的弹性多核学习算法

在综合考虑L1和L2多核判别分析的优点基础上,引入弹性正则化.以预定内核函数的线性组合为基础,结合混合范数正则化函数平衡核权重的稀疏性和非稀疏性,提出了一种基于半无限规划的弹性多核判别分析学习算法(EM-KDA),该算法应用半无限规划算法求解弹性多核判别分析,并通过混合正则化来实现核的自学习.在不同数据集上的实验验证了算法的有效性,实验结果表明:该方法能够平衡L1和L2多核判别分析的稀疏性和非稀疏性,可以尽可能地利用基核的信息;与其他多核判别分析方法相比,具有更好的性能.     

基于改进APG的鲁棒光谱回归在人脸识别中的应用

针对人脸识别中传统的光谱回归方法对于由类标签错误和面部遮挡产生的误差很敏感的问题,提出了基于加速近似梯度的鲁棒光谱回归方法。首先将鲁棒判别子空间的学习问题转化成最大相关熵问题,得出光谱目标和预测之间的最大相关解;然后对相关熵采用总变分正则化,进而学习空间平滑的人脸结构;最后基于半二次化优化的附加形式,将最大相关熵问题投影到混合正则化模型,并通过加速近似梯度算法进行有效优化。在FRGC人脸数据库上的实验结果表明,所提方法对于类标签错误和面部遮挡具有鲁棒性和有效性,与其它几种常用的线性回归、光谱回归方法相比,不仅提高了识别率,而且大大地降低了计算开销。     

半监督凸非负矩阵分解

基于流形正则化思想,提出了半监督凸非负矩阵分解算法.该算法通过类间图和类内图刻画数据的内在几何结构,使得所提算法不但具有数据矩阵凸分解特性,而且保持它的几何结构和判别信息.最后,人脸数据集上的实验研究表明所提算法能够获得良好的识别性能.     

精细复合多尺度模糊熵在电机轴承损伤检测中的应用

针对电机轴承的损伤检测问题,本文提出一种基于精细复合多尺度模糊熵算法（RCMFE）和粒子群优化最小二乘支持向量机的诊断模型,通过提取振动信号中的关键特征有效识别轴承的运行状态.该方法以粗粒化过程和模糊熵的优化改进算法,克服了传统多尺度模糊熵（MFE）因粗粒化尺度不断增大而引起的熵值不规则浮动、误差增加等缺陷.之后,结合电机轴承不同工况的振动数据进行实验验证.结果表明,相较于其他方法,RCMFE计算熵值的误差更小,一致性更强,且分类结果显示RCMFE获得了更高的诊断精度.     

连续SOM聚类的一致性分类算法

数据集的质量会极大地影响分类算法的精度,针对一类隐式互斥的数值型数据提出了一致性分类方法．借鉴连续函数的思想,提出了数值型连续数据的分类一致性定义;改进了SOM算法的计算过程,使其满足文中提出的分类一致性最优条件．通过改进的SOM方法得到一个新的聚类数据集,减少了原始数据集中容易出现的隐式分类不一致性问题,从而有效地提高了分类方法的效率和分类精度．通过在一个实际的数据集上的比较,表明提出的算法的预测精度明显优于其他算法．进而还从VC维的角度分析了提出算法的优点．     

基于ISM的正则化最近点法在视频人脸识别中的应用

针对视频人脸识别中传统的图像集算法受光照、表情、姿态及遮掩等变化而影响识别性能的问题,提出了一种基于图像集匹配的正则化最近点算法。首先,将图库图像集和探针图像集建模成正则化仿射包,并利用迭代器自动确定两个图像集间的正则化最近点;然后,利用最近子空间分类器最小化正则化最近点;最后,根据正则化最近点之间的欧氏距离及结构计算RNP集之间的距离,并利用最近邻分类器完成人脸的识别。在Honda/UCSD、CMU Mobo和YouTube三大视频人脸数据库上的实验验证了本文算法的有效性及可靠性,实验结果表明,相比其它几种较为先进的图像集人脸识别算法,本文算法取得了更好的识别效果,同时,大大减少了训练及测试总完成时间。     

基于图像集匹配(ISM)的正则化最近点法在视频人脸识别中的应用

针对视频人脸识别中传统的图像集算法受光照、表情、姿态及遮掩等变化而影响识别性能的问题,提出了一种图像集匹配的正则化最近点算法。首先,将图库图像集和探针图像集建模成正则化仿射包,利用迭代器自动确定两个图像集间的正则化最近点;然后,利用最近子空间分类器最小化正则化最近点;最后,根据正则化最近点之间的欧氏距离及结构计算RNP集之间的距离,并利用最近邻分类器完成人脸识别。在Honda/UCSD、CMU Mobo和YouTube三大视频人脸数据库上的实验验证了所提算法的有效性及可靠性,实验结果表明,相比其他几种图像集人脸识别算法,所提算法取得了更好的识别效果,同时,大大减少了训练及测试总完成时间。     

基于邻域熵与蚁群优化的基因选择算法

针对基因表达数据集的基因选择问题,采用邻域熵度量与蚁群优化原理,提出一种基因选择方法.首先,引入邻域粗糙集模型对基因数据进行邻域粒化,定义邻域熵度量用于剔除冗余基因构成预选择基因子集;然后,采用邻域熵构造基因重要度作为启发式信息,发挥蚁群优化算法的分布式、正反馈及全局寻优的优势,运用蚁群优化算法从预选择基因子集中搜索出最小基因子集;最后,在选取的最小基因子集上进行分类测试.实验表明:建立在该最小基因子集上的分类器具有良好的分类性能.     

一种多流形正则化的多视图非负矩阵分解算法

在大数据时代,多视图数据普遍存在.多视图聚类是分析多视图数据的一种常用方法.基于多流形正则化非负矩阵分解的多视图聚类是一种极具竞争力的多视图聚类算法,但该算法没有考虑非负矩阵分解的簇排列问题,并且在实验中没有考虑每个视图的差异性.基于上述问题,提出一种优化的多流形正则化的多视图非负矩阵分解算法.该算法的关键问题包括如何利用多视图信息聚类以及如何融合多流形.对多视图数据聚类时,令所有视图的数据共享一个低维的子矩阵,并且最小化所有视图的加权目标函数,从而体现每个视图对聚类的重要性并确保所有非负矩阵分解的簇排列的一致性.在融合多流形信息时,使用基于多视图谱聚类的权重计算方法,加权寻找一致的流形,从而体现每个视图中流形的重要性.实验结果表明,提出的优化策略可以提高多视图聚类的效果.     

一种超松弛的最优传输近似点算法

【目的】最优传输在实际应用中通常使用Sinkhorn算法求解熵正则化形式得到近似解,考虑Sinkhorn算法的效果容易受熵正则化参数影响,且难以收敛到最终精确解,提出了一种超松弛形式的近似点算法。【方法】针对原最优传输的近似点算法,为其中传输计划的迭代计算引入超松弛算子,并给出了超松弛参数计算方法。【结果】在保持算法对正则化参数具有鲁棒性及可收敛至精确解的优点的同时,所提算法能更快地收敛至精确解。【结论】数值实验表明,相较于原近似点算法,所提算法进一步提升了收敛速度,在有限的迭代步骤下能够达到更高精度,算法可更好地应用于机器学习。     

Fisher正则化的最小二乘孪生支持向量机

最小二乘孪生支持向量机是一种有效的模式分类算法,然而每一个训练样本都对最终的决策平面有影响。如果训练集含有噪声或异常点,其会过度关注这些点,这可能导致最小二乘孪生支持向量机的判别能力较差。为了解决这个问题,受Fisher准则思想的启发,本文引入了双Fisher正则化项,并在此基础上提出了Fisher正则化的最小二乘孪生支持向量机。同时,在人工数据集和UCI数据集上验证了所提算法的有效性。     

基于相关熵和流形正则化的图像聚类

近年来,聚类作为机器学习、数据挖掘等领域的基本问题受到广泛的关注及研究,然而数据中普遍存在的噪声和异常值严重影响聚类结果.提出一个基于相关熵和流形正则化的聚类框架CRNMF(Correntropy and Manifold Regularization Non-Negative Matrix Factorization).首先,采用基于相关熵的非负矩阵分解（Non-Negative Matrix Factorization,NMF）作为损失函数来抑制非高斯噪声和异常值的影响;其次,充分考虑数据的结构信息,采用流形正则化学习数据的局部结构,并通过l2,1-范数对非负矩阵进行稀疏约束;最后,利用半二次优化技术（Half-Quadratic Optimization Technique,HQ）进行优化,并分析了收敛性和计算复杂度.在五个图像数据集上进行测试,实验结果表明,提出的框架在图像聚类任务中具有较好的有效性和鲁棒性.