卷积神经网络与ELM的图像分类算法研究

卷积神经网络的全连接层作为一个经典的分类器,是根据传统的梯度下降法来实现训练的,泛化能力有限.针对这一问题,提出了一种将卷积神经网络和极限学习机相结合的混合模型应用于图像分类领域.卷积神经网络用于从输入图像中提取特征,特征映射最终会被编码成一维向量送入极限学习机中进行分类.给出了混合模型的详细设计,包括参数设计、结构分...     

改进Softmax分类器的深度卷积神经网络及其在人脸识别中的应用

提出了一种有效的特征学习方法,构建了9层结构的卷积神经网络,利用Softmax回归算法进行人脸分类识别.卷积神经网络在输出层利用改进的Softmax进行分类,在隐藏层采用修正线性单元作为激活函数,并在网络中加入局部响应归一化处理,有效避免了梯度消失问题.利用大量人脸图像数据对网络进行预训练,得到较好的网络初始权重.在针对YALE,FERET,LFW-A等人脸数据库进行人脸识别实验中,与现有的几种人脸识别方法 SDAEs,RRC,MPCRC,CRC,SRC等进行对比表明,该方法在各人脸数据库的识别中均得到较高的识别率.     

Gabor滤波和蚁群优化BP神经网络的人脸识别

研究了使用Gabor滤波和PCA主成分分析法来实现人脸特征提取并使用蚁群优化BP神经网络进行人脸识别的方法.首先,使用Gabor滤波器对预处理后的图像生成不同尺度和方向下的特征向量,然后使用PCA主成分分析法对特征向量进行压缩,为了提高BP神经网络对表情的分类精度和减少训练时间,使用蚁群算法优化BP神经网络的各参数,最后使用优化后的BP神经网络进行训练和人脸识别.仿真实验表明文中的方法能有效地实现对人脸表情进行分类,且较其他方法具有更高的识别率.     

一种基于AdaBoost的极限学习机分类方法

极限学习机是一种新型的单隐层前馈神经网络,在训练网络的过程中随机给定输入层权值和隐藏层偏差,所以训练速度非常快,但却导致了输出不稳定.提出了一种基于AdaBoost的极限学习机,把极限学习机作为AdaBoost的基本分类器,通过改变输入数据的权重,使得极限学习机的分类性能得到提升.实验结果表明了该方法与极限学习机和传统的神经网络相比,能够提高极限学习机的学习性能,并且使极限学习机输出更加稳定.     

基于聚类核的核极速学习机

传统的神经网络学习算法(如BP算法)需要调整大量的网络参数,例如输入权值以及隐层单元的偏置,而极速学习机只需要设置网络的隐层节点个数,在算法执行过程中不需要调整网络的输入权值,便可以产生唯一的最优解,因此它具有学习速度快且泛化性能好的优点.随着极速学习机的研究发展,核极速学习机的相关理论被提出.核极速学习机是将核函数引入到极速学习机中,可以得到最小二乘解,具有更稳定的泛化性能.本文在核极速学习机的基础上提出了一种基于Bagged聚类核的核极速学习机的分类方法,首先对已有的标记样本和所有的无标记样本采用多次k均值聚类,去构造Bagged聚类核,然后对Bagged聚类核和径向基核进行求和,最终用于核极速学习机的训练中.与传统核极速学习机相比,本文提出的方法可以使用所有的无标记样本,从而尽可能地提高分类的准确率.最后本文通过实验验证了方法的可行性.     

基于深度学习的人脸美丽预测模型及其应用

为了进一步提高人脸美丽预测精度,本文构建了一个多尺度图像输入的人脸美丽预测深度卷积神经网络模型(Deep Convolution Neural Network,DCNN),以增强对人脸图像空间结构特征的提取能力.采用深度可分离卷积层代替普通卷积层、Max-Feature-Max(MFM)激活函数代替修正线性单元(Rectified Linear Unit,Re LU)激活函数,可减少网络训练参数并提取具有竞争性的网络特征.基于大规模亚洲女性人脸美丽数据库(Large Scale Asian Female Beauty Database,LSAFBD)的实验结果表明,本文所构建的人脸美丽预测模型取得了59.75%的正确分类率,优于现有DCNN模型的分类结果.     

基于LBP与卷积神经网络的人脸识别

卷积神经网络在人脸识别上有较好的效果,但是其提取的人脸特征忽略了人脸的局部结构特征.为了提取更加全面的人脸特征,提出一种基于局部二值模式(local binary pattern,LBP)与卷积神经网络相结合的新方法.首先,提取人脸图片的LBP特征图像,然后把LBP图像与原RGB图像结合作为网络输入数据,并且使用随机梯度下降法训练网络参数,最后用训练得到的网络模型对人脸图片进行识别.通过在LFW(labeled face in the wild)人脸识别数据库上的实验表明,在卷积神经网络中加入LBP图像信息可以提高人脸识别的准确率.另外,当增加训练数据时,提出的方法得到的识别率会进一步提高,更说明提出方法的有效性.     

基于极限学习的过程神经网络研究及化工应用

针对过程神经网络在化工过程建模中学习速度慢、易陷入局部极值等问题,借鉴极限学习机算法训练网络参数的思想,提出了一种新型的基于极限学习的过程神经网络(EL-PNN).ELPNN网络以过程神经网络的方式得到隐含层的输出后,不再使用梯度下降法进行参数调整,而是根据极限学习机算法通过广义逆直接求解输出权值.同时,为了进一步提高网络的泛化性能,考虑结构风险,在EL-PNN网络中加入风险比例参数.以高密度聚乙烯装置进行验证,结果表明,该网络具有学习速度快、建模精度高的特点,为过程神经网络在复杂化工生产中的应用提供了新思路.     

基于多特征融合卷积神经网络的人脸表情识别

针对卷积神经网络特征提取不够充分且识别率低等问题,提出了一种多特征融合卷积神经网络的人脸表情识别方法。首先,为了增加网络的宽度和深度,在网络中引入Inception结构来提取特征的多样性;然后,将提取到的高层次特征与低层次特征进行融合,利用池化层的特征,将融合后的特征送入全连接层,对其特征进行融合处理来增加网络的非线性表达,使网络学习到的特征更加丰富;最后,输出层经过Softmax分类器对表情进行分类,在公开数据集FER2013和CK+上进行实验,并且对实验结果进行分析。实验结果表明:改进后的网络结构在FER2013和CK+数据集的面部表情上,识别率分别提高了0.06%和2.25%。所提方法在人脸表情识别中对卷积神经网络设置和参数配置方面具有参考价值。     

基于改进的SqueezeNet的人脸识别

针对众多基于卷积神经网络的人脸识别技术在追求提高人脸识别率上,忽视了网络模型输入参数,导致模型输入参数多、训练时间长和无法在内存小的硬件上运行等问题,提出一种基于改进的Squeeze Net的人脸识别模型。改进的Squeeze Net模型保留了原网络模型中的小卷积核去提取图片特征,还采用首尾池化层分别引入对应的后续卷积层进行特征融合,提取细微的人脸纹理特征来稳定模型收敛性,防止小的卷积核在复杂的人脸训练集上产生过拟合。针对分类函数Softmax的改进,采用L2范数约束的方法,将最后一层的特征约束在一个球面内,减少相同特征间距,提高网络收敛能力。通过两种改进后的Squeeze Net模型在与其他的先进模型对比,在不降低人脸识别准确率的前提下,具有输入参数少、模型易于收敛和能够运行在内存小的硬件设备的优势。结果在CASIA-WebFace和ORL人脸库上得到了有效性的实验验证。     

基于深度学习的图像人脸识别方法研究

使用计算机进行面部表情识别是当前人脸面部表情识别的热点,在深度学习技术的基础上,应用级联分类器对面部进行整体检测和分区定位后,提出并使用了一种基于自注意力机制的深度卷积神经网络,模型采用Mini-Xception为基本网络融合了注意力机制,再通过训练卷积神经网络构建表情分类模型,最后实现较为快速准确的表情识别。文中采用几种方法进行实验对比,并对最终的实验结果加以分析。结果表明,在相同的参数设置下提出的方法能明显提高分类性能、识别的精准度以及面部表情变化检测的实时速度。     

基于小波变换特征提取和神经网络分类的人脸识别

为提高人脸图像识别率,提出一种将小波分析与神经网络相结合的人脸识别方法。用二维离散小波变换函数对人脸图像进行二维离散小波变换,提取其低频系数作为人脸特征值,用三层神经网络进行分类、识别。实验证明,和单纯的小波方法及神经网络方法进行人脸识别相比,这种方法收敛步数少、用时短、具有较高的识别率。     

基于EHMM的人脸识别

人脸识别系统从广义上说大致可以分为人脸检测、定位与跟踪,人脸表征,人脸识别,表情/姿势分析,生理分类等五个方面.人脸的特征提取和人脸图像匹配这两部分是最重要的,也是决定人脸识别系统的准确性和效率所在.采用2D-DCT变换进行人脸特征提取和EHMM模型进行人脸图像匹配(人脸识别),并用多样本加权合成的EHMM训练的方法,取得了较高的速度和识别率.     

多分辨率小波极限学习机

针对一类具有空间不均匀性的辨识和回归问题,提出了基于小波分析的极限学习机方法.从多分辨率分析的思想出发,构造一簇紧支撑正交小波作为隐层激活函数,并利用改进的误差最小化极限学习机训练输出层权重,避免了新加入高分辨率子网络后的重新训练.同时,由一维多分辨分析的张量积构造了二维多分辨小波极限学习机.进而通过脊波变换将小波学习机扩展到高维空间,对脊波函数的伸缩、方向和位置参数进行优化计算.对具有奇异性的函数仿真结果证明,与标准极限学习机相比,小波极限学习机由于其聚微性能在极短的训练时间内更好地逼近目标.一些实际基准回归问题上的测试验证了脊波极限学习机在其中大部分问题上达到更高的训练和泛化精度.     

基于二阶有效通道注意力网络的无约束人脸表情识别

现有基于卷积神经网络的无约束人脸表情识别方法侧重于网络结构的设计，对网络学习到的通道间深层特征相关性的研究较少，没有充分利用神经网络提取表达力较强的特征。为解决此问题，设计了一种基于二阶有效通道注意力网络（second-order efficient channel attention network，SECA-Net）的无约束人脸表情识别方法。该方法采用轻量级的网络提取表情图像的深层特征，使用二阶有效通道注意力模块统计深层特征的二阶信息并捕捉跨通道特征间的依赖关系来自适应地缩放通道特征，进而获得更具判别力的表情特征。SECA-Net利用Softmax损失和中心损失联合优化模型进行表情分类，该模块具有较少的参数量、较低的显存需求和计算量，并且没有使用额外的数据预训练模型。同时，所提出的模块还能提取到人脸表情微小变化的局部特征。在RAF-DB和FER-2013无约束人脸表情数据集上的实验结果表明，提出的方法是有效的。     

基于线性判别深度信念网络的人脸表情识别

深度信念网络在人脸表情识别领域表现出很好的性能,但由于其最后一个隐层与分类层之间的初始权值矩阵通常随机生成,这样的权值矩阵不具有判别能力,从而导致经该权值矩阵映射得到的特征不能保证适合于分类任务。为了解决此问题,提出一种新的深度信念网络结构——线性判别深度信念网络,其对传统线性判别分析法进行改进,设计了一个新的类间离散度矩阵,解决了传统线性判别分析法中存在的秩限问题;使用改进的线性判别分析法初始化深度信念网络最后一个隐层和分类层之间的权值矩阵,使网络更适合于分类任务。本文提出的线性判别深度信念网络在JAFFE和Extended Cohn-Kanade人脸表情数据库上分别得到了78.26%和94.48%的识别率。     

自归一化卷积神经网络的人脸识别方法

传统的卷积神经网络(CNN)在人脸识别中应用极为广泛,然而依然存在收敛速度慢的问题,需要进行批归一化,防止梯度弥散.而自归一化卷积神经网络比普通卷积神经网络收敛速度更快,且无需进行批归一化.因此,提出采用自归一化卷积神经网络来进行人脸识别.首先算法由2个卷积层,1个池化层,2个全连接层和1个Softmax回归层组成的自归一化卷积神经网络对人脸特征进行提取并分类;然后通过对不同批次大小和不同网络层数的实验对比找出最佳的实验条件;最后与传统CNN算法和其他算法对比.提出的方法在ORL数据库中的实验识别率可达到98.3%.实验结果表明,自归一化卷积神经网络比普通的卷积神经网络在人脸识别中具有更高的识别率、更快的收敛速度.     

一种小波树和非参数鉴别分析的人脸识别

结合小波树和子空间分析中的非参数鉴别分析,提出了基于小波树和非参数鉴别分析的人脸识别算法(WANDA).该算法先利用小波变换公式,在人脸图像上计算出一个小波近似分量和三个细节分量;然后对小波近似分量进行二次小波分解,相应地计算出各小波近似分量;其后对三层分解的小波近似系数进行重新组合,得到新的样本集;最后在此样本集上使用非参数鉴别方法进行人脸识别.ORL和CAS-PEAL-R1人脸库的实验结果表明,与基于线性非参数鉴别分析的人脸识别(NDA)和鉴别分析的人脸识别(LDA)方法相比较,WANDA方法的人脸识别率为97.5％,对光照条件、脸部表情变化有良好的鲁棒性.     

Linex损失下的BP神经网络分类方法及在人脸识别中的应用

针对一类特定目标人脸识别中存在的问题,提出一种基于Linex损失下BP神经网络的分类方法,并给出了剑桥大学ORL人脸库上的测试结果.实验结果表明,所提出的方法能有效解决传统BP神经网络特定目标人脸识别中存在的问题.     

基于去噪自编码器的镜像极限学习机设计

针对极限学习机在高维度、含噪声数据集中需要大量隐含层节点来保证分类性能的问题,设计了镜像极限学习机.该算法使用伪逆法确定输入权值,随机生成输出权值和偏置,在对数据进行分类时,它仅需极少的隐含层节点.为了提升镜像极限学习机的分类性能和抗噪性,将它与去噪自编码器相结合.利用去噪自编码器对输入数据进行特征提取,并将提取到的特征作为镜像极限学习机的输入数据,再进行网络训练.在无噪和含噪声的MNIST,Fashion MNIST,Rectangles和Convex数据集中,将基于去噪自编码器的镜像极限学习机与ELM,PCA-ELM,SAA-2和DAE-ELM作对比实验,结果表明,基于去噪自编码器的镜像极限学习机的综合性能最优,用于分类的网络隐含层节点数最少.