中心损失与Softmax损失联合监督下的人脸识别

深度学习在人脸识别领域已经取得了巨大的成就,针对当前大多数卷积神经网络采用Softmax损失函数进行特征分类,增加新的类别样本会减小类间距离的增长趋势,影响网络对特征判别的问题,采用了一种基于中心损失与Softmax损失联合监督的人脸识别算法,来提高网络对特征的识别能力。在Softmax基础上,首先,分别对训练集每个类别在特征空间维护一个类中心,训练过程新增加样本时,网络会约束样本的分类中心距离,从而兼顾了类内聚合与类间分离。其次,引入动量概念,在分类中心更新的时候,通过保留之前的更新方向,同时利用当前批次的梯度微调最终的更新方向,该方法可以在一定程度上增加稳定性,提高网络的学习效率。最后,在人脸识别基准库LFW上的测试实验证明:所提的联合监督算法,在较小的网络训练集上,获得了99.31%的人脸识别精度。     

基于多类特征池化的文本分类算法

文本分类是文本挖掘的一个内容,在信息检索、邮件过滤、网页分类等领域有着广泛的应用价值。目前文本分类算法在特征表示上的信息仍然不足,对此本文提出了基于多种特征池化的文本分类算法。在该算法中,本文首先对分词后的文本采用skip-gram模型获取词向量,然后对整个文本的词向量进行多种池化,最后将多种池化的特征作为一个整体输入到Softmax回归模型中得到文本的类别信息。通过对复旦大学所提供的文本分类语料库(复旦)测试语料的实验,该结果表明本文所给出的多种特征池化方法能够提高文本分类的准确率,说明了本文算法的有效性。     

基于LSTM-DAE的化工故障诊断方法研究

现代化工过程愈加精密化、复杂化,使得化工过程数据呈现高度非线性、强耦合等特点,传统的故障诊断模型难以学习此类数据的有效特征表示,且无法挖掘隐含的时间序列信息。针对上述问题,提出了一种长短期记忆（long short-term memory,LSTM）网络与降噪自编码器（denoising auto-encoder,DAE）结合的LSTM-DAE化工故障诊断方法,用基于LSTM的特殊编码方式代替传统DAE模型的全连接网络编码方式,并结合高斯噪声处理和全连接网络解码层,搭建出基于LSTM-DAE的特征提取模型,最后由Softmax分类器输出故障诊断结果。该方法结合了DAE与LSTM的优点,确保了编码特征获取的有效性。使用田纳西-伊斯曼（Tennessee-Eastman,TE）过程数据设计所提方法与其他5类模型的对比实验,实验结果表明：在多故障诊断效果上,基于LSTM-DAE的化工故障诊断方法的训练集正确率达到了96.02%,测试集正确率达到了97.31%,平均误报率仅为0.65%,平均漏检率仅为3.19%,在6类模型中为最优;在单故障诊断效果上,基于LSTM-DAE的化工故障诊断方法能够提高对故障14的分辨能力,并缩短对故障18的检测延迟时间,有效降低了漏检率,表明所提方法能够在实际化工过程中进行有效的故障诊断。     

基于相对概率变化比的CNN超参数优化方法

卷积神经网络(convolutional neural network,CNN)已被广泛应用于图像识别领域,其自身的超参数对图像分类问题中分类错误率的大小有较大的影响。为进一步优化CNN超参数,提出了基于Softmax回归的相对概率变化比。应用相对概率变化比寻找对图像分类影响较大的超参数,并根据超参数的重要性大小依次对其进行调整。为验证相对概率比的有效性,在网络架构1和网络架构2下进行了调参实验。实验结果表明,Softmax回归的相对概率变化比在不同的网络架构下均可反映CNN超参数对分类错误率的影响,且有助于找到一个更优的超参数组合,降低分类错误率。在MNIST和CIFAR-10数据集上的对比实验表明,研究结果在不同数据集下都适用。     

基于模型微调与AM Softmax的极化SAR图像分类

针对极化SAR图像分类中卷积神经网络（CNN）方法训练时间长、收敛速度慢,原始Softmax函数无法对极化SAR图像的类内差异有效应对的问题,提出一种基于模型微调与加性边际Softmax（AM-Softmax）的极化SAR图像分类方法。该方法通过预训练网络的整体微调,来改进CNN模型的效率和分类准确率,然后以AM-Softmax替代Softmax,以解决SAR图像中类内变化较大的问题,进一步提升分类精度。实验表明该方法具有快收敛的优势并且能够较好解决极化SAR图像类内差异较大的问题,模型的分类总体精度达到96%以上。     

基于主成分分析和Softmax回归模型的人脸识别方法

文章介绍一种基于主成分分析(principal component analysis,PCA)和Softmax回归模型相结合的人脸识别方法,该方法通过PCA对整幅图像提取特征,然后将提取的特征经过非线性变换输入到Softmax回归模型中。将主成分提取特征看成是单层神经网络,将它与Softmax回归模型构成的级联结构看作是2层神经网络,在神经网络的训练过程中,主成分的特征向量可以微调。在不同人脸数据库上的实验表明,相比于传统的只用PCA降维的方法,本文方法可达到较高的识别率。