基于迁移学习的高分辨率遥感影像场景分类研究

对于小样本集合的遥感影像场景分类问题,采取了一种基于迁移学习的卷积神经网络高分辨率遥感影像识别方法,通过深度卷积神经网络Inception-v4在ImageNet上训练,得到预训练模型以及相应的初始化参数,随后将小样本遥感数据按比例划分注入预训练模型当中,根据样本集合特征,不断调整网络参数以便获得最佳识别分类模型.最后将本文的方法与现有的场景分类方法进行实验对比,测得该方法在UC merced land use场景影像数据集上取得97.92%的准确率,有效提高了高分影像场景分类精度.     

基于卷积神经网络的图像分类研究进展

基于卷积神经网络的图像分类算法的优势是传统方法无法比拟的。卷积神经网络利用其设计好的网络结构和权值共享的特点,能够从数量庞大的训练数据中学习图像底层到高级语义的抽象特征,而且端到端的学习省去了在每一个独立学习任务执行之前所做的数据标注。多年来,卷积神经网络经过科研人员的探索和尝试,从最开始的多层神经网络模型,演变出多种优化结构,性能不断提高。本文介绍了基于卷积神经网络图像分类算法的研究进展,叙述了卷积神经网络在图像分类中的经典模型和近年来的改进方法,并对各个模型进行分析,展示各种方法在ImageNet公共数据集上的性能表现,最后对基于卷积神经网络的图像分类算法的研究进行总结和展望。     

基于关键词学习的文本分类方法

提出一种基于关键词学习的文本分类方法.采用LDA主题模型抽取文本的关键词,通过关键词的词袋构造文本的特征矩阵并进行PCA降维,将低阶特征矩阵输入由卷积神经网络和BP神经网络的混合网络中对文本分类进行学习.为提高文本分类效果,引入与BP神经网络同构的深度神经网络对BP神经网络的初始权值进行初始化.在多数据集上的实验表明,本文方法明显提高文本分类的准确率.     

卷积神经网络在锚杆锚固类型识别中的应用

为了解决手工特征提取方法依赖广泛的专业知识和先验知识,难以挖掘新特征而影响识别结果的问题,将一维卷积神经网络应用于锚杆锚固系统类型识别,以实现端到端的分类过程;为了避免随机初始化卷积核会造成网络在训练时收敛速度慢、易陷入局部最优等问题,利用稀疏自编码器对网络的卷积核进行预训练,并利用实验锚杆锚固数据对稀疏自编码器一维卷积神经网络模型、传统一维卷积神经网络模型和反向传播神经网络模型进行测试。结果表明:一维卷积神经网络可应用于锚杆锚固系统类型识别,实现端到端的分类过程;在锚杆锚固系统类型识别中,稀疏自编码器一维卷积神经网络模型的准确率高于传统一维卷积神经网络模型和反向传播神经网络模型的准确率,识别率可达98.57%。     

基于Kohonen神经网络的遥感影像监督分类

作为一种自组织网络,Kohonen神经网络在遥感影像聚类中得到了广泛的应用.但Kohonen算法具有初始权值随机化、学习率和邻域难以确定等缺陷,并且作为一种聚类算法,难以直接进行监督分类.对Kohonen非监督学习算法进行改进,用最大最小距离法确定初始权值,利用权值误差作为网络训练收敛条件,并将Kohonen算法与奖惩...     

基于注意力特征融合的SqueezeNet细粒度图像分类模型

针对现有细粒度图像分类算法普遍存在的模型结构复杂、参数多、分类准确率较低等问题,提出一种注意力特征融合的SqueezeNet细粒度图像分类模型.通过对现有细粒度图像分类算法和轻量级卷积神经网络的分析,首先使用3个典型的预训练轻量级卷积神经网络,对其微调后在公开的细粒度图像数据集上进行验证,经比较后选择了模型性能最佳的SqueezeNet作为图像的特征提取器;然后将两个具有注意力机制的卷积模块嵌入至SqueezeNet网络的每个Fire模块;接着提取出改进后的SqueezeNet的中间层特征进行双线性融合形成新的注意力特征图,与网络的全局特征再融合后分类;最后通过实验对比和可视化分析,网络嵌入Convolution Block Attention Module(CBAM)模块的分类准确率在鸟类、汽车、飞机数据集上依次提高了8.96%、4.89%和5.85%,嵌入Squeeze-and-Excitation(SE)模块的分类准确率依次提高了9.81%、4.52%和2.30%,且新模型在参数量、运行效率等方面比现有算法更具优势.     

基于卷积递归深度学习模型的句子级文本情感分类

针对卷积层和池化层的局部性,提出了一种CNN与RNN的联合架构.通过使用一个无监督的神经语言模型训练初始词嵌入,然后使用网络的预训练参数对模型进行初始化;将信息通过卷积层进行特征映射以及通过长短时记忆模型学习长期依赖关系;通过轻微的超参数调优和词向量,在句子级文本情感分类中取得了出色的结果.使用循环层替代池化层来减少参数的数量以及卷积神经网络的复杂性.结果表明,该方法能够在减少本地信息丢失的同时,构建一个具有更少参数和更高性能的高效框架来捕获句子长期依赖关系.     

基于改进的卷积神经网络的钢号识别

为获取样本的多样性特征,提出了一种改进的卷积神经网络结构。该网络中引入多层递归神经网络,利用卷积神经网络提取输入图像的浅层特征,同时利用卷积神经网络和递归神经网络并行提取高层特征,最后将两种网络学习到的特征进行融合输入到分类器中分类。利用迁移学习理论解决小样本集数据训练不足的问题,并将这种卷积神经网络结构应用于石油物资管线钢号识别中。实验探究了递归神经网络个数与卷积核个数对网络性能的影响,实验结果表明,改进的网络结构与其它网络进行对比,错误率降低了 3% 。     

基于卷积神经网络的入侵检测算法

作为深度学习的一种有效算法,深度卷积网络已成功应用在处理图像、视频和音频等领域.通过建立一卷积神经网络模型并应用于网络入侵检测,选取的卷积核与数据进行卷积操作提取特征的局部相关性从而提高特征提取的准确度.采集到的网络数据通过多层"卷积层-下采样层"的处理对网络中正常行为和异常行为的特征进行深度刻画,最后通过多层感知机进行正确分类.KDD 99数据集上的实验表明,文中提出的卷积神经网络模型与经典BP神经网络、SVM算法等相比,有效提高了入侵检测识别的分类准确性.      

基于卷积神经网络的商品图像精细分类

针对某一类别商品图像的精细分类,研究并实现了深度学习中的卷积神经网络方法。所设计的卷积神经网络由2个卷积层、2个亚采样层及1个完全连接层组成,特征平面的神经元只对其感受野的重叠区域做出反应,由反向传播算法调整网络参数最终完成学习任务。通过鞋类图像的精细分类实验表明,该方法平均分类正确率可达91.5%。     

基于卷积和Transformer融合的服装分类算法

针对传统基于卷积神经网络的服装分类算法无法满足海量多样服装分类需求的问题,提出一种卷积注意力融合的服装分类网络.该网络采用并行结构,包含一个ResNet分支和一个Transformer分支,充分利用卷积运算提取的局部特征和自注意力机制提取的全局特征,以增强网络的表征学习能力,从而提高服装分类算法的性能和泛化能力.为验证该方法的有效性,在数据集Fashion-MNIST和DeepFashion上进行了对比实验.结果表明：在数据集Fashion-MNIST上,该方法取得了93.58%的准确率;在数据集DeepFashion上,该方法取得了71.1%的准确率;该方法优于其他对比方法的实验结果.     

一种权值预学习BP算法的研究

采用无监督学习中的主元分析算法的０ｊａ规则对前馈网络的权值进行预学习,以此来加速前馈网络的学习速度。通过奇偶校验和非线性系统辨识两个应用,验证了该算法在学习速度与性能上都优于传统的ＢＰ算法。     

基于级联卷积神经网络的驾驶员分心驾驶行为检测

针对驾驶员分心驾驶行为检测,设计一种级联卷积神经网络检测框架。检测框架由第一级分心行为预筛选卷积网络和第二级分心行为精确检测卷积网络两个全卷积网络级联构成。预筛选卷积网络是一个轻量级的图像分类网络,负责对原始数据进行快速筛选,其网络层数少、训练速度快,结构特征冗余较少,能够减少后续网络的计算负担;分心行为精确检测卷积网络采用VGG(Visual geometry group)模型特征提取的深度迁移学习检测算法网络,通过迁移学习重新训练分类器和部分卷积层。提出的级联神经网络最终可以实现9种驾驶员分心驾驶行为的准确识别检测。实验结果表明,相比主流单模型检测方法,在保证算法效率的同时准确率均有明显提升,准确率达到93.3%,有效降低了误检率。该方法具有较好的鲁棒性和泛化能力。     

基于相关滤波和卷积神经网络的目标跟踪算法

在目标跟踪系统中,获得目标的良好表征是确定目标跟踪性能的关键,因此提出一种基于相关滤波和卷积神经网络的目标跟踪算法;该算法首先在各视频场景内预先选定可清晰区分目标外观的参考区域块用以构造训练样本,并构建了两路不完全对称但权值共享的卷积神经网络;该卷积神经网络使得参考区域外目标的输出特征尽可能与参考区域内目标的输出特征相似,以便于获得参考区域内目标的良好表征,并在其中一路加入了相关滤波模块,实现了卷积网络与相关滤波的结合;实验结果验证了该算法的可行性。     

基于卷积神经网络的壁面清洗机器人障碍物检测识别算法

结合机器人的工作原理以及卷积神经网络(CNN)在图像分类中的应用,提出了一种基于卷积神经网络的壁面障碍物检测识别算法.首先,以壁面障碍物准确识别为目标,构建壁面障碍物图像库;然后,通过对VGG-16网络简化后进行优化,得到适合壁面障碍物准确识别的卷积神经网络模型.在此基础上,设计该网络由输入层、4层卷积层、2层池化层、1层全连接层以及输出层组成,进一步利用3×3卷积核对训练样本进行卷积操作,并将所获取的特征图以2×2领域进行池化操作.重复上述操作后,通过学习获取并确定网络模型参数,得到最佳网络模型.实验结果表明,障碍物的识别准确率可达99.0%,具有良好的识别能力.     

基于深度卷积神经网络与中心损失的人脸识别

传统人脸识别方法手工设计特征过程复杂、识别率较低,对于开集人脸识别通用深度学习分类模型特征判别能力较弱。针对这两方面的不足,提出了一种以分类损失与中心损失相结合作为模型训练监督信号的深度卷积神经网络。首先,利用构建的应用场景数据集优调从公共数据集获得初始化参数的深度人脸识别模型,解决训练数据过小和数据分布差异问题,同时提高模型训练速度;然后,以传统损失函数和新的中心损失作为迁移学习过程中的监督信号,使得类内聚合、类间分散,提高模型输出人脸特征的判别能力;最后,对人脸特征进行主成分分析,进一步去除冗余特征,降低特征复杂度,提高人脸识别准确率。实验结果表明,与传统人脸识别算法相比该算法可以自动进行特征提取,并且相对于通用深度学习分类模型该算法通过度量学习使特征表示更具判别力。在自建测试集和LFW、YouTube Faces标准测试集上都取得了较高的识别率。     

基于深度迁移网络MobileNetV3的地形识别

传统地形识别算法,主要建立在人工提取特征和训练分类器的前提上,其通用能力有限且准确度不高,或者需要大量的数据集训练基础,这种方法训练的网络模型参数较大且预测耗时较长,不利于移植到移动端。因此,运用迁移学习思想,提出了一种基于深度迁移网络的地形识别算法。采用轻量级卷积神经网络MobileNetV3,在爬虫获取和自建适量数据集基础上,对神经网络进行迁移学习。首先,采用图像分类数据集ImageNet上的预训练成果,根据预训练模型权重对MobileNetV3网络进行初始化,实现对模型大规模共享参数的迁移;然后,通过在自建数据集GXU-Terrain6上进行新的训练,微调模型参数,进而得到新的分类模型;最后,利用训练好的模型对地形类别进行预测,从而完成识别任务。提出算法在GXU-Terrain6测试集上取得了93.00%的平均预测准确率。实验结果表明,基于深度迁移的地形识别算法运用较少数据,可获得较高的识别准确率,网络实时性好,适合向移动端移植。     

一种用于视觉颜色特征分类的脉冲神经网络

针对脉冲神经网络(SNNs)在视觉颜色特征分类领域精度不高的问题,提出了一种基于新型RGB-HSV预处理模型的高精度脉冲神经网络。该脉冲神经网络融合了RGB颜色通道简单和HSV色彩空间直观的特点来提取聚类色彩特征,增强了网络的识别能力。此外,在Tempotron有监督学习基础上提出了一种结合权值动量的训练方式,该方式在计算当前权值更新量的同时保留一定程度的上次权值更新量,加快了网络权值的收敛速度,节省了仿真时间。仿真实验结果表明,所设计的脉冲神经网络的分类精度高达96.21%,且在6次训练迭代后精度仍可达84%左右。     

基于改进的卷积神经网络的负面表情识别方法

为了解决传统的基于人工特征的负面表情识别方法在面部无遮挡、姿态非倾斜的人脸表情图像上表现良好,但是在复杂场景下的识别效果较差的问题,提出了一种基于改进的卷积神经网络的负面表情识别方法.首先利用卷积神经网络的无监督特征学习的特性,预训练两个不同拓扑结构的卷积神经网络,用以提取表情特征;然后融合这些特征,训练分类性能更强的支持向量机.改进后的卷积神经网络算法具有较好的鲁棒性和泛化能力,在训练数据库ICML-fer2013上取得了86.2%的识别率,在测试数据库CK+,GENKI和JAFFE上分别取得了81.6%,87.0%和80.8%的识别率.     

局部可变权值神经网络原理

本文改进了传统神经网络进行学习后权值矩阵在工作时不变的缺,给出一种处理多对单式分类问题新思路;网络工作时,权值矩阵中的特定局部的取值可变。并通过此思路给出一种新型神经网络模型－局部可变权值神经网络。