面向中文语音情感识别的改进栈式自编码结构

为进一步提高汉语语音情感识别率,基于深度学习中的自编码、降噪自编码及稀疏自编码的网络结构,提出了一种改进的栈式自编码结构.该结构第1层使用降噪自编码学习一个比输入特征维数更大的隐藏特征,第2层采用稀疏自编码学习稀疏性特征,最后使用softmax分类器进行分类识别.训练过程首先采用逐层预训练的方法,达到网络参数全面初始化的目的,然后对整个网络进行微调.在中文语音库上的情感识别实验显示,相较于单独使用栈式降噪或稀疏自编码,所提结构具有更好的识别效果.此外,基于CASIA库的对比实验显示,该结构比K近邻算法、稀疏表示方法、传统支持向量机和人工神经网络识别率分别提高了53.7%,29.8%,14.3%和1.9%.在自行录制的语音库中,该结构的识别率比人工神经网络提高了1.64%.     

基于稀疏自编码神经网络的抽油机井故障诊断

针对传统示功图识别方法对抽油机井进行故障诊断存在人工选取示功图几何特征,识别准确度低等问题,提出一种基于稀疏自编码神经网络的示功图智能识别模型。采用无监督学习方式的稀疏自编码器构建特征学习网络自动提取无标签示功图训练集图像特征,然后采用有标签示功图训练集对softmax分类器进行有监督训练,最后通过稀疏自编码神经网络对学习到的有标签示功图测试集特征进行分类并给出故障诊断结果。结果表明,将稀疏自编码神经网络应用于示功图识别,测试准确度能够达到99.44%,优于其它分类模型。稀疏自编码神经网络直接从像素层面提取所需要的特征,不需要人为选定设计特征,为提高示功图识别准确度提供了帮助,进而解决了抽油机井故障难以准确诊断的难题。     

基于无损约束降噪稀疏自编码的滚动轴承故障诊断技术

在滚动轴承故障诊断过程中,时域振动信号容量大且易受噪声污染,难以建立准确的故障诊断模型。针对上述难题,本文采用无损约束降噪方法对稀疏自编码进行优化,提出了基于无损约束降噪稀疏自编码的滚动轴承故障诊断方法。该方法可直接作用于时域振动信号,消除对人工特征提取的依赖性,无需降噪预处理,降低了故障诊断模型建立的难度。为验证本方法的有效性,利用滚动轴承时域振动信号进行仿真实验,并对诊断过程中学习到的故障特征进行可视化分析。实验结果表明,本方法可以在噪声数据下建立有效的故障诊断模型,且比传统的栈式稀疏自编码诊断算法具有更强的噪声鲁棒性。     

卷积神经网络在锚杆锚固类型识别中的应用

为了解决手工特征提取方法依赖广泛的专业知识和先验知识,难以挖掘新特征而影响识别结果的问题,将一维卷积神经网络应用于锚杆锚固系统类型识别,以实现端到端的分类过程;为了避免随机初始化卷积核会造成网络在训练时收敛速度慢、易陷入局部最优等问题,利用稀疏自编码器对网络的卷积核进行预训练,并利用实验锚杆锚固数据对稀疏自编码器一维卷积神经网络模型、传统一维卷积神经网络模型和反向传播神经网络模型进行测试。结果表明:一维卷积神经网络可应用于锚杆锚固系统类型识别,实现端到端的分类过程;在锚杆锚固系统类型识别中,稀疏自编码器一维卷积神经网络模型的准确率高于传统一维卷积神经网络模型和反向传播神经网络模型的准确率,识别率可达98.57%。     

基于SSAE-PNN算法的网络入侵检测研究

针对常用的入侵检测算法的收敛速度慢和误报率高的问题,本文提出一种基于栈式稀疏自编码器(SSAE)和概率神经网络(PNN)的入侵检测方法.首先,使用栈式稀疏自编码器对数据进行特征提取,获得低维、深层次的特征集,从而降低检测结果的误报率;然后,使用收敛速度快的概率神经网络对特征集分类,减少了训练模型的时间.本文使用NSL-KDD数据集对模型进行验证,实验结果表明,与其他入侵检测算法相比,SSAE-PNN模型取得了更优秀的检测效果.     

基于火焰成像和堆栈降噪自编码的燃烧工况识别

提出一种基于深度神经网络的燃烧监测方法.该方法利用具有深层结构的堆栈降噪自编码(SDAE)提取火焰图像特征,并将其输入到高斯过程分类器(GPC)中,从而识别燃烧工况.针对SDAE训练集中未出现的新燃烧工况,使用少量新工况的标签图像对GPC进行重新训练,即可扩大监测模型的识别范围.在重油燃烧试验装置上开展了试验研究,利用获得的火焰图像对SDAE-GPC网络进行模型训练以及性能测试.结果表明,所提出的监测方法对训练集所包含的燃烧工况具有99.3%的识别精度,对新工况具有98.2%的识别精度,且对图像噪声具有良好的鲁棒性,在燃烧工况识别中具有潜在的应用前景.     

基于多字典和稀疏噪声编码的图像超分辨率重建

稀疏表示模型是通过将字典中的原子进行组合得到期望的结果.为了解决传统字典学习中所有图像块重建均使用同一个字典,从而忽略了最佳稀疏域的问题,提出来一种基于多字典和稀疏噪声编码的图像超分辨率重建算法.在字典训练时,利用图像的特征将它们合理地划分成若干个簇,每个聚类训练生成子字典对,利用最佳字典对进行重建.在求解稀疏系数阶段,引入稀疏编码噪声去除噪声的影响,利用图像非局部自相似性来获得原始图像稀疏编码系数的良好估计,然后将观测图像的稀疏编码系数集中到这些估计当中.实验表明,与ASDS算法和SSIM算法相比较,该算法有更好的重建结果,获得了更丰富的图像细节和更清晰的边缘.     

基于数据扩展的短时交通流量预测

多种机器学习和深度学习的模型和算法应用于短时交通流量预测,但是,大多数模型尤其是深度学习模型对训练样本的数量要求较高。为此,提出了一种基于数据扩展的短时交通流量预测方法,该方法基于自编码神经网络分别结合长短时记忆神经网络(LSTM)和支持向量机回归(SVR)构建预测模型,该模型利用自编码神经网络扩展的数据分别训练长短时记忆神经网络和支持向量回归进行交通流量的预测,结果表明,所提出的预测模型具有较高的精度和较好的泛化能力。     

基于改进卷积神经网络的短文本分类模型

基于卷积神经网络, 提出一种基于改进卷积神经网络的短文本分类模型. 首先, 采用不同编码方式将短文本映射到不同空间下的分布式表示, 提取不同粒度的数字特征作为短文本分类模型的多通道输入, 并根据标准知识库提取概念特征作为先验知识, 提高短文本的语义表征能力； 其次, 在全连接层增加自编码学习策略, 在近似恒等的基础上进一步组合数字特征, 模拟数据内部的关联性； 最后, 利用相对熵原理为模型增加稀疏性限制, 降低模型复杂度的同时提高模型的泛化能力. 通过对开源数据集进行短文本分类实验, 验证了模型的有效性.     

基于改进卷积神经网络的短文本分类模型

基于卷积神经网络, 提出一种基于改进卷积神经网络的短文本分类模型. 首先, 采用不同编码方式将短文本映射到不同空间下的分布式表示, 提取不同粒度的数字特征作为短文本分类模型的多通道输入, 并根据标准知识库提取概念特征作为先验知识, 提高短文本的语义表征能力； 其次, 在全连接层增加自编码学习策略, 在近似恒等的基础上进一步组合数字特征, 模拟数据内部的关联性； 最后, 利用相对熵原理为模型增加稀疏性限制, 降低模型复杂度的同时提高模型的泛化能力. 通过对开源数据集进行短文本分类实验, 验证了模型的有效性.     

基于改进稀疏编码模型的图像分类算法

针对图像表示,提出了一种基于改进稀疏编码模型的图像分类算法.首先,提取表示图像视觉局部特征的SIFT (Scale Invariant Feature Transform) 描述子;然后,利用稀疏编码方法生成基于SIFT描述子的视觉词汇库,将SIFT描述子编成稀疏向量;通过有效稀疏向量的区域融合和空间结合而获取整体的稀疏向量并用于图像表示;最后,采用随机森林多分类器对稀疏向量进行训练和测试.结果表明,与现有的算法相比,该算法的性能更佳,可以有效表示图像的特性并提高其分类的准确率.     

基于卷积神经网络的图像搜索技术研究

图像搜索时需要尽可能地保留图像语义相似性,传统的哈希图像检索方法大多是基于人工视觉特征的,它的性能已经满足不了现在图像搜索的要求.为了解决这个问题,我们将哈希编码和卷积神经网络结合起来,旨在研究出一个更好的检索方法.本文使用卷积神经网络中的AlexNet模型和哈希编码结合,改进了传统的图像搜索算法,缩短了神经网络的训练时间,提高了哈希算法的效果.我们选用CIFAR-10数据集来进行相关实验.实验结果表明,该方法相比于传统的图像检索方法具有多方面的优越性.     

基于自然语言表达的目标检测算法

为帮助机器人根据自然语言表达定位环境中的物品,提出一种快速、端对端的基于自然语言表达的目标检测算法:同时训练一个卷积神经网络与一个循环神经网络来学习视觉与文本信息.循环神经网络用于将自然语言编码为向量,卷积神经网络用于获取图片中的区域特征信息.对比图片中的区域特征与自然语言特征,相似度高的即为目标区域.在开源数据库UNC-Ref与G-Ref中训练并测试了该模型,证明了该模型的快速性与准确性.     

基于稀疏编码和多核学习的图像分类算法

提出了一种基于稀疏编码和多核学习的图像分类算法.首先从图像中提取Dense-SIFT（Dense Scale Invariant Feature Transform）和Dense-SURF（Dense Speeded Up Robust Feature）2种特征,使用稀疏编码对特征点进行处理,得到一系列高维向量,然后对这些高维向量应用max-pooling算法,将图像表示成单个向量.最后,使用改进的多核学习方法对这些向量进行分类,对于不同的特征,使用不同核的组合以达到最好的分类效果.实验结果表明,该算法作为词袋（BoW）模型的改进,能够提高分类准确率.
     

基于胶囊网络的三维网格模型分类方法

多边形网格作为一种复杂的数据结构为三维物体提供了有效的形状近似表示,但由于网格数据的复杂性和不规则性,卷积神经网络很难直接应用到三维网格数据处理中.因此,提出一种基于胶囊网络的深度学习方法对三维网格数据进行有效分类.首先设计一种能够直接在网格表面进行计算的多项式卷积模板,提取三维网格模型的高阶参数特征.同时,为解决传统卷积神经网络大量池化层的引入导致的特征丢失问题,针对输入网格模型尺寸大小不统一问题,改进了胶囊网络姿态参数学习方法,通过共享姿态矩阵权值,减少模型参数量,进一步提高了三维网格模型的训练效率.实验在SHREC15数据集上与传统方法和最新的两种方法进行比较,相比于最新方法 MeshNet和MeshCNN,在原始测试集上的平均识别准确率提高了3.4和2.1个百分点,且融合特征后平均准确率达到93.8%.经实验验证,在训练时间较短的前提下,该方法也能取得相当的识别效果.本文所提出的三维网格分类方法,综合了图形学与深度学习方法的优点,有效提高了三维网格模型的分类效果.     

基于量子免疫的RBF神经网络在上市公司财务预警中的应用

针对传统的RBF神经网络财务预警模型难以解释变量之间的因果关系,使得训练时间增加、训练精度下降等缺陷,该文提出了一种基于量子免疫的改进的RBF神经网络的财务预警模型.该模型通过改进的量子免疫算法对RBF神经网络的连接权值进行优化,将连接权,隐节点中心以及宽度编码为基因,构成抗体,然后通过遗传迭代使网络参数逐步优化,最终达到最优结果.详细阐述了算法的实现过程以及利用量子免疫算法改进RBF神经网络财务预警模型,然后,分别采用改进RBF神经网络法、传统RBF神经网络法及Logistic回归模型进行实证对比分析,实证证明了改进RBF神经网络模型预警的准确性有较大提高.     

基于循环神经网络的微地震数据降噪方法

针对微地震信号中存在大量噪声干扰, 导致其识别困难的问题, 提出一种深度双向门控循环单元循环神经网络的方法, 并将其应用于微地震数据降噪中. 首先, 构建多层双向门控循环单元循环神经网络模型, 并设计该模型的网络结构及训练算法; 然后, 采用Ricker子波正演模拟微地震数据验证模型的有效性, 并将该方法与其他4种方法进行对比; 最后, 将真实的含噪声微地震数据输入到训练好的模型中, 即可得到降噪后的微地震数据. 仿真实验结果表明, 利用该方法降噪后与降噪前信号的峰值信噪比相比约提高36 dB, 且信号之间的相关系数值由0.088 6上升至0.933 5. 实际应用结果也表明, 该方法可有效降低实际微地震数据中的噪声.     

用于图像识别的稀疏高斯编码

为了解决特征学习过程中导致聚类的不均衡性,提出一种基于高斯编码的特征学习算法,使用K-means聚类进行特征训练,在编码过程中考虑了数据分布的影响,同时保留了K-means编码的稀疏性。并且鉴于K-means聚类的不均衡,还提出了一种特征选择的方法用于去噪和降维。改进的模型不仅很大程度上提高了性能而且训练时间和计算代价均小。在人脸数据库AR以及对象分类库Caltech101上设计了对比实验,实验结果都验证了该算法的有效性和鲁棒性。     

基于门循环单元神经网络的中文分词法

目前,学术界主流的中文分词法是基于字符序列标注的传统机器学习方法,该方法存在需要人工定义特征、特征稀疏等问题.随着深度学习的研究和应用的兴起,研究者提出了将长短时记忆(long short-term memory,LSTM)神经网络应用于中文分词任务的方法,该方法可以自动学习特征,并有效建模长距离依赖信息,但是该模型较为复杂,存在模型训练和预测时间长的缺陷.针对该问题,提出了基于门循环单元(gated recurrent unit,GRU)神经网络的中文分词法,该方法继承了LSTM模型可自动学习特征、能有效建立长距离依赖信息的优点,具有与基于LSTM神经网络中文分词法相当的性能,并在速度上有显著提升.     

基于自编码器和极限学习机的工业控制网络入侵检测算法

针对目前未知工业控制网络攻击检测方法处于初级阶段,浅层次的选取特征分类导致检测率较低的问题,提出一种稀疏自编码-极限学习机入侵检测模型。该文所提算法通过深度学习的稀疏自编码器在训练时结合编码层的系数惩罚和重构误差对高维数据进行特征提取,再运用极限学习机对提取的特征进行快速有效地精准分类,使用工控入侵检测标准数据集对算法准确性进行了验证,通过和不同类型的入侵检测模型进行比较。结果表明:该文方法可以有效提升入侵检测系统性能,符合工业控制入侵检测"高精度、低误报"的要求。