基于深度无监督学习的图像分类算法

为了取得精确的图像分类效果,一方面需要提取大量的图像特征数据进行样本分析,另一方面大量的数据又造成了维数灾难.因此,为了解决信息全面与维数灾难的矛盾,引入了深度学习.深度学习利用分层结构处理复杂的高维数据,可以完成复杂函数的逼近,是一类具有多层非线性映射的学习算法,但深度学习模型优化困难且对隐层参数敏感.针对上述问题,将无监督算法引入深度学习,这种学习方法无须人工设计特征提取数据,训练过程中样本标签是未知的.实验表明,该算法在不影响图像分类效果的前提下,可以大大降低计算复杂度,具有一定的时效性.     

利用同伦正则化方法建立新的深度学习的稀疏自编码模型

大数据是继云计算、物联网之后IT产业又一次颠覆性的技术革命,而深度学习推动了"大数据+深度模型"时代的来临。本文是基于深度学习的稀疏自编码模型,把数理方程反问题中的新思想——同伦正则化的思想应用到该种模型中,将正则化参数的取值范围由无限区间(0,∞)改进为有限区间(0,1),建立了一种新的深度学习的稀疏自编码模型。该模型与原模型相比较,实验设计简单,模型的正则化参数更加容易优化。     

基于组态王的遗传算法控制器设计

滞后大的系统在常规PID控制器的控制下存在过度调节的问题.遗传算法控制器充分利用自学习功能,对PID控制器参数进行在线修正,提高控制系统性能.基于组态王的遗传算法控制器应用于双容水箱液位控制系统,其实验结果表明,该控制器能有效地提高系统的响应速度和抑制过度超调,系统的性能得到有效提升.     

基于GoogLeNet多阶段连带优化的图像描述

图像描述是使用计算机将一副图像中的内容使用自然语言的形式重新表达,是图像理解任务中极具挑战性的工作。目前,使用深度CNN模型和RNN模型对图像进行编码和解码框架来解决该问题已经成为研究热点,也在多个数据集上取得了突破。但这些工作在使用CNN的过程中对其参数优化不足,且常使用分阶段训练的方式,导致整个系统易陷入局部最优。针对这些问题,在Goog Le Net模型的基础上,利用其中间特征,自底向上添加了两个辅助LSTM分支及其监督函数,通过联合训练,对整个模型进行优化,保证了CNN模型低层参数对任务的有效性,避免了系统陷入局部最优点;同时,由于加入了低层监督函数的干扰,使得模型有了额外的正则化,提高了模型的泛化能力。在Flickr8K和Flickr30K两个数据集上的实验表明,本文方法优势明显,在多个统计指标上均超过了现有其他方法。     

船舶减摇鳍系统变结构模糊自适应鲁棒控制

针对船舶减摇鳍控制系统,考虑到船舶在大风浪中运动时,系统模型不可避免地存在非线性和不确定性的影响。在假设系统不确定性函数结构未知的情况下,利用模糊系统对不稳定性函数进行逼近,将获得的模糊系统函数作为系统不确定性界函数,进而提出了船舶减摇鳍控制系统变结构模糊自适应鲁棒控制策略,该策略在确保系统的滑动模态超平面为渐近可达的前提下,在线对系统模型的控制增益参数和不确定性函数的界参数进行估计。经仿真试验表明,该控制策略对于船舶减摇鳍非线性控制系统是十分有效的,特别是鲁棒性能令人满意。     

基于改进的稀疏降噪自编码网络的三维模型识别方法

针对海量数据挖掘中三维模型特征识别准确率较低的问题, 提出一种改进的稀疏降噪自编码神经网络模型. 先基于改进的稀疏降噪自编码方法构建深度神经网络模型, 再利用无监督预训练方法及受限的拟牛顿计算方法对自编码神经网络进行训练, 最后采用softmax回归和得到的特征训练最终的分类器. 结果表明: 该方法对有噪声的三维模型特征信息具有较好的鲁棒性; 与栈式自编码神经网络和自学习神经网络相比, 该方法识别率较高.     

遗传模糊优化算法在三容水箱控制系统中的仿真应用

针对存在大滞后、时变、非线性特点的液位控制系统在工况大范围变化时传统控制算法控制效果不理想的问题,提出利用模糊控制结合遗传算法的空间寻优能力,对隶属度函数的参数和模糊控制规则的后件进行综合编码优化,利用进化原理寻优来获得最佳的参数进行模糊系统自动设计的方法建立三容水箱控制系统仿真模型,在此模型上验证.仿真结果表明此方法的有效性和实用性.     

解非线性规划的一个可微"准"精确罚函数法

将文[1]中" "函数的光滑近似函数应用于求解非线性规划问题,该方法通过解一个可微"准"精确罚函数逐渐去逼近原问题的最优解,并且可以通过参数的选取控制解的误差,给出了几个演示性算例.该算法克服了非线性规划极大熵函数法易溢出的缺陷.     

基于集成降噪自编码的网络入侵多模式匹配算法设计

针对高维网络入侵受到层次限制,入侵识别易出现局部极值化,导致入侵匹配时间延长的问题,提出并设计基于集成降噪自编码的网络入侵多模式匹配算法。引入降噪自编码网络,将深度学习法运用于在网络入侵检测中,构建深层网络模型,根据逐层贪婪编码模式实现预训练,完成高维深层网络入侵特征的自适应性提取及挖掘,通过监督式微调解决机器学习中局部极值问题,增强网络入侵检测效果与泛化性能,实现网络入侵初步检测。利用多模式匹配实现初步识别结果的最终匹配,完成网络入侵模式诊断。搭建实验平台对所提算法进行验证,将网络中用户行为日志数据当作实验数据样本,实验结果表明,负载均衡方差保持在0.85～1.0,匹配时间最短,访问文本串中字符的数目增长幅度很小,证明了算法鲁棒性和可实践性很强。     

高超声速飞行器模糊自适应动态面容错控制

针对输入饱和下高超声速飞行器发生执行机构损伤故障并存在参数不确定的情况,提出了一种基于Nussbaum增益技术的模糊自适应动态面容错控制策略.对于飞行器的高度和速度子通道,分别设计了动态面和动态逆控制器.利用双曲正切函数逼近飞行器的输入饱和特性,并基于中值定理将其转化为控制输入的仿射形式.对于损伤故障和参数不确定导致的控制增益未知问题,通过引入Nussbaum增益技术既保证控制系统稳定,又可以避免控制器奇异问题.通过设计模糊自适应系统,在线逼近包含不确定参数与饱和逼近误差的未知函数项,且引入范数估计思想,使得每个模糊系统仅包含一个自适应参数,以减小计算量.稳定性分析证明了闭环控制系统的半全局一致最终有界性,仿真结果验证了该容错控制算法的有效性.     

基于深度自编码网络的电弧故障检测与负载类型识别

针对有监督学习的电弧故障检测方法需要大量带标签数据且大多只检测电弧故障而未对负载类型进行识别的问题,提出一种基于深度自编码网络的电弧故障检测与负载类型识别方法;采用小波包分解的节点系数作为自编码网络的无标签输入特征量,并运用逐层训练方法对自编码网络进行预训练;为了使所提出方法的权重系数达到全局最优,采用少量有标签数据对所得权重进行微调,通过Softmax多分类器输出电弧故障检测结果,并根据负载类别最大概率识别电弧故障可能的负载类型。结果表明,所提出的方法对电弧故障检测与负载类型识别准确率达到98.56%,高于相同层数和参数规模的有监督学习网络的准确率。     

一种基于自编码的混凝土裂纹识别方法

混凝土表面图像裂纹识别的传统深度学习模型往往需要大量的裂纹图像训练样本,但是在基础设施检测实际场景中,裂纹图像获取和标注困难,无裂纹图像收集则相对便利.提出了基于无裂纹图像单类样本的半监督学习方法,设计了基于自编码网络的混凝土裂纹图像识别模型CrackNet.该模型的主干网络由自编码网络和对抗网络构成,但是为了进一步扩大裂纹图像的重构误差,CrackNet引入了近邻编码策略.近邻编码模块把输入样本的隐向量用码本中最相近的k个隐向量线性编码,编码后的向量经过解码器重构输入.为了进一步提高CrackNet的识别性能和执行效率,提出了CrackNet-T模型.该模型应用K-Means聚类算法学习紧凑的码本,同时引入阈值策略自动决策输入图像是否进行近邻编码,从而避免无裂纹图像被近邻编码改变在隐空间中的表征.本文方法在公开数据集CCIC上进行实验,结果表明CrackNet-T性能不仅优于经典的异常检测模型,而且与有监督深度学习模型识别性能相当.     

基于核的自组织映射聚类

将核学习的方法应用于自组织映射聚类中,提出了一种核自组织映射聚类算法.该算法以核函数代替原始数据在特征空间中映射值的内积,并且神经元权值向量的初始化和更新都可由其组合系数向量表示,从而获得了直观而简单的迭代公式.分析了算法中学习速率过高会降低学习稳定性、学习速率过低又会降低收敛速度等参数选择问题,给出了一组折中考虑学习稳定性和收敛速度要求的参数初始值.实验结果表明,核自组织映射聚类对于非椭圆型的类分布数据,如环形数据,聚类正确率也能够达到99.886 4%.对IRIS数据集和入侵检测报警数据的聚类也证明了核自组织映射聚类方法的良好性能.     

B样条曲线逼近的一种新方法

基于B样条曲线拟合出现的问题和困难,提出了一种新的B样条曲线拟合方法.该方法成功地避免了数据点参数化的问题,并使得逼近曲线具有较好的形状和接近弧长参数化的节点向量.本方法基本思想是:先用易于控制形状的低阶曲线拟合数据点,此曲线称为控制曲线,然后用高次曲线逼近该控制曲线,此高次曲线称为逼近曲线.根据本方法,设计新的拟合目标函数,通过求解二次优化系统来求解逼近曲线,并充分利用控制曲线提出一种新的接近弧长参数化的节点向量的设置方法.     

基于自优化的多属性高斯核函数相关向量机方法

在相关向量机的预测模型中,核函数的选择和核参数的取值对模型预测性能影响很大.针对这一问题,文中采用多属性高斯核函数建立相关向量机预测模型,提出了一种自优化的核参数学习方法进行参数优化,并将该模型用于二维标准函数预测和污水处理系统出水水质预测,与不同核函数下的相关向量机模型以及不同参数优化方法下获得的预测模型进行了对比实验.结果表明,基于自优化的多属性高斯核相关向量机模型对低维数据的参数敏感度较低,对高维数据有良好的输出精度和稀疏性,在污水出水水质预测中获得比较满意的结果.     

闭环系统的迭代相关校正控制设计

对于闭环控制系统中的参数化控制器的设计问题,基于系统辨识的模型检验过程,提出一种新的数据驱动法-迭代相关校正控制法。将参数化控制器的未知参数向量辨识转化为互相关函数的寻根过程,对于此寻根过程可采用随机逼近算法求解。在放松条件下,建立关于互相关函数的目标准则函数,进而利用梯度算法求解一个无约束的优化问题,且推导出终止梯度算法迭代循环的总次数。最后用仿真算例验证该方法的有效性。     

深度优先局部聚合哈希

已有的深度监督哈希方法不能有效地利用提取到的卷积特征,同时,也忽视了数据对之间相似性信息分布对于哈希网络的作用,最终导致学到的哈希编码之间的区分性不足.为了解决该问题,提出了一种新颖的深度监督哈希方法,称之为深度优先局部聚合哈希(Deep Priority Local Aggregated Hashing,DPLAH).DPLAH将局部聚合描述子向量嵌入到哈希网络中,提高网络对同类数据的表达能力,并且通过在数据对之间施加不同权重,从而减少相似性信息分布倾斜对哈希网络的影响.利用Pytorch深度框架进行DPLAH实验,使用NetVLAD层对Resnet18网络模型输出的卷积特征进行聚合,将聚合得到的特征进行哈希编码学习.在CI-FAR-10和NUS-WIDE数据集上的图像检索实验表明,与使用手工特征和卷积神经网络特征的非深度哈希学习算法的最好结果相比,DPLAH的平均准确率均值要高出11％,同时,DPLAH的平均准确率均值比非对称深度监督哈希方法高出2％.     

数据挖掘在安钢电极预测建模中的应用

从安钢电极控制的实际应用出发,应用数据挖掘技术建立了电极预测模型并应用于电极控制系统的参数整定.首先介绍了建立电极预测模型的数据挖掘过程;然后在数据挖掘算法中提出了一种新的变结构遗传Elman网络方法,该算法用改进的混合遗传算法对网络结构和权值及自反馈增益同步动态寻优.将基于BP算法的Elman网络和本文提出的变结构遗传Elman网络都应用于安钢交流电弧炉的电极预测模型中进行比较.通过基于安钢现场数据的计算机仿真实验表明:采用变结构遗传Elman网络的数据挖掘算法比BP算法具有更好的动态性能、更快的逼近速度和更高的精度.在此基础上,把建立的模型应用于安钢电极控制系统的参数整定,取得了良好的控制效果.     

学生得分预测:一种基于知识图谱的卷积自编码器

在线个性化学习系统能够根据学生的学习历史,为学生提供个性化的学习资源,辅助学生高效学习.要提供精准的个性化诊断报告和个性化资源推荐,首先要对学生进行学业能力评估,其中一个基础性任务为得分预测.对于得分预测任务,现有的研究和方法存在如下不足:①不能充分利用大数据提升预测精度,②无法解决实际应用场景中常见的冷启动问题,③预测结果不可解释.为此提出并实现了一种基于知识图谱的自编码模型(knowledge-aware auto-encoder model,KAEM)用于学生得分预测.首先介绍了含有教育专家先验知识的一种知识图谱,称之为锚题图谱;然后KAEM采用深度学习自编码技术,将教研对锚题图谱的先验理解作为自编码器的正则化项加入模型中,有效地解决冷启动问题.此外,此类模型的预测结果还可以解释化,为实际个性化学习推荐等应用场景提供教研依据.KAEM已经在国内某在线教育系统上运行,取得了良好的效果;在大规模数据上也实验验证了KAEM的有效性.     

基于BP网络的反馈控制器设计

针对常规反馈控制器参数在对象时变情况下难以获得最优的问题，利用BP神经网络构成系统反馈控制器，通过自适应学习速率在线调整网络权值以逼近对象的逆动态模型，并利用Lyapunov方法给出了该算法的收敛的条件。将算法应用于循环水温度控制系统表明：该控制器对模型参数不依赖，能有效地适应控制对象参数的变化，系统具有较强的鲁棒性。