持续学习：研究综述

深度学习模型通常限定在固定数据集中进行训练，训练完成之后模型无法随着时间而扩展其行为.将已训练好的模型在新数据上训练，会出现灾难性遗忘现象.持续学习是一种能够缓解深度学习模型灾难性遗忘的机器学习方法，它旨在不断扩展模型的适应能力，让模型能够在不同时刻学习不同任务的知识.目前，持续学习算法主要分为4大方面，分别是正则化方法、记忆回放方法、参数孤立方法和综合方法.对这4类方法的研究进展进行了系统地总结与分析，梳理了衡量持续学习算法性能的评估方法，讨论了持续学习的新兴研究趋势.     

基于LSTM的钓鱼邮件检测系统

提出了一种基于LSTM的钓鱼邮件检测方式.该方式主要由两部分构成:分别为数据扩充部分及模型训练部分.数据扩展部分中,通过KNN与K-means算法扩大训练数据集,保证数据的数量能够满足深度学习算法的需要.在模型训练部分中,通过对数据进行预处理并将其转化为词向量矩阵,最后将转化完词向量通过训练得到LSTM神经网络模型.最终,可以根据训练好的LSTM模型将邮件分为正常邮件以及钓鱼邮件.通过实验对提出的算法进行了评估,实验结果显示提出的算法准确率可以达到95%.      

全相关约束下的变分层次自编码模型

基于深度学习的解耦表示学习可以通过数据生成的方式解耦数据内部多维度、多层次的潜在生成因素,并解释其内在规律,提高模型对数据的自主探索能力。传统基于结构化先验的解耦模型只能实现各个层次之间的解耦,不能实现层次内部的解耦,如变分层次自编码(variational ladder auto-encoders,VLAE)模型。本文提出全相关约束下的变分层次自编码(variational ladder auto-encoder based on total correlation,TC-VLAE)模型,该模型以变分层次自编码模型为基础,对多层次模型结构中的每一层都加入非结构化先验的全相关项作为正则化项,促进此层内部隐空间中各维度之间的相互独立,使模型实现层次内部的解耦,提高整个模型的解耦表示学习能力。在模型训练时采用渐进式训练方式优化模型训练,充分发挥多层次模型结构的优势。本文最后在常用解耦数据集3Dshapes数据集、3Dchairs数据集、Celeb A人脸数据集和dSprites数据集上设计对比实验,验证了TC-VLAE模型在解耦表示学习方面有明显的优势。     

新拌砂浆动态失水模型的建立

以毛细管力学理论及流体力学理论为基础建立砂浆动态失水数学模型,并用砂浆动态失水试验进行验证.研究了该模型与砂浆保水性的关联性,以模型为基础,探讨砂浆保水性的影响因素.结果表明:砂浆失水的前期阶段及后期阶段可分别用毛细管渐进式收缩模型及毛细管整体收缩模型模拟;毛细管渐进式收缩模型中砂浆失水量平方和失水时间的比值与砂浆的保水率呈线性反比关系,而毛细管整体收缩模型不能表征砂浆保水性;根据毛细管渐进式收缩模型,从理论上获得水的性质、胶凝材料的物料特性及灰砂比等对砂浆保水性的影响规律.     

基于渐进式神经网络的机器人控制策略迁移

在机器人领域,通过深度学习方法来解决复杂的控制任务非常具有吸引力,但是收集足够的机器人运行数据来训练深度学习模型是困难的.为此,提出一种基于渐进式神经网络(progressive neural network,PNN)的迁移算法,该算法基于深度确定性策略梯度(deep deterministic policy gradient,DDPG)框架,通过把模型池中的预训练模型与目标任务的控制模型有机地结合起来,从而完成从源任务到目标任务的控制策略的迁移.两个仿真实验的结果表明,该算法成功地把先前任务中学习到的控制策略迁移到了目标任务的控制模型中.相比于其他基准方法,该算法学习目标任务所需的时间大大减少.     

用水迷宫建立大鼠空间辨别性学习记忆模型

目的探索脑形态与脑功能结合的动物模型建立方法.方法用水迷宫训练大鼠建立空间辨别性学习记忆模型.结果用水迷宫每天训练10次,连续7 d即可达到预定的模型标准;在建立模型的过程中发现在训练的第5天有学习的平台期出现.结论水迷宫训练实验能有效的使大鼠建立空间辨别性学习记忆能力.     

基于主动学习隐马尔可夫模型的文本信息抽取

对只能获得部分标记的训练文本,将主动学习方法应用到文本信息抽取中,提出了一种基于主动学习隐马尔可夫模型的文本信息抽取方法.在该方法中,通过主动学习,仅将对隐马尔可夫模型的训练最有价值的训练文本挑选出来进行标记.实验表明,通过选择模型信任值的最佳门槛值,该方法在保证文本信息抽取性能的前提下,大大减少了用户标记训练文本的工作量.     

基于增量式贝叶斯智能入侵检测模型

传统智能入侵检测模型参数的修改只能通过对训练集重新学习,从而导致模型的适应性较低,利用朴素贝叶斯模型具有增量式学习特征,通过对新训练集进行训练进而修改模型参数,从而提高模型的自适应能力.实验结果表明,模型的自适应能力得到了一定的提高.     

油井工况智能监测与风险防控技术研究

为了实现油井工况的自动评估与智能管理,达到防范风险的目标,基于深度学习技术建立了油井工况智能监测与风险防控方法.将实际油田数万条示功图数据整理为卷积神经网络模型的训练集,并基于该训练集,利用监督误差反向传播算法对基于卷积神经网络模型的示功图识别模型进行了训练和测试.结果表明,基于深度学习技术的示功图识别模型的准确度达到95%以上.研究成果应用于国内某油田,采油系统效率总体提升2.67%,工况合格率提升11%,防范风险成功率提高60%.研究成果为同类油田提供了一定的技术借鉴.     

基于迁移学习的危险行为识别方法研究

深度学习中卷积神经网络在行为识别领域有着良好的识别效果,但是由于深度学习需要较大数据集训练模型,而现今公开数据集中危险行为识别相关方向没有大量数据集。针对危险行为识别领域样本少、无法进行深度学习训练等问题,建立了危险行为识别数据集,并采用迁移学习方法对C3D网络模型进行迁移训练。结果表明,迁移学习后C3D网络模型对危险行为识别数据集平均识别率达到了83. 2%,可以有效识别危险行为动作。     

网络环境下师范生微格教学分级递进训练的实践研究

微格教学在培养师范生教学技能方面发挥了重要的作用,但一直以来,微格教学在课程的设置、技能训练的模式和目标等方面存在很多的争议或困惑。本文在总结传统微格教学存在的问题的基础上,提出了网络环境下微格教学分级递进的训练模式。实践证明,这一训练模式的效果是明显的。     

Jordan神经网络的改进研究

针对Jordan神经网络的反馈网络的反馈信息表征能力不强的缺点,提出了一种新的反馈网络模型,对Jordan神经网络的缺点进行了改进,并且对原来的训练学习算法进行了改进,提出了一种提取绝对值最大权的训练学习算法来降低计算复杂性,最终给出了实验结果证明。     

基于ME-ANet模型的糖尿病视网膜病变分级

糖尿病视网膜病变(Diabetic Retinopathy，DR)是一种致盲率很高的眼科疾病。不同病变等级的视网膜图像之间差异小且病灶点分布无规律。针对现有深度模型对DR中的相似病灶点识别率低，严重影响模型分类精度的问题，本研究以深度学习为基础，构建新的模型架构进行训练，提出一种集成MobileNetV2和EfficientNetB0深度模型的注意力网络：ME-ANet。模型集成分为头部和主干两部分，将深度模型的浅层部分融合构成网络的头部，训练时采用迁移学习的策略对网络模型参数进行初始化，减少训练中的过拟合问题。主干部分利用上述两种模型的核心结构，设计3个阶段集成模块进行特征提取。同时设计全局注意力机制(Global Attention Mechanism，GAM)并分别嵌入到3个阶段的集成模块中。模型的改进加速了网络的收敛速度，该网络模型实现了对图像浅层信息的特征融合提取，减少了微病灶特征信息在训练过程中的卷积丢失问题，模型的分类精度进一步得到改善。通过模型集成构建特征提取主干网络，提高了模型对低级特征信息的学习，注意力机制抑制非病变特征信息，强化典型病灶特征学习，从而实现细粒度分类，进一步提升了模型的分类性能。     

基于卷积神经网络的灾难场景图像分类

为了对灾难场景图像进行快速分析和识别,提出了一种基于多分辨率卷积神经网络和残差注意力机制(attention module)相结合的图像分类模型.首先,对灾难场景数据集进行预处理,在相同类型的条件下将其随机划分为训练集和测试集.基于改进的卷积神经网络(convolutional neural network,CNN),提取训练集的图像特征.使用训练集图片的特征进行训练,并且在测试集图片上实现分类测试.选取DenseNet、Xception和MobileNetV2三种模型,以灾难场景数据集(Disaster_Data_Scenes)为数据集进行实验验证.结果表明:改进的Xception和MobileNetV2网络在灾难场景数据集上进行的图像分类实验测试,比原网络精度分别提升了4.56％和3.04％.其中改进的DenseNet网络比原网络模型精度分别提升9.13％、17.88％和10.27％.可见改进的卷积神经网络模型的分类精度得到有效提高.     

遗传算法优化的神经网络频谱预测模型训练

针对认知无线网络(CRN)中神经网络频谱预测模型原有的反向传播算法预测准确率不高的问题,提出一种遗传算法优化的神经网络频谱预测模型训练(GA-NN)算法。通过在选择、交叉、变异中加入随机性,使种群的个体收敛至包含全局最优解的集合内,再通过反向传播算法训练神经网络频谱预测模型(BPNN)快速搜索到全局最优解。仿真结果表明,GA-NN算法训练的神经网络频谱预测模型的预测准确率比BP-NN算法提高一倍以上,GA-NN算法在多种CRN中具有适用性。GA-NN算法提高了频谱预测模型的预测准确率,将促进频谱预测技术在CRN中的推广应用。     

基于神经网络的光伏电站气象-功率模型

基于双层前馈神经网络建立光伏电站输出功率与辐照等气象因素间的非机理模型。建立光伏电站输出功率与气象因素的神经网络模型;对功率模型的输入特征进行选择,分析不同气象因素的组合作为输入变量对模型准确度的影响,明确功率模型的输入变量;分析该模型网络的训练算法、隐含层神经元个数及训练次数对模型准确度的影响,据此确定功率模型的最优结构与参数;基于光伏电站的实际数据对功率模型进行验证。结果表明,基于双层前馈神经网络的光伏电站气象-功率模型具有较高的准确度。     

高师数学双语教学递进式模式的研究

阐述分层递进地培养师范数学专业学生的双语教学能力的必要性、分层递进模式的含义,针对师资队伍、课程设置、教材建设、教学形式、教学实践、教学效果评价提出具体可行的策略,即分层递进式进行。     

神经网络在岩石多角度偏振光谱识别中的应用

依据岩石多角度偏振光谱反射特征数据,运用神经网络方法,对反射特征相近的岩石加以识别.在识别中以不同方位角、反射角及入射角的反射比等参数作为训练样本及测试样本,训练样本经过网络学习、训练得到神经网络模型,测试样本对神经网络模型进行检验,实验证明将神经网络应用于岩石多角度偏振遥感技术是岩石识别的一种切实可行的方法.     

一种新的过程神经网络训练算法及其应用

着重研究了基于离散数据的过程神经网络建模问题。考虑到来自现场的过程变量数据基本都是离散的采样数据,故先对离散采样数据进行预处理,然后采用离散Walsh变换法对数据进行转换,即将网络输入函数和权函数在Walsh基下映射为一组新的时变向量,将积分聚合运算简化为向量内积运算,实现离散采样数据对连续网络的直接输入。应用所建立的过程神经网络模型对发酵过程菌体浓度进行了预测,取得了较好的效果。     

基于神经网络的泡沫混凝土强度及导热性能预测

基于神经网络原理,建立预测泡沫混凝土性能的BP神经网络模型,期望通过输入配合比主要参数,得到泡沫混凝土强度及导热性能的预测结果。将实验数据分为训练组和对照组,对训练组进行非线性拟合,若拟合结果满足误差精度则模型建立完毕;通过拟合结果与对照组的比较,可验证模型预测精度。结果表明,BP神经网络模型能够准确拟合实验数据,利用其泛化能力进行预测的结果与对照组的误差小于8%,该模型具有很高的预测精度。