紧致化神经网络的鲁棒性分析

深度神经网络(deep neural network, DNN)目前已经在很多视觉识别任务中达到了超越人类性能的表现.然而,将深度神经网络部署到真实场景的终端设备面临着两个挑战:首先,目前的深度神经网络模型非常耗费计算资源和内存,很难直接应用在资源受限的终端设备上;其次,真实场景的数据往往受到各种各样噪声的影响,因此部署在真实场景的模型应该拥有良好的鲁棒性(robustness).近年来出现了很多对深度神经网络进行压缩和加速的方法以适应真实场景的资源受限终端,而对这些压缩模型的鲁棒性分析也得到了越来越多的关注.本文首次对神经网络剪枝、量化及知识蒸馏等常用的压缩算法进行对抗鲁棒性及噪声鲁棒性分析,总结了不同压缩算法对神经网络鲁棒性的影响.并对目前同时解决神经网络鲁棒性及模型大小问题的一些方案进行了整理与分析,展望了该领域未来研究的技术挑战与可能的发展方向.     

基于机器学习的界面多相催化效应动力学蒙特卡罗模化

高焓气动环境表面多相催化效应对高超声速飞行器气动热有显著影响,对该效应多尺度特征的表征建模是飞行器热防护系统轻量化、低冗余设计的重要前提.采用动力学蒙特卡罗方法,建立了可用于宏观流场计算的界面多相催化介观模型,并通过径向基函数神经网络算法,训练形成了基于机器学习的吸附演化动力学精确解析的界面多相催化代理模型,实现了催化复合系数的快速精准预测.研究表明,基于机器学习的界面催化代理模型获得的复合系数预测值与动力学蒙特卡罗方法相一致,同时计算时间大幅缩短至常规宏观方法耗时.通过与宏观非平衡流场求解器耦合,所建立的界面催化模型可快速获得多尺度界面多相催化效应下的表面气动加热热流.基于机器学习方法对微细尺度的计算结果进行模化并用于宏观计算,在解析界面多相反应演化动力学的同时,提升了计算效率,为工程适用的飞行器复杂高温效应跨尺度建模提供了理论依据.     

基于机器学习的青海花儿唱词情感分析

本文以青海花儿唱词为研究对象,采用朴素贝叶斯机器学习模型和长短期记忆网络(LSTM)机器学习模型对其建模.首先对青海花儿唱词进行收集,建立模型并对收集到的唱词进行特殊的预处理操作,利用Word2vec生成词向量模型,构建二种不同的机器学习算法模型:朴素贝叶斯模型和LSTM神经网络+Word2vec模型;其次划分花儿唱词...     

基于深度学习的多STBC盲识别算法

针对空时分组码(space-time block code,STBC)识别中多种编码类型难区分的问题,提出了一种基于卷积神经网络的STBC盲识别算法.该算法首先将接收信号采用自相关函数的频域预处理,输入到卷积神经网络中对信号特征进行提取,全连接层对特征进行映射,实现对6种STBC类型的识别.仿真实验结果表明,在无信道和...     

浅析导水裂隙带高度确定方法

本文简要介绍了目前常用的导水裂隙带高度的计算方法,主要有理论分析、数值模拟、相似模拟、现场测试方法等方法,并简述了这些方法的原理,优缺点及应用情况,同时介绍了近些年来产生的一些新生计算导水裂隙带高度的方法。这些给导水裂隙带高度的预测带来一定的指导意义。     

基于VMD-LSTM-IPSO-GRU的电力负荷预测

为了挖掘电力负荷数据中的潜藏信息,提高负荷预测的精度,针对电力负荷强非线性、非平稳性等特点,提出一种基于变分模态分解(variational mode decomposition,VMD)、优化长短期神经网络(long-term and short-term memory network,LSTM)、改进的粒子群算法(improve particle swarm optimization,IPSO)优化门控循环单元(gated recurrent unit neural network,GRU)的混合预测模型。首先,使用相关性分析确定确定输入因素,再将负荷数据运用VMD算法结合样本熵分解为一系列本征模态分量(intrinsic mode fuction,IMF)和残差量,更加合理地确定分解层数和惩罚因子;其次,根据过零率将这些量划分为低频和高频,低频分量使用LSTM网络,高频分量利用IPSO-GRU网络分别进行预测;最后,将预测结果重构得到电力负荷的最终结果。仿真结果表明,相对于其它常规模型,该混合模型可有效的提取模态特征,具有更高的预测精度。     

考虑地质分层约束的长短期记忆循环神经网络测井曲线重构

延长油田东部裸眼井区早期测井资料普遍只有自然电位（SP）、自然伽马（GR）及梯度电阻率(R2.5)三条曲线,因缺失声波（AC）、地层电阻率（RT）等测井曲线,难以满足精细油藏地质研究需求。东部裸眼井区开发时间长、单井产量低,重新测井缺乏可行性及经济性。采用长短期记忆循环神经网络(Long Short-Term Memory,LSTM)进行缺失测井曲线重构是一种经济有效方法,适用于地层测井序列数据。然而延长油田东部浅层油藏上覆黄土层段测井数据信号干扰大,直接应用模型精度较差。针对此问题,本文采用考虑地质分层约束的LSTM模型进行缺失测井曲线的重构,通过分层数据截取每口井长6层段测井数据作为样本数据,既保留了LSTM模型处理序列数据的优势,同时又避免了上覆黄土层测井数据对模型的干扰。利用裸眼井区完整测井数据进行模型训练优化和验证,讨论了考虑地质分层约束的LSTM测井曲线重构精度,结果表明通过引入地质分层约束,模型重构测井曲线精度更高。应用优化后模型实现裸眼井区50口仅有GR、SP、R2.5三条曲线数据井的AC、RT曲线重构,对50口井的142个射孔段进行二次解释,对比试油解释结论符合率达到89.4%,验证了该方法对测井曲线重构的实用性和有效性。     

基于卷积神经网络的新奇检测技术在结构损伤识别中的应用

针对新奇检测难以同时识别结构损伤时刻和损伤位置的问题,提出在新奇检测中引入卷积神经网络以实现损伤时刻和损伤位置的一次性确定。首先,采用小波包技术处理结构响应得到小波包能量,并将相邻测点对应频带的能量比作为新奇检测模型的特征向量;然后,以结构健康时的特征向量作为训练数据,建立健康模式下的基于卷积神经网络的新奇检测模型;接着,将结构实时输出的特征向量输入到新奇检测模型,所得输出与健康状态的输出进行对比,并将输出和输入的欧氏距离作为新奇指标;最后,根据新奇指标的变化识别结构损伤时刻和损伤位置。数值模拟和实验室试验验证了该方法的有效性。     

融合多尺度CNN与双向LSTM的唐卡问句分类模型

当前大语言模型的兴起为自然语言处理、搜索引擎、生命科学研究等领域的研究者提供了新思路,但大语言模型存在资源消耗高、推理速度慢,难以在工业场景尤其是垂直领域应用等方面的缺点。针对这一问题,提出了一种多尺度CNN与双向LSTM融合的唐卡问句分类模型,本模型将数据的全局特征与局部特征进行融合实现唐卡问句分类任务,全局特征反映数据的本质特点,局部特征关注数据中易被忽视的部分,将二者以拼接的方式融合以丰富句子的特征表示。通过在Thangka数据集与THUCNews数据集上进行实验,结果表明,本模型相较于Bert模型在精确度上略优,在训练时间上缩短了1/20,运算推理时间缩短了1/3。在公开数据集上的实验表明,本模型在文本分类任务上也表现出了较好的适用性和有效性。     

基于Adam算法BP神经网络的矿井环境瓦斯浓度预测模型

为了解决现有矿井环境瓦斯浓度预测方法无法处理大数据量、适应性差、误差较大、易陷入局部最优等问题,提出一种基于Adam算法的改进型BP（Back Propagation）神经网络模型,模型适用于矿井多环境参数下,对某区域内环境瓦斯浓度进行预测.对监测监控系统采集到的真实数据进行归一化处理并形成数据集,通过将Adam算法与BP网络模型进行有效结合形成新的网络模型.运用训练集对模型进行训练及调优后,迭代次数在1 200次后损失率趋于平稳,验证集预测的结果整体平均误差率为1.258%,结果表明:该优化模型提高了网络训练速度,且避免了传统BP模型容易陷入局部最小的缺点,同时降低了预测的相对误差.