增强型注意力网络点击通过率预估方法

针对以往模型在对点击通过率(click-through rate,CTR)进行建模预测时,存在着特征重要性学习不足、特征交互低效等问题,提出了一种增强型注意力网络预估模型,用于动态学习特征重要性和特征交互信息,模型主要由注意力层、双线性交互层和全连接神经网络层构成。注意力层的多尺度多头自注意力机制通过设置不同尺寸子空间增强特征重要性学习能力,在得到特征重要性后,进一步采用张量积双线性交互学习特征交互信息。通过对注意力的子空间尺寸大小、张量积交互形式、神经网络层数和节点个数等进行定量分析,确定模型的最佳参数。实验证明,该模型相比已有模型拥有更好的预测能力。     

基于预训练模型和多视角循环神经网络的电力文本匹配模型

针对传统方法未能考虑词向量的动态性及句子间交互不充分等问题,提出基于BERT预训练模型及多视角循环神经网络的文本匹配模型。通过BERT-whitening方法对BERT输出的句向量进行线性变换优化,并利用多视角循环神经网络将两句子不同位置的BERT动态词向量进行双向交互计算;将句向量与词粒度交互向量进行融合后计算结果。实验结果表明,提出的模型相较于对比模型有明显性能提升,实用性良好。     

基于图像去噪和图像生成的对抗样本检测方法

针对现有对抗样本检测方法存在检测准确率低和训练收敛速度慢等问题,提出一种基于图像去噪技术和图像生成技术实现的对抗样本检测方法.该检测方法将对抗样本检测问题转换为图像分类问题,无须事先得知被攻击模型的结构和参数,仅使用图像的语义信息和分类标签信息即可判定图像是否为对抗样本.首先,采用基于swin-transformer和vision-transformer实现的移动窗口式掩码自编码器去除图像中的对抗性噪声,还原图像的语义信息.然后,使用基于带有梯度惩罚的条件生成式对抗网络实现的图像生成部分根据图像分类标签信息生成图像.最后,将前两阶段输出的图像输入卷积神经网络进行分类,通过对比完成去噪的图像和生成图像的分类结果一致性判定检测图像是否为对抗样本.在MNIST、GTSRB和CIAFAR-10数据集上的实验结果表明,相比于传统检测方法,本文提出的对抗样本检测方法的平均检测准确率提高6%~36%,F1分数提高6%~37%,训练收敛耗时缩减27%~83%,存在一定优势.     

运用主成分分析和深度神经网络预测钢包炉合金元素收得率的研究

钢包炉（ladle furnace,LF）精炼的核心任务之一是进行钢水合金化过程,以保证钢包到达连铸平台后满足钢水成分要求。钢水合金化也是较为复杂的物理化学反应过程,其不仅对钢水温度有影响,而且对钢水质量、合金料消耗量均有影响。因此,实现LF精炼过程中合金元素收得率的精准预测具有重要意义。本研究首先采用主成分分析法（principal component analysis,PCA）对模型输入变量进行处理,用于简化实际生产数据结构;然后,融合SGDM算法和L2正则化方法,构建了深度神经网络（deep neural network,DNN）;最后,采用主成分分析和深度神经网络相结合的方法,建立了合金元素收得率预测模型。结果表明,Si元素收得率命中率在±1%, ±3%和 ±5%误差范围内分别为54.0%、93.8%和98.8%;Mn元素收得率命中率在±1%, ±2%和 ±3%误差范围内分别为77.0%、96.3%和99.5%。此外,PCA–DNN模型的预测精度优于参考炉次法、多元线性回归模型、改进BP神经网络模型和DNN模型,有助于实现钢水成分的“窄窗口”控制。本研究中合金元素收得率预测模型的建立,也可为LF智能精炼合金化控制模型的开发提供支撑。     

离散时间细胞神经网络中的分岔和混沌

研究了离散时间细胞神经网络（ＤＴＣＮＮ）中的分岔和混沌,ＤＴＣＮＮ中的细胞与连续时间ＣＮＮ中的细胞相似,具有局部耦合,其输出方程是罗切斯蒂方程。分别讨论了２种结构（有边界和无边界）的ＤＴＣＮＮ的混沌特性,ＤＴＣＮＮ的混沌与全局耦合系统一的混沌相似,但由于其局部耦合的结构,其混沌与后者有所不同。提出了有关分岔与混沌的一些有兴趣的理论问题和实际问题．     

基于正弦信号调制的灵巧干扰技术

线性调频雷达在接收信号时采用脉冲压缩处理,使传统的压制式干扰在进入雷达接收机时无法获得脉冲压缩增益,从而造成干扰效果大幅下降。针对这一问题,建立了时域卷积调制的灵巧干扰信号的数学模型,根据这一模型设计了基于非完全正弦函数卷积调制的灵巧干扰信号,来实现对线性调频信号的干扰,对这一干扰信号的干扰效果进行了仿真分析。仿真结果表明:这一干扰信号可以产生假目标群来实现对一定距离单元的遮盖性干扰,并能利用脉冲压缩时旁瓣的非线性叠加覆盖真实目标回波,解决了卷积干扰信号滞后于真实目标回波的缺陷。     

神经网络校正的EKF在高超声速目标跟踪中的应用

针对临近空间高超声速目标高度非线性、强耦合、高机动、时变参数、和独特气动特性等特点,综合运用军事运筹学理论与方法、系统建模技术、神经网络技术以及计算机仿真等,提出基于神经网络校正的扩展卡尔曼滤波(EKF)算法,并在高超声速目标跟踪中进行了应用研究。采取神经网络的学习能力来克服卡尔曼滤波发散问题,通过卡尔曼滤波后加一级误差处理环节使滤波收敛。仿真结果表明:该算法在目标发生较大机动时仍能保持较高的跟踪精度。     

神经网络建模计算稀土卤化物的熔化焓

采用人工神经网络（ＡＮＮ）方法研究了稀土氟化物、氯化物、溴化物和碘化物的熔化焓与离子键参数之间的关系,由２５组文献数据建立了预报稀土卤化物熔化焓的统一模型,并预报了其他４５个稀土卤化物的熔化焓。ＡＮＮ模型计算结果与已有文献数据吻合,没有实验数据报道的预报结果也显示出良好的规律性,说明人工神经网络建模预报化合物的熔化焓是一种有效的方法。     

基于卷积型变分原理的半解析法及其在热传导中的应用

本文基于积型变分原理提出了瞬态热传导问题的半解法,该方法在空间域内作有限元离散,在时间上用纵数表示,吸取了现有求解瞬态问题方法的优点,又克服了其缺陷,一维和二维算例结果表明。该方法进求解热传导问题的一种新型、有效的方法。     

联想记忆系统的学习算法设计（Ⅰ）

基于牛顿向前插公式设计了一种新的联想记忆系（ＮＦＩ－ＡＭＳ）的学习算法,用以实现任意阶的多变量多项式函数的无误差逼近。该系统与传统类型的ＣＭＡＣ－ＡＭＳ相比,具有学习精度高和记忆空间小的特点;且比多层的ＢＰ网络具有学习算法简单和收敛速度快的特点。数值模拟表明,这种ＮＦＩ－ＡＭＳ在信号处理,模式识别,及高精度的实时智能控制等领域具有很大的应用潜力。