基于词-标签概率的多标签文本分类研究

针对多标签文本分类任务中如何有效地提取文本特征和获取标签之间潜在的相关性问题,提出一种CNN(convolutional neural networks)结合Bi-LSTM (bi-directional long short-term memory)的模型.首先,通过CNN网络和最大池化提取文本的特征;然后,利用训练的Labeled-LDA(labeled latent dirichlet allocation)模型获取所有词与标签之间的词-标签概率信息;接着,使用Bi-LSTM网络和CNN网络提取当前预测文本中每个词的词-标签信息特征;最后,结合提取的文本特征,预测与当前文本相关联的标签集.实验结果表明,使用词-标签概率获取文本中词与标签之间的相关性信息,能够有效提升模型的F1值.     

增强型注意力网络点击通过率预估方法

针对以往模型在对点击通过率(click-through rate,CTR)进行建模预测时,存在着特征重要性学习不足、特征交互低效等问题,提出了一种增强型注意力网络预估模型,用于动态学习特征重要性和特征交互信息,模型主要由注意力层、双线性交互层和全连接神经网络层构成。注意力层的多尺度多头自注意力机制通过设置不同尺寸子空间增强特征重要性学习能力,在得到特征重要性后,进一步采用张量积双线性交互学习特征交互信息。通过对注意力的子空间尺寸大小、张量积交互形式、神经网络层数和节点个数等进行定量分析,确定模型的最佳参数。实验证明,该模型相比已有模型拥有更好的预测能力。     

基于预训练模型和多视角循环神经网络的电力文本匹配模型

针对传统方法未能考虑词向量的动态性及句子间交互不充分等问题,提出基于BERT预训练模型及多视角循环神经网络的文本匹配模型。通过BERT-whitening方法对BERT输出的句向量进行线性变换优化,并利用多视角循环神经网络将两句子不同位置的BERT动态词向量进行双向交互计算;将句向量与词粒度交互向量进行融合后计算结果。实验结果表明,提出的模型相较于对比模型有明显性能提升,实用性良好。     

基于图像去噪和图像生成的对抗样本检测方法

针对现有对抗样本检测方法存在检测准确率低和训练收敛速度慢等问题,提出一种基于图像去噪技术和图像生成技术实现的对抗样本检测方法.该检测方法将对抗样本检测问题转换为图像分类问题,无须事先得知被攻击模型的结构和参数,仅使用图像的语义信息和分类标签信息即可判定图像是否为对抗样本.首先,采用基于swin-transformer和vision-transformer实现的移动窗口式掩码自编码器去除图像中的对抗性噪声,还原图像的语义信息.然后,使用基于带有梯度惩罚的条件生成式对抗网络实现的图像生成部分根据图像分类标签信息生成图像.最后,将前两阶段输出的图像输入卷积神经网络进行分类,通过对比完成去噪的图像和生成图像的分类结果一致性判定检测图像是否为对抗样本.在MNIST、GTSRB和CIAFAR-10数据集上的实验结果表明,相比于传统检测方法,本文提出的对抗样本检测方法的平均检测准确率提高6%~36%,F1分数提高6%~37%,训练收敛耗时缩减27%~83%,存在一定优势.     

运用主成分分析和深度神经网络预测钢包炉合金元素收得率的研究

钢包炉（ladle furnace,LF）精炼的核心任务之一是进行钢水合金化过程,以保证钢包到达连铸平台后满足钢水成分要求。钢水合金化也是较为复杂的物理化学反应过程,其不仅对钢水温度有影响,而且对钢水质量、合金料消耗量均有影响。因此,实现LF精炼过程中合金元素收得率的精准预测具有重要意义。本研究首先采用主成分分析法（principal component analysis,PCA）对模型输入变量进行处理,用于简化实际生产数据结构;然后,融合SGDM算法和L2正则化方法,构建了深度神经网络（deep neural network,DNN）;最后,采用主成分分析和深度神经网络相结合的方法,建立了合金元素收得率预测模型。结果表明,Si元素收得率命中率在±1%, ±3%和 ±5%误差范围内分别为54.0%、93.8%和98.8%;Mn元素收得率命中率在±1%, ±2%和 ±3%误差范围内分别为77.0%、96.3%和99.5%。此外,PCA–DNN模型的预测精度优于参考炉次法、多元线性回归模型、改进BP神经网络模型和DNN模型,有助于实现钢水成分的“窄窗口”控制。本研究中合金元素收得率预测模型的建立,也可为LF智能精炼合金化控制模型的开发提供支撑。     

离散时间细胞神经网络中的分岔和混沌

研究了离散时间细胞神经网络（ＤＴＣＮＮ）中的分岔和混沌,ＤＴＣＮＮ中的细胞与连续时间ＣＮＮ中的细胞相似,具有局部耦合,其输出方程是罗切斯蒂方程。分别讨论了２种结构（有边界和无边界）的ＤＴＣＮＮ的混沌特性,ＤＴＣＮＮ的混沌与全局耦合系统一的混沌相似,但由于其局部耦合的结构,其混沌与后者有所不同。提出了有关分岔与混沌的一些有兴趣的理论问题和实际问题．     

神经网络校正的EKF在高超声速目标跟踪中的应用

针对临近空间高超声速目标高度非线性、强耦合、高机动、时变参数、和独特气动特性等特点,综合运用军事运筹学理论与方法、系统建模技术、神经网络技术以及计算机仿真等,提出基于神经网络校正的扩展卡尔曼滤波(EKF)算法,并在高超声速目标跟踪中进行了应用研究。采取神经网络的学习能力来克服卡尔曼滤波发散问题,通过卡尔曼滤波后加一级误差处理环节使滤波收敛。仿真结果表明:该算法在目标发生较大机动时仍能保持较高的跟踪精度。     

神经网络建模计算稀土卤化物的熔化焓

采用人工神经网络（ＡＮＮ）方法研究了稀土氟化物、氯化物、溴化物和碘化物的熔化焓与离子键参数之间的关系,由２５组文献数据建立了预报稀土卤化物熔化焓的统一模型,并预报了其他４５个稀土卤化物的熔化焓。ＡＮＮ模型计算结果与已有文献数据吻合,没有实验数据报道的预报结果也显示出良好的规律性,说明人工神经网络建模预报化合物的熔化焓是一种有效的方法。     

联想记忆系统的学习算法设计（Ⅰ）

基于牛顿向前插公式设计了一种新的联想记忆系（ＮＦＩ－ＡＭＳ）的学习算法,用以实现任意阶的多变量多项式函数的无误差逼近。该系统与传统类型的ＣＭＡＣ－ＡＭＳ相比,具有学习精度高和记忆空间小的特点;且比多层的ＢＰ网络具有学习算法简单和收敛速度快的特点。数值模拟表明,这种ＮＦＩ－ＡＭＳ在信号处理,模式识别,及高精度的实时智能控制等领域具有很大的应用潜力。     

一类非线性系统迭代优化神经网络控制器

提出了一类非线性系统迭代优化神经网络控制器的设计方法,该是在正向神经网络辨识模型的基础上,应用迭代学习方法进行控制器设计。为了补偿辨识和迭代学习误差,给出了通过引入了反馈补偿控制器控制精度的方法,仿真结果证明了该方法的有效性。