基于词-标签概率的多标签文本分类研究

针对多标签文本分类任务中如何有效地提取文本特征和获取标签之间潜在的相关性问题,提出一种CNN(convolutional neural networks)结合Bi-LSTM (bi-directional long short-term memory)的模型.首先,通过CNN网络和最大池化提取文本的特征;然后,利用训练的Labeled-LDA(labeled latent dirichlet allocation)模型获取所有词与标签之间的词-标签概率信息;接着,使用Bi-LSTM网络和CNN网络提取当前预测文本中每个词的词-标签信息特征;最后,结合提取的文本特征,预测与当前文本相关联的标签集.实验结果表明,使用词-标签概率获取文本中词与标签之间的相关性信息,能够有效提升模型的F1值.     

增强型注意力网络点击通过率预估方法

针对以往模型在对点击通过率(click-through rate,CTR)进行建模预测时,存在着特征重要性学习不足、特征交互低效等问题,提出了一种增强型注意力网络预估模型,用于动态学习特征重要性和特征交互信息,模型主要由注意力层、双线性交互层和全连接神经网络层构成。注意力层的多尺度多头自注意力机制通过设置不同尺寸子空间增强特征重要性学习能力,在得到特征重要性后,进一步采用张量积双线性交互学习特征交互信息。通过对注意力的子空间尺寸大小、张量积交互形式、神经网络层数和节点个数等进行定量分析,确定模型的最佳参数。实验证明,该模型相比已有模型拥有更好的预测能力。     

基于四元数图神经网络的知识图谱嵌入

针对当前大多数知识图谱嵌入方法对实体和关系的表示能力低、难以处理复杂关系的问题,提出一种基于四元数图神经网络的知识图谱嵌入方法,用于解决知识图谱的链路预测问题。该方法为了包含更丰富的关系信息,将四元数引入到知识图谱嵌入中对实体和关系建模,并考虑两者之间的共现关系。模型利用勒维图变换将知识图谱中的实体和关系转换为图网络中的节点,采用两者的共现关系构建图中的边;将四元数图神经网络(quaternion graph neural networks,QGNN)作为编码器模块,学习图节点的四元数嵌入;利用四元数空间内的哈密顿乘积构造评分函数对生成三元组进行排序。实验结果表明,所提模型能够很好地捕捉到实体与关系之间潜在的相互依赖关系,在知识图谱嵌入方面优于现有的嵌入模型。     

基于预训练模型和多视角循环神经网络的电力文本匹配模型

针对传统方法未能考虑词向量的动态性及句子间交互不充分等问题,提出基于BERT预训练模型及多视角循环神经网络的文本匹配模型。通过BERT-whitening方法对BERT输出的句向量进行线性变换优化,并利用多视角循环神经网络将两句子不同位置的BERT动态词向量进行双向交互计算;将句向量与词粒度交互向量进行融合后计算结果。实验结果表明,提出的模型相较于对比模型有明显性能提升,实用性良好。     

基于深度强化学习的无人机自组网路由算法

针对无人机自组网节点密度大、拓扑变换频繁,导致移动自组网复杂的问题,提出了一种基于深度强化学习(deep-reinforcement learning, DRL)的分布式无人机自组网路由算法。利用DRL感知学习无人机特征,使节点不断与环境交互、探索学习最优行动(路由)策略;通过存储经验知识,维护端到端路由,赋予无人机网络智能化重构和快速修复的能力,从而提高路径的稳定性,降低路由建立和维护开销,增强网络的鲁棒性能。仿真结果表明,提出的算法具有较好的收敛性能;在路由修复时间、端到端时延,以及网络适应性、扩展性方面都优于传统的路由算法。     

一种无先验地图的移动机器人导航方法

为了提高移动机器人在复杂环境下的无先验地图导航算法模型训练速度及导航成功率,提出一种基于深度确定性策略梯度(deep deterministic policy gradient,DDPG)的移动机器人导航方法。利用2D激光雷达的均匀分布测距信息,降低环境噪声的干扰及高维度环境信息的计算量;采用人工势场法构建移动机器人从初始位置到目标点过程的奖励函数;通过Actor-Critic网络结构提高模型训练的稳定性和泛化能力。实验结果表明,提出的方法具有模型训练速度快、导航成功率高及泛化能力强等优点。     

基于图像去噪和图像生成的对抗样本检测方法

针对现有对抗样本检测方法存在检测准确率低和训练收敛速度慢等问题,提出一种基于图像去噪技术和图像生成技术实现的对抗样本检测方法.该检测方法将对抗样本检测问题转换为图像分类问题,无须事先得知被攻击模型的结构和参数,仅使用图像的语义信息和分类标签信息即可判定图像是否为对抗样本.首先,采用基于swin-transformer和vision-transformer实现的移动窗口式掩码自编码器去除图像中的对抗性噪声,还原图像的语义信息.然后,使用基于带有梯度惩罚的条件生成式对抗网络实现的图像生成部分根据图像分类标签信息生成图像.最后,将前两阶段输出的图像输入卷积神经网络进行分类,通过对比完成去噪的图像和生成图像的分类结果一致性判定检测图像是否为对抗样本.在MNIST、GTSRB和CIAFAR-10数据集上的实验结果表明,相比于传统检测方法,本文提出的对抗样本检测方法的平均检测准确率提高6%~36%,F1分数提高6%~37%,训练收敛耗时缩减27%~83%,存在一定优势.     

运用主成分分析和深度神经网络预测钢包炉合金元素收得率的研究

钢包炉（ladle furnace,LF）精炼的核心任务之一是进行钢水合金化过程,以保证钢包到达连铸平台后满足钢水成分要求。钢水合金化也是较为复杂的物理化学反应过程,其不仅对钢水温度有影响,而且对钢水质量、合金料消耗量均有影响。因此,实现LF精炼过程中合金元素收得率的精准预测具有重要意义。本研究首先采用主成分分析法（principal component analysis,PCA）对模型输入变量进行处理,用于简化实际生产数据结构;然后,融合SGDM算法和L2正则化方法,构建了深度神经网络（deep neural network,DNN）;最后,采用主成分分析和深度神经网络相结合的方法,建立了合金元素收得率预测模型。结果表明,Si元素收得率命中率在±1%, ±3%和 ±5%误差范围内分别为54.0%、93.8%和98.8%;Mn元素收得率命中率在±1%, ±2%和 ±3%误差范围内分别为77.0%、96.3%和99.5%。此外,PCA–DNN模型的预测精度优于参考炉次法、多元线性回归模型、改进BP神经网络模型和DNN模型,有助于实现钢水成分的“窄窗口”控制。本研究中合金元素收得率预测模型的建立,也可为LF智能精炼合金化控制模型的开发提供支撑。     

离散时间细胞神经网络中的分岔和混沌

研究了离散时间细胞神经网络（ＤＴＣＮＮ）中的分岔和混沌,ＤＴＣＮＮ中的细胞与连续时间ＣＮＮ中的细胞相似,具有局部耦合,其输出方程是罗切斯蒂方程。分别讨论了２种结构（有边界和无边界）的ＤＴＣＮＮ的混沌特性,ＤＴＣＮＮ的混沌与全局耦合系统一的混沌相似,但由于其局部耦合的结构,其混沌与后者有所不同。提出了有关分岔与混沌的一些有兴趣的理论问题和实际问题．     

冰盖下组合桥墩的局部冲刷特性及水力特性

为研究冰盖对组合桥墩局部冲刷及其周围流场分布的影响,基于动床冲刷试验,在不同覆盖条件下,分析了不同水流条件和桥墩尺寸对组合桥墩局部冲刷的影响,建立了预测明渠水流与冰盖流条件下组合桥墩最大冲刷深度的经验方程,并通过ADV测量了墩前的流场。结果表明:组合桥墩的冲刷模式与串列桥墩相似,最大冲刷深度始终出现在墩正前方;经验方程中来流水深、来流流速、桥墩尺寸、冰盖糙率均与最大冲刷深度呈正相关关系;在粗糙冰冰盖流条件下,墩前的垂向流速最大,导致其最大冲刷深度总是大于同等条件下的明渠水流和光滑冰盖流。