增强型注意力网络点击通过率预估方法

针对以往模型在对点击通过率(click-through rate,CTR)进行建模预测时,存在着特征重要性学习不足、特征交互低效等问题,提出了一种增强型注意力网络预估模型,用于动态学习特征重要性和特征交互信息,模型主要由注意力层、双线性交互层和全连接神经网络层构成。注意力层的多尺度多头自注意力机制通过设置不同尺寸子空间增强特征重要性学习能力,在得到特征重要性后,进一步采用张量积双线性交互学习特征交互信息。通过对注意力的子空间尺寸大小、张量积交互形式、神经网络层数和节点个数等进行定量分析,确定模型的最佳参数。实验证明,该模型相比已有模型拥有更好的预测能力。     

基于预训练模型和多视角循环神经网络的电力文本匹配模型

针对传统方法未能考虑词向量的动态性及句子间交互不充分等问题,提出基于BERT预训练模型及多视角循环神经网络的文本匹配模型。通过BERT-whitening方法对BERT输出的句向量进行线性变换优化,并利用多视角循环神经网络将两句子不同位置的BERT动态词向量进行双向交互计算;将句向量与词粒度交互向量进行融合后计算结果。实验结果表明,提出的模型相较于对比模型有明显性能提升,实用性良好。     

运用主成分分析和深度神经网络预测钢包炉合金元素收得率的研究

钢包炉（ladle furnace,LF）精炼的核心任务之一是进行钢水合金化过程,以保证钢包到达连铸平台后满足钢水成分要求。钢水合金化也是较为复杂的物理化学反应过程,其不仅对钢水温度有影响,而且对钢水质量、合金料消耗量均有影响。因此,实现LF精炼过程中合金元素收得率的精准预测具有重要意义。本研究首先采用主成分分析法（principal component analysis,PCA）对模型输入变量进行处理,用于简化实际生产数据结构;然后,融合SGDM算法和L2正则化方法,构建了深度神经网络（deep neural network,DNN）;最后,采用主成分分析和深度神经网络相结合的方法,建立了合金元素收得率预测模型。结果表明,Si元素收得率命中率在±1%, ±3%和 ±5%误差范围内分别为54.0%、93.8%和98.8%;Mn元素收得率命中率在±1%, ±2%和 ±3%误差范围内分别为77.0%、96.3%和99.5%。此外,PCA–DNN模型的预测精度优于参考炉次法、多元线性回归模型、改进BP神经网络模型和DNN模型,有助于实现钢水成分的“窄窗口”控制。本研究中合金元素收得率预测模型的建立,也可为LF智能精炼合金化控制模型的开发提供支撑。     

离散时间细胞神经网络中的分岔和混沌

研究了离散时间细胞神经网络（ＤＴＣＮＮ）中的分岔和混沌,ＤＴＣＮＮ中的细胞与连续时间ＣＮＮ中的细胞相似,具有局部耦合,其输出方程是罗切斯蒂方程。分别讨论了２种结构（有边界和无边界）的ＤＴＣＮＮ的混沌特性,ＤＴＣＮＮ的混沌与全局耦合系统一的混沌相似,但由于其局部耦合的结构,其混沌与后者有所不同。提出了有关分岔与混沌的一些有兴趣的理论问题和实际问题．     

基于旋转准正交空时分组码的LDPC编码性能

为了提高空时分组码在多输入多输出通信系统的性能,提出一种新的准正交空时分组码,并且结合星座旋转设计和交织技术。通过星座旋转准正交空时分组码,以牺牲一定解码的简单性,来避免当天线数目大于2时,正交空时分组码码率下降的缺点;并与LDPC码进行级联编码,来降低系统误码率及提高系统的可靠性要求。多输入多输出通信系统可以很好地解决多径效应,获得很高的分集增益。仿真结果表明:与没有经过星座旋转的准正交空时分组码系统相比较,这种新的编码方法可以有效地降低误码率,提高系统的性能。在误码率10-5时,CRQOSTBC级联LDPC码与QOSTBC级联LDPC码相比有1.8dB的信噪比改善,CR-QOSTBC级联LDPC码相对于未级联LDPC码的QOSTBC在10-3时有5.3dB性能提升。     

一类一阶线性非齐次方程组的解法

利用二阶线性微分方程的可解定理,给出一阶线性非齐次方程组的一种新解法     

Banach空间二阶微分方程的周期解

研究了有序Ｂａｎａｃｈ空间中二阶微分方程周期解的存在性,利用凸锥理论与上、下解方法获得了周期解的存在性结果,并把Ｌｅｅｌａ关于二阶常微分方程的结果推广到了无限维空间．     

二阶非线性非驻定系统——周期解的存在性

讨论二阶非线性非驻定系统周期解的存在性,给出相应的例子加以说明。     

联想记忆系统的学习算法设计（Ⅰ）

基于牛顿向前插公式设计了一种新的联想记忆系（ＮＦＩ－ＡＭＳ）的学习算法,用以实现任意阶的多变量多项式函数的无误差逼近。该系统与传统类型的ＣＭＡＣ－ＡＭＳ相比,具有学习精度高和记忆空间小的特点;且比多层的ＢＰ网络具有学习算法简单和收敛速度快的特点。数值模拟表明,这种ＮＦＩ－ＡＭＳ在信号处理,模式识别,及高精度的实时智能控制等领域具有很大的应用潜力。     

基于人工神经网络降维映射的统计优化方法

提出将多维空间的样本数据降维映射到二维平面上,并在该平面上自动生成函数的等值分布曲线,从而,可直观出该函数的最优点或最优区域,通过本文提出的逆映射算法可将其还原到多维空间用原始变量表示．运算实例结果表明,基于神经网络降维映射的优化方法,直观、准确、可靠,对于有约束优化问题的求解特别有效．