基于自注意力机制的新生儿胆道闭锁识别

新生儿胆道闭锁是新生儿常见的致命疾病之一,并且该病在亚洲的发病率高于世界其他地区.新生儿胆道闭锁需要及时发现及时治疗,然而由于缺少专业的儿科医生和辅助诊疗手段,新生儿父母往往不能及时发现而错过了最佳治疗时间.因此,本文开发了一个具有实际应用价值的预诊算法,通过新生儿粪便图片预测新生儿是否患有新生儿胆道闭锁,并提醒新生儿父母及时就诊.为了让算法在应用场景下识别率更高,本文的算法基于一个真实场景下拍摄的新生儿粪图片数据集开发.首先我们设计了一个自注意力网络模型BANet(Biliary Atresia Network),将图片的浅层特征和深层特征相结合,可以得到更好的分类效果.由于拍摄自应用场景下的图片存在过暗和过曝等问题.通过分析数据集的亮度分布,我们设计了一个自动亮度调节算法解决.此外,图片中的阴影也会对识别结果造成干扰,因此我们在训练阶段增加了一种阴影数据增强方式来缓解这一问题.为验证本文提出算法的有效性,本文设计了一个和医生的对比试验.结果证明BANet在四分类的识别率、二分类的识别率、特异性和敏感性等客观评价指标上占有明显优势.本文提出的BANet能够有效利用图片中的颜色、异常点...     

基于双通道残差网络的泥石流沟谷孕灾风险预测

云南作为泥石流受灾最严重的省份之一,每年均会遭受重大损失。为了应对这种突发性灾害,本文基于DCHNNet(dual-channel hybrid neural network)提出了一个基于双通道的改进残差结构的卷积神经网络——双通道残差网络(two-way residual network, TWRNet)。该网络能够广泛应用于泥石流沟谷图像的潜在危险性排查,实现泥石流灾害的预警。TWRNet首先采用切片的方式对数字高程(digital elevation model, DEM)数据和遥感数据分开处理,并使用改进的残差结构进行特征提取;然后将特征进行融合,并使用通道注意力机制SE(squeeze-and-excitation networks)模块进行通道增强;最后给出泥石流沟谷的分类结果。在训练过程中,本文使用了交叉熵和焦点损失构成的联合损失函数。实验结果表明,TWRNet在泥石流沟谷识别方面达到了最高89.28%的识别率和87.50%的召回率,模型性能良好。使用图像学习沟谷特征的方法来进行泥石流孕灾沟谷的识别是可行的。     

基于神经网络的船舶稳性预报研究

为省略船舶稳性计算中横摇阻尼以及船舶阻力等参数的复杂计算过程,提出一种采用径向基函数(RBF)神经网络对第二代完整稳性失效概率预报的方法.研究包括过度加速度、瘫船稳性以及骑浪/横甩3种失效模式.通过研究船舶相关参数对各失效模式失效概率的影响,确定采用RBF神经网络对每种失效模式进行预报时输入特征的选取,从而降低训练时长.使用训练后的网络对样本船稳性进行预报,采用均方误差和平均绝对百分比误差对预报结果进行评估.对3种失效模式预报结果的平均绝对百分比误差分别为6.49%、7.09%、5.70%,均小于10%,表明采用RBF神经网络可较为精准地对船舶稳性进行预报.     

基于孪生网络的苹果外观品质分级方法

针对人工和机械在苹果分级中存在低效、易损、准确率低等问题,提出一种基于孪生网络的苹果外观品质分级方法。该方法首先人工采集包含真实背景和不同等级的苹果图像数据集,并进行预处理操作,包括删除无关背景、0-1缩放和数据增强等;其次以卷积层、池化层和批归一化层为基础模块,搭建神经网络模型,提取苹果图像特征;最后用全连接层训练一个分类器,完成对苹果图像特征的分类,从而得到苹果外观品质对应的等级,其中模型的损失函数为对比损失。实验结果表明,构建的孪生网络模型在苹果外观品质分级中,平均分类准确率达到了97.71%,具有较好的稳定性,其用于苹果外观品质的自动分级是可行的,并为其他农产品的外观分级提供思路和参考。     

基于梯度加权类激活热力图的卷积神经网络故障诊断模型鲁棒性分析

深度学习近年来在故障诊断领域受到广泛应用,但基于深度学习的故障诊断模型缺乏工程上的物理解释性,难以保证其故障诊断结果的稳定性。以轴承为例,建立了以小波时频图像为故障诊断依据的卷积神经网络模型(convolutional neural network, CNN),提出了一种基于梯度加权类激活热力图(gradient-weighted class activation map, Grad-CAM)的网络模型鲁棒性分析方法,并利用美国凯斯西储大学(Case Western Reserve University, CWRU)轴承数据集进行验证。首先,将故障直径轴承数据以不同方式混合并训练大、小多个模型。其次,利用Grad-CAM方法,建立时频区域与故障模式之间的联系。最后,利用其他工况下的轴承故障数据,以及含噪数据进行测试,并根据结果结合模型最注重的时频区域进行分析。结果表明,基于深度学习的轴承故障诊断模型在参数较少时更加注重低频区域,并能使其具有更好的鲁棒性。     

基于词-标签概率的多标签文本分类研究

针对多标签文本分类任务中如何有效地提取文本特征和获取标签之间潜在的相关性问题,提出一种CNN(convolutional neural networks)结合Bi-LSTM (bi-directional long short-term memory)的模型.首先,通过CNN网络和最大池化提取文本的特征;然后,利用训练的Labeled-LDA(labeled latent dirichlet allocation)模型获取所有词与标签之间的词-标签概率信息;接着,使用Bi-LSTM网络和CNN网络提取当前预测文本中每个词的词-标签信息特征;最后,结合提取的文本特征,预测与当前文本相关联的标签集.实验结果表明,使用词-标签概率获取文本中词与标签之间的相关性信息,能够有效提升模型的F1值.     

增强型注意力网络点击通过率预估方法

针对以往模型在对点击通过率(click-through rate,CTR)进行建模预测时,存在着特征重要性学习不足、特征交互低效等问题,提出了一种增强型注意力网络预估模型,用于动态学习特征重要性和特征交互信息,模型主要由注意力层、双线性交互层和全连接神经网络层构成。注意力层的多尺度多头自注意力机制通过设置不同尺寸子空间增强特征重要性学习能力,在得到特征重要性后,进一步采用张量积双线性交互学习特征交互信息。通过对注意力的子空间尺寸大小、张量积交互形式、神经网络层数和节点个数等进行定量分析,确定模型的最佳参数。实验证明,该模型相比已有模型拥有更好的预测能力。     

基于预训练模型和多视角循环神经网络的电力文本匹配模型

针对传统方法未能考虑词向量的动态性及句子间交互不充分等问题,提出基于BERT预训练模型及多视角循环神经网络的文本匹配模型。通过BERT-whitening方法对BERT输出的句向量进行线性变换优化,并利用多视角循环神经网络将两句子不同位置的BERT动态词向量进行双向交互计算;将句向量与词粒度交互向量进行融合后计算结果。实验结果表明,提出的模型相较于对比模型有明显性能提升,实用性良好。     

基于图像去噪和图像生成的对抗样本检测方法

针对现有对抗样本检测方法存在检测准确率低和训练收敛速度慢等问题,提出一种基于图像去噪技术和图像生成技术实现的对抗样本检测方法.该检测方法将对抗样本检测问题转换为图像分类问题,无须事先得知被攻击模型的结构和参数,仅使用图像的语义信息和分类标签信息即可判定图像是否为对抗样本.首先,采用基于swin-transformer和vision-transformer实现的移动窗口式掩码自编码器去除图像中的对抗性噪声,还原图像的语义信息.然后,使用基于带有梯度惩罚的条件生成式对抗网络实现的图像生成部分根据图像分类标签信息生成图像.最后,将前两阶段输出的图像输入卷积神经网络进行分类,通过对比完成去噪的图像和生成图像的分类结果一致性判定检测图像是否为对抗样本.在MNIST、GTSRB和CIAFAR-10数据集上的实验结果表明,相比于传统检测方法,本文提出的对抗样本检测方法的平均检测准确率提高6%~36%,F1分数提高6%~37%,训练收敛耗时缩减27%~83%,存在一定优势.     

运用主成分分析和深度神经网络预测钢包炉合金元素收得率的研究

钢包炉（ladle furnace,LF）精炼的核心任务之一是进行钢水合金化过程,以保证钢包到达连铸平台后满足钢水成分要求。钢水合金化也是较为复杂的物理化学反应过程,其不仅对钢水温度有影响,而且对钢水质量、合金料消耗量均有影响。因此,实现LF精炼过程中合金元素收得率的精准预测具有重要意义。本研究首先采用主成分分析法（principal component analysis,PCA）对模型输入变量进行处理,用于简化实际生产数据结构;然后,融合SGDM算法和L2正则化方法,构建了深度神经网络（deep neural network,DNN）;最后,采用主成分分析和深度神经网络相结合的方法,建立了合金元素收得率预测模型。结果表明,Si元素收得率命中率在±1%, ±3%和 ±5%误差范围内分别为54.0%、93.8%和98.8%;Mn元素收得率命中率在±1%, ±2%和 ±3%误差范围内分别为77.0%、96.3%和99.5%。此外,PCA–DNN模型的预测精度优于参考炉次法、多元线性回归模型、改进BP神经网络模型和DNN模型,有助于实现钢水成分的“窄窗口”控制。本研究中合金元素收得率预测模型的建立,也可为LF智能精炼合金化控制模型的开发提供支撑。