基于ME-ANet模型的糖尿病视网膜病变分级

糖尿病视网膜病变(Diabetic Retinopathy，DR)是一种致盲率很高的眼科疾病。不同病变等级的视网膜图像之间差异小且病灶点分布无规律。针对现有深度模型对DR中的相似病灶点识别率低，严重影响模型分类精度的问题，本研究以深度学习为基础，构建新的模型架构进行训练，提出一种集成MobileNetV2和EfficientNetB0深度模型的注意力网络：ME-ANet。模型集成分为头部和主干两部分，将深度模型的浅层部分融合构成网络的头部，训练时采用迁移学习的策略对网络模型参数进行初始化，减少训练中的过拟合问题。主干部分利用上述两种模型的核心结构，设计3个阶段集成模块进行特征提取。同时设计全局注意力机制(Global Attention Mechanism，GAM)并分别嵌入到3个阶段的集成模块中。模型的改进加速了网络的收敛速度，该网络模型实现了对图像浅层信息的特征融合提取，减少了微病灶特征信息在训练过程中的卷积丢失问题，模型的分类精度进一步得到改善。通过模型集成构建特征提取主干网络，提高了模型对低级特征信息的学习，注意力机制抑制非病变特征信息，强化典型病灶特征学习，从而实现细粒度分类，进一步提升了模型的分类性能。     

融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

改进型DeepLabV3+的糖尿病眼底病变分割

针对糖尿病视网膜眼底病变多类分割难及小病灶识别率低的问题,提出一种融合注意力机制与改进型DeepLabV3+的糖尿病视网膜眼底病变多类病症分割方法．该方法首先通过使用MobileNetV2网络提取病灶特征,减少参数量并提高算法训练速度;接着通过优化空洞空间卷积金字塔池化中的空洞卷积层数与空洞率,以提高捕获小病灶特征的能力;然后基于DeepLabV3+网络模型进行改进,借助坐标注意力机制感知病灶方向和位置信息,从而提高识别精度;最后采用FGADR和IDRiD数据集分别训练和测试所提出的模型．实验结果表明：所提出方法的平均交并比(MIoU)指标为73.75%,具有较高的分割精度,验证了模型有效性．     

基于多尺度特征融合的小样本遥感图像分割

针对绘制遥感图像标签成本高、在实际场景中训练样本有限情况下遥感图像检测精度低的问题,提出了一种结合多尺度特征融合与注意力机制的深度金字塔注意力网络(DPA-Net)并集成迁移学习方法进行小样本遥感图像中建筑物与道路的提取．因为有限训练样本包含的信息有限,所以首先在DeeplabV3+网络架构基础上,增加两路低层特征的来源以充分利用低级特征的空间信息,并且利用注意力机制获取丰富的上下信息并增强模型对目标通道的学习能力,降低对其他目标和噪音的响应能力,改善模型在小样本上检测效果差的问题．最后利用公开遥感图像数据集和小样本数据集进行联合训练的迁移学习方法降低训练样本过少对网络学习性能的影响．实验结果表明：本文方法的精度提高了3.69%,可节省1/2的标注成本．     

基于骨架的自适应尺度图卷积动作识别

基于骨架的动作识别任务中,一般将骨骼序列表示为预定义的时空拓扑图.然而,由于样本的多样性,固定尺度的拓扑图往往不是最优结构,针对样本特性构建自适应尺度的骨骼拓扑图能够更好地捕捉时空特征;另外,不同尺度的骨骼图能够表达不同粒度的人体结构特征,因此对多个不同尺度的拓扑图进行特征提取与融合是有必要的.针对这些问题,提出了一种自适应尺度的图卷积动作识别模型.该模型包含自适应尺度图卷积模块和多尺度融合模块两部分.自适应尺度图卷积模块基于先验与空间注意力机制,构建关键点的活跃度判决器,将活跃点细化为小尺度结构、非活跃点聚合为大尺度结构,在加速节点间特征传递的同时最小化特征损耗;多尺度融合模块基于通道注意力机制,动态融合不同尺度的特征,进一步提升网络的灵活性;最后,综合关键点、骨骼、运动信息实现多路特征聚合的动作判别,丰富模型的特征表达.结果表明:该算法在NTU-RGBD数据集的CS和CV子集上分别取得了89.7%和96.1%的分类准确率,显著提高了动作识别的准确性.     

基于残差注意力和金字塔上采样的图像语义分割

针对图像语义分割中,存在细节信息丢失、分割类别边缘模糊而粗糙的问题,在编码解码结构的基础上,结合残差模块和注意力机制,设计一种残差注意力模块.通过注意力机制加强特征图通道之间的联系,以提升语义分割的细腻度.为提高模型对多尺度物体的识别能力,结合金字塔模型,设计一种金字塔上采样模块.利用编码过程中产生的不同尺度的特征图,...     

用于稳态视觉诱发电位目标识别的多尺度特征融合卷积神经网络方法

针对传统稳态视觉诱发电位(SSVEP)脑电信号目标识别方法分类精度低、提取特征不充分、方法复杂且耗时等问题,提出一种基于多尺度特征融合卷积神经网络的SSVEP信号分类识别方法(SSVEP-MF)。利用小波变换将多通道SSVEP信号整合转化为二维图像作为输入样本集;建立多尺度特征融合卷积神经网络模型(MFCNN),该模型利用三层二维卷积核实现图像样本不同尺度特征的充分提取,构建多尺度特征融合单元对不同层级特征进行融合,并通过全连接等操作完成模型的训练;将样本集输入到MFCNN模型中实现脑电信号特征自适应提取及端到端分类。所提SSVEP-MF方法能够充分提取信号各层级特征,实现短时间视觉刺激下SSVEP信号的有效识别,并具有较高的目标识别效率。实验结果表明,在1 s刺激时长时,相比传统功率谱密度分析方法、典型相关分析方法以及普通卷积结构方法,所提方法的识别准确率分别提升了18.57%、20.08%及7.03%,有效提高了基于稳态视觉诱发电位范式下脑机接口的信号识别性能。     

基于注意力LSTM和多任务学习的远场语音识别

由于背景噪声、混响以及人声干扰等因素,远场语音识别任务一直充满挑战性。该文针对远场语音识别任务,提出基于注意力机制和多任务学习框架的长短时记忆递归神经网络(long short-term memory,LSTM)声学模型。模型中嵌入的注意力机制使其自动学习调整对扩展上下文特征输入的关注度,显著提升了模型对远场语音的建模能力。为进一步提高模型的鲁棒性,引入多任务学习框架,使其联合预测声学状态和干净特征。AMI数据集上的实验结果表明:与基线模型相比,引入注意力机制和多任务学习框架的LSTM模型获得了1.5%的绝对词错误率下降。     

一种基于注意力机制的语音情感识别算法研究

随着语音识别和自然语言处理技术的成熟,智能语音技术逐步落地到各行各业,但目前智能语音产品缺乏情感的交互,未实现真正的智能。为了提升智能语音产品的拟人性,学术界对语音情感识别的研究热度越来越高,但是多局限在使用传统特征工程以及通用深度学习模型上。在应用深度学习模型的基础上引入注意力机制对语音情感识别展开研究,选用语谱图作为输入特征,并对CNN输出的特征进行通道维度的注意力关注,分析注意力计算过程中不同池化方式对识别结果的影响,并引入残差,提升模型表现力,最终UA实现了2.83%的提升。     

基于CXANet-YOLO的火焰检测方法

快速准确的火焰检测对于降低火灾危害具有重要意义，为了加强模型的火焰特征提取能力以及解决特征图尺寸不平衡的问题，利用XSepConv (Extremely Separated Convolution)、大卷积核、Mish激活函数等构建CXANet-block(ConvolutionExtremelyAttentionNetwork)作为YOLOv5的骨干网络，引入CBAM (ConvolutionBlockAttention Module)注意力机制，提出一种基于CXANet-YOLO的火焰检测方法，通过增加通道注意力和空间注意力来提高检测性能.在自建火焰数据集上进行训练，提升模型的鲁棒性和泛化能力.实验结果表明，CXANet-YOLO模型比基准模型YOLOv5在火焰检测上具有更高的检测精度和检测速度，准确率提高了8.2%，检测速度每秒提升25帧.     

基于Inception-BiLSTM和迁移学习的结构损伤识别

针对传统卷积神经网络（convolutional neural network,CNN）方法在时空特征提取存在不足,提出一种改进的Inception与双向长短期记忆（ bi-directional long short-term memory,BiLSTM）联合模型,以全面学习振动信号中的空间和时序信息。首先,构建具有多尺度感受野的Inception模块,自适应地提取不同尺度下的空间特征;其次,BiLSTM序列化处理时间特征,以深度挖掘时间相关性;最后,通过全局平均池化和Softmax分类器来实现钢框架结构的损伤识别。为评估该模型对噪声的鲁棒性,引入高斯白噪声作为干扰。此外,采用迁移学习策略来评估模型在不同强度激励和小样本下的泛化能力,确保适用于不同的损伤识别任务。结果表明,与传统的CNN方法相比,该模型在无噪声条件下及信噪比超过25dB时保持了100%的识别精度。该方法解决了土木工程应用中样本量不足和不同强度激励的实际挑战。通过微调预训练模型的参数,实现了在不同强度激励和小样本情况下的知识迁移与泛化,从而增强了模型的实际适用性。     

基于改进卷积神经网络的中药饮片图像识别

为解决AlexNet网络模型在中药饮片图像识别中存在的识别准确率和鲁棒性不够理想的问题,以常见的50种中药饮片为研究对象,对AlexNet网络模型进行改进优化。首先通过拍摄以及搜索引擎获取中药饮片图像,并对图像进行数据扩充以及细节增强预处理。其次对AlexNet网络模型进行优化改进,通过缩减原网络的卷积核个数和卷积核大小、使用全局平均池化(global average pooling, GAP)替代全连接层以减少网络参数;去除局部响应归一化(local response normalization, LRN)层、引入批量归一化(batch normalization, BN)层和使用Lion优化算法替代随机梯度下降(stochastic gradient descent, SGD)优化算法以提高网络训练速度;使用Mish激活函数替代ReLU激活函数和引入通道注意力机制SENet网络以提高模型的识别精度。实验结果表明,改进后的网络模型相比于AlexNet网络模型,平均识别率提高了6.1%,平均损失率下降了14.4%,网络参数由原来的60 M缩减至1 M,该结果表明在中药饮片数据集上,改进...     

基于改进Transformer和强化学习的僵尸网络DGA域名检测

针对现有僵尸网络检测方法检测精度不高和检测时间开销较大的问题,提出一种基于改进Transformer和强化学习的僵尸网络域名生成算法(Domain Generation Algorithm,DGA)的域名检测方法。首先,利用深度可分离卷积替换ResNet和ResNeXt网络中的卷积块,通过减少网络模型参数来降低模型的时间开销;其次,利用改进后的ResNet和ResNeXt网络将域名字符串映射到深度特征空间,构造多尺度特征,强化特征的表达能力;再次,利用长短期记忆神经网络(Long Short-Term Memory,LSTM)对Transformer网络进行改进,在保持字符间相对位置的同时,进一步建立上下文的长距离依赖编码,并在此基础上引入注意力机制,强化模型对关键特征的捕获能力;最后,引入强化学习对模型进行微调,提高DGA域名的检测精度。在多个DGA域名数据集上进行测试验证,结果表明该模型在保持检测时间开销较小的基础上,具有更高的检测精度。     

高斯Wasserstein距离改进轻量YOLOv7模型的遥感影像道路交叉口检测

YOLOv7是目前目标检测任务中性能较优的模型,但在处理遥感影像中的道路交叉口时,出现目标背景复杂、先验框定位误差以及模型训练参数量增多的问题。针对复杂场景的道路交叉口提出一种结合归一化高斯Wasserstein距离与轻量级YOLOv7的遥感影像道路交叉口检测模型。首先,使用归一化高斯Wasserstein距离与CIoU(complete-IoU)进行先验框定位损失函数的改进,以提高网络模型对于目标尺寸的鲁棒性;其次,在加强网络特征提取模块中加入三维注意力机制,实现网络处理的特征优化;最后,在主干特征提取网络与加强特征提取网络中加入改进的FasterNet模块,提升网络模型的训练速度,减少了模型训练的参数。实验结果表明,改进后的YOLOv7网络模型相比原网络模型,漏检测情况得到明显改善,准确率(precision,P)、召回率(recall,R)、平均准确率(average precision, AP)和F₁分别提升了6.2%、4.9%、6.7%、6.5%,对道路交叉口的检测效果优于原网络模型。其成果对不同环境的影像具有较强适应能力,为道路交叉口检测的发展提供了参...     

近红外光谱的水体污染指标COD定量预测模型

针对传统化学需氧量（chemical oxygen demand, COD）检测存在检测成本高、耗时、易造成二次污染,以及现有检测模型泛化性较差等不足,难以满足水环境实时监测需求的问题,本研究提出基于近红外光谱技术的COD快速无损定量预测模型。实验结果表明,本模型在污水COD光谱数据集上的预测性能,相较于传统机器学习算法,以及现有其他深度学习算法更优。测试的决定系数（R2）和均方根误差（RMSE）分别达到0.992 1和27.47 mg·L-1,模型卷积层的输出特征可解释强,能有效表征关键波长点。为实际水体COD含量快速检测提供一种新的方法。     

基于改进Mask R-CNN的高密度砂岩颗粒的分割识别

针对高密度颗粒密度大,数量多,形态不一,且颜色相近的情况,通过传统方法对砂岩颗粒分割难度存在检测不准和漏检的不足。想要在少量样本中获取更好的效果,变得更加困难。基于上述问题本文提出一种基于改进Mask R-CNN的DGC-Mask R-CNN检测模型,针对少量样本、高密度砂岩颗粒的分割与识别。研究中首先收集了128张超高分辨率的图片,每张图片有近200个砂岩颗粒实例,共26200个实例对象。为了使模型拥有更好的泛化能力,防止少量样本下的过拟合,使用Albu进行图像增强。用自监督预训练模型Barlow Twins来对砂岩颗粒的特征进行初步提取。在DGC-Mask R-CNN中,构建ResNet50模型作为骨干特征提取网络,在ResNet50的BottleNeck的C3,C4,C5特征卷积层中改进传统卷积方式,使用可变形卷积神经网络DCN,并添加GCB注意力机制。在上采样器的多个级联上采样模块中,结合改进的上采样算法CARAFE。实验结果表明,改进后的DGC-Mask R-CNN,使得检测与分割识别的平均精度 达到88.9%和88.8%,与传统的Mask R-CNN、Cascade-Mask R-CNN、Mask Scoring R-CNN、HybridTaskCascade相比检测精度更高。在均值平均精度 方面,与其它模型相比提升较为明显。将模型分割后得到的结果,进行砂岩颗粒的统计以及长短轴的计算,可实现对该部分砂岩颗粒的溯源,计算地壳运动导致的砂岩迁移的距离,进而评估地下油藏。     

基于知识增强的深度新闻推荐网络

在新闻推荐场景下,传统的基于文本特征的新闻推荐模型只考虑了词的共现关系,无法捕获词语的隐含词义和关联知识;而基于深度学习的推荐模型在融合知识图谱信息中仅仅考虑实体的信息,忽略了远距离实体之间的联系,造成实体之间的关联信息和深层次语义联系的缺失.针对该问题提出了一种基于知识增强的深度新闻推荐网络（deep knowledge-enhanced network,DKEN）,利用长短期记忆网络提取知识图谱中的实体路径特征,补充到注意力网络中,然后针对不同的候选新闻动态地构建用户的特征.实验表明该实体路径信息能提高模型的效果,在F₁指标上提升大约1%.      

基于WDCNN-DLSTM的滚动轴承故障诊断方法

滚动轴承是机械设备中的核心部件,其运行状态对设备的运转有重要影响。深度学习作为滚动轴承故障诊断的重要方法越来越受到重视。由于传统的故障诊断方法没有充分利用数据时序性,提出了一种将第一层为宽卷积核的深度卷积神经网络(deep convolutional neural networks with wide first-layer kernels, WDCNN)和深度长短时记忆网络(deep long short-term memory networks, DLSTM)相融合的模型(WDCNN-DLSTM)。WDCNN将传统的CNN第一层卷积核尺寸加宽,提高了模型对一维振动信号中的空间特征信息的提取能力;DLSTM将多个LSTM模块进行堆叠,提高了模型对一维振动信号中时序信息的提取能力。WDCNN-DLSTM将二者通过连接层融合,优势互补,提高了模型的判别能力。通过实验结果表明,相较于一些其他模型,所提出的方法具有更高的精确度。在变负载的情况下,也仍然实现了更好的分类效果。     

基于深度学习的葡萄果穗检测

果穗检测是农业自动化采摘作业的热门关键技术。针对成熟期葡萄易腐烂、成熟状况不一,以及葡萄果园背景复杂、光照条件多变的问题,基于YOLO v5s算法提出一种轻量化改进的检测识别方法。首先,采用Efficientnet-v2网络作为特征提取主干并在其中融合了不降维局部跨信道交互模块,在保障精度的前提下大幅度缩减模型大小以及参数量,加快模型推理速度;其次,为了进一步弥补模型简化造成的精度损失,在模型特征融合关键位置引入坐标注意力模块,强化对目标的关注度,提升模型应对密集目标检测以及对抗复杂背景干扰的能力,保障算法的综合性能及可靠性。实验结果表明：改进后的算法平均准确率达98.7%,平均检测速度为0.028 s,模型大小仅为12.01 MB,相较于改进前的算法准确率提升了0.41%,检测速度快了22%,模型减小了13.2%。在果园场景图像检测测试中,所提出算法能够良好地检测出葡萄果穗并辨别其状况,对不同环境影响也具有较强适应能力,为自动化采摘技术的发展提供了参考。