HourglassNet:一种用于遥感目标检测的改进FCOS算法

针对遥感图像中背景复杂、目标分布密集、目标尺度形态多样等问题,该文在单阶段全卷积(FCOS)目标检测模型的基础上,基于沙漏特征金字塔并且与多尺度上下文场景结合,提出了沙漏网(HourglassNet)。针对卷积神经网络(CNN)中不同深度语义信息和空间信息不均衡的问题,提出了一种沙漏特征金字塔,通过将多尺度特征缩放至中间尺度进行融合和优化以获得全局特征。基于注意力机制将全局特征向不同尺度特征传递,在抑制无关特征的同时增强了有效特征,实现了对多尺度特征的补偿。为了将高层特征的语义信息更加充分地融入不同尺寸的特征图内,设计了多尺度上下文融合模块。利用适当的感受野提取高层特征的上下文信息,提升了特征的鲁棒性和辨识性。分别在DOTA v1.5和NWPU VHR-10公开遥感图像数据集上进行了性能对比与消融实验。结果表明,该文算法的均值平均精度(mAP)相比于FCOS在DOTA v1.5和NWPU VHR-10数据集上分别提升了4.3%和3.4%,且检测性能优于YOLOv3等其它对比方法。     

结合二阶注意力机制的多尺度人体姿态估计

为解决人体姿态估计任务中存在的不同视角下人体实例尺度变化、遮挡问题导致的人体关键点定位不准确问题,提出融入二阶注意力机制的多尺度人体姿态估计网络模型GOS-HRNet。首先,在特征提取阶段为了获得高质量的特征图,通过在多分辨率网络结构中使用Octave卷积,保留更多的图像空间特征信息以提高关键点定位准确率;然后,为有效的利用图像上下文信息,融入二阶注意力模块使网络能更好地学习各分辨率表征的空间信息;最后,为了应对尺度变换对关键点定位的影响采用尺度增强训练方法,提高模型对尺度变化的鲁棒性。所提模型在MS COCO 2017数据集上进行实验,结果表明：所提出的GOS-HRNet模型平均检测精度比HRNet模型提升了2.2%,能够更加准确地利用上下文信息、丰富空间特征信息以提高对关键点定位的准确性。     

多尺度生成对抗网络的图像超分辨率算法

基于神经网络的图像超分辨率方法往往存在重建图像纹理结构模糊、缺失高频信息的问题。为了解决该问题,在SRGAN的基础上提出一种多尺度并联学习的生成对抗网络结构,其中生成模型由两个不同尺度的残差网络块组成,首先对提取的低分辨率图像通过两个子网络的多尺度特征学习,然后使用融合网络进行残差融合,融合不同尺度高频信息,最终生成高分辨图像。在Set5、Set14、BSD100基准数据集以及SpaceNet卫星图像数据集上的实验结果证明了该算法在恢复低分辨率图像的细节纹理信息具有良好效果。     

基于双层视觉及多尺度注意力融合的图像去雾

针对现有去雾算法缺乏对雾霾图像不同区域噪音浓度的关注以及远近景特征的区分问题,本文提出了一种新的生成对抗网络模型.模型中通过两个UNet3+网络实现全尺度的跳跃连接和深度监督,使用多尺度融合的方法结合不同尺度特征图中的高低级语义;而深度监督的加入可以更好地学习图像中的远近层次表示.同时在生成器结构中加入融合改进自注意力机制的多尺度金字塔特征融合模块,以便更好地保留特征图的多尺度结构信息,并且提高了对不同雾霾浓度区域的关注度.实验结果显示,在NTIRE 2020、NTIRE 2021、O-Haze数据集和Dense-Haze数据集上, 本文所提出的算法网络相比BPPNET等其他先进算法可以得到更好的视觉效果,在Dense-Haze数据集上,峰值信噪比和结构相似性指数分别达到24.82和0.769.     

多尺度改进Xception的花卉图像分类方法

针对传统图像分类方法在花卉图像上存在分类效果不佳的问题,提出一种改进Xception网络的方法。首先结合Res2net中的多尺度模块来提高模型特征信息的丰富度,提出Multi＿Xception网络,接着使用1×1卷积核对多尺度深度可分离卷积模块的输入特征图进行信道压缩,减少模型参数的同时进一步丰富模型特征信息,提出Multi2＿Xception网络。将改进模型应用于Flowers Recognition花卉数据集分类,实验结果表明,该方法相较于原算法分类准确率提升了1.64%,F1-score提升了0.018,验证了多尺度Xception网络的有效性。     

基于改进生成对抗网络的汉字字体生成算法

为解决现有字体模型不完善的笔画连接、不正确的拓扑结构、字形模糊等伪影问题,提出了一种基于改进条件生成对抗网络的汉字字体生成算法.本算法将字体生成任务视为图像转换问题,提出FontToFont和MSAFont两种自动字体生成方法.针对现有汉字字体生成模型存在的问题,提出了基于改进条件生成对抗网络的汉字字体生成算法FontToFont,通过引入U-Net网络结构,可以使生成器保存更详细的信息,并有利于模型性能.建立一种基于多种风格汉字字体的数据集,定性定量验证模型的性能.提出的这种基于改进条件生成对抗网络的汉字字体生成算法,能够从多风格汉字字体中的一部分字体生成高质量的一整套汉字字体.通过设计师的评价及模型消融实验,生成字体的视觉质量和完整度效果良好.     

改进卷积神经网络在腺癌病理图像分类中的应用

针对传统卷积神经网络(CNN)稀疏的网络结构无法保留全连接网络密集计算的高效性和在实验过程中卷积特征利用率低造成的分类结果不准确或收敛速度较慢的问题,提出了一种基于CNN的多尺度方法结合反卷积网络的特征提取算法(MSDCNN)并对腺癌病理图像进行分类。首先,利用反卷积操作实现不同尺度特征的融合,然后利用Inception结构不同尺度卷积核提取多尺度特征,最后通过Softmax方法对图像进行分类。在腺癌病理细胞图像进行的分类实验结果表明,在最后的卷积特征尺度相同的情况下,MSDCNN算法比传统的CNN算法分类精度提高了约14%,比同样基于多尺度特征的融合网络模型方法分类精度提高了约1.2%。     

多尺度时空信息融合驱动的图神经网络故障诊断方法

行星齿轮箱作为机械系统中常见的减速装置,由于长期在强噪声环境和变工况工作条件下运行,导致采集到的振动信号故障特征微弱、信号模式多变难以识别,针对行星齿轮箱故障诊断效果不佳,泛化能力差的问题,提出一种多尺度时空信息融合驱动的图神经网络故障诊断方法来提高故障诊断模型准确率和泛化能力。该方法首先构建多尺度卷积核对原始时序信号进行不同尺度特征提取,削弱强噪声信号对有效信息的掩盖作用并增强故障特征的表达能力;然后再构造通道注意力机制,根据通道特征重要程度,给不同尺度卷积核提取的特征自适应分配不同权重,对含有关键故障特征的信息片段进行特征强化;最后对卷积输出的多尺度特征,构造空域下的图数据并通过图卷积网络聚合多尺度特征,从而有效利用数据的时序多维信息和空域结构关联信息,实现多尺度下时空域故障信息的深度融合,提高诊断的准确精度和模型的泛化性能。通过利用具有行星齿轮箱结构的风电装备故障数据集对所提方法进行验证,并与其他深度学习方法（第一层宽卷积核深度卷积神经网（WDCNN）、长短时记忆网络（LSTM）、残差网络（ResNet）、多尺度卷积神经网络（MSCNN））进行比较,结果表明：本研究提出的方法在跨...     

基于骨架的自适应尺度图卷积动作识别

基于骨架的动作识别任务中,一般将骨骼序列表示为预定义的时空拓扑图.然而,由于样本的多样性,固定尺度的拓扑图往往不是最优结构,针对样本特性构建自适应尺度的骨骼拓扑图能够更好地捕捉时空特征;另外,不同尺度的骨骼图能够表达不同粒度的人体结构特征,因此对多个不同尺度的拓扑图进行特征提取与融合是有必要的.针对这些问题,提出了一种自适应尺度的图卷积动作识别模型.该模型包含自适应尺度图卷积模块和多尺度融合模块两部分.自适应尺度图卷积模块基于先验与空间注意力机制,构建关键点的活跃度判决器,将活跃点细化为小尺度结构、非活跃点聚合为大尺度结构,在加速节点间特征传递的同时最小化特征损耗;多尺度融合模块基于通道注意力机制,动态融合不同尺度的特征,进一步提升网络的灵活性;最后,综合关键点、骨骼、运动信息实现多路特征聚合的动作判别,丰富模型的特征表达.结果表明:该算法在NTU-RGBD数据集的CS和CV子集上分别取得了89.7%和96.1%的分类准确率,显著提高了动作识别的准确性.     

融合Multi-scale CNN和Bi-LSTM的人脸表情识别研究

为了有效改善现有人脸表情识别模型中存在信息丢失严重、特征信息之间联系不密切的问题,提出一种融合多尺度卷积神经网络(Multi-scale CNN)和双向长短期记忆(Bi-LSTM)的模型.Bi-LSTM可以增强特征信息间的联系与信息的维持,在Multi-scale CNN中通过不同尺度的卷积核可以提取到更加丰富的特征信息,并通过加入批标准化(BN)层与特征融合处理,从而加快网络的收敛速度,有利于特征信息的重利用,再将两者提取到的特征信息进行融合,最后将改进的正则化方法应用到目标函数中,减小网络复杂度和过拟合.在JAFFE和FER-2013公开数据集上进行实验,准确率分别达到了95.455％和74.115％,由此证明所提算法的有效性和先进性.     

基于多层特征融合的单目深度估计模型

为了获取信息完整的深度图以提高预测深度图的质量,解决单目深度估计模型中特征融合的问题,提出一种融合多尺度和不同层特征的双流神经网络模型。该模型采用ResNet-50残差网络结构提取深度特征信息,利用金字塔结构融合不同层次的图像特征,实现低层、中层和高层的特征融合,保证不同层次特征的有效互补,改善多层间特征信息的传递,在一定程度上避免了信息的遗漏和缺失。在KITTI(Karlsruhe Institute of Technology and Toyota Technological Institute)数据集上进行试验,结果表明,该模型的均方根误差为2.370 4,对数均方根误差为0.229,平均对数误差为0.118,阈值精度分别为0.686、0.951、0.977,实现了较好的评测结果。     

用于稳态视觉诱发电位目标识别的多尺度特征融合卷积神经网络方法

针对传统稳态视觉诱发电位(SSVEP)脑电信号目标识别方法分类精度低、提取特征不充分、方法复杂且耗时等问题,提出一种基于多尺度特征融合卷积神经网络的SSVEP信号分类识别方法(SSVEP-MF)。利用小波变换将多通道SSVEP信号整合转化为二维图像作为输入样本集;建立多尺度特征融合卷积神经网络模型(MFCNN),该模型利用三层二维卷积核实现图像样本不同尺度特征的充分提取,构建多尺度特征融合单元对不同层级特征进行融合,并通过全连接等操作完成模型的训练;将样本集输入到MFCNN模型中实现脑电信号特征自适应提取及端到端分类。所提SSVEP-MF方法能够充分提取信号各层级特征,实现短时间视觉刺激下SSVEP信号的有效识别,并具有较高的目标识别效率。实验结果表明,在1 s刺激时长时,相比传统功率谱密度分析方法、典型相关分析方法以及普通卷积结构方法,所提方法的识别准确率分别提升了18.57%、20.08%及7.03%,有效提高了基于稳态视觉诱发电位范式下脑机接口的信号识别性能。     

基于残差注意力和金字塔上采样的图像语义分割

针对图像语义分割中,存在细节信息丢失、分割类别边缘模糊而粗糙的问题,在编码解码结构的基础上,结合残差模块和注意力机制,设计一种残差注意力模块.通过注意力机制加强特征图通道之间的联系,以提升语义分割的细腻度.为提高模型对多尺度物体的识别能力,结合金字塔模型,设计一种金字塔上采样模块.利用编码过程中产生的不同尺度的特征图,...     

多通道CNN-BiLSTM的短时温度预测

温度数据具有明显的反向、时序相关性及多尺度特征，提升温度预测精度的关键在于能否有效提取温度数据的上述特征.为提取这些特征，该文提出一种多通道卷积双向长短期记忆网络(convolutional neural network-bidirection long short-term memory, CNN-BiLSTM)的短时温度预测模型.该模型首先利用双向长短期记忆网络(BiLSTM)提取数据的反向特征、时序相关性特征；再利用多通道且不同尺寸、不同膨胀率的卷积神经网络(CNN)提取数据的多尺度特征，组成在学习多尺度特征后的数据，将其和原始数据作为BiLSTM层的多通道输入，输出的数据经过全连接层，形成最终的预测结果.实验结果表明：多通道CNN-BiLSTM的短时温度预测模型能有效地提取数据的时序相关性、反向及多尺度特征，可有效地提升温度预测精度，是一种行之有效的短时温度预测模型.     

级联融合边缘特征的高分辨率遥感影像道路提取

针对进行高分辨率遥感影像道路提取时常出现的识别错误和提取结果断裂等问题，提出一种级联融合边缘特征和语义特征的ACEResUNet多任务融合模型。该模型通过边缘检测任务进行道路边缘特征自动化提取，将其与改进的ResUNet模型对应的卷积单元进行特征级联融合，为语义分割道路训练提供更多的决策依据，提升道路提取结果的连通性。通过在各模型特征提取单元中引入交叉压缩注意力模块，提升模型的特征提取能力，并在改进的ResUNet模型的编解码器之间添加全局多尺度特征融合模块，获取不同尺度目标地物的全文特征信息，以提升道路最终提取结果的完整性。在DeepGlobe道路数据集上的实验结果表明，该模型的道路提取精确率和交并比分别达到了0.798和0.661,相较于VNet和ResUNet等经典模型均有提升。     

多尺度空洞卷积金字塔网络建筑物提取

为改善现有深度学习方法获取图像特征尺度单一、提取精度较低等问题,提出多尺度空洞卷积金字塔网络建筑物提取方法。多尺度空洞卷积金字塔网络以U-Net为基础模型,编码-解码阶段采用空洞卷积替换普通卷积扩大感受野,使得每个卷积层输出包含比普通卷积更大范围的特征信息,以利于获取遥感影像中建筑物特征的全局信息,金字塔池化模块结合U-Net跳跃连接结构整合多尺度的特征,以获取高分辨率全局整体信息及低分辨率局部细节信息。在WHU数据集上进行提取实验,交并比达到了91.876%,相比其他语义分割网络交并比提升4.547%～10.826%,在Inria数据集上进行泛化实验,泛化精度高于其他网络。结果表明所提出的空洞卷积金字塔网络提取精度高,泛化能力强,且在不同尺度建筑物提取上具有良好的适应性。     

基于注意力机制与多尺度特征融合的行人重识别方法

针对行人重识别中因遮挡、姿态变化使模型特征无法充分表达行人信息的问题,提出了基于注意力机制与多尺度特征融合的行人重识别方法.首先使用改进的骨干网络R-ResNet50提取图像特征;其次,抽取网络不同尺度的特征层嵌入注意力机制DANet,使模型更关注于重点信息;最后,对提取出的关键特征进行多尺度特征融合,实现特征间的优势...     

基于多模态医学图像的Alzheimer病分类方法

多模态医学影像信息已经在计算机辅助检测和诊断中被广泛地应用。在对Alzheimer病(Alzheimer's disease, AD)的分类与诊断中,结合多个模态医学影像的特征信息能够更加准确且全面地对同一AD主题进行分类与诊断。该文提出了一种基于卷积神经网络的模型结构,分别对AD病患的磁共振图像(MRI)和正电子发射型计算机断层显像(PET)图像进行3D卷积操作来提取各自模态的特征信息,并应用模型融合方法对模态特征信息加以融合,从而得到包含更加丰富的多模态特征信息。最后用全连接神经网络将上述提取的多模态特征信息进行分类预测。通过在AD神经影像学倡议(Alzheimer's disease neuroimaging initiative, ADNI)公开数据集上的实验结果表明:该文所提出的模型在准确率(accuracy, ACC)和曲线下面积(area under the curve, AUC)的性能评价中都取得了更加优越的结果。     

基于MRF与纹理特征的图像深度信息估计

提出了一种基于马尔科夫随机场(MRF)模型与多尺度纹理特征的单幅图像深度信息估计方法,该方法采用了Laws滤波器分别对图像的边缘、梯度、点进行滤波,捕捉二维场景图像中不同尺度的纹理能量以获得深度信息的特征.并根据纹理特征在不同尺度范围的不同值,计算出纹理线索与场景深度间的概率关系,在此基础上,构建MRF概率模型.MRF模型通过分析邻域系统和设计迭代准则很好地描述了纹理特征与场景深度之间的关系,最后通过迭代算法获得二维场景图像的深度信息.实验结果表明,该方法对场景深度信息的提取具有较好的效果,对于二维场景图像的场景结构、空间布局的约束较少,算法鲁棒性好.     

混有自适应巡航控制汽车的交通流通行能力分析

应用交通流基本图模型,研究不同自适应巡航控制(adaptive cruise control,ACC)汽车比例下混合交通流通行能力。针对现有ACC跟驰模型存在的不足,考虑车头间距-速度函数关系构建新的ACC跟驰模型,推导不同ACC比例下的混合交通流基本图模型,计算混合交通流的流量-密度解析曲线,分析ACC跟驰模型改进前后对混合交通流通行能力的影响作用,并针对性地进行参数敏感性分析。研究结果表明,改进后的ACC跟驰模型可克服原模型通行能力受限的缺陷,将常规驾驶交通流最大通行能力提升近2倍且不受道路最大限速值的影响。