共查询到20条相似文献,搜索用时 62 毫秒
1.
2.
目前许多肺炎图像分类网络大多采用单分支网络对输入图像进行特征提取,这在一定程度上忽略了图像不同维度的特征信息。为了优化这种问题,提出一种融入注意力机制的双分支肺炎图像分类网络,利用VGG16网络和加入可分离卷积以及融入卷积注意力模块(convolution block attention module, CBAM)的CNN卷积神经网络进行双分支特征提取,能够关注到肺炎图像不同层次的特征信息,将2种网络分支的特征进行不同维度的融合,最后输入全连接层进行分类判决。结果表明,该网络在正常肺部、病毒性肺炎、新型冠状病毒肺炎(COVID-19)X-ray图像组成的测试集上取得了95%的平均准确率。经过消融试验证明,该网络加入的可分离卷积模块、注意力模块和特征融合对减少网络参数、提高网络分类的准确率起到明显作用。与其他网络的性能对比也表明该网络在肺炎图像分类上表现出较高的准确率和较强的鲁棒性。 相似文献
3.
B型超声和超声造影是乳腺诊断中最常见的多模态数据,克服现有研究中广泛存在的肿瘤区域标注难、模态间关系剥离难、模态融合特征冗余的问题,能有效提升联合模态乳腺肿瘤诊断的准确率。该文提出了一个面向乳腺超声的跨模态注意力网络。该网络以双分支为基础结构。堆叠双模态数据分支能隐式地建立模态间的关系,同时提取单双模态数据特征。超声造影分支在缺乏手工标注的情况下,利用跨模态注意力模块,关注时空上的造影特征。最后利用压缩通道融合子网将两个分支融合,最大程度利用特征并降低模态融合特征冗余。在乳腺超声数据集BUS_Dataset上的实验表明,该网络优于现有乳腺肿瘤诊断方法。通过多项指标分析,该方法对乳腺肿瘤诊断具有较强的指导意义。 相似文献
4.
针对当前零样本跨模态检索的研究中未兼顾类别匹配和对应匹配的问题,提出一种基于深度监督学习的零样本跨模态检索方法。对3种类型的图文数据对进行了区分,分别是来自同一类别并且匹配的数据对,来自同一类别但不匹配的数据对,以及来自不同类别的数据对;在保持图文类别匹配关系的条件下,为了进一步实现两者的对应匹配,构造了两种基于掩码的匹配约束条件,一种是隐藏同一类别但不匹配的另一模态数据,约束不同类别的图文数据之间的匹配关系,另一种是隐藏其他类别的另一模态数据,约束同一类别内的图文数据之间的对应匹配关系;通过对齐视觉空间和语义空间中对应特征的分布结构,再次约束图文间的类别匹配和对应匹配关系;为了增强文本语义的表征能力,以注意力池化从词序列特征中获得语义显著的句子深度表征。实验结果表明,在CUB数据集上,所提方法对图像检索文本和文本检索图像的效果相较基线模型分别提升了5.9%和2.2%;在FLO数据集上的检索效果分别比现阶段表现最佳的方法高4.2%和1.7%。 相似文献
5.
《南阳理工学院学报》2021,13(2)
网络图像的文本和图像之间有较强的相关性,传统基于内容的图像检索方法往往忽视文本和图像的相关性,而跨模态检索中,文本和图像的底层特征独立获得,并未有效利用两模态之间的语义关联性,基于此,本文提出了一种跨模态语义增强的图像检索方法(CSR),协同约束文本底层特征的线性判别分析项及两模态的典型相关分析项,使得文本语义增强的同时其强语义性通过协同约束迁移到图像特征中,最后通过多类逻辑回归获得文本和图像语义特征,用文本语义特征正则化图像语义特征,进一步提高图像特征的语义判别性。在Wikipedia和Pascal Sentence数据集上进行实验,显示本文方法能有效提高图像检索的平均查准率。 相似文献
6.
针对跨模态检索中成对或三元组样本的方法构造了高度冗余且信息量少的样本对问题,提出了基于批损失的跨模态检索方法(BLCMR):首先,引入批损失,考虑了嵌入样本的相似性,有效地保持了跨模态样本的不变性;然后,引入迭代方法来修正预测的类别标签,有效地区分了样本的语义类别信息. 在3个公开的数据集(Wikipedia、Pascal Sentence和NUS-WIDE-10k)上的实验结果表明:BLCMR方法能够拉近跨模态样本间的距离,有效地提升最终的跨模态检索精度. 相似文献
7.
针对跨模态检索中不同模态数据的数据结构和特性存在较大差异的问题,提出了基于公共空间方法的共享参数跨模态检索(SPCMR)方法:首先,利用卷积神经网络提取图像和文本的高级语义特征;然后,接入全连接层将其映射到公共空间并共享2个特征子网的部分隐层权重;最后,连接线性分类器并与标签信息进行判别训练。在公开数据集上采用平均精度(mAP)作为评价指标进行实验。结果表明:SPCMR方法能充分利用跨模态间的语义信息,有效提升图文检索的精度。 相似文献
8.
9.
10.
挖掘不同模态内信息和模态间信息有助于提升多模态情感分析的性能,本文为此提出一种基于跨模态交叉注意力网络的多模态情感分析方法。首先,利用VGG-16网络将多模态数据映射到全局特征空间;同时,利用Swin Transformer网络将多模态数据映射到局部特征空间;其次,构造模态内自注意力和模态间交叉注意力特征;然后,设计一种跨模态交叉注意力融合模块实现不同模态内和模态间特征的深度融合,提升多模态特征表达的可靠性;最后,通过Softmax获得最终预测结果。在2个开源数据集CMU-MOSI和CMU-MSOEI上进行测试,本文模型在七分类任务上获得45.9%和54.1%的准确率,相比当前MCGMF模型,提升了0.66%和2.46%,综合性能提升显著。 相似文献
11.
针对跨模态信息检索的策略和核心问题,从提升检索性能的角度,分析了多视角对称非负矩阵分解方法用于跨模态检索的优势,提出了一种新的基于对称非负矩阵分解的跨模态检索框架。首先在Wikipedia、Pascal公开数据集上习得一致的子空间表示;然后基于该子空间,设计了一种实时样本在子空间中的投影方法。与典型相关分析、语义匹配和偏最小二乘回归相比,在MAP和PR曲线这2个指标上,本文所提出的方法具有最优的性能表现,表明了该方法应用于跨模态信息检索任务中的潜力。 相似文献
12.
古籍汉字图像检索是古籍汉字研究的有效工具.然而,古籍汉字字形复杂、书写风格多变的特点导致传统文字图像检索技术在应用于古籍汉字图像时效果欠佳.针对现有方法在古籍汉字图像特征提取时存在的字形结构细节信息和低层视觉特征提取问题,设计了一种融合空间注意力和通道注意力网络高低层特征的古籍汉字图像检索模型.首先,融合空间注意力的低维特征和通道注意力的高维特征,捕捉古籍汉字空间结构间的依赖关系,提取更丰富的古籍汉字语义特征信息;其次,构建inception残差结构模块,丰富古籍汉字图像特征的感受野,使网络模型更易优化,保留足够的古籍汉字细节信息;最后,运用加权交叉熵损失函数,解决数据集中存在的正负样本不平衡问题,增强检索模型的鲁棒性.在上下、左右、包围和独体结构古籍汉字图像数据集上检索实验的MAP(mean average precision)值分别为77.89%、79.89%、78.21%、80.75%,表明了方法的有效性. 相似文献
13.
定量测度可持续发展能力是目前可持续发展研究的重要课题和前沿领域.生态足迹模型已广泛应用于可持续发展和生态承载力评估中.该文运用生态足迹法计算了洪湖市2006年的人均生态足迹和人均生态承载力,同时基于生态足迹理论,运用水足迹模型,计算了洪湖市2006年的水足迹,用来分析洪湖市的可持续发展情况.结果表明2006年洪湖市的人均生态足迹为1.981 5 hm2,存在生态赤字,人均生态赤字为1.414 8 hm2.反映出目前洪湖市的生产、生活强度已超过生态系统的承载能力,区域生态系统处于人类的过度开发利用和压力之下.2006年洪湖市人均水足迹为1 475 m3/a,高于全国平均水平,在国内属于水资源丰富型城市. 相似文献
14.
15.
针对“黑飞”无人机侵犯公民隐私、危害个人及公共安全,现有的无人机检测算法难以平衡检测速度和精度且对小目标的检测精度较低等不足,本文在YOLOv3的基础上进行改进,提出MS-Net (Multi-Scale Object Detection Network) 对低空中的无人机进行快速高效地检测,为实现后续的防护压制提供依据。针对锚点框,通过 K-means聚类方法得出更准确预测目标区域的位置。在特征提取部分,使用SSP (Spatial Pyramid Pooling) 提取更丰富的特征信息,提升分类精度。在检测部分,提出ESE (Enhanced Sequeeze and Excitation) 通道注意力机制在基本不影响检测速度的同时实现更加精确的多尺度目标检测。实验结果表明:该方法在由无人机、风筝、鸟等组成的数据集上的检测速度为51FPS,平均准确率(mean average precision, mAP)为91.39%,比 YOLOv3 网络提高了6.42%;特别地,在无人机目标上的平均精度(average precision, AP)提升了7.42%。 相似文献
16.
根据人眼对R、G和B的敏感特性,提出一种基于视觉感知的矢量角度彩色空间距离度量方法,较传统方法补偿了RGB颜色空间的不均匀性,有效提高了RGB颜色空间内色差度量的精确程度.对基于细胞神经网络(Cellular Neural Network,CNN)进行的彩色图像边缘提取进行理论分析,确定与其功能相适应的最佳模板参数.实验结果表明:该算法不仅实现了彩色图像的边缘提取,同时提取效果更全面,更符合人眼的视觉效果,具有较强的鲁棒性. 相似文献
17.
结合小波系数统计特性的方法进行图像检索。由于小波系数提供了重要的方向信息,图像的小波系数的统计分布具有广义高斯分布特性。利用小波变换系数的统计特性,描述图像子带小波系数统计的特征矢量。结果表明,色度矩和小波系数统计特性相结合是一种有效的图像检索方法。 相似文献
18.
为解决在足迹识别领域赤足数据匮乏的问题,提出一种基于足底压力图像的反演算法.该算法能够将鞋底压力图像反演成赤足足底压力图像.首先,对原始数据进行去噪、中心化以及旋转等预处理操作;其次,提出一种对称的多分支生成对抗网络(SMbGAN),该结构将足迹图像分成上、下2部分进行独立反演,并且使用全局与局部判别器进行图像判定,提... 相似文献
19.
基于CNN和NSCT的零水印算法 总被引:1,自引:0,他引:1
提出一种基于细胞神经网络(CNN)和非抽样Contourlet变换(NSCT)的零水印算法。首先对原始载体图像进行非抽样Contourlet变换,获得其图像的低频逼近子带;然后对水印信息进行置乱,将其与图像的低频逼近子带一起输入CNN网络,得到注册图像。水印检测时可以利用尺度不变特征变换(SIFT)进行几何校正。实验结果表明,该方法可以获得较好的检测精度;同时对于加噪、滤波、JPEG压缩、剪切攻击也具有很好的鲁棒性。由于细胞神经网络对图像处理的并行性与可由硬件实现的特点,该算法可应用于实时性要求较高的场合。 相似文献