基于CNN的计算机生成图像识别方法

针对计算机生成图像(Computer Generated images, CG)与真实照片(Photograpgh, PG)识别率不高的问题,该文提出了一种改进的卷积神经网络方法来实现CG与PG的识别.该方法首先对识别问题进行卷积神经网络二分类建模,并选择VGG-19网络结构作为基础,建立不同的模型.该方法创新性地引入迁移学习,节省训练时间和大量计算资源,最后使用softmax分类器进行分类.实验结果表明,该文方法对PG图像的识别准确率达到92%.与其他方法比较,该文方法识别准确率最高,说明该文方法具有可行性与有效性.     

多模态3D CNN脑部胶质瘤分割方法

目的 由于大多数脑部胶质瘤边界有水肿且内部结构复杂,分割胶质瘤及瘤内结构难度较大。提出一种新的基于多模态MRI 3D卷积神经网络(CNN)脑部胶质瘤及瘤内各结构的自动分割算法。 方法 首先,标准化由T1、T1c、T2、FLAIR 4个MRI模态组成的输入图像。其次,构建10个卷积层、2个全连接层的3D CNN。卷积层采用3×3×3 的3D 卷积核;全连接层采用PReLu激励函数,并结合dropout技术防止过拟合。结果 构建的3D CNN分割胶质瘤和瘤内各结构精度高,与专家手动分割的结果接近。结论 实验结果表明,构建的多模态3D CNN能够准确的分割MRI多模态图像脑部胶质瘤及瘤内各结构,具有重要的临床意义。     

基于膨胀卷积的多模态融合视线估计

基于表观的视线估计方法主要是在二维的三原色(red green blue,RGB)图像上进行,当头部在自由运动时视线估计精度较低,且目前基于卷积神经网络的表观视线估计都普遍使用池化来增大特征图中像素点的感受野,导致了特征图的信息损失,提出一种基于膨胀卷积神经网络的多模态融合视线估计模型.在该模型中,利用膨胀卷积设计了一...     

基于多模态融合的深度神经网络图像复原方法

针对水下图像成像环境复杂常受偏色等因素干扰而影响后续图像分析的问题,提出一种基于多尺度特征与三重注意力多模态融合的深度卷积神经网络图像复原方法.首先,深度卷积神经网络在抽取图像空间特征的基础上,引入图像多尺度变换特征;其次,通过通道注意力、监督注意力和非局部注意力,挖掘图像特征的尺度间相关性、特征间相关性;最后,通过设计多模态特征融合机制,将上述两类特征有效融合.在公开的水下图像测试集上进行测试并与当前主流方法进行对比的实验结果表明,该方法在峰值信噪比、结构相似性等定量对比以及颜色、细节等定性对比上都优于对比方法.     

基于多模态融合技术的用户画像方法

针对当前用户画像工作中各模态信息不能被充分利用的问题,提出一种跨模态学习思想,设计一种基于多模态融合的用户画像模型。首先利用Stacking集成方法,融合多种跨模态学习联合表示网络,对相应的模型组合进行学习,然后引入注意力机制,使得模型能够学习不同模态的表示对预测结果的贡献差异性。改进后的模型具有精心设计的网络结构和目标函数,能够生成一个由特征级融合和决策级融合组成的联合特征表示,从而可以合并不同模态的相关特征。在真实数据集上的实验结果表明,所提模型优于当前最好的基线方法。     

基于俯视角融合的多模态三维目标检测

三维目标检测中图像数据难以获得目标距离信息,点云数据难以获得目标类别信息,为此提出一种将图像转为俯视角特征的方法,将多尺度图像特征按水平维度展平,通过稠密变换层转变为多尺度图像俯视角特征,最终重塑为全局图像俯视角特征.在此基础上,提出一种基于俯视角融合的多模态三维目标检测网络,利用特征拼接或元素相加的方法融合图像俯视角特征与点云俯视角特征.在KITTI数据集上的实验表明,提出的基于俯视角融合的多模态三维目标检测网络对于车辆、行人目标的检测效果优于其他流行的三维目标检测方法 .     

融合多模态的虚假新闻检测

在社交媒体高速发展方便信息交流的同时,虚假新闻也在网络上大量传播,对社会稳定造成了很大的影响.针对当前虚假新闻检测工作大多充分考虑虚假新闻中新闻文本内容而忽略图像内容的问题,提出了一种基于注意力的BiLSTM-CNN多模态虚假新闻检测模型.该模型首先使用双向长短期记忆神经记忆网络(BiLSTM)提取文本内容特征,使用卷积神经网络(CNN)提取图像语义特征,利用注意力机制(Attention)层对提取的内容特征信息分配相应的权重,再将两种特征融合以形成重新参数化的多模态特征作为输入进行虚假新闻检测.实验表明,该方法达到了98.3%的正确率.     

多模态医学图像的融合研究

图像融合作为一种有效的信息融合的技术,已广泛用于医学图像、军事、遥感、机器视觉等领域．基于小波变换的图像融合是一种新的多尺度分解像素级融合方法,利用小波变换分别对CT,MRI医学图像进行分解处理,按照融合规则构造融合图像对应的各小波系数,再根据融合图像的各小波系数重构融合图像,重构后的融合图像完好地显示源图像各自的信息．实验图像使用互信息量化判据来评价融合效果,结果表明小波变换比传统的像素级加权平均融合算法效果更好．     

基于距离置信度分数的多模态融合分类网络

使用多模态数据建模可以有效地克服单一模态信息量不足的问题,大大提高模型的性能.但在量化神经网络模型置信度,尤其是对于多模态融合模型方面并没有很多进展.基于此,提出一种基于嵌入的方法,在嵌入空间中通过计算样本间的距离进行局部密度估计,进而计算模型的置信度分数.该方法具备可扩展性,不仅可以用于单一模态模型,还可以用于多模态...     

基于多模态特征融合的无人驾驶系统车辆检测

针对无人驾驶系统环境感知中的车辆检测精度低的问题,本文提出一种基于多模态特征融合的三维车辆检测算法.该算法通过毫米波雷达与摄像机联合标定,匹配2个传感器间的坐标关系并减小采样误差;采用统计滤波剔除毫米波雷达数据冗余点,减少离群点干扰;构造多模态特征融合模块,利用逐像素平均融合点云与图像信息;加入特征金字塔提取融合后的高...     

基于多模态融合和自适应剪枝Transformer的脑肿瘤图像分割算法

脑肿瘤是目前世界上最致命的肿瘤之一,所以脑肿瘤图像的自动分割在临床诊疗中变得日益重要.近年来,基于CNN和Transformer的脑肿瘤分割方法在医学图像分割领域取得了令人欣喜的成就.然而,大多数方法没有充分利用脑肿瘤多模态间的互补性和差异性,并且模型中的Transformer在捕获远程依赖性的同时,忽略了其较大的计算复杂性、冗余依赖性等问题.针对此问题,提出一种基于多模态融合和自适应剪枝Transformer的脑肿瘤图像分割方法（MF-MAPT Swin UNETR）,其中多模态融合模块可以充分学习性质相近的模态间信息和不同模态不同尺度的特征变化,为后续分割提供了充分的准备;基于多模态的自适应剪枝Transformer可以降低计算复杂度,对提升性能有一定的帮助,将MF-MAPT Swin UNETR模型在两个公共数据集上进行了实验验证,结果表明,该模型较最先进的方法整体具有突出的分割性能.     

多模态医学图像融合图像质量评估

目前大多数的质量评估算法都应用于自然图像的融合场景,缺乏专用评价的医学图像数据集及多模态医学融合图像的质量评估算法。针对此问题,利用17种经典的医学图像融合方法构建医学图像主观数据集,解决无专用评价数据集的问题;提出一种基于色彩相似度(color similarity,CS)和信息相似度(information similarity,IS)的客观医学图像质量评价方法。将CS模块用于测量局部颜色失真,在传统的池化层上添加背景分离模块使其适用于医学图像多背景干扰特性;将IS模块用于衡量信息失真,改进图像熵的计算方法,添加过滤模块以剔除图像噪声。实验结果表明,所提方法的预测值和主观数据集客观评分具有更好的一致性,更符合人类视觉系统。     

多模态医学图像融合技术综述

介绍了医学图像融合的级别和方式,重点对目前国内外医学图像配准和融合的技术与方法进行了阐述,最后提出了在医学图像融合技术研究中的几个热点问题.     

基于注意力模型的多模态特征融合雷达知识推荐

为了能够在数量庞大的雷达技术资料中快速准确地找到科研人员感兴趣的雷达知识信息并进行推荐,提出了一种基于注意力模型的多模态特征融合雷达知识推荐方法,学习高层次的雷达知识的多模态融合特征表示,进而实现雷达知识推荐.该方法主要包括数据预处理、多模态特征提取、多模态特征融合和雷达知识推荐4个阶段.实验结果表明:与只利用单一模态特征以及简单串联多模态特征的方法相比,利用文中方法学习到的多模态融合特征进行雷达知识推荐,推荐结果的准确率、召回率和综合评价指标(F1值)均有显著提高,表明提出的基于注意力模型的多模态特征融合方法对于知识推荐任务更加有效,体现了算法的优越性.     

基于视触数据融合的多模态细分类系统

随着自动化时代的到来,机械臂已经越来越多的应用到了工业生产以及人们的日常生活中,利用机械臂进行物体的分类抓取更是广泛应用于有害物分拣、航天探索等重要领域,然而实现对物体的分类目前还存在着一些不足,如大部分的分类系统主要依靠机械臂结合视觉来实现,这种单一视觉的分类系统在光线不足或物体外观相似但分属不同的工作环境并不能起到很好的效果。针对多种外观类似物体的精细分类开展研究,通过深度相机与压敏传感器综合获取物体的外观、材质等信息,然后将这些信息数据传输到具有双输入的卷积神经网络模型,借助机械臂实现对具有相似外观不同材质物体的细分类。结果表明：所述系统在实际机械臂测试环境下对物体的正确识别率达到了98.5%,相较于AlexNet与VGG16两种传统的单一视觉分类模型分别提高了35.7%和24%,可见融合物体的视觉与触觉信息的神经网络模型能够完成物体的细分类任务。     

基于深度学习的肺部医疗图像识别

肺结节作为肺癌早期诊断的重要特征,对其识别和类型判断具有重要意义.目前使用迁移学习的识别算法存在着源数据集与目标数据集差距过大问题,对于肺结节特征提取不足,导致效果不佳.故此提出了基于卷积神经网络的改进神经网络模型.将预训练的GooLeNet Inception V3网络与设计的特征融合层结合,提高网络对特征的提取能力;为确定最佳组合方式,对各组以准确率为标准进行测试.实验在LUNA16肺结节数据集上进行.进行分组测试结果表明,改进的网络准确率达88.80％,敏感度达87.15％.在识别准确率和敏感性指标上,与GooLeNet Inception V3算法相比,分别提高了2.72,2.19个百分点.在不同数据集比例下进行实验,同样达到了更优的效果,具有更好的泛化能力.可以给临床诊断提供相对客观的指标依据.     

基于文本指导的层级自适应融合的多模态情感分析

提出了一种基于文本模态指导的多模态层级自适应融合方法,以文本模态信息为指导实现多模态信息的层级自适应筛选及融合。首先,基于跨模态注意力机制实现两两模态之间的重要性信息表征;然后通过多模态自适应门控机制实现基于多模态重要信息的层级自适应融合;最后综合多模态特征和模态重要性信息实现多模态情感分析。在公共数据集MOSI和MOSEI上的实验结果表明：对比基线模型,本文所提方法在准确率与F₁值方面分别提升了0.76%和0.7%。     

基于注意力机制的分层次交互融合多模态情感分析

针对基于视频的多模态情感分析中,通常在同一语义层次采用同一种注意力机制进行特征捕捉,而未能考虑模态间交互融合对情感分类的差异性,从而导致模态间融合特征提取不充分的问题,提出一种基于注意力机制的分层次交互融合多模态情感分析模型(hierarchical interactive fusion network based on attention mechanism, HFN-AM),采用双向门控循环单元捕获各模态内部的时间序列信息,使用基于门控的注意力机制和改进的自注意机制交互融合策略分别提取属于句子级和篇章级层次的不同特征,并进一步通过自适应权重分配模块判定各模态的情感贡献度,通过全连接层和Softmax层获得最终分类结果。在公开的CMU-MOSI和CMU-MOSEI数据集上的实验结果表明,所给出的分析模型在2个数据集上有效改善了情感分类的准确率和F1值。     

一种基于特征级融合的多模态生物特征识别方法

生物特征识别是信息技术领域的研究热点,其中多模态生物识别技术凭借更好的适用性、更高的安全性及更优的性能成为发展趋势。提出了一种融合虹膜特征和掌纹特征的多模态生物特征识别方法,该方法分别提取虹膜及掌纹特征,融合时不同于传统的匹配级融合,而是从特征级融合入手,采用并行特征融合策略,将两特征向量以复向量的形式进行融合,构成复向量空间,并利用酉距离进行匹配决策。实验结果表明此方法比单模生物特征方法在识别性能上有了明显改善,同时与传统匹配级融合策略相比,更有优势,识别效果更好。     

基于粗糙集和支持向量机的肿瘤图像识别

设计了一种基于粗糙集与支持向量基的乳腺肿瘤图像识别方法。其基本思想是首先对图片进行降噪预处理,接着提取纹理和形状特征构成表征医学图像的特征矢量,然后将特征离散归一化处理,再用粗集方法进行特征属性约简,最后利用支持向量基进行识别。结果表明,该方法取得了比较理想的识别效果。