基于膨胀卷积的多模态融合视线估计

基于表观的视线估计方法主要是在二维的三原色(red green blue,RGB)图像上进行,当头部在自由运动时视线估计精度较低,且目前基于卷积神经网络的表观视线估计都普遍使用池化来增大特征图中像素点的感受野,导致了特征图的信息损失,提出一种基于膨胀卷积神经网络的多模态融合视线估计模型.在该模型中,利用膨胀卷积设计了一...     

MDF-ANet:低光照环境下的无人驾驶视觉融合分割方法

为解决低光照条件下已有图像分割模型性能降低的问题,提出了一个基于RGB和深度图特征融合网络的MDF-ANet图像分割方法.为了对原始数据进行充分的特征学习,采用两路特征提取网络分别提取RGB和深度图特征;设计了一个特征融合模块,分别将两路特征提取网络对应尺度下的输出特征图通过融合模块进行融合,并作为RGB网络下一层的输入,通过不受光照条件影响的深度图来辅助RGB的特征提取;将各个尺度输出的特征图输入多尺度上采样融合模块,进行不同感受野间的信息互补,再上采样至原始输入图像大小,得到分割图像.在Cityscapes及其转化后的低光照图像上进行了一系列实验,在其验证集上取得了62.44%的均交并比（mean intersection over union,mIOU）,相比只使用RGB输入的模型,性能提高了9.1%,达到了在低光照条件下提高图像分割性能的目的.      

卷积特征图融合与显著性检测的图像检索

针对基于深度学习的图像检索提取特征往往包含了复杂的背景噪声,导致图像检索的精确率并不高的问题,提出一种特征图融合与显著性检测的方法.首先,训练用于分类的深度卷积神经网络模型.然后,并将图像卷积之后的特征图谱进行融合,得到图像的显著性区域.最后,通过计算图像显著性特征的余弦距离来进行检索.实验结果证明:相比目前主流的方法,文中方法能够有效提高检测精度,且鲁棒性较高.     

基于深度网络分级特征图的图像超分辨率重建

从低分辨率图像中提取特征图恢复高分辨率图像中的高频信息是超分辨率重建的一个关键问题,针对该问题提出一个新的基于卷积神经网络的超分辨率重建算法.网络结构由卷积层与子像素卷积组成,特征提取网络中卷积层提取低分辨率图像的特征,重建网络中子像素卷积神经网络作为上采样算子.针对不能充分利用多级特征图的问题,采用跳跃连接和特征图联结在特征提取网络末端跨通道融合特征图,同时降低特征图的维度.并在此基础上再次提取特征图应用于重建.实验结果表明,算法在PSNR、SSIM和人类视觉效果上与其他基于深度学习的算法相比有着显著的提高.     

基于多流融合网络的3D骨架人体行为识别

当前大多基于卷积神经网络的3D骨架人体行为识别模型没有充分挖掘骨架序列所蕴含的几何特征,为了弥补这方面的不足,文章在AIF-CNN模型的基础上进行改进,提出多流融合网络模型(MS-CNN)。在此模型中,新增一种几何特征(kernel特征)作为输入,起到了丰富原始特征的作用;新增多运动特征,使模型学习到更加健壮的全局运动信息。最后,在NTU RGB+D 60数据集上进行消融实验,分别在NTU RGB+D 60数据集、NTU RGB+D 120数据集上,将MS-CNN模型与19、8个行为识别模型进行对比实验。消融实验结果表明：MS-CNN模型采用joint特征与kernel特征融合,其识别准确率比与core特征融合的高;随着多运动特征的增多,MS-CNN模型的识别准确率有所提高。对比实验结果表明：MS-CNN模型在2个评估策略下的识别准确率超过了大部分对比模型(包括基准AIF-CNN模型)。     

基于二元树复数小波变换的特征融合算法

提出了一种利用二元树复数小波变换(DT-CWT)提取遥感图像纹理特征的方法，不仅使得纹理分析具备小波分析的多尺度特性，而且具备了6个方向的选择性、良好的重构性和近似的平移不变性．利用DT—CWT变换提取目标图像的纹理特征，构造目标概率密度函数，并采用基于D-S证据理论的特征层融合算法对目标进行识别处理，实验结果表明，采用基于DT-CWT纹理特征的特征层融合算法对多源低分辨率可见光遥感图像中小目标的识别是有效的．     

基于广播影视资料的图像检索技术研究

本文以国家发改委CNGI项目“基于IPv6的广播影视资料P2P内容存取中闾件系统”为背景,研究了基于内容的图像检索技术。通过对常用颜色和纹理特征提取算法的研究,选择了块RGB均值法、改进参考颜色表法和灰度一平滑共生矩阵法对图像进行特征提取,并使用标准的Corel库建立图像特征数据库,分析和比较这几秤算法单独检索和综合检索的效果。实验结果证明,采用多特征的综合检索比采用单特征的检索具有更高的查全率和查准率,因此采用综合特征检索技术,能够更好地实现对广播影视资料的内容检索。     

采用双支路和Transformer的视杯视盘分割方法

视网膜血管复杂且背景与视杯视盘区域相似,是造成视杯视盘分割精度不高的原因。为了更加准确地分割视杯视盘,设计了一种具有双支路特征融合的分割网络。网络主支使用Transformer对特征进行提取,弥补了卷积运算在建立远程关系方面存在的不足。采用多个模块来融合浅层空间特征与高级语义特征：尺度感知-特征融合模块(SCA-FFM)用于从高层次特征中收集视盘和视杯的语义和位置信息;识别模块(IM)利用注意力机制减少低层次特征中存在的错误信息和噪声,增强空间细节特征的提取;使用图卷积域-特征融合模块(GCD-FFM)将高级语义特征和低级特征进行融合,使特征图同时具有全局和局部信息。对比实验表明,本文方法表现出更好的分割效果,且具备良好的泛化能力。     

基于RGB-D图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。本文提出了一个基于RGB-D(彩色-深度) 图像的场景语义分割网络。该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,本文利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络结构相比,本文所提出的场景语义分割网络性能突出。     

基于图像色彩特征融合的绝缘子污秽等级检测

针对绝缘子污秽状态非接触检测问题,提出基于可见光图像RGB(red green blue)和HSI(hue saturation intensity)空间信息特征级融合的污秽等级检测方法.利用最佳熵阈值分割法(OET)提取绝缘子盘面区域,分别在RGB和HSI色彩空间进行特征计算,根据Fisher准则进行特征选择,得到可以有效表征污秽状态的特征量,利用核主元分析(KPCA)对两个色彩空间特征的组合进行降维融合,得到三维融合特征向量,结合概率神经网络(PNN)实现污秽等级识别.实验分析表明,基于核主元分析的图像信息特征级融合能够全面地反映绝缘子污秽状态,与单独利用RGB或HSI特征进行识别相比,其准确率有显著提高,可以实现绝缘子污秽等级的有效识别,为绝缘子污闪防治提供了新的方法.     

基于多特征融合卷积神经网络的人脸表情识别

针对卷积神经网络特征提取不够充分且识别率低等问题,提出了一种多特征融合卷积神经网络的人脸表情识别方法。首先,为了增加网络的宽度和深度,在网络中引入Inception结构来提取特征的多样性;然后,将提取到的高层次特征与低层次特征进行融合,利用池化层的特征,将融合后的特征送入全连接层,对其特征进行融合处理来增加网络的非线性表达,使网络学习到的特征更加丰富;最后,输出层经过Softmax分类器对表情进行分类,在公开数据集FER2013和CK+上进行实验,并且对实验结果进行分析。实验结果表明:改进后的网络结构在FER2013和CK+数据集的面部表情上,识别率分别提高了0.06%和2.25%。所提方法在人脸表情识别中对卷积神经网络设置和参数配置方面具有参考价值。     

基于跨层复制连接卷积神经网络的遥感图像融合

首先, 基于卷积神经网络提出一种采用跨层复制连接操作融合不同尺度特征图的遥感图像融合模型, 解决了传统遥感图像融合方法对不同类型遥感图像需人为选择不同的分解融合规则, 导致融合图像质量受选择规则影响较大的问题. 其次, 使用Deimos卫星和QuickBird 卫星数据验证该方法的有效性, 并用主观和客观相结合的方法评价融合图像质量. 实验结果表明, 该遥感图像融合模型与传统方法相比, 能有效将全色图像的空间信息与多光谱图像的光谱信息融合, 并抑制光谱扭曲.     

融合特征筛选策略的双塔网络鞋印检索算法

鞋印图像识别是计算机视觉在公安一线工作中的一项重要应用。当前公安侦查工作中鞋印图像无法进行精准识别的问题制约了工作效率与质量的提高,归纳起来主要是囿于鞋印现场提取的复杂情况、鞋印花纹图样的复杂特征以及鞋印图像的残缺不全。针对残缺鞋印,为了进一步提高残缺鞋印检索结果,设计了一种融合特征筛选的双塔网络鞋印检索算法。一方面,在网络中引入分区策略,将鞋印图像分为足掌区和足跟区用两个特征网络分别提取图像特征进行融合;另一方面,选择融合ResNet网络和Transformer网络的新型卷积神经网络convNeXt网络作为骨干网络,加入注意力机制模块,提取最后一层卷积特征后用不同的特征筛选方法去除鞋印图像中的无关特征,最后拼接展开成为特征描述符进行相似度计算。在训练阶段,优化学习策略,将其作为完整的图像分类网络进行训练。实验结果表明,本文选取的网络模型优于其他卷积神经网络,在CSS-200和FID-300两个鞋印数据集上取得了较高的准确率。     

基于改进RCF和无人机影像的电力线检测研究

在电力线无人机自动巡检中,电力线边缘检测对提高输电线路检测精度有重要作用。目前,常用的RCF（Richer Convolutional Features for edge detection）算法在复杂背景下检测电力线时存在边缘模糊、在较低阶段产生的特征图包含太多噪声并在融合特征图时丢失多尺度信息等问题。对此,本文对RCF算法进行改进：1）使用具有平移不变性的下采样技术增强模型的鲁棒性;2）在RCF主干网络中引入CBAM（Convolutional Block Attention Module）机制,提高模型对电力线特征的表达能力;3）在RCF的侧输出网络中加入级联网络,借助基于通道注意力机制的多尺度特征融合模块对特征图进行融合,从而获得更优异的细节保持效果。实验结果表明：改进模型的最优数据集规模（Optimal Dataset Scale）、最佳图像比例（Optimal Image Scale）和平均精度（Average Precision）分别提高了0.7%、1.3%和1.7%,改进模型的检测结果噪声数量少、电力线更加清晰准确。     

A Fast Image Retrieval Algorithm with Multi-Channel Textural Features in PACS

The paper presents a fast algorithm for image retrieval using multi-channel textural features in medical picture archiving and communication system （PACS）. By choosing different linear or nonlinear operators in prediction and update lifting step, the linear or nonlinear M-band wavelet decomposition can be achieved in M-band lifting. It provides the advantages such as fast transform, in-place calculation and integer-integer transform. The set of wavelet moment forms multi-channel textural feature vector related to the texture distribution of each wavelet images. The experimental results of CT image database show that the retrieval approach of multi-channel textural features is effective for image indexing and has lower computational complexity and less memory. It is much easier to implement in hardware and suitable for the applications of real time medical processing system.     

基于PCNN的RLNSW-NSCT卫星云图融合算法研究

提出了一种基于PCNN的RLNSW-NSCT卫星云图融合新方法。首先采用基于冗余提升不可分离小波的NSCT变换对卫星云图进行变换。对带通方向子带系数的融合设计了基于PCNN的融合规则,而低通子带系数的融合则采用基于图像区域信息熵的系数加权融合规则。为验证算法的有效性,对不同多尺度变换算法和不同融合规则分别进行了融合实验。结果表明该方法在较多地保留云图红外信息的同时,具有更好图像细节表达能力,融合云图的云层特征更为分明。     

自适配权重特征融合的持续身份认证

针对现有智能手机用户身份认证方法的不足，提出了一种自适配权重特征融合的持续身份认证方法。设计了一种卷积神经网络，对手机内置传感器(加速度计、陀螺仪、磁力计)获取的用户行为信息数据进行深度特征提取及融合。通过网络中3个子网络流分别提取3种传感器特征，在特征融合层加权融合，各特征的权值会在网络学习过程中根据不同特征的贡献度实现自适应分配。融合特征经过特征选择之后，使用单分类支持向量机进行用户分类认证。实验结果表明：该方法对不同用户身份认证获得的等错误率为1.20%,与现有其他认证方法相比具有更好的认证准确性。     

利用颜色和纹理特征的图像检索技术研究

提出了融合颜色和纹理特征的图像检索算法.在颜色特征的提取中,提出了一种矩形重叠式分块策略对图像进行分块.在对纹理特征提取中,提出了利用共生矩阵对图像的整体区域有着较好的处理效果以及Gabor小波变换对图像中的局部区域的频率和方向信息的优异性能.利用归一化理论,融合3种不同特征.并通过实验证明该方法能够提高图像的检索性能.     

双波段红外图像融合的小波分维算法

针对双式红外(中红外和长红外)提出了一种基于小波的分维融合算法.通过小波变换,分别对中波红外和长波红外的两幅图像进行小波分解,在小波变换域低频部分对小波系数用能量融合,高频部分采用分形分维进行融合,得到变换域中各个频带的融合图像,然后反变换进行重构,获取融合后的图像.实验结果表明,根据用分维进行数据融合的方法来确定两幅不同原图像在融合图像中所占的信息比例,可以有效地保留两幅原图像的边缘和纹理特征,避免融合图像平均化而出现的模糊现象,融合后的图像综合了两幅原图像的不同特征,使得处理后的图像更容易识别.因此,提出的双波段红外图像的小波分维融合算法是有效的,并且可以取得较好的效果.     

基于多分辨率直方图的图像检索

文中提出了一种新的基于多分辨率直方图的图像样本检索方法.该方法首先提取检索图像在不同分辨率情况下的信息,然后统计多分辨率直方图作为特征索引的信息.不同分辨率下的图像体现了原图像的颜色空间分布,将其视为不同的样本进行检索,并使用不同的策略对各个样本的检索结果进行融合.实验验证了基于多分辨率的样本检索在不同融合策略情况下的检索性能,并与一般的基于颜色直方图的单样本检索进行比较.结果表明,所提出的新方法比基于颜色直方图的单样本检索性能好.