基于视差图指导的无参考立体图像质量评价

考虑到视差图在立体成像中的重要性,设计了一种双通道的卷积神经网络来实现无参考立体图像质量评价.首先,建立一个以密集连接网络为主体的卷积神经网络结构,用于提取特征.其次,基于人类视觉系统的双目融合和双目竞争的特性,将左右视图进行R、G、B三通道融合得到彩色融合图像,并将此融合图像作为卷积神经网络的一个通道的输入;另一通道的输入为视差图,视差图起到了特征补偿的作用.然后,通过改进挤压和激励模块来实现视差图对融合图像的加权指导.这种加权策略加强了融合图像的重要信息的比重,减轻了非重要信息的比重.最后,在卷积神经网络的末端,将视差图的特征和加权校正过的融合图像的特征进行融合得到总体特征,将总体特征与主观评价方法得分进行回归分析,得到待测立体图像的质量分数.在两个公开的LIVE立体数据库上进行实验验证.结果表明:所提出的无参考立体图像质量评价方法能够有效地应对对称和非对称失真类型的立体图像,并与主观评测方法保持高度一致.     

基于网格与韦泊统计特性的立体图像质量评价

针对立体图像失真会改变图像对比度、边缘和结构等信息的特性,提出一种无参考立体图像质量评价方法.首先,利用韦泊分布的尺度参数β和形状参数η分别描述合成图、左右视图及视差图的梯度图像特征;然后用网格强度及其规律性分别描述合成图、左右视图及视差图的网格图像特征;最后,将所得特征输入支持向量回归(SVR)网络中训练模型,获得特征到质量分数之间映射关系的模型,从而预测立体图像质量.通过利用LIVE-3D I数据库和LIVE-3DⅡ数据库进行性能测试,证明了本文提出的方法与人眼视觉特性具有很高的一致性,且性能优于目前主流的图像质量评价算法.     

基于改进的卷积神经网络的钢号识别

为获取样本的多样性特征,提出了一种改进的卷积神经网络结构。该网络中引入多层递归神经网络,利用卷积神经网络提取输入图像的浅层特征,同时利用卷积神经网络和递归神经网络并行提取高层特征,最后将两种网络学习到的特征进行融合输入到分类器中分类。利用迁移学习理论解决小样本集数据训练不足的问题,并将这种卷积神经网络结构应用于石油物资管线钢号识别中。实验探究了递归神经网络个数与卷积核个数对网络性能的影响,实验结果表明,改进的网络结构与其它网络进行对比,错误率降低了 3% 。     

基于非全连接卷积神经网络的无参考图像质量评价方法

针对图像传统质量评价方法难以对人脑评价图像的复杂模型进行模拟的问题,提出了一种基于双路卷积神经网络的深度学习无参考质量评价方法. 该模型通过两路卷积网络的卷积层和池化层来提取图像特征,分别选用不同大小输入以保证每次对图像小范围进行评价,通过输入的卷积网络对周围环境进行参考,最终对图片进行综合评价时,使每幅图像之间都能相互关联. 实验结果表明,该模型在现有无参考图像质量评价方法效果突出,SROCC 值与PLCC 值均在0.95 以上,其质量评价结果与图像库中的人眼主观质量评价结果之间具有较好的一致性.     

基于鲁棒自适应归一化卷积的遥感图像融合算法

针对当前遥感图像融合中容易出现光谱信息失真和边缘细节丢失的问题,提出一种基于鲁棒自适应归一化卷积的全色与多光谱图像融合算法.该方法基于归一化卷积思想,利用投影到子空间的局部信号逼近技术对不规则采样数据进行高分辨率图像重建,自适应归一化卷积中使用的窗函数通过对更多相同意义的样本进行分组,有助于改进分析和提高信噪比,减少不连续面的扩散.实验结果表明,相对于其他优秀融合方法,本文方法更具优势,能够更好地重建光谱信息和保留边缘细节.     

基于深度学习模型的图像质量评价方法

为了有效提取与视觉感知质量高度相关的图像特征,改进图像质量评价方法,在深度学习的框架下,提出一个全新的卷积神经网络IQF-CNN结构,能自动学习判别性更强的图像质量特征,并利用学习的特征进行图像质量评价.同时,该算法采用局部亮度系数归一化、dropout等技术进一步提高网络学习能力.实验结果表明:该算法能较准确地评估五种常用的图像失真,尤其在JPEG压缩、JPEG2000压缩和高斯模糊图像失真上与人眼主观感知质量具有很高的一致性,整体性能比较优于其他经典评价方法.     

基于融合图像的无参考立体图像质量评价

长时间观看立体图像会导致视觉疲劳、恶心、头痛等不适感,如何结合人类的视觉特性对立体图像质量进行评价是近年来立体成像领域的研究热点.为此,本文提出了一种基于融合图像的无参考立体图像质量评价方法.为了更好地模拟人脑处理立体图像的过程,提出了一种先将左、右视图融合然后进行处理的融合图像算法.首先针对左、右视图分别在RGB 3个通道上进行Gabor滤波以模拟人眼的视觉多通道特性,获取其不同尺度和方向的结构特征,随后通过对比敏感度函数滤除图像的不重要频率信息,然后通过增益控制原理进行加权获得融合图像.相比之前无参考立体图像质量评价方法局限于提取手工裁剪的特征,本文采用直接将原始图像进行切块后,送入网络进行训练,让卷积神经网络自动地提取图像的特征,并且采用重叠切块的方法,相比于非重叠切块,重叠切块可以更好地保留相邻像素之间的关系,并且增加了训练的数据集.然而,与拥有几百万张图像组成的Imagenet数据库相比,立体图像数据库仅有几百张,而且构成图像的基向量是普适的,所以本文对在Imagenet数据库上训练好的Alexnet网络进行迁移学习,建立输入图像和输出质量值之间端到端的映射.迁移学习网络模型较传统卷积神经网络收敛快,而且具有更好的初始权重.最后,鉴于人眼在观看图像时总是倾向于从图像的中心开始寻找视觉注视点,然后其注意力由中央向四周递减,本文利用显著特性对图像小块的输出进行加权以更好地模拟人眼的视觉显著特性.在公开的LIVE3Dphase-Ⅰ、LIVE3Dphase-Ⅱ数据库上进行测试,结果表明本文所提方法在对称和非对称立体图像数据库上较其他方法均取得了较好的结果,能够与人类的主观感知保持良好的一致性.     

基于深度卷积残差学习的图像超分辨

传统的超分辨率卷积神经网络难以获得丰富的细节和边缘信息。提出了一种多映射残差卷积神经网络(MMRCNN)来解决这些问题。具体来说,MMRCNN直接使用低分辨率图像作为网络的初始输入,然后使用卷积层提取特征。其次,通过残差学习构建多映射网络,添加批量归一化层优化网络,使聚合高分辨率图像时所需要的特征信息能够变得极为丰富。最后,使用反卷积层来完成图像上采样,输出高分辨率图像,因此不需要预处理,就能够直接完成低分辨率图像与高分辨率图像之间端到端的映射关系。在不同模型的基准数据集上的实验表明,MMRCNN在峰值信噪比、结构相似性和视觉效果方面均有所提升。     

基于双通道CNN的单幅图像超分辨率重建

卷积神经网络在单幅图像超分辨率重建方面取得了很大的进展,目前的很多方法都选择使用浅层或者深层的卷积神经网络实现图像超分辨率重建。浅层网络结构简单,但容易丢失图像的高频信息,而深层网络可以学习图像的高频纹理特征。本文提出了双通道卷积神经网络。浅层网络负责重建图像的整体轮廓,保留图像的原始信息;深层网络学习图像的高频纹理特征。在深层网络中,使用密集连接的卷积网络,能更有效地恢复图像的高频信息。同时,在两个网络的末端,通过添加额外的卷积层表示融合层,将网络进行融合,重建超分辨率图片。实验结果表明,在大多数情况下,本文模型的重构效果在主观和客观评估中均优于当前代表性的超分辨率重构方法。     

基于两层迁移卷积神经网络的抽象图像情感识别

为弥合抽象图像底层视觉特征与高层情感语义间的鸿沟,同时缓解抽象图像情感识别所固有的小样本缺陷,将两层迁移学习策略引入传统的卷积神经网络,提出一种基于两层迁移卷积神经网络的抽象图像情感识别模型.该模型利用深度特征的层次性,首先通过大规模通用图像数据集来学习提取普适的底层图像特征;然后利用抽象图像风格分类数据集来学习提取抽象图像的专有高层语义特征;最后采用抽象图像情感识别数据集来微调整个网络.MART数据集上的实验结果表明,与传统的抽象图像情感识别方法相比,所提出的模型能够有效地提高识别精度.     

基于改进知识一致性注意力的图像修复算法

为有效解决修复大面积不规则洞孔出现的纹理模糊、结构失真等问题,提出了基于改进知识一致性注意力机制图像修复算法．首先使用部分卷积对待修复图像进行处理,随后将处理的特征图送入包含混合空洞卷积(HDC)与改进知识一致性注意力机制(KCA)的特征推理模块．推理完成后将输出特征图输入至部分卷积与特征推理模块进行循环推理,逐步提升网络的修复能力,循环完成后对输出图像进行特征合并．最后将合并特征图进行去残差瓶颈层以增强修复图像的结构完整性．提出模型使用组归一化方式(GN)加快损失函数收敛速度．在公开数据集上验证提出算法的性能,主客观实验结果表明：提出算法能有效修复大面积连续不规则区域,能够较好地避免修复失真,其峰值信噪比和结构相似度及运算速度优于对比算法．     

基于深度学习的图像抠图技术

图像抠图(image matting)技术是图像编辑技术的基础, 广泛应用于影视后期制作和日常生活. 基于深度学习的图像抠图网络, 通过输入的原图和三元图来估计每个像素的 $\alpha$ 值. 在原下、上采样的图像抠图技术基础上, 针对抠图数据集图像差异较大容易造成网络收敛较慢的问题, 在每个卷积层后加入了批量标准化(batch normalization, BN)层, 对输入数据进行归一化操作, 加快模型收敛速度, 同时参数更新方向更符合数据集整体特性; 针对抠图任务需要更关注物体边缘部分的特点, 使用可变形卷积(deformable convolution)层替换普通卷积层. 可变形卷积层会根据不同输入数据自适应学习卷积核形状, 有效扩大感受野范围, 在细节部分有更好的预测效果.     

基于稀疏联结卷积递归神经网络的RGB-D图像识别算法

RGB-D传感器能够同时获取图像的彩色信息和深度信息,深度信息的引入有效提高了图像分类的精度。文章提出了一种基于稀疏联结卷积神经网络的RGB-D图像目标识别方法。该方法以卷积递归神经网络(convolutional and recursive neural networks,CNN-RNN)深度学习网络为基础,利用一种尺度归一化方法对图像进行处理,并且对CNN滤波器层进行改进;在CNN滤波器层,通过加速稳健特征(speeded up robust features,SURF)算子得到归一化图像中特征点的位置;然后以特征点为中心选取图像块,对所有训练图像的图像块进行训练,从而获取CNN滤波器组层的卷积核;以归一化图像的SURF点为中心确定滤波器层在图像的感受野,所得感受野与卷积核形成局部联结网络,构成了CNN的滤波器组层。实验结果表明,该方法有效地提高了图像的识别精度,具有较强的鲁棒性。     

基于关键词学习的文本分类方法

提出一种基于关键词学习的文本分类方法.采用LDA主题模型抽取文本的关键词,通过关键词的词袋构造文本的特征矩阵并进行PCA降维,将低阶特征矩阵输入由卷积神经网络和BP神经网络的混合网络中对文本分类进行学习.为提高文本分类效果,引入与BP神经网络同构的深度神经网络对BP神经网络的初始权值进行初始化.在多数据集上的实验表明,本文方法明显提高文本分类的准确率.     

改进型查询自适应特征融合图像检索方法

为改进图像检索性能,提出一种改进型查询自适应特征融合图像检索方法.通过定义最佳和最差特征检索分数曲线,比较归一化后的特征检索分数曲线与2条标准分数曲线的相似程度,并计算权重,再利用该权重对各特征进行融合,同时采用改进的图像-类相似度准则和引入新的卷积神经网络特征进行图像检索.该方法在Ukbench和Holidays检索数据集和VIPeR行人再识别数据集上进行了算法验证和测试,结果表明,新算法提高了检索性能,能得到更好的图像检索结果.     

基于奇异值分解的无参考立体图像质量评价

针对非对称失真立体图像,提出了一种基于奇异值分解的无参考评价算法.该方法首先考虑人眼对空间频率变化敏感的特性和双目融合特性,对立体图像进行Gabor滤波,基于奇异值分解的融合策略生成融合图.然后,采用亮度加权直方图的局部二值模式算法分别对融合图、左右子图像提取特征,并将左右子图像的特征向量融合、采用欧几里得距离和夹角余弦进行向量之间的比较;为度量非对称失真差异,利用图像相似度算法计算左右子图像之间的相似性.最后,将融合图的特征向量、子图像的融合及比较特征向量、子图像的相似度特征向量级联,利用支持向量回归(SVR)算法完成特征到主观质量分数的回归映射.在LIVE3DⅡ、Waterloo-IVCⅠ和Waterloo-IVCⅡ立体图像库上对本算法进行测试.实验结果表明,本算法性能良好,优于目前主流的立体图像质量评价算法.     

融合卷积神经网络和流形学习的肺结节检测

U-net是常用的医学图像分割网络,但仍存在卷积神经网络中泛化能力差、容易过拟合的缺点.针对其缺点,研究全卷积肺结节分割网络,引入随机失活层,采用新的激活函、损失函数、优化器等改进网络结构,改进后的网络具有更高的查全率.然后融合改进重构权值的局部线性嵌入算法对特征进行提取,最后采用XGBoost分类器进行最后的筛选分类.通过实验验证表明,得到实融合以上两种算法的肺结节检测具有更高的准确率更高的准确率和更好的泛化性,可以应用于肺结节检测.     

拆分降尺度卷积神经网络入侵检测方法

针对卷积神经网络模型待训参数量过大、多层网络导致特征和梯度消失等问题,论文提出了一种基于拆分层和Inception-ResNet的卷积神经网络模型用于入侵检测。首先将网络流量数据转化为具有空间相关性的图像以适用于卷积神经网络的输入;然后使用Inception-ResNet卷积层增加网络深度,减少模型训练参数数量以及消除梯度消失问题,拆分层在降低图像尺度时基本保持图像原有分类特征;最后采用NSL-KDD数据集对改进模型进行训练和测试。测试结果表明,改进模型相对于Inception-ResNet模型具有更高的检测准确率和少数类样本召回率以及更好的训练时间性能。     

基于多尺度特征融合的中分辨率遥感场景分类算法

在对中分辨率遥感图像进行场景分类时,传统的特征提取方法无法提取全面的特征,若使用卷积神经网络进行场景分类,同一大小的卷积核无法提取尺寸大小各异的地物特征,导致分类精度降低.为了提取不同尺寸的地物特征,提高分类精度,本文提出一种基于多尺度特征融合的中分辨率遥感场景分类算法.对传统的卷积神经网络进行改进以适应中分辨率遥感数据集,并在其基础上添加多尺度池化,将连接多层次的特征图谱输入到全连接层进行分类.实验表明,多层特征融合方法提取的特征信息比单层多尺度池化方法提取的特征信息更全面,分类效果更优.与其他的传统分类方法相比,本文方法获得更好的分类结果.     

基于多特征融合卷积神经网络的人脸表情识别

针对卷积神经网络特征提取不够充分且识别率低等问题,提出了一种多特征融合卷积神经网络的人脸表情识别方法。首先,为了增加网络的宽度和深度,在网络中引入Inception结构来提取特征的多样性;然后,将提取到的高层次特征与低层次特征进行融合,利用池化层的特征,将融合后的特征送入全连接层,对其特征进行融合处理来增加网络的非线性表达,使网络学习到的特征更加丰富;最后,输出层经过Softmax分类器对表情进行分类,在公开数据集FER2013和CK+上进行实验,并且对实验结果进行分析。实验结果表明:改进后的网络结构在FER2013和CK+数据集的面部表情上,识别率分别提高了0.06%和2.25%。所提方法在人脸表情识别中对卷积神经网络设置和参数配置方面具有参考价值。