一种高光谱遥感影像的三维卷积神经网络语义分割方法

高光谱图像具有丰富的光谱信息和空间信息,综合运用空间特征和光谱特征是提高高光谱图像分类精度的关键.针对传统二维的卷积神经网络无法充分利用高光谱丰富光谱信息的问题,设计一种基于三维卷积神经网络(Three-dimensional convolutional neural network, 3D-CNN)的深度卷积编解码网络,将三维卷积神经网络引入编码结构,同时提取光谱和空间特征,并且在池化层引入池化索引策略;解码部分利用最大池化索引上采样操作.两个高光谱遥感影像公开数据集的分类实验结果表明,实现了高光谱的空间和光谱特征的融合提取,较基于2D-CNN的分类方法能够获得更高的分类精度.     

基于Dirac残差模块的单幅图像超分辨率重建

针对单幅图像超分辨率重建问题(SISR),提出了一种新的基于Dirac残差的超分辨率重建算法.算法使用全局跳跃重建层来直接利用输入LR图像的低频特征,通过多个dirac残差块来自适应学习输入LR图像的高频特征,通过亚像素卷积进行图像重建.算法通过权重参数化来改进残差层,同时使用输入图像的卷积特征与残差网络学习特征结合进行重建.实验采用Adam优化器进行网络训练.使用L1范数作为损失函数.在PSNR、SSIM和视觉效果与其他先进算法进行对比,实验结果表明,在常用测试集上与其他深度学习算法相比有较大提高.     

基于级联卷积神经网络的人脸特征点识别算法实现

针对在有冗余图像信息干扰下进行人脸有效特征点提取时精度不高的问题,提出了基于级联卷积神经网络的人脸特征点检测算法.在该算法中:输入层读入规则化的原始图像,神经元提取图像的局部特征;池化层进行局部平均和降采样操作,对卷积结果降低维度;卷积层和池化层分布连接,迭代训练,输出特征点检测结果.该算法采用Python语言编程实现,在人脸数据集进行仿真实验,结果表明该算法对人脸特征点有较高的识别率.     

一种非对称的轻量级图像盲去模糊网络

针对现有图像去模糊算法存在细节模糊不清、计算资源占用较大且图像处理速度较慢等问题,提出一种轻量级的图像盲去模糊网络.首先,网络主体使用多尺度架构,将不同分辨率的图像输入网络,通过循环处理逐步优化细节;其次,设计非对称结构以加强编码器的特征提取能力和解码器的特征融合能力.在编码器中,提出混合多尺度卷积层和残差金字塔模块,以强化特征提取并减少网络的参数量;在解码器阶段,使用跳跃连接引入深层语义,并提出多尺度联合结构损失函数进行优化.最后,在两个广泛使用的数据集GoPro和Kohler上使用两种评价指标,将该方法与其他经典方法进行性能对比.实验结果表明,该网络的去模糊效果优于传统方法以及其他经典深度学习方法,不仅在峰值信噪比(PSNR)和结构相似性(SSIM)上均有一定提升,且处理时间更短.     

通道注意力引导的空洞卷积神经网络图像去噪

卷积神经网络是目前相对普遍且去噪性能较好的图像处理方法。传统的深度卷积神经网络（DnCNN）中同一层中的特征通道间的重要程度是平等的,不利于特征的提取。将DnCNN与通道注意力,以及空洞卷积神经网络构成的稀疏块相结合,提出了一种通道注意力引导的卷积神经网络CDNet用于图像去噪。不仅更有效地提取图像复杂背景下的更有用的信息,还降低网络训练的复杂性。对比试验结果表明该网络在不同公开数据集上的PSNR值以及SSIM值都优于其余去噪网络,去噪效果相对较好。     

基于特征稀疏化的粉尘图像深度预测

【目的】针对粉尘环境中单幅图像深度预测精度低的问题，提出了一种基于输入特征稀疏化的粉尘图像深度预测网络。【方法】使用粉尘图像的直接传输率与深度的关系设计预估计深度网络，利用图像颜色衰减先验原理进一步获取粉尘图像的稀疏深度特征。将该稀疏深度特征与粉尘图像一起作为深度预测网络的输入。深度预测网络以“编码器-解码器”为模型框架，编码器中使用残差网络(ResNet)对粉尘图像进行编码，设计融合通道注意力机制的稀疏卷积网络对稀疏深度特征进行编码。解码器中采用反卷积以及多尺度上采样的方法，以更好的重建稠密的深度信息。使用最小绝对值损失和结构相似性损失作为边缘保持损失函数。【结论】在NYU-Depth-v2数据集上的实验结果表明该方法能够从粉尘图像中有效预测深度信息，平均相对误差降低到0.054,均方根误差降低到0.610,在δ<1.25时准确率达到0.967.     

基于梯度的结构相似度的图像质量评价方法

虽然基于结构信息的图像质量评价方法——结构相似度（SSIM）模型结构简单、评价性能优于峰值信噪比（PSNR）或均方误差（MSE）模型，但SSIM模型不能较好地评价严重模糊的降质图像．文中提出了一种基于梯度的结构相似度（GSSIM）图像质量评价方法，该方法将梯度作为图像的主要结构信息．实验结果表明，GSSIM模型比SSIM和PSNR（MSE）模型更符合人眼视觉系统特性，能较好地评价模糊图像的质量．     

基于密集残差网络的图像隐藏方案

针对基于编-解码器网络的图像隐写方案生成的含密图像和消息图像质量不高的问题,提出了一种新的基于密集残差连接的编码器-解码器隐写方案,与现有的端到端图像隐写网络不同,本文采用密集残差连接,将浅层网络的特征输送到深层网络结构的每一层,有效的保留了特征图的细节信息,并使用通道和空间注意力模块对特征进行筛选,提高了编-解码器对图像复杂纹理区域的关注度。在LFW、PASCAL-VOC12和ImageNet数据集的实验结果表明,在保证算法安全性的前提下,所提方法能够有效提高图像质量,含密图像和载体图像的峰值信噪比(PSNR)和结构相似性(SSIM)的平均值最高达到了36.2dB和0.98。     

基于深度卷积神经网络的运动模糊去除算法

为了提高图像去模糊的复原效果和处理速度,提出了基于深度卷积神经网络的运动模糊去除算法。以多尺度图像为依据,构建了基于自动编码器的网络模型。在扩大感受野方面,采用空洞卷积模块提取图像多尺度特征信息,采用残差模块拓宽网络深度,以解决训练过程中图像细节丢失的问题,实现了图像的端到端运动模糊去除任务。在GOPRO数据集和真实测试集上的实验结果表明,该文算法在参数量仅为3.24×10~6的情况下的峰值信噪比(PSNR)和结构相似性(SSIM)指标分别为28.53和0.914 1,运行时间为0.3 s。     

基于深度网络分级特征图的图像超分辨率重建

从低分辨率图像中提取特征图恢复高分辨率图像中的高频信息是超分辨率重建的一个关键问题,针对该问题提出一个新的基于卷积神经网络的超分辨率重建算法.网络结构由卷积层与子像素卷积组成,特征提取网络中卷积层提取低分辨率图像的特征,重建网络中子像素卷积神经网络作为上采样算子.针对不能充分利用多级特征图的问题,采用跳跃连接和特征图联结在特征提取网络末端跨通道融合特征图,同时降低特征图的维度.并在此基础上再次提取特征图应用于重建.实验结果表明,算法在PSNR、SSIM和人类视觉效果上与其他基于深度学习的算法相比有着显著的提高.     

基于混合自编码器的脑力负荷识别

为了消除多通道近红外光谱信号中存在的冗余信息并提取抽象特征，构建了基于混合自编码器的脑力负荷识别模型。首先，将原始信号送入栈式自编码器中进行通道降维；然后使用卷积自编码器对降维后的信号进行无监督学习从而提取抽象特征，并将特征依次送入支持向量机、K最近邻、随机森林这3种基分类器中进行建模；最后，用软、硬投票的集成策略来提高模型对脑力负荷识别的准确性。实验结果表明，混合自编码器具有良好的通道降维和提取抽象特征的能力，该模型在脑力负荷三分类任务中的准确率可以达到95.12%，相对于同类研究准确率有明显提升。     

基于投影权值归一化的立体图像质量评价方法

本文基于深度卷积神经网络和融合图像提出了一种引入投影权值归一化的立体图像质量评价方法.首先基于人眼双目竞争现象,提出对经过Gabor滤波后的左右视点图像进行彩色融合,从而得到单幅融合图像.卷积神经网络的输入即为预处理后的融合图像,通过卷积层自主对图像特征进行提取,采用池化层对特征信息降维,保留显著特征且减小网络计算复杂度;采用Re LU非线性激活函数缓解梯度消失,有效缓解了网络过拟合问题;网络引入数据批量归一化来规范各层输入数据的分布,引入投影权值归一化来保证权值参数的量级相同,有效地提升了算法的性能.本文在公开的立体图像库LIVE-Ⅰ和LIVE-Ⅱ上进行了实验.实验结果表明,本文方法在对称失真与非对称失真的立体图像质量评价上均具有较好的性能.     

基于双编码路径融合和双向ConvLSTM的神经元图像分割

目标分割是神经元图像分析中必不可少的步骤之一，分割的准确性会直接影响到神经元图像分析和重建的质量。在面对结构边界模糊、存在弱噪声或弱纤维信号的神经元图像时，已有的分割方法依然存在误差较大、识别信号不准等问题。为了解决这些问题，基于神经元的特征，本文提出一种基于双编码路径融合和双向ConvLSTM的深度学习网络(DFC-Net)用于神经元图像分割。首先，网络在编码器阶段采用双编码路径提取特征，其中第一路编码路径采用基于空洞卷积的密集连接网络作为固定特征提取器，第二路编码器采用深度残差网络作为特征提取网络；接着，使用密集连接ASPP网络作为桥梁连接编码器和解码器；最后，在跳跃连接中使用双向ConvLSTM结合编码器和解码器，在解码器阶段引入融合网络以融合2个编码器提取的特征，从而增强空间信息的传播。多组对比实验结果显示，本文提出的网络有效地提高了电子显微镜神经元图像的分割精度，在ISBI-2012和SNEMI3D数据集上的Sen、Dice分别达到0.952 7、0.958 9和0.941 6、0.912 7,平均准确率相比于其他U-Net变体网络提高2.93%。     

基于模糊空谱特征的高光谱图像分类

难以兼得高空间分辨率和光谱分辨率的高光谱遥感数据常存在“同物异谱”和“同谱异物”现象，这种光谱异质问题给分类过程带来了一定的不确定性，且现有深度分类网络存在空间信息利用不足和拟合退化问题.提出一种联合空间和模糊光谱特征的双分支高光谱遥感图像分类方法，通过在光谱分支中设计非对称卷积模糊模块增强卷积层的光谱表征能力，解决分类数据中的光谱异质问题，进而对地物特征进行精确的分类描述.采用门控循环单元模型分组获取相邻光谱序列信息，缓解因网络深度增加带来的拟合退化问题，在空间分支中利用波段间的相关性引入卷积长短时记忆模块，充分捕捉空间上下文信息.在三个公开的高光谱数据集上的实验结果表明，双分支结构的模糊分类网络能充分利用光谱和空间包含的细粒度信息，更具判别力的空谱特征有效地克服了光谱异质问题，比流行的深度学习方法取得了更好的分类结果 .     

基于改进的深度卷积神经网络的单图像超分辨率重建

为解决现有的超分辨率模型不能很好的恢复图像的纹理细节和模型训练困难等问题,结合现有的残差网络和GoogleNet中的Inception模块对其进行改进。通过将5×5的卷积核替换为两个级联的3×3的卷积核、使用LeakyReLU作为激活函数和删除池化层等方法对原始的Inception模块进行改进,然后在模型中多次级联改进后的Inception模块。实验结果表明,与双三次插值算法、SRCNN和VDSR算法相比,改进后的模型能获得更高的峰值信噪比(PSNR)和结构相似性指数(SSIM),并且在视觉效果上也有明显的改善。     

VW-SAE:一种改进的光谱数据特征表示方法

针对高光谱图像维度高、目标特征提取不准确的问题,提出了一种可变加权堆叠式自编码器(variable-wise weighted stacked autoencoder,VW-SAE)的光谱数据特征表示方法.VW-SAE方法在堆叠式自编码器(SAE)的基础上,从每个AE的输入层中识别出重要的变量,通过对输出变量的相关性分...     

基于KLT／WT／WTVQ的三维多光谱数据压缩方法

提出了三维多谱图像数据压缩的新方法。在对多光谱图像数据进行Karhunen-Leove变换（KLT）消除谱相关性,再应用小波变换（WT）对KLT后的多光谱图像数据进行消除空间相关性。采用特殊矢量量化编码,叫作小波树矢量量化（WTVQ）编码对每个谱象数据进行压缩,获得较高的压缩性能。实验结果表明：KLT／WT／WTVQ压缩方法比KLT／JPEG和KLT／WT／FSVQ压缩方法在相同的PSNR条件下,CR提高20以上,整体压缩性能有较大的提高;在同样压缩比（CR）条件下,压缩速度提高3倍。     

全卷积神经网络在道路场景语义分割中的应用研究

在使用全卷积神经网络处理图像时,网络中的池化层会造成特征信息的丢失,从而导致图像分割结果不理想.为保留更多的特征信息,提出一种没有池化层,只有卷积层的语义分割网络,在保留特征空间降维功能的前提下降低了图像处理过程中特征信息的损失,加深网络深度,同时在反卷积过程中使用跳跃结构融合不同层次的特征信息,提高语义分割结果的精确度.实验结果表明,提出的语义分割网络与全卷积神经网络相比,其结果在MIoU和像素精度方面均有提升.     

基于多任务模型的乳腺癌病理图像分类

基于卷积神经网络提出了一种多任务模型将乳腺癌组织学图像分为良性与恶性及其子类.该模型是多任务模型,任务一将病理图像分为良性与恶性,任务二将图像分为良性与恶性的子类.模型总的损失函数是两个分类任务损失函数的加权和.该模型采用卷积层和全局平均池化层替代末端全连接层作为分类层,应用数据增强方法提升模型的性能.模型使用乳腺癌病理图像数据集BreaKHis进行消融实验并与VGG16模型进行对比.实验结果显示:提出的模型能够取得更好的性能,在二分类上达到了98.55%～99.52%的分类准确率,在多分类上达到了92.26%～94.85%的分类准确率.     

基于VMD和时空网络变分自编码器的负荷聚类

为了解决用户用电负荷曲线数据维度高、特征提取困难以及序列存在信号模态混叠的问题,本文提出使用变分模态分解（variational mode decomposition,VMD）和改进基于时空网络的变分自编码器（variational auto-encoders,VAE）对电力负荷曲线进行特征提取。通过模态分解得到信号的固有模态,对模态重构得到时序特征较明显的序列信号。再通过长短期记忆网络（long short-term memory network,LSTM）和卷积网络（convolutional neural networks,CNN）组成的时空变分自编码器进行潜在特征提取,并构建网络分类器来联合损失优化自编码器模型。最后使用Minibatchkmeans算法聚类并计算聚类中心。使用UCI数据集中葡萄牙居民用电量作为实验数据,通过实验结果表明经模态分解后通过降维再聚类的算法在戴维斯丁堡指数（Davies-Bouldin Index,DBI）和轮廓系数（Silhouette Coefficient,SC）上表现出较好效果。