卷积特征图融合与显著性检测的图像检索

针对基于深度学习的图像检索提取特征往往包含了复杂的背景噪声,导致图像检索的精确率并不高的问题,提出一种特征图融合与显著性检测的方法.首先,训练用于分类的深度卷积神经网络模型.然后,并将图像卷积之后的特征图谱进行融合,得到图像的显著性区域.最后,通过计算图像显著性特征的余弦距离来进行检索.实验结果证明:相比目前主流的方法,文中方法能够有效提高检测精度,且鲁棒性较高.     

改进卷积神经网络在腺癌病理图像分类中的应用

针对传统卷积神经网络(CNN)稀疏的网络结构无法保留全连接网络密集计算的高效性和在实验过程中卷积特征利用率低造成的分类结果不准确或收敛速度较慢的问题,提出了一种基于CNN的多尺度方法结合反卷积网络的特征提取算法(MSDCNN)并对腺癌病理图像进行分类。首先,利用反卷积操作实现不同尺度特征的融合,然后利用Inception结构不同尺度卷积核提取多尺度特征,最后通过Softmax方法对图像进行分类。在腺癌病理细胞图像进行的分类实验结果表明,在最后的卷积特征尺度相同的情况下,MSDCNN算法比传统的CNN算法分类精度提高了约14%,比同样基于多尺度特征的融合网络模型方法分类精度提高了约1.2%。     

基于RGB-D图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。本文提出了一个基于RGB-D(彩色-深度) 图像的场景语义分割网络。该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,本文利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络结构相比,本文所提出的场景语义分割网络性能突出。     

基于跨层复制连接卷积神经网络的遥感图像融合

首先, 基于卷积神经网络提出一种采用跨层复制连接操作融合不同尺度特征图的遥感图像融合模型, 解决了传统遥感图像融合方法对不同类型遥感图像需人为选择不同的分解融合规则, 导致融合图像质量受选择规则影响较大的问题. 其次, 使用Deimos卫星和QuickBird 卫星数据验证该方法的有效性, 并用主观和客观相结合的方法评价融合图像质量. 实验结果表明, 该遥感图像融合模型与传统方法相比, 能有效将全色图像的空间信息与多光谱图像的光谱信息融合, 并抑制光谱扭曲.     

基于跨层复制连接卷积神经网络的遥感图像融合

首先, 基于卷积神经网络提出一种采用跨层复制连接操作融合不同尺度特征图的遥感图像融合模型, 解决了传统遥感图像融合方法对不同类型遥感图像需人为选择不同的分解融合规则, 导致融合图像质量受选择规则影响较大的问题. 其次, 使用Deimos卫星和QuickBird 卫星数据验证该方法的有效性, 并用主观和客观相结合的方法评价融合图像质量. 实验结果表明, 该遥感图像融合模型与传统方法相比, 能有效将全色图像的空间信息与多光谱图像的光谱信息融合, 并抑制光谱扭曲.     

基于彩色-深度图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。提出了一个基于RGB-D(彩色-深度)图像的场景语义分割网络;该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其他state-of-the-art的语义分割网络结构相比,所提出的场景语义分割网络性能突出。     

基于多尺度特征提取的图像语义分割

指出了基于深度学习的图像语义分割中,如何充分利用图像上下文信息以达到更好的分割效果,是当前图像语义分割研究的关键问题.为解决这一问题,提出了一种基于多尺度特征提取的图像语义分割方法,通过构建深层卷积神经网络,并利用不同尺度图像作为网络的输入来提取不同尺度图像的特征,最后经过特征融合得到了分割图.在公开数据集Stanford background dataset 8类数据集上进行训练和验证,实验结果达到了84.33%的准确率.实验表明:通过提取和融合多尺度特征,可以达到更好的图像语义分割效果.     

基于视差图指导的无参考立体图像质量评价

考虑到视差图在立体成像中的重要性,设计了一种双通道的卷积神经网络来实现无参考立体图像质量评价.首先,建立一个以密集连接网络为主体的卷积神经网络结构,用于提取特征.其次,基于人类视觉系统的双目融合和双目竞争的特性,将左右视图进行R、G、B三通道融合得到彩色融合图像,并将此融合图像作为卷积神经网络的一个通道的输入;另一通道的输入为视差图,视差图起到了特征补偿的作用.然后,通过改进挤压和激励模块来实现视差图对融合图像的加权指导.这种加权策略加强了融合图像的重要信息的比重,减轻了非重要信息的比重.最后,在卷积神经网络的末端,将视差图的特征和加权校正过的融合图像的特征进行融合得到总体特征,将总体特征与主观评价方法得分进行回归分析,得到待测立体图像的质量分数.在两个公开的LIVE立体数据库上进行实验验证.结果表明:所提出的无参考立体图像质量评价方法能够有效地应对对称和非对称失真类型的立体图像,并与主观评测方法保持高度一致.     

双通道多感知卷积神经网络图像超分辨率重建

基于深度卷积神经网络的单幅图像超分辨率重建取得了显著研究成果.但随着深度卷积神经网络规模的不断扩大,如何降低网络构建难度和计算成本成为一个难点.为此,提出了一种双通道多感知卷积神经网络(DMCN)模型.该模型在两条具有不同卷积核的通道上建立了稠密连接,并构建了带有动态调节能力的层间融合结构.这种结构的设计使得小规模卷积神经网络便能获得图片特征信息的全面感知能力.实验结果表明,DMCN重建效果优于目前多数具有代表性的重建算法.     

一种优化的二维视线映射模型

提出一种基于主动红外光源的优化二维视线映射模型.在头部静止情况下检测相关的视线特征参数,并进行瞳距补偿.利用非线性多项式建立从平面视线参数到视线落点的映射模型.最后采用支持向量机对不同头部位置造成的视线偏差进行补偿,使非线性映射函数扩展到任何头部位置,从而在头部运动情况下进行精确的视线估计.实验结果显示了文中方法的有效性.     

RGB and LBP-texture deep nonlinearly fusion features for fabric retrieval

Fabric retrieval is very challenging since problems like viewpoint variations, illumination changes, blots, and poor image qualities are usually encountered in fabric images. In this work, a novel deep feature nonlinear fusion network(DFNFN) is proposed to nonlinearly fuse features learned from RGB and texture images for improving fabric retrieval. Texture images are obtained by using local binary pattern texture(LBP-Texture) features to describe RGB fabric images. The DFNFN firstly applies two feature learning branches to deal with RGB images and the corresponding LBP-Texture images simultaneously. Each branch contains the same convolutional neural network(CNN) architecture but independently learning parameters. Then, a nonlinear fusion module(NFM) is designed to concatenate the features produced by the two branches and nonlinearly fuse the concatenated features via a convolutional layer followed with a rectified linear unit(ReLU). The NFM is flexible since it can be embedded in different depths of the DFNFN to find the best fusion position. Consequently, DFNFN can optimally fuse features learned from RGB and LBP-Texture images to boost the retrieval accuracy. Extensive experiments on the Fabric 1.0 dataset show that the proposed method is superior to many state-of-the-art methods.     

基于卷积神经网络的病理细胞核分割

针对病理图像中细胞核的精准分割问题,结合全卷积网络框架和高分辨率网络框架的特点,提出一种卷积网络对细胞核进行自动精准地分割;基于稀疏非负矩阵分解的方法将具有严重颜色分布差异的病理图像进行颜色分布归一化,以归一化后的图像为输入,利用所提出的卷积网络对细胞核进行分割;该网络通过减少下采样算子的使用,使图像信息在前向计算过程中不会过分丢失,并使用扩张卷积扩大深层神经元的局部感受野尺度大小;所采用的分割方案在2017年MICCAI病理数字图像分割数据集中达到0. 848的平均dice分数;实验表明,融合全卷积网络框架和高分辨率网络框架的卷积网络在病理图像中实现了细胞核自动精准的分割,可以有效减轻影像医师的工作负担。     

基于多流融合网络的3D骨架人体行为识别

当前大多基于卷积神经网络的3D骨架人体行为识别模型没有充分挖掘骨架序列所蕴含的几何特征,为了弥补这方面的不足,文章在AIF-CNN模型的基础上进行改进,提出多流融合网络模型(MS-CNN)。在此模型中,新增一种几何特征(kernel特征)作为输入,起到了丰富原始特征的作用;新增多运动特征,使模型学习到更加健壮的全局运动信息。最后,在NTU RGB+D 60数据集上进行消融实验,分别在NTU RGB+D 60数据集、NTU RGB+D 120数据集上,将MS-CNN模型与19、8个行为识别模型进行对比实验。消融实验结果表明：MS-CNN模型采用joint特征与kernel特征融合,其识别准确率比与core特征融合的高;随着多运动特征的增多,MS-CNN模型的识别准确率有所提高。对比实验结果表明：MS-CNN模型在2个评估策略下的识别准确率超过了大部分对比模型(包括基准AIF-CNN模型)。     

基于改进的卷积神经网络多姿态人脸识别研究

针对目前的人脸识别算法在面对不同姿态下的人脸图像时识别率低的问题,提出了一种基于改进的卷积神经网络的算法。该算法通过对经典的卷积神经网络LeNet-5 的卷积核数目、卷积核尺寸、池化层方式和正则化手段等参数进行了优化改进,从而能对多姿态人脸图像特征进行有效提取。仿真实验结果表明,该算法在识别率与识别时间上均有显著提高。     

基于双流卷积网络的宫颈细胞细粒度分类

为了实现对宫颈细胞图像相近类别的准确自动分类,提出了一种双流卷积神经网络算法。算法以DenseNet121网络和Xception网络为基础并对其进行改进,以提高算法对宫颈细胞进行细粒度分类的识别准确率。首先,在DenseNet121中引入DropBlock模块进行网络正则化,用于提高模型的泛化能力;其次,在Xception中加入SE(Squeeze-and-Excitation)模块调整通道权重,以增强网络提取有效特征的能力;最后,将两个网络输出的特征图进行拼接构建双流网络,来获取宫颈细胞更全面的特征信息。实验结果表明,该网络在Herlev数据集以及SIPaKMeD数据集上各性能指标都表现良好,且都达到了99%的准确率,优于改进融合前的网络,提出的算法在宫颈细胞的细粒度分类中具有较高识别率。     

基于双有序性约束的人脸年龄估计研究

目的 人类年龄是人类识别和搜索任务中的重要特征,现有研究一般将人脸年龄估计视为传统的分类任务,忽略了年龄之间的有序特征,导致估计年龄与真实年龄之间的差距较大,因此,有必要寻找一种方法以缩小估计年龄与实际年龄的差距。方法 提出一种基于双有序性约束卷积神经网络模型(DO-CNN)的人脸图像年龄估计方法。首先,DO-CNN使用基于广义Logistic分布的有序回归模型作为卷积神经网络的分类器,并验证比其他有序分类器在人脸估计任务上的优越性;接着,进一步提出有序竞争比损失函数,在传统竞争比损失函数上,通过引入风险项使损失函数注意到预测年龄与真实年龄的误差,进而指导模型缩小估计年龄与真实年龄的差距。结果 在开源人脸图像年龄数据集FGNET和AgeDB上的对比实验显示：相比现有研究方法,DO-CNN分别提升约12%和3%的准确率,当允许的误差范围扩大后,该优势依然保持。此外,基于广义Logistic分布的有序回归分类器相比基于其他分布的有序回归分类器具有明显提升。结论 实验结果表明：基于双有序性约束的卷积神经网络模型可以明显提升人脸年龄估计的准确率,并减少年龄估计的实际误差。     

Egocentric Action Anticipation Based on Unsupervised Gaze Estimation

Gaze information is important for finding region of interest(ROI) which implies where the next action will happen. Supervised gaze estimation does not work on EPIC-Kitchens for lack of ground truth. In this paper, we develop an unsupervised gaze estimation method that helps with egocentric action anticipation. We adopt gaze map as a feature representation, and input it into a multiple modality network jointly with red-green-blue(RGB), optical flow and object features. We explore the method on EGTEA dataset. The estimated gaze map is further optimized with dilation and Gaussian filter, masked onto the original RGB frame and encoded as the important gaze modality. Our results outperform the strong baseline Rolling-Unrolling LSTMs(RULSTM), with top-5 accuracy achieving 34.31% on the seen test set(S1) and 22.07% on unseen test set(S2). The accuracy is improved by 0.58% and 0.87%, respectively.     

基于深度学习的树种图像自动识别

【目的】为了探究深度学习方法用于林业树种图像智能识别的可行性,提出一种基于深度学习方法的自动识别树种新方法。在TensorFlow框架下,对卷积神经网络(CNN)模型进行改进,对7类树种图像进行自动识别研究。【方法】首先,在图像库建立时,为增加特征选择多样性,选择树木的树皮和树叶图像,保留自然背景;另外,考虑到同一树种在不同树龄条件下树皮图像存在差异,因此加入不同树龄的树皮图像,并用胸径指标来表示树龄大小。其次,对每类树种图像随机挑选100张作为测试集,剩余数据集全部作为训练集。通过反复试验比较不同CNN结构设置、卷积层数量、全连接层层数、学习率等对结果的影响。采用Adam算法代替传统的随机梯度下降(SGD)算法,对模型进行优化,用指数衰减法对学习率进行调节,在交叉熵函数中加入L2正则项对权重进行惩罚,并采用Dropout策略和ReLU激励函数,以避免训练过程中过拟合现象。最后,确定适合试验要求的13层CNN结构,同时比较深度学习方法和传统人工特征识别方法的差异,与已有的树种图像识别方法做对比。【结果】提出的13层树种图像识别模型,对训练集和测试集取得了理想的识别效果,识别率分别为96.78%、91.89%,在未参与训练的验证集上取得了96%的平均准确率。相对于已有的人工特征识别方法,所提出的方法识别效率和准确度更高。【结论】基于改进的卷积神经网络树种识别模型识别效果明显高于传统方法,说明所提出的方法能够应用于树种识别,可为林业树种图像自动识别提供一条新思路。     

卷积神经网络在MRl图像诊断中的应用

基于卷积神经网络对颅内组织器官疾病诊断提出了创新思路.选取帕金森病患者图像通过灰度映射、直方图均衡化、改进的小波去噪、图像增强等预处理,以VGG-Net网络模型为基础设计并搭建卷积神经网络,采取正则化策略避免过拟合问题,用患者MRI图像集对网络模型进行5次十折交叉验证,同时通过反卷积网络实现特征可视化,挖掘疾病潜在特征.实验结果和客观评价表明,本文搭建的网络可根据患者MRI图像实现良好的辅助诊断.