一种基于混合深度学习的推荐算法

为解决推荐算法中的冷启动和数据稀疏性问题,提高推荐的效率,提出一种基于混合深度学习的推荐算法。该算法将深度学习中的半自动编码器和多层感知机模型有效结合,通过半自动编码器模型解决稀疏数据,并融合相关辅助信息解决冷启动问题。它先用半自动编码器提取用户和项目的深层次特征,再将提取的潜在特征输入到多层感知机中进行非线性融合,完成评分预测。实验结果表明,相比于其他算法,该算法可以更好地处理稀疏数据和冷启动问题,使推荐准确性得到不同程度的提升。在给定数据集上,该算法比传统矩阵分解算法的均方根误差提升了约46%。     

多线索非参数化融合的单目视频深度估计

为解决二维视频的三维转化问题,提出了一种基于非参数化学习和多线索融合的单目视频深度图提取方法.首先,利用单目图像的区域边界轮廓和几何透视结构线索,基于前景背景融合来估计单目视频中各帧的深度图像;然后,利用视频帧间空时相关性,借助非参数学习实现单目视频深度估计;最后,利用全局背景深度分段约束和去抖动来增强深度视频序列.实验结果表明,与其他现有方法相比,该方法能得到更为准确的单目视频深度图序列,无论在主观质量还是均方根误差(RMS)和结构相似性度量(SSIM)上,均能取得较好的效果.     

基于多尺度特征混合注意力的连续帧深度估计

目的 估计获取拍摄物体到相机之间距离的深度信息是单目视觉 SLAM 中获取深度信息的方法,针对无监督 单目深度估计算法出现精度不足以及误差较大的问题,提出基于多尺度特征融合的混合注意力机制的连续帧深度 估计网络。 方法 通过深度估计和位姿估计的两种编码器解码器结构分别得到深度信息和 6 自由度的位姿信息,深 度信息和位姿信息进行图像重建与原图损失计算输出深度信息,深度估计解码器编码器结构构成 U 型网络,位姿 估计网络和深度估计网络使用同一个编码器,通过位姿估计解码器输出位姿信息;在编码器中使用混合注意力机 制 CBAM 网络结合 ResNet 网络提取四个不同尺度的特征图,为了提升估计的深度信息轮廓细节在提取的每个不 同尺度的特征中再进行分配可学习权重系数提取局部和全局特征再和原始特征进行融合。 结果 在 KITTI 数据集 上进行训练同时进行误差以及精度评估,最后还进行了测试,与经典的 monodepth2 单目方法相比误差评估指标相 对误差、均方根误差和对数均方根误差分别降低 0. 034、0. 129 和 0. 002,自制测试图片证明了网络的泛化性。 结论 使用混合注意力机制结合的 ResNet 网络提取多尺度特征,同时在提取的特征上进行多尺度特征融合提升了深度 估计效果,改善了轮廓细节。     

基于多层级跨模态特征融合的深度图重建算法

针对稀疏深度图像的重建问题,提出了一种基于深度学习的多层级跨模态特征融合的深度图重建算法.利用卷积神经网络对彩色信息和稀疏深度信息分别编码并在多个尺度下进行自适应融合,在解码阶段通过残差学习进一步细化重建结果.模型通过复用深度编码支路的短路连接引导特征上采样,输出初始深度图,同时复用彩色编码支路提取的丰富语义特征,将多个尺度下输出的上采样特征图进行金字塔迭代上采样,进而学习与最终重建结果的残差,提高了重建结果的质量.在NYU-Depth-v2和KITTI数据集上的实验结果表明：本文方法与现有的主流方法相比,具有较好的深度图重建性能,同时在视觉比较上生成了更为锐利的深度边界.     

基于多尺度特征提取的单目图像深度估计

在目前基于深度学习的单目图像深度估计方法中,由于网络提取特征不够充分、边缘信息丢失从而导致深度图整体精度不足。因此提出了一种基于多尺度特征提取的单目图像深度估计方法。该方法首先使用Res2Net101作为编码器,通过在单个残差块中进行通道分组,使用阶梯型卷积方式来提取更细粒度的多尺度特征,加强特征提取能力;其次使用高通滤波器提取图像中的物体边缘来保留边缘信息;最后引入结构相似性损失函数,使得网络在训练过程中更加关注图像局部区域,提高网络的特征提取能力。在NYU Depth V2室内场景深度数据集上对本文方法进行验证,实验结果表明所提方法是有效的,提升了深度图的整体精度,其均方根误差(RMSE)达到0.508,并且在阈值为1.25时的准确率达到0.875。     

基于多尺度特征融合的单目图像深度估计

为解决从单目图像中很难恢复出准确、有效深度信息的问题,提出一种多尺度特征融合的单目图像深度估计算法.算法采用端对端训练的卷积神经网络(CNN)结构,引入从图像编码器到解码器的跳层连接来实现在不同尺度上特征的提取和表达,设计了一种多尺度的损失函数来提升卷积神经网络的训练效果.通过在NYU Depth V2室内场景深度数据集和KITTI室外场景深度数据集上的训练、验证和测试,实验结果表明:提出的多尺度特征融合方法得到的深度图边缘清晰、层次分明,且在室内场景和室外场景中均能适用,具有较强的泛化性,可以适应多种实际场景的需求.     

MDF-ANet:低光照环境下的无人驾驶视觉融合分割方法

为解决低光照条件下已有图像分割模型性能降低的问题,提出了一个基于RGB和深度图特征融合网络的MDF-ANet图像分割方法.为了对原始数据进行充分的特征学习,采用两路特征提取网络分别提取RGB和深度图特征;设计了一个特征融合模块,分别将两路特征提取网络对应尺度下的输出特征图通过融合模块进行融合,并作为RGB网络下一层的输入,通过不受光照条件影响的深度图来辅助RGB的特征提取;将各个尺度输出的特征图输入多尺度上采样融合模块,进行不同感受野间的信息互补,再上采样至原始输入图像大小,得到分割图像.在Cityscapes及其转化后的低光照图像上进行了一系列实验,在其验证集上取得了62.44%的均交并比（mean intersection over union,mIOU）,相比只使用RGB输入的模型,性能提高了9.1%,达到了在低光照条件下提高图像分割性能的目的.      

基于时空域数据融合的Kinect深度图像修复算法

针对Kinect传感器获取的深度图像中存在大量噪声以及深度信息缺失导致的空洞问题,提出一种基于时空域数据融合的深度图像修复算法。首先,对配准后的深度图像利用卡尔曼滤波使跳变深度值趋于平稳,并采用阈值分割法得到待修复区域;其次,计算待修复边界所有像素点的时空域置信度,对时空域置信度最大的像素点计算其时域和空域深度数据,并根据时空域置信度为时空数据分配权值进行数据融合,实现像素点的修复;最后,待修复边界改变,迭代执行上一步直至图像修复完成。实验结果表明:与传统修复算法相比,基于时空域数据融合的Kinect深度图像修复算法的深度图峰值信噪比更高、均方根误差更小,图像质量更好。     

基于区域生成网络结构的多层特征融合目标检测算法

现有深度学习目标检测算法往往只利用了卷积神经网络(convolutional neural network,CNN)提取的深层特征进行判别,对浅层特征利用不足。为了利用浅层的细节信息来提高最终所提取的特征层信息的丰富性,提出了一种基于区域生成网络(region proposal network,RPN)结构的多层特征融合目标检测算法,该算法通过深度卷积网络获取不同层次的特征,并将浅层特征与深层次特征进行融合来获得更加丰富的提取特征,以提升检测模型的性能。以Image Net上的公开数据voc2007为实验对象,以Faster RCNN为基础的检测框架进行改进,最终改进后的平均精度均值(mean average precision,mAP)相比于Faster RCNN有所提升,表明研究结果提升了目标检测模型的准确度。     

多传感器信息融合技术在液压设备故障诊断中的应用

为了克服液压设备传统诊断技术上的不足,提出了多传感器信息融合技术的故障诊断模型.该模型充分利用液压设备上能够携带故障特征的多类信息,并对这些信息在不同的层次上通过神经网络、贝叶斯理论、D-S证据进行有效的融合和计算,从而提高液压设备故障诊断技术的准确度.详细分析了多传感器信息融合技术的结构层次和一般方法,并讨论了信息融合技术理论在液压设备故障诊断模型中的原理和功能.达到了对液压设备典型故障的准确诊断.     

基于特征稀疏化的粉尘图像深度预测

【目的】针对粉尘环境中单幅图像深度预测精度低的问题，提出了一种基于输入特征稀疏化的粉尘图像深度预测网络。【方法】使用粉尘图像的直接传输率与深度的关系设计预估计深度网络，利用图像颜色衰减先验原理进一步获取粉尘图像的稀疏深度特征。将该稀疏深度特征与粉尘图像一起作为深度预测网络的输入。深度预测网络以“编码器-解码器”为模型框架，编码器中使用残差网络(ResNet)对粉尘图像进行编码，设计融合通道注意力机制的稀疏卷积网络对稀疏深度特征进行编码。解码器中采用反卷积以及多尺度上采样的方法，以更好的重建稠密的深度信息。使用最小绝对值损失和结构相似性损失作为边缘保持损失函数。【结论】在NYU-Depth-v2数据集上的实验结果表明该方法能够从粉尘图像中有效预测深度信息，平均相对误差降低到0.054,均方根误差降低到0.610,在δ<1.25时准确率达到0.967.     

强化边缘的单目图像深度估计

为解决目前单目图像深度估计过程中物体边界处深度跳变不明显导致的遮挡难以判别、边界处深度估计准确度较低的问题,提出了一种强化边缘的单目图像深度估计方法．采用深度估计网络输出最初预测的深度图,同时采用深度补偿网络输出应补偿深度的预测值,通过融合两组网络的输出实现对最初预测的深度图中物体边界轮廓处深度值的补偿．此外,通过设计点约束损失函数,并引入多尺度特征融合损失函数进一步提升边界处的深度估计精度．在NYU Depth v2数据集和iBims数据集上的测试实验表明本文方法能有效提升深度图中物体轮廓的清晰度,使得物体遮挡判别更加容易,可进一步提升单目图像深度估计的效果．     

无人驾驶车辆基于语义分割方法障碍物检测

障碍物检测是无人驾驶车辆环境感知重要的组成部分,语义分割技术能够对障碍物进行像素级检测。为满足无人车系统的实时性要求和对障碍物检测精度要求,提出了一种轻量级语义分割模型。该模型构建了特征提取块,通过跳跃层结构将底层级特征与高层级特征相融合,用于提取更加细化的图像特征信息。运用深度可分离卷积代替标准卷积操作,减少了模型参数量和计算量。利用不同膨胀率的膨胀卷积以获取多尺度目标信息,在上采样时融合不同尺度的特征信息,使得语义信息更加丰富。试验结果表明:提出的轻量级语义分割模型在Cityscapes数据集和ApolloScape数据集上取得了较好的障碍物检测结果,同时也满足无人车的实时性要求。     

安徽省土壤湿度时空变化规律分析及遥感反演

为获取安徽省的土壤湿度时空信息,采用克里金法将站网实测多层土壤湿度数据插值为网格数据,分析其时空变化特征;进而建立遗传算法优化的BP(back propagation)神经网络模型进行土壤湿度反演。该模型以风云3B卫星的亮温数据为主要输入,训练后对该模型验证并进行预测。结果表明:安徽省土壤湿度月均值波动较频繁,淮北平原和大别山区较其他区域干燥;随着深度的增加,土壤湿度增大且季节和空间差异变小;所有分区平均模拟值与实测值的日序列相关性达到0. 605,均方根误差为0. 056 m~3/m~3,说明该模型能够较好地反演安徽省土壤湿度。     

基于双层视觉及多尺度注意力融合的图像去雾

针对现有去雾算法缺乏对雾霾图像不同区域噪音浓度的关注以及远近景特征的区分问题,本文提出了一种新的生成对抗网络模型.模型中通过两个UNet3+网络实现全尺度的跳跃连接和深度监督,使用多尺度融合的方法结合不同尺度特征图中的高低级语义;而深度监督的加入可以更好地学习图像中的远近层次表示.同时在生成器结构中加入融合改进自注意力机制的多尺度金字塔特征融合模块,以便更好地保留特征图的多尺度结构信息,并且提高了对不同雾霾浓度区域的关注度.实验结果显示,在NTIRE 2020、NTIRE 2021、O-Haze数据集和Dense-Haze数据集上, 本文所提出的算法网络相比BPPNET等其他先进算法可以得到更好的视觉效果,在Dense-Haze数据集上,峰值信噪比和结构相似性指数分别达到24.82和0.769.     

多特征融合的道路场景语义分割算法

为提升道路场景语义分割的性能以及实际应用性,本文将传统的图像处理算法与深度学习技术相结合,提出了一种多特征融合的轻量级道路场景语义分割网络模型。该模型首先利用颜色空间转化、图像均衡化、边缘检测等算法来对图像多种特征信息进行增强;其次,以深度可分离卷积为基本单元搭建高效率特征提取结构,对特征增强后的图像进行信息融合和提取,并结合跳层上采样操作完成初步分割;最后,引入边缘检测支路来对分割图像的目标边界信息进行细化,保障网络高精度分割。通过实验结果表明,所提网络在分割精度、计算效率上得到了较好的平衡,同时,在实际变电站道路场景应用中,该网络也能实现高效语义分割,为巡检机器人提供有效的道路信息。     

基于深度敏感特性的立体质量评价模型

提出了基于深度敏感特性的立体质量评价方法.引入人眼深度最小可觉察误差模型构建了深度敏感性函数,根据原始深度级确定敏感度因子,进而结合可觉察阈值和敏感度因子计算深度的相对层次性,最后统计得出立体感客观质量值.实验结果表明,该方法结果与主观质量值之间的相关系数高于0.9,均方误差低于7.6,两者存在较好的一致性,并且优于传统的利用深度图信息评价立体图像质量方法的结果.     

一种新的基于局部小波统计特性的多聚焦图像融合算法

改进了局部小波对比度的定义.提出一种利用小波变换实现多聚焦图像融合的方法.基于新的对比度的融合过程,由源图像上计算的视觉重要性构造融合图像对应的小波系数,因而融合图像更符合人的视觉特性.仿真结果利用熵、交叉熵、均方根误差对该方法的融合性能进行了评价与分析,实验结果表明,该融合方法充分保留图像的细节信息,并具有良好的稳定性.     

基于多源信息融合和ADCNN的离心鼓风机故障诊断

针对离心鼓风机故障识别过程中单一传感器信号故障信息有限,传统的卷积神经网络(CNN)在处理多源高维数据时特征提取能力不足的问题,提出一种基于多源信息融合和自适应深度卷积神经网络(ADCNN)的离心鼓风机故障诊断方法。首先,基于相关性方差贡献率法实现离心鼓风机多源同类信息的数据层融合,建立多源信息融合框架;然后,利用ADCNN自适应地提取各异类信息的特征并完成特征融合,建立融合多源信息的ADCNN故障诊断模型;最后,将此方法应用于离心鼓风机转子故障诊断上,并与传统的融合模式以及CNN、反向传播神经网络(BPNN)、支持向量机(SVM)方法进行对比,试验结果表明:提出的方法在诊断精度与鲁棒性上均优于其他方法。     

基于ConvLSTM网络的多源降雨融合方法

针对现有实测和预报降水资料时空误差显著的问题,以雅砻江流域为研究区域,基于全球降雨观测计划(GPM)数据、流域地形资料及国家级气象站降雨观测资料,采用能够同时考虑数据时间和空间特征的ConvLSTM网络构建了多源数据驱动降雨融合模型,并采用该模型得到了雅砻江流域0.05°分辨率的日降雨融合数据集．结果表明：所提模型降雨融合结果与实测面雨量相关系数可达0.91,平均绝对误差和均方根误差较GPM原始降雨数据、地理加权回归方法及长短期记忆网络(LSTM)模型融合降雨数据有所提高．