多源信息搏弈融合模型的研究及其在ETC中的应用

将搏弈论与信息融合技术相结合,针对多源信息冲突环境下的信息融合问题,提出了一种新的通用型融合功能模型多源信息搏弈融合功能模型.该模型在搏弈思想指导下,把局中人、对策和支付作为模型的基本要素,把目标识别或局势评估作为模型的核心功能,把融合中的冲突与合作视为多源信息以不同策略进行的交互搏弈.针对不确定性环境下的态势评估或目标识别,提出了以贝叶斯网络为基础的问题表示及求解方法.在应用中,将博弈融合模型及算法应用于ETC电子不停车收费中的车辆身份识别.实验表明,在车辆身份的识别过程中,博弈融合模型优于传统的信息融合方法,并能有效地改善识别结果,从而验证了博弈融合模型及其算法的有效性和具体应用价值.     

基于多传感器融合的越野环境路面信息识别

为实现精准的越野环境路面信息识别，文中提出了一种基于多传感器信息融合的路面信息识别方法.首先，针对车辆簧下振动加速度信号设计了特征提取算法，通过双线性池化方法融合加速度特征与图像+深度特征，以实现对越野路面类型的多维度特征融合与识别.然后，为提高越野路面可通行区域检测效果，引入迁移学习方法，将越野场景路面类型识别模型中路面特征提取的共性知识向通行区域分割模型进行迁移.在真实越野环境数据集下对模型进行训练与测试，测试结果表明文中提出的识别方法不仅在越野场景路面类型识别任务上获得了98.65%的平均分类准确率，而且引入先验知识可明显提升通行区域检测效果.     

一种Anchor-Free的联合模型车辆多目标跟踪算法

针对现有车辆跟踪算法不能很好地平衡效率与精度,存在较多ID切换、误检的问题,提出一种Anchor-Free的联合模型车辆多目标跟踪算法,通过把Anchor-Free可变卷积深度特征融合网络引入联合模型,在联合学习车辆目标检测和重识别特征嵌入的基础上,以轨迹关联的方式,完成车辆多目标跟踪任务.所提出的算法在UA-DETR...     

从正面车辆图像中识别车型的中层特征表示方法

为有效识别正面车辆图像中的车辆类型,提出了一种车辆中层特征表示方法. 该方法以SIFT特征为底层特征,建立两类中层特征:结构特征分布和表观特征分布. 结构特征分布是对SIFT特征在图像中位置信息的统计,描述车辆不同部分之间的相对位置关系,在不同类车辆之间以及车辆与背景之间具有较强的判别力;表观特征分布是对SIFT特征本身的统计,描述车辆的局部表观信息,对光照变化和背景干扰十分鲁棒. 利用多核学习方法融合两类中层特征,进而识别车辆类型. 实验结果表明,该方法在光照变化和有背景干扰等复杂情况下表现出良好的车型识别性能.      

基于深度图像和表观特征的手势识别

针对复杂环境下的手势快速识别问题,提出一种基于深度图像信息和表观特征的手势识别方法.首先利用深度图像信息从复杂环境中快速提取手势区域;然后综合手势的表观特征,建立分类决策树实现手势的识别.针对常见的8种手势在复杂背景条件下进行测试,在机器人平台下手势的平均识别率高达98.2％,速度达到25帧/s.     

一种Anchor-Free的联合模型车辆多目标跟踪算法马利陈诗煊牛斌

针对现有车辆跟踪算法不能很好地平衡效率与精度,存在较多ID切换、误检的问题,提出一种Anchor-Free的联合模型车辆多目标跟踪算法,通过把Anchor-Free可变卷积深度特征融合网络引入联合模型,在联合学习车辆目标检测和重识别特征嵌入的基础上,以轨迹关联的方式,完成车辆多目标跟踪任务.所提出的算法在UA-DETRAC车辆数据集及KITTI-tracking数据集组合成的联合数据集上进行训练和测试,结果表明,提出的车辆多目标跟踪算法有效减少了ID切换、误检问题的出现,网络结构更简单,算法运行效率更高.     

基于深度学习的无人驾驶汽车车道线检测方法

车道线检测是实现当前汽车辅助驾驶和未来无人驾驶汽车的关键,深度学习技术在近年来迅猛发展,在图像识别、图像分割、语音识别及数据预测等方面都取得了出色成绩。结合深度学习技术对无人驾驶汽车环境感知中的车道线检测进行了相应的研究,提出一种基于深度学习的车道线识别算法。对比研究已有算法,针对其中的信息融合问题,提出了一种新的特征图上下文信息融合方法,将该方法与VGG(Visual Geometry Group)网络相结合提出融合上下文信息的车道线识别网络VGG-FF,进一步加入空洞卷积提出融合空洞卷积及上下文信息的车道线识别网络VGG-FFD。将该网络模型在公开数据集以及自制数据集上进行了性能测试,实验结果表明该模型具有良好的识别效果。     

一种基于深度融合模型的滚动轴承故障诊断方法

针对噪声环境下滚动轴承故障难以诊断的问题,提出一种基于深度学习融合网络的轴承故障识别新方法。该方法首先对轴承振动信号进行一定程度的随机损坏,并将加噪后的数据输入卷积降噪自编码器(convolutional denoising autoencoder,CDAE)中对网络进行训练,目的是降低信号中的噪声干扰并提取浅层特征;然后,利用深度信念网络(deep belief network,DBN)学习深层特征并建立轴承状态识别模型,输出故障识别结果。在融合模型中,将卷积降噪自编码器作为网络的第一层以增强网络的抗干扰能力,提高故障的识别精度。使用凯斯西储大学(CWRU)滚动轴承数据对所提模型进行验证,结果表明提出的融合模型在噪声环境下能够较好地实现轴承的故障状态识别。     

一种基于深度融合模型的滚动轴承故障诊断方法

针对噪声环境下滚动轴承故障难以诊断的问题,提出一种基于深度学习融合网络的轴承故障识别新方法。该方法首先对轴承振动信号进行一定程度的随机损坏,并将加噪后的数据输入卷积降噪自编码器(convolutional denoising autoencoder,CDAE)中对网络进行训练,目的是降低信号中的噪声干扰并提取浅层特征;然后,利用深度信念网络(deep belief network,DBN)学习深层特征并建立轴承状态识别模型,输出故障识别结果。在融合模型中,将卷积降噪自编码器作为网络的第一层以增强网络的抗干扰能力,提高故障的识别精度。使用凯斯西储大学(CWRU)滚动轴承数据对所提模型进行验证,结果表明提出的融合模型在噪声环境下能够较好地实现轴承的故障状态识别。     

融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

基于YOLOv4网络模型的临时道路识别算法

针对自动驾驶车辆不能准确识别由交通锥桶标识的临时道路问题,提出一种融合彩色相机和深度相机数据的临时道路检测算法;使用一台四目相机实时采集环境的色彩和深度信息,通过YOLOv4模型实时检测彩色和深度图像中的交通锥桶,根据边界框的欧氏距离对二者结果进行融合,最终规划出车辆在临时道路中的运动轨迹。实验结果表明,该算法能够快速、准确地识别各色交通锥桶及其位置信息,检测交通锥桶的平均精度分别为94.25%、95.16%和91.03%,平均单帧彩色图像处理时间为36.34 ms。车辆在临时道路中的运动轨迹规划也符合预期,能够辅助车辆顺利驶出。     

室外人体脚步声事件及环境联合识别

为了实现室外人体脚步声事件及环境联合识别,首先,设计一个复杂相似环境下的人体跑动和行走数据集,提出一种交叉双脚步声的分割方案,对连续脚步声信号进行交叉分割;然后,从事件和环境的角度分别提取特征,并从任务平衡的角度设计两种融合特征;最后,采用3种深度学习模型对任务进行精确地识别.结果表明:文中方法简化平衡了任务,使室外人体脚步声事件及环境联合识别的多任务设计不需要复杂模型就能实现精确识别.     

改进YOLOv5的多车辆目标实时检测及跟踪算法

多车辆目标跟踪时间主要花费在车辆检测模块和对每个车辆表观特征提取模块,一般情况下,车辆检测和车辆表观特征提取是在不同的神经网络中进行的,且一张图中的车辆目标越多,对车辆表观特征提取耗费时间的也越多,推理时间也相应变长。针对这一问题,基于经典的Tracking-By-Detection模式,提出一种改进的YOLO模型：在YOLO网络中添加ReID特征识别模块,使YOLO在输出目标位置信息的同时输出目标特征信息,以提高算法的跟踪速度。针对车辆间彼此覆盖的情况,提出一种基于动态IOU阈值的非极大抑制算法,以提高算法的跟踪精度。最后将YOLO输出的信息进行数据匹配,从而实现多目标跟踪。在UA-DETRAC数据集上验证改进模型的有效性,实验结果表明,将YOLOv5网络进行改进后运用在目标跟踪算法中,相对于经典的YOLO+DeepSORT跟踪模型,在车辆密集的情景下平均推理时间减少了17%;在改进后的网络上添加动态IOU阈值非极大抑制,跟踪精度提高了3.9个百分点。改进后的模型有较好的实时性与跟踪准确率。     

基于卷积神经网络的多车桥梁动态称重算法

为识别多车工况下车辆过桥时的车辆重量,采用卷积神经网络技术开发出可用于多车轴重识别的桥梁动态称重(BWIM)算法.首先,利用车桥耦合系统采集不同车辆过桥时梁底的应变信号;之后,基于深度学习开源框架KERAS搭建了包含9层卷积层、2层全连接层的卷积神经网络(CNN)模型,利用Adam优化器训练CNN模型以拟合所获得的应变信号与车辆轴重在不同工况下的变化规律,并最小化拟合误差;最后,对所开发的算法在单车和多车加载工况下的轴重识别精度进行了对比分析.结果 表明:所提出的算法在单车和多车工况下的轴重识别误差均值基本低于5％,并且识别精度对车辆速度和横向位置的变化不敏感,说明算法的轴重识别效果良好且稳定.该多车BWIM算法摆脱了对桥梁影响线的依赖,为不适用于利用影响线方法进行动态称重的桥梁提供了可替代的称重技术.     

基于双层特征融合的生物识别

多模态生物识别可以弥补单模态生物识别存在的缺陷,已成为目前生物识别研究的主流趋势.现有的多模态生物识别大都使用传统的机器学习方法,而以深度学习为代表的新一代人工智能方法在该领域的应用研究相对较少.因此,提出了一种端到端、可训练的卷积神经网络(Convolutional Neural Network,CNN)模型用于多模态生物特征识别,并从单模态和多模态两方面研究模型结构和融合方式对识别性能的影响.在单模态识别中,研究不同网络层数和卷积核对识别性能的影响,并利用单模态识别的结果确定多模态识别的网络结构;在多模态识别中,为研究不同阶段特征融合对识别性能的影响,设计了两种不同的CNN结构;基于3种不同的融合方法,探索单层特征融合和双层特征融合机制对识别性能的影响,并通过组合优化给出一种最优的深度模型结构.为了评估本文方法的性能,分别在AR、Yale、Extended YaleB、LFW、PolyU和CASIA V1.0等6个标准数据库上进行验证.试验结果表明,基于CNN的单模态识别方法优于传统机器学习方法,本文提出的方法能够胜任单模态或多模态生物识别任务.     

基于主辅网络特征融合的语音情感识别

为了有效特征提取与融合提高语音情感识别率,提出了一种使用主辅网络进行深度特征融合的语音情感识别算法。首先将段特征输入BLSTM-Attention网络作为主网络,其中注意力机制能够关注语音信号中的情感信息;然后,把Mel语谱图输入CNN-GAP网络作为辅助网络,GAP可以减轻全连接层带来的过拟合;最后,将两个网络提取的深度特征以主辅网络方式进行特征融合,解决不同类型特征直接融合带来的识别结果不理想的问题。在IEMOCAP数据集上对比4种模型的实验结果表明,使用主辅网络深度特征融合的WA和UA均有不同程度的提高。     

面向多维稀疏时空数据的可视化研究

时空数据的多维属性和稀疏分布特征是数据分析的主要难点.利用数据可视化技术实现多维稀疏时空数据的表现和辅助分析是当前一个研究热点.基于此,提出一种多模态数据可视化方法,利用多层次视图表现模型和人机交互方式,直观展示稀疏时空数据的多维属性,进而分析数据的统计群组特征和典型个体行为模式,最终实现对异常行为的识别.针对覆盖新疆全区的车辆加油数据,融合多种相关数据源,利用该可视化方法,实现了一个车辆行为可视化数据分析系统,使用平行坐标、地图、日历矩阵、桑基图、散点图等视图模型,实现了对个体行为特征和群体行为模式的可视化表现,进而实现了对异常行为的识别、确认和预警等功能.     

面向翻书机器人的手势控制指令的识别算法

所控制的翻书机器人是一种辅助特殊人群阅读的服务机器人,对其提出一种基于表观特征的手势控制指令识别算法.从Kinect(体感外设)获取的手部深度图像中利用最小深度点分割手势区域,用轨迹圆提取指尖个数及夹角等表观特征并通过决策树分类,同时利用手和肩膀的骨骼数据及其运动轨迹判定翻页方向.经过多次试验,手势控制指令识别率达到98.4%,该算法无需训练样本也能在复杂环境下快速准确地识别手势控制指令,完全可以应用于辅助特殊人群阅读时的翻书控制.     

基于Attention机制的CNN-LSTM驾驶人意图识别方法研究

在自动驾驶系统中，系统需要准确识别驾驶人的意图，来帮助驾驶人在复杂的交通场景中安全驾驶。针对目前驾驶人意图识别准确率低，没有考虑优化特征对模型准确率影响的问题，运用深度学习知识，提出了一种基于时间序列模型的驾驶人意图识别方法。该方法基于Attention机制融合了卷积神经网络(convolutional neural networks, CNN)和长短时记忆网络(long short-term memory network,LSTM),引入车辆自身信息和环境信息作为时空输入来捕捉周围车辆的空间交互和时间演化。该方法可同时预测目标车辆驾驶人横向驾驶意图和纵向驾驶意图，并在实际道路数据集NGSIM(next generation simulation)上进行了训练和验证。实验结果表明，所提出的CNN-LSTM-Attention模型能够准确预测高速公路环境下驾驶人的驾驶意图，与LSTM模型和CNN-LSTM模型相比具有明显的优势，为自动驾驶系统的安全运行提供了有效保障。     

基于全局和局部卷积特征融合的车辆目标检测

复杂环境下现有的车辆检测算法容易受尺度变化、遮挡以及复杂背景等因素影响,检测效果不理想,提出了一种融合全局和局部深度卷积特征的车辆检测算法。基于卷积神经网络构建车辆检测网络模型,通过建立多尺度感兴趣区域池化层(ROIPooling)获得图像整体结构和上下文信息,提取出目标的全局特征,并利用位置敏感感兴趣区域池化层(PSROIPooling)提取出目标局部特征,在全连接层处对全局和局部特征进行加权融合,最后通过多任务学习联合预测出车辆位置和类别。实验结果表明全局和局部特征具有较好的互补性,与多种主流检测算法相比,本算法具有更强的鲁棒性和准确性。