多视角多行人目标检测、定位与对应算法

为解决多视角视频监控中多行人情况下的遮挡问题,引入三维重建的思想,提出一种基于空间场的多视角多行人检测、定位和对应算法。该算法首先提取各视角运动前景,融合各视角二值前景图像,利用空间场实施重建,然后根据信息融合结果在空间中检测目标并定位,并由空间检测和定位结果确定各视角中目标的对应关系。在3dsM ax合成数据和实际采集数据上进行的实验测试表明,该算法对图像遮挡的处理能力强,计算复杂度低,基本满足实时要求。     

基于Kinect遮挡条件下行人的深度图像分割

针对Kinect深度图像中有遮挡条件下的多个行人进行分割算法的实时性和应用研究,提出一种双峰法和迭代法的自适应阈值改进算法,并融合平面位置关系消除重复目标的新算法。在提取遮挡行人目标的连通域后,在连通域的遮挡条件下,对行人有不同深度数据的特性计算出多个阈值,快速、有效地分割行人,对分割后深度图像用改进的消除多余目标算法使分割深度图像的结果更为准确。实验结果表明,在使用该新阈值分割和消除重复目标算法后,行人量大和行人量小时处理一帧需要60ms—70ms,正确识别率为94.8%—97.3%。从结果得出,新深度图像分割算法具有更好的实时性和鲁棒性,能良好地应用于Kinect深度图像分割中。     

视频序列中面向行人的多目标跟踪算法

为实现视频序列中多行人目标跟踪,基于多信息融合方法,考虑多目标间严重遮挡,建立面向行人的多目标跟踪算法.提出多信息融合算法融合目标颜色和运动信息,结合均值漂移算法思想,实现常态下目标跟踪.针对多行人目标参与的遮挡,通过理论分析遮挡过程中目标面积变化,提出遮挡因子判别遮挡发生、辨识遮挡者和被遮挡对象、确认被遮挡对象重新出现等.实验结果表明,该方法能够正确跟踪行人目标,判断并处理多目标间的严重遮挡.      

视频监控中多视角目标智能定位追踪方法研究

在视频监控中对目标进行定位追踪时,容易出现遮挡情况。当前定位追踪方法需预先检测出遮挡状况,再对目标位置进行校正,计算量大,且追踪结果不可靠。为此,提出一种新的视频监控中多视角目标智能定位追踪方法,针对每个摄像头采集到的图像,对其进行二值化处理,通过稀疏表示方法对目标进行定位。构建了视频监控中多视角目标跟踪的概率框架,针对每个智能摄像机,建立视频监控中多视角目标追踪模型。通过不同视角中的视频数据求出本地似然函数。为了避免维度灾难问题,对联合后验概率进行分解获取边缘概率乘积的形式,通过边缘概率求出被追踪目标在摄像机视角下的位置。依据消息传递机制实现信息融合,达到目标追踪的目的。实验结果表明,所提方法有很高的定位和追踪精度。     

融合历史轨迹的智能汽车城市复杂环境多目标检测与跟踪算法

针对现有智能汽车环境感知算法多根据特定类型目标设计,在处理目标遮挡、光照突变等城市复杂场景时识别准确率较低的问题,提出一种基于网状分类器与融合历史轨迹的多目标检测与跟踪算法。该算法考虑各目标之间的遮挡关系,利用具有目标融合功能的网状分类器对多尺度滑动窗获取的待检窗口进行多目标检测;历史检测结果基于目标特征关联通过计算目标长短轨迹和历史轨迹可靠性验证生成历史轨迹库,该轨迹库用于预测或融合新的检测结果;利用该检测跟踪结果更新网状分类器中的标准差分类器、最近邻分类器和历史轨迹信息,直至完成多目标长时跟踪。实验结果表明,本文算法在目标遮挡、光照变化和阴雨天气的复杂城市环境下均可实现多目标长时间检测跟踪,与KITTI数据集样本相比,平均准确率在77.17%～81.32%之间,单帧图像平均耗时0.05s,具有较好的实时应用前景。     

双行人可变形部件模型及其在行人检测中的应用

针对传统行人检测算法在检测靠得很近或相互遮挡的多行人目标时容易出现漏检的问题,分析了可变形部件模型,提出了基于双行人可变形部件模型的行人检测算法.该算法包含模型训练、模型匹配及融合过程,可以获取双行人可变形部件模型.提出了一种对图像进行分区域匹配加融合的新方法.设计了2组试验,对单行人可变形部件模型和双行人可变形部件模型的检测效果进行了对比.结果表明:提出的算法相比其他算法对检测靠得很近和相互遮挡的多行人目标时容易出现的漏检情况有较大的改善,有效降低了漏检率.     

基于结构化约束的多视角人体检测方法

针对单视角下信息量不足以及多视角不同视角间信息关联困难的问题,提出了基于结构化约束的多视角人体检测方法.首先通过基于块的人体检测模型获取人体局部块信息;然后采用空间仿射变换将不同视角下重叠区域通过变换矩阵的映射关系关联起来;最后针对仿射变换后的区域因遮挡或者存在多目标导致多视角目标关联困难的问题,利用人体局部显著块间的结构化约束为多视角目标匹配构造最大后验概率模型,通过最优求解获取多视角目标匹配结果.实验结果表明,该方法能够利用多视角信息来有效弥补单视角下人体检测中出现的遮挡问题,显著提高了人体检测效果.     

一种基于多分类器融合的人数统计算法

基于多分类器融合,首先提取行人的运动前景,计算校正透视效应之后的前景面积,提取图像的有效Harris角点和SURF点信息,并由此得到反映行人遮挡程度的遮挡系数,从而构造特征向量,输入BP)神经网络建立回归模型;然后提取行人的HOG特征,采用Adaboost级联分类器训练出相应的行人检测器,检测每帧视频的行人并统计数量;最后基于前两个分类器,用stacking的策略构造了组合分类器,并实现分类器融合时权值的自适应调整.通过与现有算法进行对比,算法的效果优于其他算法,对复杂场景适应性强且满足实时性要求.     

基于非负矩阵分解最小二乘的多视角行人分类算法

针对不同视角的行人样本具有较大的类内差异性,造成多视角行人识别错误率较高的问题,提出一种基于非负矩阵分解最小二乘的多视角行人分类算法.采用非负矩阵分解的方法对多视角的行人样本图像进行子空间分解,提取基向量;引入协同表示的方法并在最小二乘约束下,对子空间进行稀疏表示获得稀疏分解系数;利用近邻子空间方法对分解系数进行分类.基于自行构建的多视角行人数据库进行对比实验,结果表明该算法的准确性和有效性优于其他方法.     

联合多视角互投影融合的三维目标检测方法

针对当前智能车辆目标检测时缺乏多传感器目标区域特征融合问题,提出了一种基于多模态信息融合的三维目标检测方法. 利用图像视图、激光雷达点云鸟瞰图作为输入,通过改进AVOD深度学习网络算法,对目标检测进行优化;加入多视角联合损失函数,防止网络图像分支退化. 提出图像与激光雷达点云双视角互投影融合方法,强化数据空间关联,进行特征融合. 实验结果表明,改进后的AVOD-MPF网络在保留AVOD网络对车辆目标检测优势的同时,提高了对小尺度目标的检测精度,实现了特征级和决策级融合的三维目标检测.      

基于点云与图像决策级融合的道路行人检测

现有基于点云与图像融合的行人检测要求高算力的处理平台,应用于低算力低功耗的嵌入式平台时,无法满足行人检测的准确率和实时性.基此提出一种融合点云与图像的道路行人检测方法,该方法采用DBSCAN算法对点云进行聚类,然后,运用概率数据关联算法将行人点云与图像的行人检测结果进行决策级融合,最后,在嵌入式计算平台上进行软硬件集成与测试验证.实验结果表明,相比于其他目标检测算法,设计的融合点云与图像的道路行人检测方法,不仅提高了道路行人方位的检测精度,而且检测用时降低了46.6％以上.     

融合人脸与步态周期模式的行人检测

提出多自由度的多核跟踪MeanShift算法,其在运动人体目标与背景图像的颜色信息较为接近时仍能鲁棒地跟踪.将所提出的跟踪算法用于融合人脸与步态周期模式的行人检测新算法,将闭环的控制思想引入到行人检测中,即通过步态周期和相应的跟踪反馈验证的理论方法来解决行人检测中误报率高的问题;还对行人部分轮廓存在遮挡的情况提供行人检测的新思路,即通过检测人脸来确定检测对象是否是行人,以解决当前行人检测算法检测率低的问题.     

基于双目视觉的部分遮挡行人检测算法

针对行人被障碍物部分遮挡导致的检测准确率降低问题,本文提出了基于多特征融合的树形路径半全局立体匹配的部分遮挡行人检测算法。本方法使用SLIC算法进行超像素分割,提升行人的轮廓信息,并使用多特征融合的树形路径半全局立体匹配算法生成深度图;对行人信息和背景信息及障碍物信息使用自适应分割算法进行分离,获取感兴趣区域;将感兴趣区域放置在行人特征明显且稳定的头肩部,进行感兴趣区域的约束;使用降维HOG进行特征提取并生成样本集,训练SVM分类器,最终实现部分遮挡的行人检测。实验表明,本文算法与其它行人检测算法相比,在行人部分遮挡场景下,有着更高的行人检测准确率,证明本文算法的有效性。     

基于多边形顶点单应映射的多摄像机前景融合实时运动目标检测

采用多摄像机多平面单应前景映射融合的方法可以减小目标遮挡所造成的影响并提高目标检测的准确性和可靠性。采用传统的前景图单应变换是一个图像级的运算,需要将前景图中的全部像素逐一投影到参考视角中。为了消除透视效应产生空洞区域,还需根据分辨率较高的参考视角反映射的方法确定前景投影图。由于计算量较大,处理无法应用到实时目标检测中。该文提出了一种前景轮廓多边形顶点映射的方法,首先对在单摄像机中检测出的前景进行多边形逼近,只对前景多边形的顶点进行单应映射,最后在参考视角中根据映射顶点进行前景重构,提高前景映射的运算速度以满足多摄像机前景融合实时目标检测。实验中,多边形顶点法与传统法、轮廓法、矩形框法进行了比较。实验表明,重构的前景映射图不仅可以有效地逼近图像级单应变换的前景映射图,而且在运动目标大小不同的情况下,多摄像机前景融合目标检测的运算速度可以分别提高约12和69倍。     

基于Mask R-CNN的多目标跟踪算法

针对目前多目标跟踪算法在面对目标频繁遮挡时跟踪效果较差的问题, 提出采用Mask R-CNN作为检测器, 根据检测结果利用Kalman滤波器预测下帧图像中跟踪目标的位置, 用改进匈牙利算法进行数据关联, 并利用轨迹修正方案应对轨迹中断问题. 将该算法在MOT16数据集的各测试集上进行实验, 实验结果表明, 该算法目标跟踪准确率为55.1%, 且针对目标被遮挡问题效果较好.     

基于深度学习的多模态气管插管智能目标检测

针对困难气道气管插管过程中内窥镜图像视角较小、目标尺度变化大、相互遮挡等问题,融合内窥镜图像和CO₂浓度信息,提出基于深度学习的多模态气管插管智能目标检测算法。首先,对传统的YOLOv3网络进行改进,利用不同扩张率的空洞卷积构建并行多分支空洞卷积模块,并对输出特征进行上采样和张量拼接;其次,根据多路CO₂浓度差异,利用矢量化定位算法定位目标中心位置,校正YOLOv3得到的边界框的中心坐标,提升小目标检测的精度,辅助气道位置的定位;最后,基于该算法,研发了新型多模态气管插管辅助装置初代样机,并在模拟气道中进行实验,验证其可行性。在模拟气道中,该新型辅助装置的操作时间中位数为15.5 s,操作成功率可达97.3%。研究结果表明,基于深度学习的多模态气管插管智能目标检测算法能够有效地辅助气管插管操作。     

一种基于RCRF+BCH算法的NAND FLASH纠错方案的FPGA设计与实现

针对可见光图像和红外图像的融合目标检测问题,提出了一种基于决策级融合的目标检测算法。通过建立带标注的数据集对YOLOv3网络进行重新训练,并在融合之前,利用训练好的YOLOv3网络对可见光图像和红外图像分别进行检测。在融合过程中,提出了一种新颖的检测融合算法,首先,保留只在可见光图像或只在红外图像中检测到的目标的准确结果;然后,对在可见光图像和红外图像中同时检测到的同一目标的准确结果进行加权融合;最后,将所得的检测结果进行合并,作为融合图像中所有对应目标的检测结果,进而实现基于决策级融合的快速目标检测。实验结果表明：各项指标在建立的数据集上均有较好的表现。所提算法的检测精度达到了84.07%,与单独检测可见光图像和红外图像的算法相比,检测精度分别提升了2.44%和21.89%,可以检测到更多的目标并且减少了误检目标的情况;与3种基于特征级图像融合的检测算法相比,算法的检测精度分别提升了4.5%,1.74%和3.42%。     

行人多目标跟踪算法

针对多目标跟踪中因目标遮挡而导致跟踪过程中身份交换频繁的问题, 提出一种行人多目标跟踪算法. 该算法首先使用YOLOv4作为检测器, 检测出目标并确定检测框坐标, 利用扩展Kalman滤波器对轨迹进行预测; 然后用匈牙利算法作为数据关联模块, 采用级联匹配方法将扩展Kalman滤波预测的检测框与目标检测的检测框进行匹配, 并将发生遮挡的目标加入轨迹异常修正算法; 最后在数据集MOT16的测试集上进行实验. 实验结果表明, 该算法取得了56.5%的跟踪准确度, 且对遮挡现象效果良好, 有效改进了对目标遮挡身份频繁切换以及遮挡引起的目标丢失的问题.     

结合语义分割和特征融合的行人检测方法

针对传统行人检测方法在复杂场景下存在遮挡行人和小尺寸行人检测效果差的问题,提出一种结合语义分割和特征融合的行人检测方法。该方法的网络结构以区域全卷积神经网络为基础框架,根据行人检测任务进行改进。使用深度残差网络提取出多尺度的特征映射图;通过全卷积语义分割网络,得到对应的语义分割图;利用特征融合模块构造出融合特征图;将融合特征图送入区域建议网络和检测网络,完成行人检测。在Caltech和ETH行人检测数据集上进行试验验证,结果表明,与传统行人检测方法相比,该方法的行人检测准确率得到提高,同时检测速度满足实时性要求。     

SOAMST目标跟踪算法的改进应用研究

基于视觉图像的飞行器目标跟踪中,一般要面临目标严重遮挡和目标大尺度形变等问题。为了实现这种情况下的准确目标定位和目标跟踪,提出采用融合卡尔曼滤波器的改进SOAMST算法:一方面利用卡尔曼滤波的递推与估计能力来解决目标运动过程中目标被遮挡的问题;另一方面使用基于大津阈值的改进SOAMST算法来处理运动目标的大尺度形变以实现目标的准确定位。实验结果表明,该算法能够处理运动目标的严重遮挡,实现对运动目标进行准确的定位和跟踪。