基于时空特征的生猪动作识别

针对现代化养殖业无人化、智能化的需求,以目标检测网络YOLOv2为基础,提出了一种基于深度学习提取时空特征的生猪动作识别与定位的方法.对待检测视频关键帧中的生猪空间位置信息与视频流时序动作特征进行检测,采用通道注意力模块将这2种特征进行合理且平滑的特征融合,实现了一个端到端的动作识别网络,可以直接从视频序列中预测得到关...     

融合时序和空间特征的车辆异常轨迹检测方法

针对基于序列建模的车辆异常轨迹检测方法轨迹空间特征提取不够充分而降低了检测效果这一问题,提出融合时序和空间特征的车辆异常轨迹检测方法,充分提取轨迹的时间与空间特征以提升异常轨迹检测精度。采用融合自注意力机制的堆叠序列自编码器,从网格化后的映射轨迹中提取轨迹时序特征;引入全连接神经网络,提取轨迹偏转量和行驶距离等空间特征;融合轨迹的时间和空间特征,进行异常轨迹检测以提升检测效果。实验表明,提出的方法在真实出租车数据集上的异常轨迹检测准确率优于92%,F1评分优于80%,与XGBoost、IBAT、ATDC和ATD-RNN方法相比,检测性能提升较为明显。     

一种时空特征融合的鲁棒视觉跟踪算法

针对视觉跟踪在复杂背景下因外观特征表征不足等原因造成的目标丢失问题,结合深度光流网络估计的运动特征,文中提出了一种基于时序信息和空间信息自适应融合的视觉跟踪算法。该算法在相关滤波跟踪框架基础上,引入递归全对场变换（RAFT）深度网络估计光流以获取目标的时序信息,提取目标的CN特征和HOG特征获取空间信息,然后融合目标时序信息和空间信息,以增强对目标时空特征的表征能力;其次,建立了一种跟踪结果质量判别机制,实时调整时序信息在融合过程中的权重, 有效提升了算法在复杂动态环境下的泛化能力。为评估算法的有效性,在OTB100和VOT2019两个数据集上进行了测试,实验结果表明,与主流视觉跟踪算法相比,所提算法的跟踪性能获得了显著提升,尤其在运动模糊、快速运动等属性的视频中,具有明显优势。     

用于目标跟踪的特征融合孪生网络算法研究

针对目标跟踪过程存在的动态不确定性的问题,传统跟踪方法容易产生目标漂移甚至跟踪失败,而基于深度学习的跟踪算法随着网络结构的加深容易导致深层特征过于稀疏抽象,不利于克服上述问题.为此,本文提出SiamMask三分支网络融合注意力机制的孪生网络目标跟踪新方法,旨在加强网络对特征选取的学习能力,加强目标有效特征的抽取,并减少冗余信息对网络负担的影响.特征提取主干网络选用改进的Resnet-50,通过融合深层和浅层特征,实现跟踪目标特征的有效表达.利用4个数据集(COCO、ImageNet-DET 2015、ImageNet-VID 2015、YouTube-VOS)对提出的特征融合孪生网络框架进行训练,并使用VOT数据集进行在线测试.实验表明：与文中其他跟踪方法相比,该算法在面对动态目标尺度变化、环境光照、运动模糊等场景表现更优异.     

结合特征融合和金字塔注意力的场景文本检测

基于深度学习的场景文本检测普遍缺少特征级的精细化,导致原本设计良好的模型不能被充分利用,提出将特征融合和特征金字塔注意力模块应用到场景文本检测.将基本特征提取网络(PixelLink算法)得到的4个特征映射层以采样后加权叠加的方式进行特征融合,并将结果送给特征金字塔注意力模块.特征融合使各层级的特征信息相结合,从而增加...     

融合历史轨迹的智能汽车城市复杂环境多目标检测与跟踪算法

针对现有智能汽车环境感知算法多根据特定类型目标设计,在处理目标遮挡、光照突变等城市复杂场景时识别准确率较低的问题,提出一种基于网状分类器与融合历史轨迹的多目标检测与跟踪算法。该算法考虑各目标之间的遮挡关系,利用具有目标融合功能的网状分类器对多尺度滑动窗获取的待检窗口进行多目标检测;历史检测结果基于目标特征关联通过计算目标长短轨迹和历史轨迹可靠性验证生成历史轨迹库,该轨迹库用于预测或融合新的检测结果;利用该检测跟踪结果更新网状分类器中的标准差分类器、最近邻分类器和历史轨迹信息,直至完成多目标长时跟踪。实验结果表明,本文算法在目标遮挡、光照变化和阴雨天气的复杂城市环境下均可实现多目标长时间检测跟踪,与KITTI数据集样本相比,平均准确率在77.17%～81.32%之间,单帧图像平均耗时0.05s,具有较好的实时应用前景。     

基于RCBAM和SSD的特征融合低照度环境目标检测算法研究

针对低光照、雨雾等恶劣场景对智能驾驶视觉系统检测能力的影响,提出了一种雷达与相机特征融合的网络模型. 基于毫米波雷达信息和注意力模型构建了雷达注意力机制特征模块,该模块可以为特征融合网络提供一个先验信息和增加算法在目标候选区域权重. 测试结果表明,引入雷达注意力机制模块后,特征融合网络的目标检测性能要比仅依赖计算机视觉的检测性能有了明显的提升,并且在复杂场景下的目标检测鲁棒性更强.      

融入注意力机制的时间激励与聚集行为识别模型

视频行为识别通常应用短区间动作特征和长区间视频聚集特征进行时序建模.而这种时序建模方式在特征提取过程中,将不同时序区间的动作特征同等看待,忽略了关键通道信息和重要动作内容,不能达到理想的行为识别效果.注意力机制能够重点关注目标区间,在提取时间激励与聚集行为特征基础上融入通道-空间注意力模块.该模型分别通过通道和空间模块改变时序动作的特征分布,通道注意力关注关键通道信息是“哪些”,空间注意力机制关注重要视频内容在“哪里”,突出关键通道信息和重要内容等特征,提高了行为识别的识别率.同时在数据集Something-Something 1,UCF101和HMDB51对模型进行实验,融入通道-空间注意力模块的时间激励与聚集行为识别模型能够有效提高行为识别率.     

基于目标运动特征的红外目标检测与跟踪方法

为了提高红外目标检测与跟踪的速度和准确率,该文提出了一种基于红外弱小目标运动特征信息的检测与跟踪方法。方法主要分为目标运动特征检测和目标轨迹预测跟踪两个方面。目标检测方面,通过背景帧差分法将图像分割为前后景,形态学运算后在每一帧的前景中对红外弱小目标进行检测,并记录下候选目标。目标跟踪方面,通过卡尔曼滤波对红外目标轨迹进行预测,计算目标轨迹质心位置与目标实际位置欧式距离,通过匈牙利算法以欧式距离为权重对目标实际轨迹与预测轨迹进行分配,如果分配的结果超过一定阈值将会被重新分配。最终通过MATLAB,在公开的数据集上,仿真验证了该文算法在基本满足实时检测的要求下,仍然可以有效地提高红外弱小目标的检测与跟踪效果。     

基于多级信息融合的视频目标跟踪

在多摄像机视频监控的框架下,基于信息融合技术策略,提出了一种用于移动目标跟踪的多级信息融合方法.对于每个单一摄像机采用多特征融合粒子滤波跟踪算法,该算法将目标颜色和边缘方向特征同时作为测量特征,并通过随机融合机制融合特征权重,得出最佳目标位置估计.在此基础上,将多个摄像机的跟踪结果相融合,融合方法主要是通过位置、大小和颜色匹配概率的联合进行目标之间的匹配度测量,并基于信任度级别及权重融合目标跟踪特征.仿真实验证明本方法能够有效消除目标跟踪过程中的重叠区域遮挡问题,在提高目标跟踪精度的同时,充分发挥了多摄像机多信息融合的优势,较好地描述了跟踪目标的状态.     

基于多特征融合的改进UPF目标跟踪算法

针对单特征目标跟踪算法的鲁棒性较差以及不能充分利用最新的量测信息等问题,提出了一种基于多特征融合的改进UPF(Unscented Particle Filter)跟踪算法.基于比例最小偏度单形采样策略的UKF(Unscented Kalman Filter)算法和IKF(Iterated Kalman Filter)算法对粒子滤波算法进行改进,并在改进的算法框架下,采用不确定性度量方法融合目标的颜色和纹理特征,对目标进行跟踪.仿真实验表明,改进算法提高了跟踪精度,对复杂背景下的目标进行跟踪有较好的效果,并能有效跟踪被遮挡的目标.     

博物馆监控视频中慢速移动稀疏目标异常轨迹检测研究

传统异常轨迹检测方法将轨迹序列看作轨迹特征,无法有效描述轨迹,导致异常轨迹检测结果不可靠。为此,提出一种新的博物馆监控视频中慢速移动稀疏目标轨迹检测方法。采用一种快速计算方法对和目标相似度较高的粒子进行筛选,滤除和均值相差较大的粒子。对跟踪目标进行稀疏表示,为了避免目标被干扰或遮挡,进行非负性约束优化,完成稀疏求解,获取博物馆监控视频中慢速移动稀疏目标跟踪结果。依据跟踪结果将可代表整体轨迹的特征向量与部分可代表局部轨迹的特征向量合成一个整体特征向量,利用整体特征向量对慢速移动稀疏目标轨迹进行描述,通过描述结果和K聚类方法实现目标异常轨迹检测。实验结果表明,所提方法检测的异常轨迹与其他轨迹之间的差异最大,检测结果可靠,实际应用性较高。     

基于光流法的运动目标检测与跟踪算法

选用Harris角点作为跟踪对象,将尺度空间引入角点检测,提取特征尺度上的Harris角点,并进行曲率非极大值抑制,滤除"伪角点",提高角点检测对尺度变化的抗扰能力.跟踪算法选用结合图像金字塔的光流法,迭代计算光流,并提出基于光流误差的跟踪算法,即用不同时间流的运动轨迹在同一帧图像的误差来衡量运动跟踪情况,避免跟踪点因被遮挡、消失或者纹理特征发生变化而导致跟踪失败.通过对不同视频图像进行检测的结果证明基于改进的角点提取和图像金字塔的光流法具有良好的跟踪效果,引入光流误差可以有效地滤除跟踪失败的特征点,准确估计运动目标的位置.     

复杂环境中一种基于深度学习的异常检测方法

为了解决复杂环境中异常检测的问题,提出一种基于深度学习的检测方法。首先,通过引入(you only look once,YOLO)检测,将卷积神经网络回归法提取的物体时空特征,输入到长短期记忆模型(LSTM),追踪复杂环境中个体的运动轨迹。然后,评估相邻个体间运动轨迹的依赖性。最后,采用编码-解码框架训练LSTM模型,预测物体未来的运动轨迹;根据物体未来运动轨迹的异常概率,最终完成异常检测。实验结果表明,解决了复杂环境中运动物体间的相互干扰问题;在时间和空间鲁棒性评估上,优于其他轨迹追踪的方法,从而证明了本方法的有效性和可行性。     

基于全局注意力的多级特征融合目标检测算法

针对小目标物体检测精度差的问题,同时不以牺牲速度为代价,本文提出了一种基于全局注意力的多级特征融合目标检测算法。算法首先由卷积神经网络生成多尺度的特征图,然后采用多级特征融合的方法,将浅层和深层特征图的语义信息相结合,提高特征图的表达能力,接着引入全局注意力模块,对特征图上下文信息进行建模,并捕获通道之间的依赖关系来选择性地增强重要的通道特征。此外,在多任务损失函数的基础上增加一项额外的惩罚项来平衡正负样本。最后经过分类回归、迭代训练和过滤重复边框得到最终检测模型。对所提算法在PASCAL VOC数据集上进行了训练和测试,结果表明该算法能有效地提升小目标物体检测效果,并较好地平衡了检测精度与速度之间的关系。     

面向自动驾驶的多模态信息融合动态目标识别

研究提出一种面向自动驾驶的多模态信息融合的目标识别方法,旨在解决自动驾驶环境下车辆和行人检测问题。该方法首先对ResNet50网络进行改进,引入基于空间注意力机制和混合空洞卷积,通过选择核卷积替换部分卷积层,使网络能够根据特征尺寸动态调整感受野的大小;然后,卷积层中使用锯齿状混合空洞卷积,捕获多尺度上下文信息,提高网络特征提取能力。改用GIoU损失函数替代YOLOv3中的定位损失函数,GIoU损失函数在实际应用中具有较好操作性;最后,提出了基于数据融合的人车目标分类识别算法,有效提高目标检测的准确率。实验结果表明,该方法与OFTNet、VoxelNet和FasterRCNN网络相比,在mAP指标白天提升幅度最高可达0.05,晚上可达0.09,收敛效果好。     

基于特征融合的视频异常事件检测方法

为有效对视频数据进行降维并去除特征集合中的冗余信息, 以提高异常事件的检测效率, 从特征提取和选择的角度提出了融合特征区分度和相关性的视频异常事件检测方法。利用视频数据的时空邻域信息进行特征提取。通过分析特征的判别力和相关性进行特征选择, 从而去除特征集合中的冗余信息, 提高异常事件检测的效率和准确性。实验结果表明, 该方法的检测准确率都优于其他传统方法, 能有效地对场景中发生异常事件的区域进行准确定位。     

基于光流重构和深度姿态特征的行人跌倒检测方法

随着我国老龄化人群数量的增长,老年人实时行为轨迹的跟踪检测成为当前智慧社区研究的热点。本文针对现有行人跌倒检测算法在面临电动车流和行人影子的干扰而导致识别准确率不高的问题,提出了一种基于优化yolov5的路边行人跌倒检测方法。首先基于视频抽帧的方式将原始数据输入到yolov5网络进行监控行人视频数据的预处理,实现行人背景重构;然后提取光流和anchor框作为其运动特征;最后对此特征进行判定,进行信息融合的跌倒检测网络进行跌倒特征识别,并在不同帧序列和不同背景下进行对比试验。本文所提出的方法在行人跌倒数据集Multiple cameras fall和Le2i上进行了实验,结果表明本文的算法在基于电动车流和行人影子干扰场景下较传统方法在准确率和召回率上分别提升了9%和10%。     

基于双主干网络的雾天交通目标检测方法研究

车辆和行人安全监测是城市交通监测的一项重要任务。 针对雾霾等复杂恶劣天气条件下,监测采集的图像视觉效果差、噪声高、目标检测困难等问题,提出了一种双主干网络(MobileNets VGG-DCBM Network, MVNet)用于雾天交通目标检测,结构受 PCCN 和 CBNet 网络结构的启发,由改进的深度可分离卷积神经网络 MobileNets 和基于 VGGNet 构建的 VGG-DCBM 网络组成;采用并行方式构建双主干目标检测网络结构,以改进的 MobileNets 为主主干网络,VGG-DCBM 为辅助主干网络,共同提取特征信息,实现不同网络间特征层信息的融合;MVNet 网络结构采用并行方式获取两个不同网络提取的不同特征层信息,通过采用通道拼接的方法实现不同网络特征信息之间的融合,以获得更丰富的细节特征;在 RTTS 和 HazePerson 数据集上,平均精度均值(mean Average Precision, mAP)分别达到 71. 50%和 89. 84%;实验结果表明:在雾霾等复杂恶劣天气条件下具有较强的鲁棒性且能够准确的检测到车辆和行人,在目标检测性能上优于对比方法。