水面图像目标检测的强语义特征提取结构

针对船舶航行场景多样、船载视觉传感器获取的实海域水面图像信息复杂、难以提取目标的有效特征等问题,提出了一种用于水面图像目标检测的强语义特征提取结构.首先,在骨干网络中使用可变卷积,使卷积采样点具有平移量,适应目标的几何变换,拥有自适应感受野;然后,在特征金字塔中使用基于语义信息的特征重组,通过全局语义信息自适应聚合特定目标信息,输出强语义特征图,提高后续目标检测精度.实海域水面图像目标检测试验表明:所提出的特征提取结构在提高目标检测任务的精度上优势明显,提升幅度约为10%,并且未大幅增加目标检测算法的推理时间,能满足工程应用的要求.     

基于扩张卷积特征自适应融合的复杂驾驶场景目标检测

针对复杂驾驶场景下的目标检测问题,提出一种基于扩张卷积特征自适应融合的目标检测算法.采用单阶段目标检测网络RetinaNet作为基本框架,其包含卷积特征提取、多尺度特征融合以及目标分类与回归子网.为提高网络对多尺度特征的提取能力,设计了基于不同扩张率组合的残差卷积分支模块,以获取不同感受野下的目标特征图;然后,将不同尺度下的特征通过网络自适应学习的参数融合后输出,用于后续的目标预测;最后在大规模且多样化的复杂驾驶场景数据集BDD100K上进行实验.结果 表明,利用扩张残差卷积分支模块与特征自适应融合算法能够分别将网络的平均精度均值由0.330提升至0.338与0.344,并在采用扩张卷积特征自适应融合的情况下达到了0.349.所提算法能够有效提升目标检测算法在复杂驾驶场景下的检测性能.     

基于深度特征融合的红外弱小目标检测方法

红外弱小目标具有信噪比低、目标尺寸小、特征不明显等特点,加之场景复杂度不断提升,杂波干扰严重,导致现有的红外弱小目标检测方法在面对复杂场景时性能衰减。综合手工方法提取目标单一的显著特征及深度学习方法提取图像综合特征的优势,设计了基于深度学习的红外弱小目标深度特征融合检测网络模型。首先,模型利用多尺度自适应特征提取网络来提取红外图像中弱小目标的原始特征与平滑度图像中弱小目标的平滑度特征;其次,为提高目标显著度,提出了一种多层级联特征融合策略,实现特征提取网络中小目标原始特征与平滑度特征的融合;最后,利用多层级联特征融合映射网络对红外弱小目标进行特征映射与背景抑制,获得背景杂波被极大抑制的红外弱小目标特征映射图像。实验结果表明,同现有的基于深度学习与基于手工特征的检测方法相比,所提出的检测方法在各种复杂的场景中都拥有较高的准确率及较低的虚警率,同时拥有较快的检测速度。     

基于多尺度时空特征的篮球场景中人体姿态估计

人体姿态估计是计算机视觉领域的研究热点之一,目标是从给定的图像或视频中识别人体的关节.由于篮球比赛视频中人体动作复杂多变,易产生运动模糊、遮挡等问题,导致现有的人体姿态算法对篮球动作姿态估计的准确率较低.针对这一问题,提出了一种基于多尺度时空关联特征的篮球动作姿态估计算法,构建基于Transformer的人体时序特征捕捉模块对序列层级的时空特征信息进行建模,以缓解运动模糊、遮挡等现象带来的负面影响.此外,针对人体外形复杂多变的问题,提出了基于可形变卷积的人体空间特征残差融合模块来获取更为充分的空间特征.与现有算法相比,该算法在自行构建的篮球场景人体运动数据集、姿态估计公开基准数据集PoseTrack2017和PoseTrack2018均取得较好的效果.     

基于改进YOLOv4输电线关键部件实时检测方法

针对输电线路维护过程中的典型缺陷识别问题,为提高无人机(unmanned aerial vehicle, UAV)自主巡检的智能化程度,提出基于改进YOLOv4的无人机输电线关键部件实时检测模型。根据无人机视角下输电线典型目标的特点,结合MobileNet重新设计了一种轻量的特征提取网络来获取更高的特征提取效率,利用空洞模块增强感受野减少小目标的信息损失;在特征融合模块中添加自适应路径融合网络来融合更多的位置信息和语义信息,提高了多尺度目标的检测精度,减少了目标的误报率。采用构建的无人机输电线关键部件数据集来评估提出的模型。结果表明:基于YOLOv4改进的网络能够在无人机机载端实现实时多尺度目标检测,模型的平均准确率可达到92.76%,检测速度可达到32帧/秒,能够满足无人机嵌入式平台上实时检测的需求。     

基于残差变换器的并行傅里叶卷积修复算法

为解决现有图像修复算法因缺乏上下文信息和有效的感受野导致修复大面积随机破损时效果差且只能修复低分辨率图像的缺陷,提出了基于残差变换器的并行傅里叶卷积修复算法.首先,提出基于变换器的改进残差网络模块提取待修复图像的纹理特征;然后,设计并行快速傅里叶卷积模块增强损失图像的高度有效感受野捕捉结构信息;最后,提出门控双特征融合模块交换和结合图像的结构与纹理分量,融合上下文特征,改善生成纹理的细粒度.在两个公开数据集上进行定性和定量实验,实验结果表明：所提算法可有效修复结构复杂且纹理精细的随机不规则大面积破损区域,生成结构合理、纹理细腻和语义丰富的高保真图像,并能用于高分辨率图像的目标移除.     

基于双目立体视觉和SVM算法行人检测方法

提出了一种基于双目立体视觉和SVM算法的行人检测方法.采用行人样本的头肩HOG特征训练分类器,通过双目视觉系统获取待检测目标左右图像,经过摄像机标定和立体匹配之后,计算图像共轭点的视差生成深度图,以基于距离的阈值分割确定运动目标所在的ROIs,有效去除背景信息;提取分割图像的HOG特征,投入SVM分类器训练得到检测子;加载分类器在前景图像中做多尺度检测,标记检测出来的运动目标.实验表明:该方法能对复杂场景下不同尺度和姿态的行人进行有效检测,具有较高的鲁棒性和检测率,且具有很好的实时性.     

基于方向引导的残差去雨网络

基于深度学习的单幅图像去雨已经取得了较大进展，但现有的图像去雨方法大多没有考虑真实场景中雨纹方向的多样性，导致各方向雨纹去除不均匀，复原图像仍存在雨纹残留及颜色失真问题．基于此，以雨纹方向信息为导向，提出了一种基于雨纹方向引导的残差去雨网络．该网络由带有残差校正模块的编解码主干网络、基于方向引导的特征提取子网络以及颜色修正模块组成．在主干网络中，融入残差校正模块可学习低质量特征表示到最优特征表示的映射，校正后的网络可恢复更多高频细节；特征提取子网络包含方向引导模块和自适应循环递归模块，通过动态卷积核自适应选择与注意力机制引导，可实现不同方向、不同感受野的雨纹特征提取和融合；进一步，为了改善去雨后图像的视觉质量，设计了颜色修正模块，可以对复原图像的色彩信息进行补偿．在合成和真实数据集上的实验表明，所提方法可在彻底去除雨纹的同时保持细节丰富、颜色自然．     

基于多通道自注意力网络的遥感图像场景分类

高分辨率遥感图像场景分类广泛应用于土地监测、环境保护及城市规划等诸多领域.现有场景分类方法不能很好地结合局部纹理信息和全局语义信息,同时各通道特征之间的关系没有得到有效挖掘.因此,本文提出了一种基于多通道自注意力网络的遥感图像场景分类模型.通过卷积网络提取遥感图像的多尺度特征;随后采用特征融合单元建立多尺度特征间的局部-全局关系,基于多头自注意力机制的Inter-Channel Transformer在通道维度对融合后的特征建模,并推导特征在通道间的关系,进一步扩大全局感受野,以捕捉其语义结构信息,有效提高了网络的分类精度.在数据集AISC和SIRI-WHU上,本文所提算法的整体分类准确率(OA)分别为95.70%和94.00%,超过了当前最新的研究算法,证明了所提模型在高分辨率遥感图像场景分类任务中的有效性.     

基于卷积神经网络的单幅图像室内物体姿态估计

单幅图像的目标检测和物体姿态估计一直是计算机视觉领域中非常重要的研究内容.利用卷积神经网络对单幅室内场景图像进行研究分析,提出了一种基于卷积神经网络的单幅图像室内物体姿态估计算法.该算法采用直接分类预测的方法来实现物体的姿态估计.通过改进Faster-RCNN网络结构,利用室内场景数据集SUNRGB-D训练网络,实现端到端单幅室内图像目标检测和姿态估计.实验结果表明,该算法目标检测平均准确度为70%,姿态估计结果中平移估计准确度为28%,旋转角度估计准确度为30%.     

基于深度学习的平面位姿估计算法

为了在未知物体三维模型的情况下使用深度学习进行平面位姿估计，采用编码器-解码器网络，从单个RGB图像中检测平面实例分割及法线信息，并利用这些信息进行位姿解算，获得每个平面的实时位姿。实验结果显示,平面召回率为0.625，平面法线召回率为0.414，实时性为18.5 f/s，验证了算法的可行性。     

基于改进姿态估计算法的嵌入式平台实时跌倒检测

为了实现视频中特殊人群跌倒检测的实时性和降低误检率。通过采用改进的姿态估计网络提取人体关节点的方法,研究了使用前后帧关节点的变化来对人体进行追踪和跌倒行为检测。为了在嵌入式平台上使姿态估计网络达到实时效果,采用带有注意力机制的轻量化结构搭建深度卷积网络来提取人体关节点坐标,并合成完整的骨架信息。结果表明：带有注意力机制的姿态估计算法在不同数据集上的准确度均有提升;同时在嵌入式平台上保持误检率较低的情况下达到实时跌倒检测。可见基于改进姿态估计算法并通过关节点判断的方法较好地实现了人体的跌倒检测。     

基于Android系统的课堂记录与多元分析系统

为避免教师听课评课过程中的过分主观性,开发出基于Android系统的量化分析与质性分析的听课软件,可以帮助教师对信息时代下的课堂教学进行更为有效的剖析与解读.在移动学习、教师共同体及课堂案例多元分析法等理论基础上,确定了由认知目标、学习方式、教学策略和技术作用四方面组成的课堂教学多元分析框架,设计并实现了基于Android系统的课堂教学分析系统的主要功能.     

结合车道线检测的智能车辆位姿估计方法

基于视觉的智能车辆定位问题是自动驾驶领域研究的一大热点。在某些有效近景特征不显著的场景中,由于参与计算的特征数量不足,会导致位姿估计精度下降甚至失效。为此,本文提出一种结合车道线检测的相机位姿估计方法来提高位姿估计精度。首先,设计了一套基于自适应感兴趣区域和几何结构筛选法的车道线检测算法,精确检测到了左右车道线的内、外侧线;其次,对车道线区域内的点进行帧间匹配,得到新的匹配点对,并根据V视差图拟合出地面视差方程,求解出属于车道线匹配点对的准确视差值;最后,将这些匹配点对与ORB方法提取得到的匹配点对融合,共同参与相机的位姿计算。经实验验证,本文提出的算法提高了位姿估计结果的精度,解决了某些场景中有效特征点不足导致的位姿估计失效问题,具有良好的环境适应性。     

基于HMAX模型和非经典感受野抑制的轮廓提取

针对图像里处于复杂纹理背景中物体的轮廓提取正确率低的问题,首先研究了基于非经典感受野抑制的轮廓提取算法和HMAX模型,然后利用HMAX模型所具备的具有基本视皮层功能结构的优点,弥补了前者所依据的生物学视觉结构比较简单的不足,最后提出并实现了基于HMAX模型和非经典感受野抑制的轮廓提取算法。通过与Canny算子和非经典感受野抑制的轮廓提取算法的评估比较,表明本文算法有效提高了轮廓提取的正确率。     

MR中融合语义特征传播模型的前景对象感知定位算法

移动主体获得准确的定位信息是构建稳定的混合现实(mixed reality,MR)系统的关键,然而MR中的前景对象对传统定位算法的精度影响较大.现阶段基于深度学习的定位算法可以通过识别前景对象来提升精度,但深度学习模型耗时过高,导致算法实时性下降.针对该问题,提出了一种MR中融合语义特征传播模型的前景对象感知定位算法.该算法依托语义分割网络与一种快速旋转的二进制独立稳定描述子特征(oriented fast and rotated binary robust independent elementary feature,ORB)提取算法构建了语义特征传播模型,实现高速语义特征提取;融合该模型和几何特征检测方法实现算法中的前景对象感知层,并依赖该感知层剔除MR中前景对象的特征点,构建了背景特征点集,实现高精度、高实时性的定位.实验结果表明:在慕尼黑工业大学(Technical University of Munich,TUM)公共数据集的高动态前景对象场景中,相比动态语义视觉同步定位与建图(dynamic semantic visual simultaneous localization...     

实时在线大规模流媒体分发系统的设计方法

提出了一种大规模流媒体分发系统设计思路.首先,分析网络和节点异构性对流媒体传输的可信和可靠需求,构建出大规模、复杂网络环境中可信流媒体分发系统拓扑结构;然后,研究动态系统环境下能保证流媒体服务质量和各种粗细粒度调度方法,设计出自适应网络节点异构性的数据调度策略和算法;接着,研究面向流媒体的网络测量方法,基于实时流媒体传输质量的评估,提出了自适应流媒体传输调节的方法;最后,分析了流媒体系统提供服务的机理,确定系统的状态信息和关键数据,分析各种故障和攻击情况下系统的可用性,提出了流媒体传输故障检测方法和系统恢复方法.     

基于改进的RetinaNet医药空瓶表面气泡检测

医药空瓶在生产过程中瓶身表面会产生大量的气泡缺陷,但现有的方法对医药空瓶表面气泡检测存在各种问题,例如对复杂场景变化的鲁棒性不强,抗噪声干扰能力弱等.针对现有医药空瓶表面的气泡缺陷,提出了一种改进的深度学习目标检测算法RetinaNet对瓶身气泡进行检测.对原始RetinaNet算法中的特征金字塔网络结构进行了优化,在特征融合过程中引入了特征增强模块,用来提高网路对图像语义特征的提取,增强网络特征提取能力.为了减少模型的参数数目和计算时间,考虑到空瓶表面气泡均为小目标缺陷,去掉原始特征金字塔网络中用于检测大目标的网络结构,提高了算法检测速度.通过对标准的ResNet50网络进行重新组合,并引进了膨胀卷积模块,扩大特征图感受野,提高了模型检测的精度.通过在注塑空瓶数据集上对本文的方法进行了验证,其准确率为99.72%,漏检率为0.12%,误检率为016%,mAP为99.49%,相比原始的RetinaNet的mAP提高了接近2.4%.     

基于时频域特征的场景音频研究

随着人们对于场景音频研究的逐渐深入,现有的分析方式由于存在不能完整反映音频的声学特性等弊端,已经无法满足人们的需求。基于时频域特征的分析方式可以很好地解决这一问题,即通过提取场景音频的语谱图,使待分析信号中包含的声学事件得到完整保留,使其表现得更加直观。语谱图中包含着丰富的纹理信息,选取不同窗长,可分别得到场景音频的宽带语谱图和窄带语谱图。对比实验表明,窄带语谱图可以更好的反映出待分析信号中所包含声学事件的趋势、连续性及分布特征。因此对场景音频进行时频域特征分析更适合使用窄带语谱图。