基于损失加权的实时篮球裁判手势识别系统

为了方便观众更好地在观看比赛直播和录像时理解裁判手势的含义,或帮助录像分析师分析比赛视频,设计了一种实时篮球裁判手势检测与识别系统Yolov5-BR(Yolov5-Basketball Referee).首先,采用目标检测中的Yolov5算法为基础模型,对其边界框的交并比(intersection over union,IoU)损失函数完全交并比(complete intersection over union,CIoU)进行加权处理,增强预测框的鲁棒性;其次,在C3模块后加入注意力机制,产生更具分辨性的特征表示,从而提升网络识别性能;此外,在检测层头部融入自适应特征融合机制,充分利用图像高层语义信息;最后,对目标置信度损失函数进行不对等加权处理,从而提高对小目标检测的鲁棒性.在自制的裁判手势数据集上,Yolov5-BR取得了95.4%的mAP值,本地视频检测速率为55.5帧/s,外接摄像头分辨率为1 280×960,检测速率为25帧/s.实验结果表明,Yolov5-BR相对于原始模型在检测裁判手势的性能上有所提升,保持了较高的准确率、稳定性与实时性.     

基于改进DeepLabV3+网络的坝面裂缝检测方法

基于图像分析的水电站坝面缺陷判别是一种高效、精准的方法，然而大坝裂缝图像存在背景复杂以及裂缝和背景像素比例不均衡等问题，导致传统算法的检测效果差。该文提出一种基于改进的DeepLabV3+网络模型的坝面裂缝检测方法。该方法利用三线注意力模块(three line attention module,TLAM)提高模型对裂缝像素的提取能力；采用空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)模块进行级联优化，实现更密集的像素采样，获取更丰富的裂缝特征；将MobileNetV2作为特征提取主干网络，可实现网络轻量化并减少模型参数；将焦点损失(focal loss,FL)和Dice损失(Dice loss,DL)作为模型的损失函数，可克服数据不平衡的困难。对西南某水电站的坝面裂缝数据集进行模型有效性和对比实验，结果表明：该方法中用来评价模型精度的F_{1, score}、平均交并比(mean intersection over union,MIoU)和平均像素精度(mean pixel accuracy,MPA)的值分别达到73.98...     

基于EAST改进的任意方向场景文本检测

高效和准确的场景文本(efficient and accuracy scene text,EAST)检测算法速度快且结构简单,但是由于文本结构的特殊性,导致在检测中尺寸较小的文本会被遗漏,而较长的文本则完整性较差.针对EAST算法存在的问题提出一种新的自然场景文本检测模型.该方法利用自动架构搜索的特征金字塔网络(neural architecture search feature pyramid network,NAS-FPN)设计搜索空间,覆盖所有可能的跨尺度连接提取自然场景图像特征.针对输出层进行修改,一方面通过广义交并比(generalized intersection over union,GIOU)作为指标提升边界框的回归效果;另一方面通过对损失函数进行修改解决类别失衡问题.输出场景图像中任意方向的文本区域检测框.该方法在ICDAR2013和ICDAR2015数据集上都取得了较好的检测结果,与其他文本检测方法相比,检测效果也得到了明显提升.     

基于改进YOLOv5的胶囊内窥镜病灶区域检测

针对目前胶囊内窥镜病灶检测模型存在检测疾病单一且效率低等问题,提出了一种基于YOLOv5的胶囊内窥镜病灶区域检测方法。该方法在原始YOLOv5基础上进行了如下改进：首先,在主干网络Backbone部分,添加一个CBAM(convolutional block attention module)模块,增强模型对重要特征的突出能力;其次,在头部网络Head部分,添加一个检测头,增强模型对小目标的检测能力;最后,将原始YOLOv5的泛化交并比(generalized intersection over union, GIoU)损失函数替换成完整交并比(complete intersection over union, CIoU)损失函数,使模型训练时更快地收敛。本文提出的方法在长江大学第一临床医学院提供的胶囊内窥镜影像数据上进行了实验,精确率达到了93.6%,召回率达到了94.3%,mAP@0.5达到了97.2%,而且检测速度达到了每帧0.027 2 s。实验结果表明提出的方法是有效的、灵活的、鲁棒的,能够满足临床医学诊断的实际需求。     

结合注意力机制和卷积神经网络的X射线焊缝缺陷检测

焊接是一种重要的连接技术,但是焊缝缺陷会直接影响焊接结构的性能和使用寿命。焊缝缺陷的种类和特征的多样性增加了缺陷检测的复杂性。首先,提出一种新颖的并行残差注意力模块,在通道和空间维度上充分利用全局平均池化和全局最大池化来捕获全局特征,并与输入特征相乘,自适应的选择缺陷特征,显著提升了网络模型的特征表达能力。其次,针对焊缝缺陷长宽比悬殊的问题,利用注意力机制指导锚框自学习图像特征,预测锚框的位置和形状,围绕缺陷区域自适应生成非均匀分布的任意形状的感兴趣区域。最后,设计了端到端的由注意力引导感知的深度学习网络模型。为验证所提模型的有效性,在包含3 403张图像(其中1 001张有缺陷)的X射线焊缝数据集上,通过定性的分析和定量的对比。实验结果表明：检测指标平均精度均值(mean average precision, mAP)达到了66.74%,与原算法相比提升了5.78%,平均交并比(mean intersection over union, mIoU)提升了7.21%,基本满足对焊缝缺陷的高精度检测。     

基于目标检测的混凝土坝裂缝实时检测方法

裂缝是大坝最常见的损伤之一，可反映大坝的受力状态和安全性。针对混凝土坝裂缝传统检测算法速度慢、精度低、泛化性能不足等问题，该文基于目标检测神经网络YOLOX(you only look once x)深度学习目标检测算法，提出一种混凝土坝表观裂缝实时检测方法(YOLOX-dam crack detection,YOLOX-DCD)。该方法对YOLOX目标检测神经网络进行改进，首先在网络结构中加入卷积注意力机制，使网络更关注裂缝特征，提高检测效果；其次引入完全交并比(complete intersection over union,CIoU)作为目标定位损失函数；最后在自制的混凝土坝裂缝数据集上进行实验评估，并与现有的多种目标检测神经网络进行对比。结果表明：该文所提方法具有速度快、精度高、参数少的特点，且明显优于经典目标检测算法。因此，该文所提方法能满足混凝土坝裂缝检测高效、精确、实时的要求，可为混凝土坝裂缝检测提供技术支持。     

基于多尺度融合增强的服装图像解析方法

基于卷积神经网络中的各个层次特征,提出了一种基于多尺度融合增强的服装图像解析方法。通过融合增强模块,在考虑全局信息的基础上对包含的语义信息和不同尺度特征进行有效融合。结果表明：在Fashion Clothing测试集上的平均F1分数达到60.57%,在LIP（Look Into Person）验证集上的平均交并比（mean intersection over union,MIoU）达到54.93%。该方法可以有效地提升服装图像解析精度。     

基于改进PointNet的空调散热器V形槽3D点云分割算法

针对给空调散热器自动化点胶时无法准确识别散热器V形槽位置的问题,基于PointNet网络的散热器V形槽语义分割方法,首先针对散热器点云V形槽区域与内部区域特征相似的问题,设计一种通过提取点云边缘将点云边缘区域的点云与内部区域的点云分别进行预处理的方法,实现突出点云边缘区域特征的目的。其次,在PointNet网络最大池化函数的基础上,引入平均池化函数,增加网络所提取的全局特征的特征信息,减少因最大池化引起的信息丢失,并去除T-Net变换网络,减少网络的复杂度。从实验室平台采集空调散热器样本进行实验,结果表明,改进算法的平均交并比(mean intersection over union, mIoU)达到78.17%,总体精度(overall accuracy, OA)达到了92.01%,相较于PointNet提高了9.73%和6.37%,验证了算法的有效性。     

MDF-ANet:低光照环境下的无人驾驶视觉融合分割方法

为解决低光照条件下已有图像分割模型性能降低的问题,提出了一个基于RGB和深度图特征融合网络的MDF-ANet图像分割方法.为了对原始数据进行充分的特征学习,采用两路特征提取网络分别提取RGB和深度图特征;设计了一个特征融合模块,分别将两路特征提取网络对应尺度下的输出特征图通过融合模块进行融合,并作为RGB网络下一层的输入,通过不受光照条件影响的深度图来辅助RGB的特征提取;将各个尺度输出的特征图输入多尺度上采样融合模块,进行不同感受野间的信息互补,再上采样至原始输入图像大小,得到分割图像.在Cityscapes及其转化后的低光照图像上进行了一系列实验,在其验证集上取得了62.44%的均交并比（mean intersection over union,mIOU）,相比只使用RGB输入的模型,性能提高了9.1%,达到了在低光照条件下提高图像分割性能的目的.      

基于改进YOLOX的变电站设备缺陷检测方法

为减轻电力工作人员的巡检负担,实现变电站智能巡检,对变电站设备缺陷检测算法进行了研究。首先,利用数据增强方法对有限的初始数据集进行扩充,利用多种图像处理方法增加数据集的复杂度,生成考虑复杂光照环境的数据集;然后,采用自适应空间特征融合(ASFF:Adaptively Spatial Feature Fusion)的方法缓解特征金字塔中不同尺度特征的不一致性问题,并引入Focal损失函数作为置信度损失函数以缓解正负样本不平衡的问题,利用改进的YOLOX-s(You Only Look Once X-s)网络模型设计了变电站缺陷检测算法;最后,将改进的YOLOX-s网络模型与其他深度学习算法的检测效果进行对比,实验结果表明,改进的YOLOX-s网络模型的综合检测效果较好,准确性和实时性均可以满足变电站设备缺陷检测任务。     

Mask RCNN在雾化背景下的船舶流量检测

基于掩码区域卷积神经网络（Mask region-convolutional neural network，Mask RCNN）模型检测海域卫星航拍图片中的船舶流量检测，实现雾化与模糊背景下的自动检测船舶数量与船只定位.基于搭建的Mask RCNN网络模型进行训练，依据输出的船只位置，与准确位置对比，不断调整模型参数提升准确度，再用训练好的模型参数对测试集中的图片进行检测.训练后进行测试的结果为:重叠度（intersection over union，IOU）取0.5时，边界框位置准确度达85.4%，船只数量检测准确度高达89.9%.上述结果表明，Mask RCNN网络模型可实现高精度的船舶流量监测.      

基于模糊理论的焊缝缺陷图像识别算法研究

为提高无损检测中焊缝缺陷射线检测效率、降低人工操作强度,针对射线胶片焊缝缺陷自动检测技术普遍存在难以自动准确识别缺陷问题,充分利用焊缝图像中各种信息,提出了一种焊缝缺陷智能检测识别方法。基于自动选择阈值,使用模糊集合进行灰度变换以增强图像对比度;利用最大类间方差算法(OTSU)求解自适应阈值,检测并提取焊缝边缘;依据缺陷几何特征识别不同缺陷。结果表明,该系统可以较为准确地检测各种焊缝图像的边界和缺陷,具有较好地适应性和实用性。     

基于距离交并比回归的孪生网络目标跟踪算法

为解决视频目标跟踪过程中目标框和预测框边界不重叠情况下无法优化的问题,提出了一种距离交并比(distance intersection over union, DIOU)回归的孪生网络目标跟踪算法.通过孪生网络和区域建议网络(region proposal network, RPN)保持实时效果,将距离交并比引入回归分支,结合重叠率和中心点距离构建损失度量,加快模型训练的收敛速度,为边界框提供更直接的回归方向.同时,使用Resnet50网络替换SiamRPN网络的特征提取网络,进一步提高目标特征表示的准确性.实验结果表明,DIOU回归损失在视频目标尺度变化、低分辨率、光照变化等干扰情况下,具有较强鲁棒性.     

基于优化DeepLabv3+的混凝土梁裂缝分割及特征量化

目前基于深度神经网络的裂缝分割模型存在着训练参数多、裂缝边缘分割粗糙、分割精度不足、缺少深度特征语义信息等问题。为解决以上问题,对分割性能较好的DeepLabv3+模型进行研究,嵌入Non-local注意力机制,并改进了主干网络ResNet101得到优化模型DeepLabv3+(N-S),最后基于优化模型的输出并使用裂缝骨架提取的方法来量化裂缝特征参数。使用的数据集为自制的混凝土梁裂缝图像数据集,并对优化前后模型作对比实验,分析了模型在各项性能上优化的有效性,并使用实测数据来验证评估裂缝各项特征参数量化方法。实验结果表明,DeepLabv3+(N-S)网络在数据集上的平均像素准确率(mean pixel accuracy, mPA)、平均交并比(mean intersection over union, mIoU)分别达到了88.86%、82.04%,较于原模型分别提高2.21%、2.54%,裂缝分割效果优于原模型,且裂缝样本各项特征参数量化的平均误差为+8.7%,低于原模型,可满足工程上的检测精度需求。     

基于改进YOLOv3的合成孔径雷达影像舰船目标检测

为了提高合成孔径雷达(synthetic aperture radar,SAR)影像舰船目标的召回率和准确率,降低漏检率,通过以YOLOv3(you olny look once)为检测框架,对锚点框(anchor boxes)生成机制进行改进,提出了利用K-median++生成anchors的聚类算法.结果表明不当的初始聚类中心会降低anchor boxes的平均交并比(mean intersection over union,meanIOU);同时由于SAR舰船数据集存在少量大尺寸box(离群数据点),因此在实验中使用中位数代替平均值,对簇群计算聚类中心,聚类后anchor boxes的meanIOU高达77.10％,在均值聚类算法(K-means clustering algorithm)基础上提高了3.7个百分点,并且减少了迭代次数,计算量得到大幅度降低.可见相比传统基于K-means的YOLOv3,检测效果有了明显提升,召回率达到92.21％,均值平均精度(mean average precision,mAP)达到93.56％,分别提高了2.55、3.82个百分点.     

浮选泡沫表面动态特征提取方法研究

为了解决浮选泡沫图像中光噪点多、相互黏结、无法准确地提取其动态特征的问题，提出了一种浮选泡沫表面动态特征提取的方法.首先，通过分数阶微分最小均值算法、谷底检测算法和形态学处理，得到泡沫边缘轮廓图像，再对这些图像进行三叉点检测，避免了光噪点的影响；其次，用快速视网膜关键点(fast retina keypoint, FREAK)匹配算法对特征点进行匹配，再利用随机抽样一致(random sample consensus, RANSAC)算法进一步剔除误匹配点；最后，提取出速度特征，并利用特征点对的坐标绘制出速度矢量图和曲线图.实验结果表明，该方法具有更高的抗噪性能，并能够有效改善图像的对比度、减轻泡沫图像光噪点影响、有效剔除误匹配，从而提取出准确的速度特征.本方法的提取准确率为93.3%,该提取准确率较现有一些算法有较大提高，适用于动态变化的浮选工况.     

一种用于AOI的PCB拼接算法

针对自动光学检测技术(AOI)在PCB板检测中存在的图像拼接严重错位、系统响应速度慢、拼接精度差等问题,对PCB图像拼接算法进行了改进研究.首先,提出整行缩小以及以行图像为配准图像的方式进行图像拼接;其次,在传统PCB图像拼接算法上引入surf配准,采用图像金字塔尺度空间的方法,确定拼接图像间的对应特征点,选取最近邻次近邻的配准方式进行特征匹配.实验结果表明:提出的拼接算法,生成图像的数据量相对较少、速度较快,误差不会累积传递,消除了错位偏差,并解决了因光照不均而造成拼接缝隙的问题,大大提高了拼接的精度和速度,为AOI系统后续准确识别PCB板缺陷打下了良好的基础.     

基于DCGAN和改进YOLOv5s的桥梁表面缺陷检测识别

针对人工检测桥梁表面缺陷存在精度低、速度慢和漏检率高等问题,该文提出了基于深度卷积生成式对抗网络(deep convolutional generative adversarial networks,DCGAN)和改进YOLOv5s的桥梁表面缺陷检测识别模型.首先,通过DCGAN网络对自主采集的桥梁表面缺陷图像进行数据增强,建立每类缺陷样本数量较为均衡的数据集; 其次,在YOLOv5s模型基础上嵌入CBAM注意力机制模块,使模型将注意力集中于缺陷区域,从而提升图像分类的准确率; 最后,为验证所提方法的适用性,将包含4类桥梁表面缺陷的数据集进行训练与测试.实验结果表明:该文提出的模型在桥梁表面缺陷检测上的准确率为92%,相比其他深度学习模型具有更高的检测精度和鲁棒性.     

一种基于同类融合的工业数据扩充算法

在基于深度网络的工业板材表面缺陷检测应用中,缺陷图像的类别不平衡和数量不足严重制约了深度网络的应用性能.为了解决此问题,提出一种基于同类融合的工业数据扩充方法以丰富表面缺陷图像训练集.首先根据缺陷特征将表面缺陷图像集中的样本进行分类,随机选择属于同一类别的多个样本执行融合操作以扩充数据量和丰富样本类型,然后将原始数据和扩充的人工数据组合起来作为新训练集,以提升模型分类和检测的能力.以实际生产中采集的钢材表面缺陷图像进行实验,并与生成算法扩充的样本进行比较.实验结果表明,该算法不仅在扩充表面缺陷图像质量上超过了卷积生成对抗网络(DCGAN)和循环一致生成对抗网络(CycleGAN)等生成算法,并在缺陷目标分类和检测任务上取得了更有效的扩充效果.     

基于梯度直方图的产品表面缺陷图像自适应阈值分割方法研究

为了提高产品表面缺陷检测精度并降低检测成本,文章以E型磁环表面缺陷的自动检测为例,分析了产品表面图像的特征,提出了一种利用梯度直方图信息的图像自适应阈值分割算法.通过实例,与原自适应直方图阈值分割算法和固定阈值分割算法相比较,结果表明:该算法采用可动态调整的形态学梯度算子计算梯度直方图,抗噪能力强;充分利用了图像的边缘信息和缺陷内部灰度分布不均匀的特性,适应性广;算法简单,具有实时准确分割图像的特点.