融合注意力机制的PSPnet多目标语义分割

采用加强特征提取网络为MobileNetV2的融合多特征金字塔场景解析网络（PSPnet）来实现复杂场景下的图像语义分割.相对于深度残差网络ResNet50和MobileNetV1,引入了线性瓶颈结构和反向残差结构,利用金字塔池化模块（PPM）来处理不同层级的图像特征信息,并将其进行特征拼接,有效避免了不同分割尺寸下,子区域之间关键特征信息的缺失.在此基础上,引入注意力机制模块,结合通道注意力机制（CAM）和空间注意力机制（SAM）,进一步提高分割精度.实验结果表明：该方法可以提高图像识别的准确率,并节省训练时间.     

基于感知注意力和轻量金字塔融合网络模型的室内场景语义分割方法

针对实验室场景理解时存在背景复杂、光照多变等问题，利用RGB信息与深度信息在场景理解中具有互补性的特点，提出了一种感知注意力和轻量空间金字塔融合的网络模型（Perception Attention and Lightweight Spatial Fusion Network,PLFNet）。在该模型的感知注意力模块中，利用RGB图像与深度图像在网络中的权重不同，以加权的方式实现深度信息对RGB信息的多级辅助；在轻量空间金字塔池化模块中，通过增加级联的空洞空间卷积，不但有效地聚集了多尺度特征，而且比传统空间金字塔池化模块的参数量减少了约92%，使RGB信息和深度信息的融合更充分。在两个室内场景公开数据集上的实验结果表明，该模型的表现均优于经典算法。消融实验结果表明，本文模型添加感知注意力模块和轻量空间金字塔池化模块后，平均交并比分别提高了4.3%和3.5%。最后，利用场景较复杂的生物实验室数据集进行测试，结果表明本文模型可以有效地实现对生物实验室的场景理解。     

基于RCBAM和SSD的特征融合低照度环境目标检测算法研究

针对低光照、雨雾等恶劣场景对智能驾驶视觉系统检测能力的影响,提出了一种雷达与相机特征融合的网络模型. 基于毫米波雷达信息和注意力模型构建了雷达注意力机制特征模块,该模块可以为特征融合网络提供一个先验信息和增加算法在目标候选区域权重. 测试结果表明,引入雷达注意力机制模块后,特征融合网络的目标检测性能要比仅依赖计算机视觉的检测性能有了明显的提升,并且在复杂场景下的目标检测鲁棒性更强.      

改进YOLOv4的复杂交通场景目标检测方法

针对复杂交通场景下密集小目标居多、目标尺寸差异大、目标间遮挡严重的问题,提出了一种基于YOLOv4框架的复杂交通场景下的目标检测算法。首先,构造多尺度特征融合提取模块作为主干网络特征提取模块,充分提取不同尺度目标特征信息,同时引入轻量化Ghost模块对主干网络特征进行维度调整;其次,将卷积模块与自注意力机制融合,构造倒残差自注意力模块应用到主干网络深层,深层网络在充分提取局部特征信息基础上获得了全局感知;然后,构造轻量级混合注意力模块,抑制背景噪声,增强密集小目标检测能力;最后,在Udacity数据集上进行实验,检测精度达到了84.41%,相比较YOLOv4, mAP(mean average precision)提高了3.07%,对1 920×1 200分辨率图像的检测FPS(frames per second)可达到49,提高了22.5%,精度提升的前提下实现了较好的实时性,更适用于复杂交通场景下的目标检测任务。     

基于特征金字塔网络的自然场景图像文本检测

针对深度学习中对任意形状文本检测准确率不高的问题,提出了一种结合特征金字塔网络(feature pyramid network,FPN)和内核尺度扩展算法的文本检测网络模型.特征金字塔网络能够提取卷积层中更加鲁棒的特征,融合后生成不同尺度的特征内核;内核尺度扩展算法将生成的最小特征内核逐渐扩展为包围完整文本实例的特征图...     

注意力机制与自适应尺度融合的场景文本检测

在场景文本检测任务中，由于图像背景复杂、文本实例尺度不一等问题，导致现有模型的文本检测精度不高。为此，本文设计了一种基于注意力机制与自适应尺度融合的场景文本检测模型。首先，通过引入高效通道注意力机制，提高了特征提取网络的表征能力，降低了文字的漏检率和误报率；其次，通过设计自适应尺度融合模块，动态融合不同尺度特征，增强了模型对不同尺度文本实例的检测和定位能力。实验结果表明，本文提出的模型在Total-Text和MSRATD500共2个数据集上的F综合指标分别达到85.1%和84.1%，在同类型算法中处于领先水平。     

改进后的YOLOv5用于跌倒行为检测

随着全球人口老龄化不断加剧，由于跌倒致死的比例也随之增加，及时发现跌倒行为对降低死亡风险至关重要。针对现有跌倒检测算法在实际应用场景中出现漏检、准确率低等问题，本文将改进后的YOLOv5目标检测方法用于跌倒行为检测。具体改进措施：将YOLOv5的边界框损失函数GIoU更换为α-IoU；引入卷积块注意力机制模块（CBAM），使网络可以更专注地学习跌倒特征；在特征融合层引入加权双向特征金字塔网络结构（BiFPN）以充分利用不同尺度的特征，从而提高检测精度。实验结果表明，改进的YOLOv5模型对跌倒行为的检测精度mAP达到了98.8%，比改进前提高了4%，满足对实际应用场景下跌倒检测的要求。     

基于多尺度特征融合的小样本遥感图像分割

针对绘制遥感图像标签成本高、在实际场景中训练样本有限情况下遥感图像检测精度低的问题,提出了一种结合多尺度特征融合与注意力机制的深度金字塔注意力网络(DPA-Net)并集成迁移学习方法进行小样本遥感图像中建筑物与道路的提取.因为有限训练样本包含的信息有限,所以首先在DeeplabV3+网络架构基础上,增加两路低层特征的来...     

基于注意力机制多尺度网络的自然场景情绪识别

情绪识别作为计算机视觉的一项基本课题已经取得很大进展,然而在无约束自然场景中的情绪识别仍具挑战性.现有方法主要是利用人脸、姿态以及场景信息识别情绪,但是忽略了人物个体在场景中的不确定性,以及不能很好地挖掘场景中的情绪线索.针对现有研究存在的问题,提出了基于人物与场景线索的双分支网络结构,两个分支独立学习,通过早期融合得到情绪分类结果.对于人物在场景中的不确定性,引入身体注意力机制预判人物情绪置信度进而获得人体的特征表示,场景中引入空间注意力机制和特征金字塔以便充分获得场景中不同粒度的情绪线索.实验结果表明,此方法有效融合人物与场景信息,在EMOTIC数据集下能够明显提高情绪识别率.     

HourglassNet:一种用于遥感目标检测的改进FCOS算法

针对遥感图像中背景复杂、目标分布密集、目标尺度形态多样等问题,该文在单阶段全卷积(FCOS)目标检测模型的基础上,基于沙漏特征金字塔并且与多尺度上下文场景结合,提出了沙漏网(HourglassNet)。针对卷积神经网络(CNN)中不同深度语义信息和空间信息不均衡的问题,提出了一种沙漏特征金字塔,通过将多尺度特征缩放至中间尺度进行融合和优化以获得全局特征。基于注意力机制将全局特征向不同尺度特征传递,在抑制无关特征的同时增强了有效特征,实现了对多尺度特征的补偿。为了将高层特征的语义信息更加充分地融入不同尺寸的特征图内,设计了多尺度上下文融合模块。利用适当的感受野提取高层特征的上下文信息,提升了特征的鲁棒性和辨识性。分别在DOTA v1.5和NWPU VHR-10公开遥感图像数据集上进行了性能对比与消融实验。结果表明,该文算法的均值平均精度(mAP)相比于FCOS在DOTA v1.5和NWPU VHR-10数据集上分别提升了4.3%和3.4%,且检测性能优于YOLOv3等其它对比方法。     

基于改进Faster R-CNN的自然场景文字检测算法

自然场景中的文字受光照、污迹、文字较小等方面的影响,其检测难度较大,且传统的检测方法效果不好。在研究目标检测方法Faster RCNN的基础上,提出一种针对自然场景文字的改进方法。改进的模型由卷积神经网络特征提取模块,嵌套LSTM(nested long short-term memory,NLSTM)模块和区域候选网络(region proposal network,RPN)模块3部分组成,改进点主要是卷积神经网络特征提取模块增加了不同卷积层的空间特征融合,能够提取多层次的特征;增加嵌套LSTM模块能够学习长序列文本的序列特征,便于检测不定长度的文本序列;RPN模块通过设置宽为8像素,高度不定的锚点(anchor),可以提取一系列可能存在的目标建议框,其对小目标文字效果较好?。在实验部分,通过对标准数据集(ICDAR 2013,Multilingual)的实验结果对比表明,所提出的改进算法在准确率和效率方面明显优于改进前的算法。通过实列测试,改进的模型对小目标文字检测效果也有所提升。     

基于EAST改进的任意方向场景文本检测

高效和准确的场景文本(efficient and accuracy scene text,EAST)检测算法速度快且结构简单,但是由于文本结构的特殊性,导致在检测中尺寸较小的文本会被遗漏,而较长的文本则完整性较差.针对EAST算法存在的问题提出一种新的自然场景文本检测模型.该方法利用自动架构搜索的特征金字塔网络(neural architecture search feature pyramid network,NAS-FPN)设计搜索空间,覆盖所有可能的跨尺度连接提取自然场景图像特征.针对输出层进行修改,一方面通过广义交并比(generalized intersection over union,GIOU)作为指标提升边界框的回归效果;另一方面通过对损失函数进行修改解决类别失衡问题.输出场景图像中任意方向的文本区域检测框.该方法在ICDAR2013和ICDAR2015数据集上都取得了较好的检测结果,与其他文本检测方法相比,检测效果也得到了明显提升.     

任意方向自然场景文本识别

自然场景文本识别是计算机视觉领域一项极具挑战性的任务,为此提出一种适用于任意方向的自然场景文本识别算法.使用高分辨分割网络作为基础框架提取文本的空间信息,利用卷积长短时记忆网络提取文本的时空序列信息,同时通过设计字符注意机制使模型专注于字符上,并采用可微分二值化函数进一步加大网络对前景的注意力,削弱对背景区域的关注,网...     

基于改进的RetinaNet医药空瓶表面气泡检测

医药空瓶在生产过程中瓶身表面会产生大量的气泡缺陷,但现有的方法对医药空瓶表面气泡检测存在各种问题,例如对复杂场景变化的鲁棒性不强,抗噪声干扰能力弱等.针对现有医药空瓶表面的气泡缺陷,提出了一种改进的深度学习目标检测算法RetinaNet对瓶身气泡进行检测.对原始RetinaNet算法中的特征金字塔网络结构进行了优化,在特征融合过程中引入了特征增强模块,用来提高网路对图像语义特征的提取,增强网络特征提取能力.为了减少模型的参数数目和计算时间,考虑到空瓶表面气泡均为小目标缺陷,去掉原始特征金字塔网络中用于检测大目标的网络结构,提高了算法检测速度.通过对标准的ResNet50网络进行重新组合,并引进了膨胀卷积模块,扩大特征图感受野,提高了模型检测的精度.通过在注塑空瓶数据集上对本文的方法进行了验证,其准确率为99.72%,漏检率为0.12%,误检率为016%,mAP为99.49%,相比原始的RetinaNet的mAP提高了接近2.4%.     

基于上下文特征的视网膜血管分割算法

针对视网膜血管分布复杂且多变,提出一种基于上下文特征提取的视网膜血管分割算法。首先通过霍特林变换(Karhunen-Loeve, K-L)生成灰度图并经过预处理增强对比度。然后经过局部信息熵进行采样。该网络编码部分的多感受野残差编码模块在兼顾速度的同时对特征进行充分的提取。同时底部的特征融合模块由非对称融合非局部模块和非对称金字塔非局部模块两部分组成,用于融合图片的上下文特征。而解码部分由多个微型U型网络组成,保证将底层特征和高层映射特征有效融合并进行深层次的再提取。本文算法在血管分割的数字视网膜图像数据集(digital retinal image for vessel extraction, DRIVE)数据集进行仿真,准确率为96.45%,特异性为98.37%,敏感度为82.7%,实验结果表明能有效地分割视网膜血管。     

基于深层次特征增强网络的SAR图像舰船检测

针对合成孔径雷达图像中舰船目标检测困难的问题,提出了一种基于深层次特征增强网络的多尺度目标检测框架.利用Darknet53提取原始图像特征,自上而下建立四尺度特征金字塔;特别设计基于注意力机制的特征融合结构,自下而上衔接相邻特征层,构建增强型特征金字塔;利用候选区域及其周边上下文信息为检测器计算分类置信度和目标分数提供更高质量的判定依据.所提算法在SSDD公开数据集和SAR-Ship自建数据集上的平均检测精度分别为94.43%和91.92%.实验结果表明,该算法设定合理且检测性能优越.      

基于改进单步多框目标检测的道路小目标检测算法

针对SSD目标检测算法运用于自动驾驶领域时,在检测道路上小目标容易发生漏检错检的情况,本文提出一种改进的SSD目标检测算法。本算法首先在SSD模型的主干网络中嵌入感受野增强模块,扩大特征层的感受野,以获取更多小目标的特征信息;然后在主干网络后加入4次U型特征提取结构,构建4个不同层级的特征金字塔,最后合并成一个多层级特征金字塔用于检测。结果表明,该改进SSD模型在KITTI数据集上的检测精度较原始SSD模型提升了6%,检测速度达到了每秒27.9帧。在兼顾检测效率的同时,有效提高了对道路上小目标的检测精度,更适用于自动驾驶领域。     

基于全局注意力的多级特征融合目标检测算法

针对小目标物体检测精度差的问题,同时不以牺牲速度为代价,本文提出了一种基于全局注意力的多级特征融合目标检测算法。算法首先由卷积神经网络生成多尺度的特征图,然后采用多级特征融合的方法,将浅层和深层特征图的语义信息相结合,提高特征图的表达能力,接着引入全局注意力模块,对特征图上下文信息进行建模,并捕获通道之间的依赖关系来选择性地增强重要的通道特征。此外,在多任务损失函数的基础上增加一项额外的惩罚项来平衡正负样本。最后经过分类回归、迭代训练和过滤重复边框得到最终检测模型。对所提算法在PASCAL VOC数据集上进行了训练和测试,结果表明该算法能有效地提升小目标物体检测效果,并较好地平衡了检测精度与速度之间的关系。