基于深度学习的端到端乐谱音符识别

光学乐谱识别是音乐信息检索中一项重要技术,音符识别是乐谱识别及其关键的部分.针对目前乐谱图像音符识别精度低、步骤冗杂等问题,设计了基于深度学习的端到端音符识别模型.该模型利用深度卷积神经网络,以整张乐谱图像为输入,直接输出音符的时值和音高.在数据预处理上,通过解析Music XML文件获得模型训练所需的乐谱图像和对应的标签数据,标签数据是由音符音高、音符时值和音符坐标组成的向量,因此模型通过训练来学习标签向量将音符识别任务转化为检测、分类任务.之后添加噪声、随机裁剪等数据增强方法来增加数据的多样性,使得训练出的模型更加鲁棒;在模型设计上,基于darknet53基础网络和特征融合技术,设计端到端的目标检测模型来识别音符.用深度神经网络darknet53提取乐谱图像特征图,让该特征图上的音符有足够大的感受野,之后将神经网络上层特征图和该特征图进行拼接,完成特征融合使得音符有更明显的特征纹理,从而让模型能够检测到音符这类小物体.该模型采用多任务学习,同时学习音高、时值的分类任务和音符坐标的回归任务,提高了模型的泛化能力.最后在Muse Score生成的测试集上对该模型进行测试,音符识别精度高,可以达到0.96的时值准确率和0.98的音高准确率.     

基于深度学习的纹理图像语义识别

传统的纹理图像识别方法主要对底层的视觉特征进行检测,从而导致对高层语义特征的识别能力不足.为了解决上述问题,提出一种基于深度学习的纹理图像语义特征识别方法.该方法首先把在ImageNet数据集上预先训练的模型作为骨干网络构建模型,然后对输入的纹理图像进行数据增强和预处理,并输入模型进行训练和验证,最后利用训练获得的最佳...     

全局视野多层次特征增强的人脸伪造检测方法

针对现有的深度伪造检测方法的偏重于局部伪造纹理信息以及对于未知伪造类型人脸泛化性检测精度低的问题，提出了一种基于全局视野的多层次检测网络，利用多头注意力机制聚合空域中Query的像素级别强度以及梯度信息生成Key和Value,使得网络在空域中构建长距离依赖关系便于获取全局伪造信息，并结合多层次特征增强策略对检测网络不同层次之间的提取伪造特征进行增强，用于提升网络的空间感知局部伪造信息能力。实验结果表明在数据集内和跨伪造类型数据集上均有较高的ACC和AUC测试得分，消融研究验证了模型各个子模块的有效性。     

基于相容粒度空间模型的图像纹理识别

信息粒广泛存在于现实世界中,是对现实的抽象.信息粒化旨在建立基于外部世界的有效的并以用户为中心的概念,同时简化人们对物理世界和虚拟世界的认识.使用信息粒进行计算是粒度计算的基本思想,在问题描述和求解中都具有重要的意义.主要研究一种新的粒度计算模型-相容粒度空间模型在图像纹理识别中的应用.该模型基于这样的思想,即人类具有根据具体的任务特性把相关数据和知识泛化或者特化成不同程度、不同大小的粒的能力,并进一步根据这些粒和粒之间的关系进行问题求解的能力.通过在多个数据集上和10种其他图像纹理识别算法的比较实验表明,该方法在图像纹理识别上具有良好的应用效果.     

基于主动表观模型的人脸图像描述与编码

利用主动表观模型(AAM)来对人脸图像进行描述和编码,该方法不仅对人脸形状进行建模,同时又建立了反映人脸灰度变化的纹理模型,并将纹理模型与形状模型合理地结合起来,反映了整个人脸形状及纹理。实验表明了AAM方法进行人脸描述和编码的有效性。     

基于HSV颜色空间的快速边缘提取算法

针对当前无人机障碍物检测能力较弱的问题,基于图像快速边缘提取算法,提出一种改进型局部二值模式(I-LBP)算子来增强边缘提取效果.在HSV (Hue, Saturation, Value)颜色空间中,利用I-LBP算子描述像素点的局部纹理特征,并采用Hausdorff距离确定边缘点,最后用矩形框圈出障碍物轮廓.该算法根据模糊集理论对传统LBP算子进行改进,通过将简单的二值化描述方式扩充到三维向量,增强了LBP算子对局部纹理特征的描述能力及其抗噪声的能力.利用MATLAB软件进行仿真验证的结果表明:I-LBP算子具有良好的稳健性,在光照条件较差并有噪声污染的情况下依旧可以准确地识别障碍物;同时,I-LBP算子还具有良好的实时性,可以满足无人机的避障要求.     

基于元度量学习的低资源语音识别

随着大数据及设备超强运算能力的出现,语音识别系统的性能得到了大幅提升.但在低资源语音识别研究中,由于缺乏足够的训练数据,模型很容易出现过拟合、识别精度低等问题.为此,提出了采用元度量学习方法来解决低资源环境下的语音难识别问题,该方法是先将大量类似且不相交的任务用于模型训练,让模型从中学会如何比较样本相似性;最后再在新任务中通过计算样本的相似度来识别未知样本.实验表明:元度量学习方法能够有效避免模型过拟合、提升模型泛化能力,实验在低资源语言(佤语和普米语)孤立词语音识别中均取得了显著的识别效果.     

基于相容粒度空间模型的图像纹理识别

信息粒广泛存在于现实世界中,是对现实的抽象。信息粒化旨在建立基于外部世界的有效的并以用户为中心的概念,同时简化人们对物理世界和虚拟世界的认识。使用信息粒进行计算是粒度计算的基本思想,在问题描述和求解中都具有重要的意义。主要研究一种新的粒度计算模型—相容粒度空间模型在图像纹理识别中的应用。该模型基于这样的思想,即人类具有根据具体的任务特性把相关数据和知识泛化或者特化成不同程度、不同大小的粒的能力,并进一步根据这些粒和粒之间的关系进行问题求解的能力。通过在多个数据集上和10种其他图像纹理识别算法的比较实验表明,该方法在图像纹理识别上具有良好的应用效果。     

融合音节部件特征的藏文命名实体识别方法

藏文命名实体识别是藏语自然语言处理的基础任务，是完成机器翻译、网络舆情检测和知识图谱构建等任务的前提.传统的基于深度学习的藏文命名实体识别将藏文音节(字嵌入)作为模型输入的方法容易忽略藏文音节的局部特征.针对这一问题，本文提出了一种融合构成藏文音节部件特征和藏文音节特征的藏文命名实体识别神经网络模型SL-BiLSTM-CRF(syllable level long short-term memory conditional random field).其中，SL模块对构成音节的部件信息和藏文的单个音节进行特征编码，将两种不同模态的特征融合之后送入BiLSTM模型进行特征提取并预测实体标签，再通过CRF对BiLSTM模型的预测结果进行矫正，最终输出藏文实体识别结果.实验证明，该方法在藏文命名实体识别任务中相比基于单个藏文音节(字嵌入)的BiLSTM-CRF模型的F₁值提高了1.58个百分点，验证了该方法在藏文命名实体识别任务中的有效性.     

基于色彩纹理特征的图像分类及应用

目的研究彩色数字图像的计算机分类识别方法并应用于古瓷片的自动分类。方法提出了一种色彩纹理特征的提取模型,采用该模型,利用IGabor滤波器提取数字图像的色彩纹理特征,并构造支持向量分类机(SVM)分类器组。结果实现了高准确率多类别图像的自动分类识别,并成功应用于古瓷片的自动分类。结论色彩纹理特征提取方法将颜色与纹理进行融合,增强了数字图像之间的特征区分能力。     

甲状腺结节超声图像多特征融合及识别

为更加精确地判别甲状腺结节的良恶性, 提出基于改进的 CLBP(Completed Local Binary Pattern)模型和 GLCM(Gray Level Co-occurrence Matrix)模型相结合的纹理特征提取算法。 首先在传统的 CLBP 模型中引入局部 方差信息, 使 CLBP 算子对局部纹理特征的描述更加精细; 然后与 GLCM 模型描述的全局纹理特征相融合; 最 后结合纵横比、 圆形度、 紧致度等形状特征并将其输入 SVM(Support Vector Machine)分类器。 为进一步提高识 别率, 同时给出基于粒子群算法与网格搜索算法相结合的 SVM 参数优化算法, 以提高识别率。 对比实验结果 表明, 该算法提取的特征用于分类识别时具有更高的识别率, 且提出的参数寻优算法相对于传统寻优算法效率 更高。     

融合加速稳健特征的子空间人脸识别方法

为了充分利用人脸特征信息更加准确全面地描述人脸,提高现有识别算法的识别率,提出一种融合改进的加速稳健特征和子空间特征进行人脸识别的方法。利用AAM形状模型的训练方法,训练得到41个点的人脸形状模型;对每幅图像进行特征点初歩定位,找到并保留与初歩定位的特征点空间距离最近的SURF特征点。将SURF特征点描述子利用PCA降维,得到改进的SURF局部特征向量。然后利用PCA对图像进行全局特征提取,将局部特征与全局特征进行融合,组成全新的特征向量。最后通过特征向量的匹配实现识別。对包括本算法和PCA-SIFT算法在内的6种不同识别算法进行了验证。实验结果表明,提出的算法在改变ORL人脸库中训练集样本数的情况下,识别率均优于其他算法;在样本数为5的情况下比PCA-SIFT方法提高了4.3%,可见该算法提高了人脸的识别率具有较强的鲁棒性和分类性。     

基于Gabor特征和局部二值模式融合的纹理图像识别

传统的Gabor滤波方法和局部二值模式(Local Binary Pattern,LBP)算法提取的纹理特征鉴别能力不足,导致纹理识别精度不够理想.为了解决上述问题,提出一种将全局Gabor特征和局部LBP特征进行融合的纹理图像识别方法.该方法利用Gabor滤波方法提取纹理图像的全局特征,利用LBP算法提取纹理图像的局部特征,然后在最近子空间分类器的框架下实现全局和局部特征的融合以及纹理图像识别.在CURe T和KTH-TIPS基准纹理库上的实验结果表明,笔者提出的方法显著超越了传统Gabor滤波方法和LBP算法的纹理识别精度.     

融合RepVGG的YOLOv5交通标志识别算法

准确检测交通标志已成为自动驾驶不可或缺的任务之一。基于现实场景中小而密集的交通标志,传统方式检测交通标志存在精度较低这一缺陷。针对此问题,提出一种融合RepVGG模块的改进YOLOv5的交通标志识别算法。首先将原算法的部分CBS模块替换为RepVGG模块,加强特征提取能力。并在Neck层融合CBAM注意力机制,强化检测模型的抗干扰能力。最后,在网络训练过程中,使用EIOU损失函数来弥补GIOU损失函数的不足,提高算法的检测精度与迭代速度。实验结果表明,改进后的YOLOv5算法,迭代速度更快,在CCTSDB交通标志数据集上的P、R、mAP值分别达到91.55%、85.04%、91.71%,相比YOLOv5算法能够更好的应用到实践当中。     

一种改进YOLOv3的手势识别算法

为了解决YOLOv3算法在手势识别中存在识别精度低及易受光照条件影响的问题,提出了一种改进的YOLOv3手势识别算法。首先,在原来3个检测尺度上新增加1个更小的检测尺度,提高对小目标的检测能力;其次,以DIoU代替原来的均方差损失函数作为坐标误差损失函数,用改进后的Focal损失函数作为边界框置信度损失函数,目标分类损失函数以交叉熵作为损失函数。结果表明,将改进的YOLOv3手势识别算法用于手势检测中,mAP指标达到90.38%,较改进前提升了6.62%,FPS也提升了近2倍。采用改进的YOLOv3方法训练得到的新模型,识别手势精度更高,检测速度更快,整体识别效率大幅提升,平衡了简单样本和困难样本的损失权重,有效提高了模型的训练质量和泛化能力。     

改进YOLOv5的多车辆目标实时检测及跟踪算法

多车辆目标跟踪时间主要花费在车辆检测模块和对每个车辆表观特征提取模块,一般情况下,车辆检测和车辆表观特征提取是在不同的神经网络中进行的,且一张图中的车辆目标越多,对车辆表观特征提取耗费时间的也越多,推理时间也相应变长。针对这一问题,基于经典的Tracking-By-Detection模式,提出一种改进的YOLO模型：在YOLO网络中添加ReID特征识别模块,使YOLO在输出目标位置信息的同时输出目标特征信息,以提高算法的跟踪速度。针对车辆间彼此覆盖的情况,提出一种基于动态IOU阈值的非极大抑制算法,以提高算法的跟踪精度。最后将YOLO输出的信息进行数据匹配,从而实现多目标跟踪。在UA-DETRAC数据集上验证改进模型的有效性,实验结果表明,将YOLOv5网络进行改进后运用在目标跟踪算法中,相对于经典的YOLO+DeepSORT跟踪模型,在车辆密集的情景下平均推理时间减少了17%;在改进后的网络上添加动态IOU阈值非极大抑制,跟踪精度提高了3.9个百分点。改进后的模型有较好的实时性与跟踪准确率。     

基于注意力机制的多尺度仪表检测

为实现复杂场景下多尺度仪表检测,提出了一种基于注意力机制的视频多尺度仪表检测算法。首先,利用基于空间注意力机制的特征提取网络,建模特征的长距离依赖,增强特征的表达能力;其次,提出了一种自适应特征选择模块（Adaptive Feature Selection Module, AFSM）,对不同阶段的特征图进行权重调整,增强网络对多尺度目标的检测能力。在自建的仪表数据集上进行了实验。实验结果表明,相比较原来的Faster RCNN方法,所提出方法的检测精度提高了7.6%;与对比方法相比,检测精度也能达到95.4%。在对实际仪表监测视频的测试中,检测结果以及速度能够满足实际需要。所提方法通过改进特征提取网络和特征选择操作,增强了特征表达能力,有效降低了虚警,提升了网络对多尺度目标的检测性能。     

基于改进PCL模型的输电线路缺销螺栓弱监督检测方法

销子缺失是输电线路中常见的螺栓缺陷,及时检测出缺销螺栓对输电线路的安全运行至关重要。基于全监督检测模型的螺栓缺陷检测需要目标级标注,目标级标注会消耗大量的人力物力,为减少这种消耗,提出一种基于改进PCL(Proposal Cluster Learning)模型的输电线路缺销螺栓弱监督检测方法,仅利用图像级标注实现缺销螺栓检测。引入通道注意力机制,生成加权特征图,突出目标区域特征,有效地挖掘出螺栓的位置信息;采用加权交叉熵损失函数,控制正负样本对损失值的贡献,增大困难样本的损失比重,提高模型对螺栓目标的关注程度和识别能力;融合全监督的多任务学习思想,使模型能随着迭代次数的增加修正预先得到的边界框。实验结果表明,在测试集上,相比于基础模型,改进后的模型缺销螺栓的AP(Average Precision)值提升了25.6%,mAP(mean Average Precision)值提升了25.4%,最终验证了本文方法的鲁棒性。     

在线单机采集的人手多生物特征识别

单一生物特征识别方法在实际应用时容易受到限制,系统的识别率低、稳定性差.针对上述问题,提出了一种基于在线单机的手形和掌纹相结合的多生物特征识别方法.对于手形识别,提取手指的相对长度构成特征矢量,采用k近邻分类器和支持向量机分类器相结合实现个人身份的识别,然后利用二维Gabor提取掌纹感兴趣区域(ROI)的纹理方向信息作为掌纹特征,对手形分类结果加以认证.在混合图库上进行试验,二者相结合的识别方法的识别率达到98.65%.实验结果表明,采用手形和掌纹双模态特征识别,可以有效提高系统的安全性和稳定性.     

基于小波压缩和用户反馈的图像检索系统

为提高图像检索系统的准确率和有效率，本文提出一种基于小波压缩和用户反馈的图像检索方案。本系统直接对小波压缩图像进行分析，提取压缩域低频图像的颜色、纹理、形状特征，然后通过判别函数判别图像的相似性。利用检索结果的聚类性，以聚类用户反馈来提高检索系统的准确率和有效率。实验结果表明，利用颜色和纹理特征检索的效果较好，而利用形状特征检索的结果一般。