空间和通道注意力多级别特征网络图像语义分割

图像语义分割模型在提取特征的过程中由于不断的下采样使得空间位置丢失,分割效果较差,针对该问题,提出了融合空间和通道注意力多级别特征来构造学习网络的方法.首先针对具有高级别特征的语义信息路径引入了通道注意力模块,在预训练模型Resnet101提取的特征图上,显式地建模通道之间的相互依存关系,确定每层特征图上需要重点关注的...     

基于多尺度特征图像分割的车道线提取方法

识别与检测车道线作为自动驾驶感知周围环境的一环，为自主车辆在众多复杂场景中提供交通数据信息参考.为了提取车道线本身含有的交通语义信息，按照实际含义分为不同类别，提出一种多尺度分辨率特征的图像分割方法提取车道线，生成低分辨特征，同时保持高分辨尺度子网.针对卷积神经网络无法充分探索空间信息的局限，引入全自注意力网络结构改进下采样解码部分，将特征图通过嵌入向量映射完成线性采样，再经由全自注意力网络结构提取空间上下文语义信息，最后对图像进行降采样完成最终的下采样过程.利用滑窗多头注意力机制，解决嵌入向量映射层因划分造成边界上下文语义信息的不连续问题.针对改进的模型采用交并比损失函数进行优化，能够在保持精度的情况下正确识别相应类别，交并比和F1系数分别达到49.36%和63.02%.经实际测试，在遮挡、阴影等复杂场景下的车道线识别也能更加准确，具有更好的鲁棒性.     

基于多层级跨模态特征融合的深度图重建算法

针对稀疏深度图像的重建问题,提出了一种基于深度学习的多层级跨模态特征融合的深度图重建算法.利用卷积神经网络对彩色信息和稀疏深度信息分别编码并在多个尺度下进行自适应融合,在解码阶段通过残差学习进一步细化重建结果.模型通过复用深度编码支路的短路连接引导特征上采样,输出初始深度图,同时复用彩色编码支路提取的丰富语义特征,将多个尺度下输出的上采样特征图进行金字塔迭代上采样,进而学习与最终重建结果的残差,提高了重建结果的质量.在NYU-Depth-v2和KITTI数据集上的实验结果表明：本文方法与现有的主流方法相比,具有较好的深度图重建性能,同时在视觉比较上生成了更为锐利的深度边界.     

多特征融合的道路场景语义分割算法

为提升道路场景语义分割的性能以及实际应用性,本文将传统的图像处理算法与深度学习技术相结合,提出了一种多特征融合的轻量级道路场景语义分割网络模型。该模型首先利用颜色空间转化、图像均衡化、边缘检测等算法来对图像多种特征信息进行增强;其次,以深度可分离卷积为基本单元搭建高效率特征提取结构,对特征增强后的图像进行信息融合和提取,并结合跳层上采样操作完成初步分割;最后,引入边缘检测支路来对分割图像的目标边界信息进行细化,保障网络高精度分割。通过实验结果表明,所提网络在分割精度、计算效率上得到了较好的平衡,同时,在实际变电站道路场景应用中,该网络也能实现高效语义分割,为巡检机器人提供有效的道路信息。     

基于内容的视频多模式检索方法

在视频数据的检索方法方面,采用单一媒体的处理技术比较多,基于视频数据所表现的内容语义进行检索的提案很少,而且能够将视频数据与其相关的其他形式的数据整合并高效利用,保障视频数据在安全、高效的网络下进行多模式检索的研究也不多见。在检索方法上从解决这个问题入手,提出了多模式的视频特征提取与检索方法。该方法从视频语义特征的角度构建视频数据的语义特征库,将与视频语义相关的声音、字幕、音乐、剧情脚本、新闻文稿等信息特征进行整合,以人像、字幕、语音、视频镜头识别和剧情脚本分析的组合技术,利用语音相关性测定、选择字幕帧,边缘提取、字幕区域二值化和小波包分解、核函数技术等方法从语音、视频中提取语义特征,建立视频数据语义特征的多模式提取和检索模型。     

融合多层语义特征的测井电成像空白条带填充深度神经网络方法

针对常规的编码器-解码器网络模型和U-Net网络模型进行复杂岩性(如砂砾岩)测井电成像空白条带充填时效果较差的问题,提出一种融合多层语义特征的深度神经网络方法。在编码部分,通过带有空洞卷积的骨干网络和空洞空间特征提取模块得到图像的高层语义特征,进行上采样后,与骨干网络提取的低层语义特征融合,最后经过多层上采样解码,得到输出图像。在砂砾岩电成像图像的实际处理中,本文模型的图像填充连续性更好,砾岩颗粒边缘的清晰度和准确性得到有效提升,为电成像图像的后续处理提供了准确的图像信息。     

基于Windows API调用序列的恶意代码检测方法

为解决现有恶意代码检测方法存在的特征提取能力不足、检测模型泛化性弱的问题，提出了一种基于Windows API调用序列的恶意代码检测方法.使用N-gram算法和TF-IDF算法提取序列的统计特征，采用Word2Vec模型提取语义特征，将统计特征和语义特征进行特征融合，作为API调用序列的特征.设计了基于Stacking的三层检测模型，通过多个弱学习器构成一个强学习器提高检测模型性能.实验结果表明，提出的特征提取方法可以获得更关键的特征，设计的检测模型的准确率、精确率、召回率均优于单一模型且具有良好的泛化性，证明了检测方法的有效性.     

基于支持向量机的汉语问句分类

目前汉语问句分类一般都依据疑问词及其相关词的组合规则,但由于规则的提取很深地依赖于语言知识,而且很难穷举出所有的特征规则,因此会影响分类的效果.支持向量机（SVM）是建立在统计理论基础上的机器学习方法,对于小样本分类问题有很好的识别效果.文中分析和定义了汉语问句的类型,建立了以SVM为基础的问句分类模型,详细描述了问句分类特征的选取过程,并在句法特征的基础上引入语义特征进行汉语问句分类实验,分类准确率达88.7%,表明结合句法和语义特征以SVM进行汉语问句分类具有很好的效果.     

无人驾驶车辆基于语义分割方法障碍物检测

障碍物检测是无人驾驶车辆环境感知重要的组成部分,语义分割技术能够对障碍物进行像素级检测。为满足无人车系统的实时性要求和对障碍物检测精度要求,提出了一种轻量级语义分割模型。该模型构建了特征提取块,通过跳跃层结构将底层级特征与高层级特征相融合,用于提取更加细化的图像特征信息。运用深度可分离卷积代替标准卷积操作,减少了模型参数量和计算量。利用不同膨胀率的膨胀卷积以获取多尺度目标信息,在上采样时融合不同尺度的特征信息,使得语义信息更加丰富。试验结果表明:提出的轻量级语义分割模型在Cityscapes数据集和ApolloScape数据集上取得了较好的障碍物检测结果,同时也满足无人车的实时性要求。     

基于多模态语义分组的视频摘要模型

充分利用视频的信息以及解码去除冗余信息是视频摘要生成的关键.提出了一种基于多模态语义分组的视频摘要生成模型(VMSG).首先,该模型使用3D ResNet神经网络和残差神经网络来提取3D和2D特征;然后把音频信息与视频的分类信息加入多模态的框架中进行编码,得到多模态的特征之后,需要对其进行解码;为了减少视频帧的冗余信息,不同于按帧分组的解码模式,VMSG使用了一种新颖的语义分组方式进行解码,将相同语义的视频分为一个语义组进行解码,预测下一个单词.实验表明,与当前一些最先进的模型相比,VMSG具有更好的摘要生成性能,其生成的视频摘要更加客观丰富.     

基于深度学习的教材德目教育文本分类方法

对上海中小学教材德目教育文本分类进行研究,提出了基于转换器的双向编码表征（BERT）预训练模型、双向长短期记忆（BiLSTM）网络和注意力机制的模型IoMET_BBA. 通过合成少数类过采样技术（SMOTE）与探索性数据分析（EDA）技术进行数据增强,使用BERT模型生成富含语境信息的语义向量,通过BiLSTM提取特征,并结合注意力机制来获得词语权重信息,通过全连接层进行分类. 对比实验的结果表明,IoMET_BBA的F₁度量值达到了86.14%,优于其他模型,可以精确地评估教材德目教育文本.     

集间两级语义互补的小样本语义分割

现有的小样本语义分割模型通常只提取单一级别的语义特征,然而由于小样本数据的样本量少、各级语义特征具有不同属性等原因,提取单一级别语义特征的网络模型很难在保证分割能力的同时兼具泛化性.针对该问题,提出了一种集间两级语义互补的小样本语义分割方法 .该方法使用具有强类别特征的支持集高级语义特征对具备泛化性的查询集中级语义特征加权,在增强查询集各目标类别特征的同时保留查询集中级语义特征的泛化能力;另外,该模型通过最大化支持集潜在语义信息、为查询集构建非参数学习的先验信息等方式增强两集信息之间的交互性以获得更丰富的判别信息.该方法在PASCAL-5i数据集上进行仿真实验,mIoU值在1-shot和5-shot两类设置上分别能达到45.3%和48.8%,其结果超越部分先进主流的小样本语义分割算法,且网络模型的参数量也控制在可以接受的范围之内.     

基于视觉语义与RSSVM的图像检索

以图像的视觉语义为基础,设计了一种新的空间转换模型,提出了一种新的图像语义描述方法.首先,采用NCut方法对图像进行分割,提取每个区域的颜色、纹理与形状等视觉特征;再用K-Means聚类方法对训练集中所有的视觉特征进行聚类,称聚类中心为视觉语义(Visual Semantic,VS),用来构造投影空间;然后通过所定义的非线性函数,将每幅图像向投影空间作映射,得到图像的投影特征;最后,为了提高分类器的训练效率与性能,先采用RS(粗糙集)方法对投影特征进行属性约简,再用支持向量机(SVM)进行学习和分类.基于Corel图像集的对比实验结果表明,该方法性能受聚类数的影响不大,鲁棒性强,且性能优于其它方法.     

基于深度强化学习的文本相似语义计算模型

语义相似计算是自然语言处理领域一个常见问题,现有的基于深度学习的语义相似计算模型大多数是通过卷积网络或者长短时记忆模型来提取语义特征,但是这种语义特征的提取方式存在语义信息丢失的问题。提出两点改进传统深度学习模型在提取语义特征时的语义丢失现象。首先是改进注意力相互加权模型。基于相互加权方式做出改进,使用多个加权权重矩阵加权语义,同时提出新的正则项计算方法。其次在语义相似计算模型中引入强化学习的方法对文本进行自动分组处理,在语义相似计算领域最常用的Siamese Network模型上使用强化学习算法,改善长短时记忆模型在提取句子的语义时所面临的语义丢失现象。通过实验验证,改进的方法处理中文句子有不错的效果。     

多特征筛选与支持向量机相融合的图像分类模型

针对图像分类中的特征选择问题,提出一种多特征筛选与支持向量机相融合的图像分类模型.首先提取图像的多种特征,并对特征进行归一化处理;然后根据平均影响值对特征进行筛选,选择一组最优的特征子集;最后采用支持向量机构建图像的多分类器.采用图像数据集SIMPLIcity进行仿真实验验证该模型的有效性.实验结果表明,该模型降低了图像分类的开销,提高了图像分类性能.     

水面图像目标检测的强语义特征提取结构

针对船舶航行场景多样、船载视觉传感器获取的实海域水面图像信息复杂、难以提取目标的有效特征等问题,提出了一种用于水面图像目标检测的强语义特征提取结构.首先,在骨干网络中使用可变卷积,使卷积采样点具有平移量,适应目标的几何变换,拥有自适应感受野;然后,在特征金字塔中使用基于语义信息的特征重组,通过全局语义信息自适应聚合特定...     

基于边缘感知和小样本学习的多尺度带钢表面缺陷分割方法

深度全卷积语义分割网络能够提供像素级带钢表面缺陷检测,对于带钢质量控制具有至关重要的作用。但是这类模型大多无法感知缺陷边缘,而且性能往往严重依赖大量精确标注的标签样本,严重影响其实际应用。为了解决以上困难,提出了一种基于边缘感知和小样本学习的多尺度带钢表面缺陷语义分割网络。该网络由两个级联的子网络组成。第一个子网络首先利用改进的一次性聚合模块和特征金字塔注意力模块构建编码器,提取多层级和多尺度特征并降低训练所需的数据量。然后将一系列全局注意力上采样模块作为解码器实现高级特征指导低级特征复原空间信息,并输出初步预测结果。第二个子网络利用一个浅层U-Net对第一个子网络获得的初步预测结果进行细化并增强边缘检测能力。东北大学热轧带钢表面缺陷数据集上的实验证明了该方法对夹杂、斑点和划伤等表面缺陷自动提取的可行性和有效性。     

基于编码解码器与深度主题特征抽取的多标签文本分类

本文提出了一种基于编码解码器与深度主题特征的模型,实现了多标签文本分类.针对传统多标签文本分类方法的特征语义缺失的问题,采用一种长短时记忆(long short-term memory,LSTM)网络提取文本的局部特征与主题模型(latent dirichlet allocation,LDA)提取文本的全局特征的深度主题特征提取模型(deep topic feature extraction model,DTFEM),得到具有文本深层语义特征的语义编码向量,并将该编码向量作为解码器网络的输入.解码器网络将多标签文本分类的任务看作序列生成的过程,解决了多标签文本分类的标签相关性的问题,并加入attention机制,计算注意力分布概率,突出关键输入对输出的作用,改进了由于输入过长导致的语义缺失问题,最终实现多标签文本分类.实验结果表明,该模型能够获得比传统的多标签文本分类系统更优的结果.另外,实验证明使用深度主题特征的方法可以提高多标签文本分类的性能.     

一种三维模型特征提取与压缩算法

特征提取是三维模型检索最主要的问题,提取的特征决定检索系统的性能和效率,如何对提取的特征进行有效压缩成为保证性能的关键.首先采用透视投影的方法把预处理后的模型从三维空间转换成二维图像,然后对图像进行两次一维傅立叶变换转换到频域,并对频域采样得到的高维向量进行有效压缩.算法解决了特征信息量大导致速度低下和特征信息量小导致性能低下的矛盾.实验结果表明,该算法能在速度和性能上同时取得较好的效果.     

基于非下采样contourlet变换的纹理图像检索算法

提出一种应用非下采样contourlet变换(nonsubsampled contourlet transform,NSCT)进行图像检索的算法,以获取一种兼顾纹理图像概貌和细节信息的特征,从而提高图像检索的性能.该算法利用NSCT对图像进行多尺度、多方向分解,获得子带系数矩阵;对低频子带系数提取能量和方差作为全局纹理特征,并对高频子带系数分别提取尺度间和尺度内纹理信息;通过非高斯双变量模型拟合子带系数,利用信息熵描述尺度间特征;尺度内特征通过对同一层子带图像按主方向排序,获得直方图图像,计算其加权信息熵作为特征向量.对Brodatz标准纹理库的检索实验结果表明,与同类算法相比,该文方法具有更高的检索性能.