基于Attention机制的CNN-LSTM驾驶人意图识别方法研究

在自动驾驶系统中,系统需要准确识别驾驶人的意图,来帮助驾驶人在复杂的交通场景中安全驾驶。针对目前驾驶人意图识别准确率低,没有考虑优化特征对模型准确率影响的问题,运用深度学习知识,提出了一种基于时间序列模型的驾驶人意图识别方法。该方法基于Attention机制融合了卷积神经网络(convolutional neural networks, CNN)和长短时记忆网络(long short-term memory network,LSTM),引入车辆自身信息和环境信息作为时空输入来捕捉周围车辆的空间交互和时间演化。该方法可同时预测目标车辆驾驶人横向驾驶意图和纵向驾驶意图,并在实际道路数据集NGSIM(next generation simulation)上进行了训练和验证。实验结果表明,所提出的CNN-LSTM-Attention模型能够准确预测高速公路环境下驾驶人的驾驶意图,与LSTM模型和CNN-LSTM模型相比具有明显的优势,为自动驾驶系统的安全运行提供了有效保障。     

基于MA-DRNet的糖尿病视网膜病变等级识别方法

糖尿病视网膜病变是糖尿病并发症最常见的疾病之一。由于视网膜病变病灶具有特征复杂、特征差异小的特点,导致传统深度学习网络对视网膜病变等级识别存在错误率高、鲁棒性差等问题。针对上述问题,提出了一种MA-DRNet模型进行优化：(1)提出了一种多级特征残差块,提取不同分辨率多尺度特征、扩大模型感受野,加强模型对于小尺度病灶的学习能力以及模型对尺度的鲁棒性;(2)改进一种全局通道联合注意力机制,实现像素长距离依赖关系捕获和通道注意力,提升模型对复杂病灶表征效果;(3)设计集成难例挖掘训练方法,巩固对于困难样本的学习,融入集成的思想提升模型对易错样本的关注度。在Kaggle和Messidor两个公开视网膜数据集进行模型训练和测试,本文模型特异性为99.02%,敏感性为98.26%,准确率为98.87%,各指标均优于目前同类算法。大量的实验表明,MA-DRNet有效的解决了视网膜病变识别存在的问题,实现了视网膜病变等级的高精度辅助诊断。     

基于BiTCNSA的恶意代码分类方法

当前恶意代码的对抗技术不断变化，恶意代码变种层出不穷，使恶意代码分类问题面临严峻挑战。针对目前基于深度学习的恶意代码分类方法提取特征不足和准确率低的问题，提出了基于双向时域卷积网络(BiTCN)和自注意力机制(Self-Attention)的恶意代码分类方法(BiTCNSA)。该方法融合恶意代码操作码特征和图像特征以展现不同的特征细节，增加特征多样性。构建BiTCN对融合特征进行处理，充分利用特征的前后依赖关系。引入自注意力机制对数据权值进行动态调整，进一步挖掘恶意代码内部数据间的关联性。在Kaggle数据集上对模型进行验证，实验结果表明:该方法准确率可达99.75%，具有较快的收敛速度和较低的误差。     

面向微博用户的消费意图识别算法

利用迁移学习的方法, 融合京东问答平台数据与少量已标注的微博数据构建训练集, 提出一种基于注意力机制的双向长短期记忆神经网络(Attentional-Bi-LSTM)模型, 用于识别用户的隐性消费意图。针对显性意图识别问题, 提出一种结合TF-IDF (term frequency-inverse document frequency)与句法分析中动宾关系(VOB)的消费意图对象提取算法。实验结果表明, 通过将迁移京东问答平台的数据与微博数据相融合, 可以有效地扩充训练集, 在此基础上训练的神经网络分类模型具有较高的准确率和召回率; 融合VOB和TF-IDF的显性消费意图对象提取方法的准确率达到78.8%。     

多标签小样本实例级注意力原型网络分类方法

多标签分类中,一个样本可能属于多个类别,且在小样本场景下模型性能更容易受到样本中复杂语义特征的影响。然而,目前常用的原型网络方法仅使用每类支持集样本的均值作为标签原型,导致原型中存在其他类别特征带来的噪声,弱化了原型间的差异性,影响预测效果。本文提出一种利用实例级注意力的多标签小样本原型网络分类方法,通过提高支持集中与当前标签关联度高的样本的权重,减少其他标签特征的干扰,增大标签原型之间的区分度,进而提高预测的精确率.实验表明,方法通过引入实例级注意力强化了多标签原型网络的学习能力,分类效果明显提升.     

基于卷积神经网络和自注意力机制的文本分类模型

单词级别的浅层卷积神经网络(CNN)模型在文本分类任务上取得了良好的表现.然而,浅层CNN模型由于无法捕捉长距离依赖关系,影响了模型在文本分类任务上的效果.简单地加深模型层数并不能提升模型的效果.本文提出一种新的单词级别的文本分类模型Word-CNN-Att,该模型使用CNN捕捉局部特征和位置信息,利用自注意力机制捕捉长距离依赖.在AGNews、DBPedia、Yelp Review Polarity、Yelp Review Full、Yahoo! Answers等5个公开的数据集上,Word-CNN-Att比单词级别的浅层CNN模型的准确率分别提高了0.9%、0.2%、0.5%、2.1%、2.0%.     

基于BERT-BiGRU-Attention的在线健康社区用户意图识别方法

针对传统用户意图识别主要使用基于模板匹配或人工特征集合方法导致成本高、扩展性低的问题,提出了一种基于BERT词向量和BiGRU-Attention的混合神经网络意图识别模型。首先使用BERT预训练的词向量作为输入,通过BiGRU对问句进行特征提取,再引入Attention机制提取对句子含义有重要影响力的词的信息以及分配相应的权重,获得融合了词级权重的句子向量,并输入到softmax分类器,实现意图分类。爬取语料实验结果表明,BERT-BiGRU-Attention方法性能均优于传统的模板匹配、SVM和目前效果较好的CNN-LSTM深度学习组合模型。提出的新方法能有效提升意图识别模型的性能,提高在线健康信息服务质量、为在线健康社区问答系统提供技术支撑。     

基于多通道卷积注意力机制的精神状态识别方法

为了获取老年人的精神状态从而更全面地了解老年人的身体状况,提出了基于多通道卷积注意力机制的精神状态识别方法。首先,对多种生理信号进行数据预处理,将不同采样频率的传感器数据进行重采样操作,保证数据长度一致。其次,根据输入信号的结构特征以及信号的长度设计对应卷积模块,使用4个不同大小的一维卷积核同时对信号进行特征提取,以增强模型的特征提取能力。再次,将卷积结果进行拼接,对拼接结果进行最大池化操作增加模型的感受野,在提取局部特征信号的同时实现信号间的长距离特征表达。最后,实验结果表明,总体分类准确率为99.75%,所提方法优于对比方法。     

结合注意力机制与时空特征融合的长时程行为识别方法

为了建立基于视频行为识别的长时程图像序列的时空信息模型,文章提出了一种嵌入注意力的时空特征融合网络(attention-embedded spatial-temporal feature fusion network,ASTFFN)的深度神经网络模型.AST FFN将一个包含动作的长时程图像序列分割成多个重叠的片段,并...     

基于多通道自注意力网络的遥感图像场景分类

高分辨率遥感图像场景分类广泛应用于土地监测、环境保护及城市规划等诸多领域.现有场景分类方法不能很好地结合局部纹理信息和全局语义信息,同时各通道特征之间的关系没有得到有效挖掘.因此,本文提出了一种基于多通道自注意力网络的遥感图像场景分类模型.通过卷积网络提取遥感图像的多尺度特征;随后采用特征融合单元建立多尺度特征间的局部-全局关系,基于多头自注意力机制的Inter-Channel Transformer在通道维度对融合后的特征建模,并推导特征在通道间的关系,进一步扩大全局感受野,以捕捉其语义结构信息,有效提高了网络的分类精度.在数据集AISC和SIRI-WHU上,本文所提算法的整体分类准确率(OA)分别为95.70%和94.00%,超过了当前最新的研究算法,证明了所提模型在高分辨率遥感图像场景分类任务中的有效性.     

基于加权支持向量机的膜蛋白类型预测中不平衡问题处理

针对膜蛋白类型预测中普遍存在的不平衡样本问题,分析一般支持向量机（SVM）在处理不平衡样本时的缺陷,引入加权SVM来补偿由于训练集中的类别差异引起的分类结果偏向于多样本类别的问题．采用统计预测中的一致测试、交叉校验和独立测试方法进行测试．实验表明,不平衡处理后的效果非常理想,该方法可以成为现有方法一个有效的补充分析工具．     

基于双流多关系GCNs的骨架动作识别方法

基于图卷积网络(graph convolutional networks,GCNs)的骨架动作识别方法只能对关节点间的单一关系进行建模,缺少描述多种关系的能力.借鉴知识图谱描述实体之间不同关系的思想,提出一种基于关节点流和肢体流的双流多关系GCNs人体骨架动作识别方法,对图结点间的自然连接关系、对称关系和全局关系进行建...     

快速和尺度稳健的纹理图像识别

传统的纹理图像识别方法很难同时获得较好的识别精度、实时性和尺度稳健性,不利于实际的工程应用.因此,提出一种快速和尺度稳健的纹理图像识别方法.该方法首先利用高斯滤波构造一个纹理图像的多尺度空间,然后利用完备的局部二值计数(Completed Local Binary Count,CLBC)算法对多尺度空间中的每个图像提取局部二值特征,并跨尺度提取局部二值特征的最大值,再将多个分辨率的特征相结合作为纹理图像的最终特征描述,最后利用最近子空间分类器(Nearest Subspace Classifier,NSC)判定纹理图像的类别.在基准纹理图像数据库上的实验表明,该方法在识别精度、实时性和尺度稳健性方面获得了很好的综合性能,有利于实际的工程应用.     

基于神经网络结构搜索的目标识别方法

针对目标识别需求,对基于神经网络的深度学习方法展开研究。由于深度学习模型中包含了对数据的先验假设,因此人工设计神经网络需要领域内专家丰富的先验知识,且具有劳动密集与时间成本高的缺点。为了获得超越专家个人经验、表现更好的网络,采用一种可微神经结构搜索的高效结构搜索方法,将搜索空间放宽为连续的空间,然后通过梯度下降来优化体系结构的验证集性能,从而找到面向目标识别的最优神经网络结构。仿真实验结果表明,将基于神经网络结构搜索的目标识别方法应用于"低慢小"类目标识别是可行的。     

文本图像的快速区域定位方法

字符区域定位是字符识别的预处理过程，但字符图像常常受到光照和噪声的影响，使字符区域的准确定位变得十分困难。提出了一种基于数学形态学的定位方法，利用数学形态学的膨胀、腐蚀运算和字符串图像的整体特征，实现对复杂背景图像中字符串的准确定位，同时对算法进行了优化，使算法更适于实际应用。文中以印刷电路板字符图像作为测试样本进行区域定位，取得了预期的效果。     

基于混沌神经网络的语音识别方法

基于语音信号的时变特性,研究了神经网络语音识别的方法．把混沌特性引入到神经元,构造了一种新的多层混沌神经网络结构,同时推导了相应的学习算法．把这种混沌神经网络用于语音识别,并与常用的神经网络语音识别方法作了比较．实验结果表明,混沌神经网络方法的平均识别率要高于同等条件下常用神经网络方法的识别率．     

基于距离度量学习的SAR图像识别方法

针对合成孔径雷达（synthetic aperture radar,SAR）图像样本数据有限,且不同类别间的图像区分度不高导致识别困难的问题,提出一种应用于SAR图像识别的距离度量学习方法.该方法使用CNN网络得到图像的特征分布,利用LSTM网络加强图像间的关联性,基于余弦相似距离度量方法计算图像之间的匹配度,通过注意力机制后对结果进行分类.训练过程结合小样本学习的训练方式,采取预训练的策略进行实验.实验以公开的MSTAR数据集进行SAR图像识别,结果表明该方法准确率达到99.3%,比SVM方法提升2.5%.      

一种新的代数特征抽取方法及人脸识别

特征抽取是图象识别中的一个最重要最基本的问题，代数特征抽取是一各肯效的特征抽取方法。该文给出了一种新的代数特征抽取方法。首先给出了图象矩阵特征矩阵的概念，再根据特征矩阵抽取代数特征，该文证明了这样抽取的代数特征具有一些重要的代数和几何不变性，作为一个应用，将此方法用于人脸识别，取得了很好的效果。     

基于CNN通用编程的字母识别研究

利用CNN处理器的并行图像处理原理和通用编程的理论,提出基于CNN二值图像字母识别的通用编程方法,说明了用该方法作实时图像处理与识别的操作过程,解决了传统计算机串行数据处理的瓶颈问题．     

基于主元分析与支持向量机的人脸识别方法

基于支持向量机（SVM）在处理小样本，高维数及泛化性能等强方面的优势，提出了一种基于主元分析（PCA）与SVM的人脸识别方法，利用PCA方法对人脸图像进行特征提取，再利用SVM与最近邻分类器相结合的策略对特征向量进行分类识别，剑桥ORL的人极数据库的仿真结构验证了本算法是有效的。