工业生产设备故障领域问答系统的意图识别

为了解决工业生产设备故障领域的问答系统缺乏标注数据、意图识别槽位填充性能不足的问题,提出了一种基于BERT的联合模型。利用BERT进行文本序列编码,并通过双向长短时记忆网络(Bi-LSTM)捕捉文本上下文语义关系。通过最大池化和致密层提取关键信息,同时使用条件随机场(CRF)增强模型泛化能力。构建了工业领域设备故障问答语料库,并提出了针对该领域的模型部署框架。在ATIS等公共数据集上进行实验,相对于基线模型,本文模型在句子级准确率、F1值和意图识别准确率上,分别提高4.4、2.1和0.5个百分点。本研究有效提升了问答系统性能,为缺乏工业生产数据的问答系统领域提供了数据集和部署框架。     

基于数据增强和字词融合特征的实体槽位识别

针对传统的基于字级表示的实体槽位识别模型无法很好利用词语信息,以及信息技术(IT)运维领域缺少足够数量公开数据集的问题,提出一种基于BERT＿Word2vec＿BiLSTM＿CRF模型的实体槽位识别方法,并通过数据增强对模型的训练数据集进行扩展．该模型将基于转换器的双向编码表征(BERT)模型得到的字向量表示和Word2vec得到的词向量表示进行融合,通过双向长短时记忆(BiLSTM)网络进行上下文编码,通过条件随机场(CRF)进行解码,得到最终的序列标注结果．通过在某企业提供的数据集上进行实验,结果表明：融合词级特征可以在BERT预训练模型的基础上进一步提升识别性能,F1值达到了92.33%.     

基于知识蒸馏的高效生物医学命名实体识别模型

在生物医学文献挖掘领域中,已有的BioBert采用预训练的方式在生物医学命名实体识别(BioNER)任务中表现出优秀的实体识别性能,却存在模型规模过大、速度过慢的缺点。针对BioBert网络模型如何高效压缩问题,该文提出了一种高效生物医学名称实体识别模型,命名为FastBioNER模型。该模型采用动态知识蒸馏方式对BioBert模型进行压缩,首先,通过动态权重函数模拟真实的学习行为,即在模型训练过程中动态调整各部分损失函数的重要程度;其次,采用动态知识蒸馏方式将训练后的BioBert作为教师模型,压缩到一个规模较小的学生模型中;最后,对提出的FastBioNER模型在已公开数据集NCBI疾病、 BC5CDR-chem和BC4CHEMD上进行了实验验证。实验结果表明:提出的FastBioNER模型在3个数据集中获得除BioBert外最高F1值分别为88.63%、 92.82%和92.60%,并分别以损失1.10%、 0.86%、 0.15%的F1值为代价,将BioBert的模型大小压缩了39.26%,同时推理时间缩短了46.17%。     

基于知识蒸馏的差异性深度集成学习

深度神经网络模型在图像识别、语音识别等领域表现出了优异的性能,但高性能的模型对计算资源提出了更高的要求,存在难以部署于边缘设备的问题,对此提出一种基于知识蒸馏的差异性深度集成学习。首先对成员模型进行知识蒸馏,然后使用余弦相似度作为损失函数的正则化项对成员模型进行集成,最后得到训练好的模型。在MNIST(Mixed National Institute of Standards and Technology)和CIFAR10(Canadian Institute for Advanced Research)数据集上的试验结果表明,基于知识蒸馏的差异性深度集成学习在压缩模型的同时将模型的分类准确率提升至83.58%,相较于未经蒸馏的原始模型,分类准确率提高了4%,在压缩模型的同时提高模型的泛化性能。基于知识蒸馏的差异性深度集成学习打破了模型的压缩必然以泛化性能为代价这一认知,为模型集成提供了新的研究思路。     

基于攻击路径图的入侵意图识别

为了预测攻击者高层次的攻击目标,感知网络的安全态势,提出入侵意图识别方法.给出入侵意图的概念及其分类,提出一种基于层次化的攻击路径图.利用攻击路径图对攻击者的意图可达性、意图实现概率、意图实现的最短路径和攻击路径预测进行定量分析.应用有向图的最小割理论制定防护措施阻止攻击者意图的实现,为管理员的决策提供依据.实验验证了该方法的可行性和有效性.     

基于贝叶斯网络的车辆并线意图识别

为了在多车道行驶场景中准确判断出旁车并线意图,提出了一种基于贝叶斯网络的旁车并线意图识别模型.首先,从运动轨迹数据集中筛选样本构建训练集和测试集,选取特征参数,并利用卡方分裂算法对其进行离散化预处理.其次,在评分搜索的网络结构学习基础上,加入随机抽样来避免局部最优,通过构造接近目标平稳分布的马尔可夫链,多次迭代直到收敛...     

基于轻量3D CNNs和Transformer的手语识别

针对传统基于3D CNNs(三维卷积神经网络)的手语识别方法模型计算复杂度和内存占用较高,及基于RNNs(循环神经网络)的连续手语识别方法的长距离建模能力不足的问题,提出一种基于轻量3DCNNs和Transformer的手语识别方法．首先使用轻量3D CNNs进行孤立词手语识别的时空建模,然后提出RKD(随机知识蒸馏),从多个教师模型中提取知识以提高轻量三维卷积的特征提取能力;针对连续手语,在特征提取后使用完全基于自注意力的Transformer进行全局建模．实验结果表明：所提方法在CSL-500和CSL-continuous数据集上可以获得95.10%的识别率和1.9的WER(词错误率),证明了所提方法的有效性．     

基于知识蒸馏与ResNet的声纹识别

针对声纹识别领域中存在信道失配与对短语音或噪声条件下声纹特征获取不完全的问题,提出一种将传统方法与深度学习相结合,以I-Vector模型作为教师模型对学生模型ResNet进行知识蒸馏。构建基于度量学习的ResNet网络,引入注意力统计池化层,捕获并强调声纹特征的重要信息,提高声纹特征的可区分性。设计联合训练损失函数,将均方根误差(MSE,mean square error)与基于度量学习的损失相结合,降低计算复杂度,增强模型学习能力。最后,利用训练完成的模型进行声纹识别测试,并与多种深度学习方法下的声纹识别模型比较,等错误率(EER,equal error rate)至少降低了8%,等错误率达到了3.229%,表明该模型能够更有效地进行声纹识别。     

面向微博用户的消费意图识别算法

利用迁移学习的方法, 融合京东问答平台数据与少量已标注的微博数据构建训练集, 提出一种基于注意力机制的双向长短期记忆神经网络(Attentional-Bi-LSTM)模型, 用于识别用户的隐性消费意图。针对显性意图识别问题, 提出一种结合TF-IDF (term frequency-inverse document frequency)与句法分析中动宾关系(VOB)的消费意图对象提取算法。实验结果表明, 通过将迁移京东问答平台的数据与微博数据相融合, 可以有效地扩充训练集, 在此基础上训练的神经网络分类模型具有较高的准确率和召回率; 融合VOB和TF-IDF的显性消费意图对象提取方法的准确率达到78.8%。     

面向车辆纵向动力学控制的制动意图识别综述

制动意图识别作为新型线控制动系统控制的先决条件,其识别结果的优劣直接影响车辆控制系统的精度,进而影响特定工况下的车辆行车安全性,因此为了提高车辆的主动安全性,提升车辆的制动性能,针对车辆动力学中的纵向稳定性控制问题,以制动意图为切入点,介绍了目前制动意图的分类,概述了基于制动意图识别的车辆动力学控制的国内外研究现状;结合制动意图识别特征的选取问题,重点对比分析了几种典型的制动意图识别方法,包括模糊推理系统、神经网络、自适应神经模糊推理系统、隐马尔可夫模型和聚类分析;结合当下研究现状指出了合理选取特征参数、转换输出目标、多标准评价体系是面向车辆动力学控制的制动意图识别的研究重点和方向。     

基于行为的多机器人对手意图识别二次估计方法

在动态对抗性环境下竞争的多机器人系统,对于对手的意图进行有效而准确的识别,从而有针对性地提出对策,是获得优势的必要条件。该文针对多机器人系统的对手意图识别提出了基于行为的行为序列估计和行为规则拟合的二次估计方法,引入环境约束、危险评价和行为概率作为判据对多个意图进行排序,避免单一行为结果的推断,实时准确地为决策提供支持。通过机器人足球这一典型的对抗性多机器人系统平台进行了验证,证明该方法在实时性和准确性上均比现有方法有很大提高。     

基于分层策略的智能下肢假肢运动意图识别

智能下肢假肢运动意图识别数据集包含不同地形下的运动模式及模式间的转换,即稳态模式与转换模式.在此类数据集为前提的意图识别方法常将各个模式直接进行分类,导致类间与类内的模式都易混淆.为解决这一问题,尝试使用分层策略,利用类间差异性对稳态模式与转换模式进行二分类,再用类内差异性进行再分类.在分层策略中,第一层至关重要,根据...     

基于传输层标志位的P2P流量识别技术

P2P(peer-to-peer)应用程序的使用愈来愈广泛,这些应用产生的网络流量可以占到网络总流量的50%以上,从而对其他的网络应用产生较大的影响。本文通过对FTP、HTTP和BitTorrent数据流的分析研究,提出了一种利用标志位进行P2P流量识别的方法。     

基于Attention+Bi-LSTM的公交出行意图和语义槽填充联合识别

对话系统的口语理解通常涉及意图识别和语义槽填充两个任务.目前意图和语义槽填充联合识别成为口语理解研究的主流方法.本文采用一种基于注意力机制(Attention Mechanism)的双向长短时记忆(Bi-directional long short-term memory,BiLSTM)模型,对呼和浩特市公交问路查询语句进行意图和语义槽填充的联合识别.实验结果表明,该模型在意图识别准确率和语义槽填充F1值方面,均达到了较好的水平,优于基于长短时记忆(long short-term memory,LSTM)模型的其他方法,并且该模型基于字切分的结果优于基于词切分的结果,证实了该方法的有效性.     

基于Attention机制的CNN-LSTM驾驶人意图识别方法研究

在自动驾驶系统中,系统需要准确识别驾驶人的意图,来帮助驾驶人在复杂的交通场景中安全驾驶。针对目前驾驶人意图识别准确率低,没有考虑优化特征对模型准确率影响的问题,运用深度学习知识,提出了一种基于时间序列模型的驾驶人意图识别方法。该方法基于Attention机制融合了卷积神经网络(convolutional neural networks, CNN)和长短时记忆网络(long short-term memory network,LSTM),引入车辆自身信息和环境信息作为时空输入来捕捉周围车辆的空间交互和时间演化。该方法可同时预测目标车辆驾驶人横向驾驶意图和纵向驾驶意图,并在实际道路数据集NGSIM(next generation simulation)上进行了训练和验证。实验结果表明,所提出的CNN-LSTM-Attention模型能够准确预测高速公路环境下驾驶人的驾驶意图,与LSTM模型和CNN-LSTM模型相比具有明显的优势,为自动驾驶系统的安全运行提供了有效保障。     

基于多任务压缩激发网络的行人属性识别

自然场景下的行人属性识别是一个具有挑战性的研究课题,存在行人属性类别多样、行人视角和分辨率多样、样本不平衡等诸多难点,致使难以有效建模。为克服上述难点,本文提出基于多任务压缩激发(Squeeze-and-Excitation, SE)网络的行人属性识别方法,通过多任务卷积神经网络、联合压缩激发模块与残差模块、焦点损失函数三方面改进,研究了自然场景下行人属性识别效果提升的不同方式。结果表明,本文的方法相比基线模型在Market-1501数据集和DukeMTMC-reID数据集上的准确率和效率均有提升。可见,本文的方法具有普遍有效性。     

基于目标干扰意图识别的无人艇避碰算法

在无人艇避碰规划过程中,为准确识别障碍干扰意图,提出一种结合主成分分析(Principal Component Analy-sis,PCA)和支持向量机(Support Vector Machine,SVM)的分类算法.首先,利用PCA对船舶模型运动的高维运动特征数据集进行降维,获取特征集的主成分;再通过SVM对经过处...     

基于特征空间嵌入的对比知识蒸馏算法

因能有效地压缩卷积神经网络模型,知识蒸馏在深度学习领域备受关注。然而,经典知识蒸馏算法在进行知识迁移时,只利用了单个样本的信息,忽略了样本间关系的重要性,算法性能欠佳。为了提高知识蒸馏算法知识迁移的效率和性能,文中提出了一种基于特征空间嵌入的对比知识蒸馏（FSECD）算法。该算法采用批次内构建策略,将学生模型的输出特征嵌入到教师模型特征空间中,使得每个学生模型的输出特征和教师模型输出的N个特征构成N个对比对。每个对比对中,教师模型的输出特征是已优化、固定的,学生模型的输出特征是待优化、可调优的。在训练过程中,FSECD缩小正对比对的距离并扩大负对比对的距离,使得学生模型可感知并学习教师模型输出特征的样本间关系,进而实现教师模型知识向学生模型的迁移。在CIFAR-100和ImageNet数据集上对不同师生网络架构进行的实验结果表明,与其他主流蒸馏算法相比,FSECD算法在不需要额外的网络结构和数据的情况下,显著提升了性能,进一步证明了样本间关系在知识蒸馏中的重要性。