旅游领域意图识别和槽位填充联合建模方法研究

构建了基于BERT的双向连接模式BERT-based Bi-directional Association Model(BBAM)以实现在意图识别和槽位填充之间建立双向关系的目标,来实现意图识别与槽位填充的双向关联,融合两个任务的上下文信息,对意图识别与槽位填充两个任务之间的联系进行深度挖掘,从而优化问句理解的整体性能.为了验证模型在旅游领域中的实用性和有效性,通过远程监督和人工校验构建了旅游领域问句数据集TFQD(Tourism Field Question Dataset),BBAM模型在此数据集上的槽填充任务F1值得分为95.21％,意图分类准确率(A)为96.71％,整体识别准确率(Asentence)高达89.62％,显著优于多种基准模型.所提出的模型在ATIS和Snips两个公开数据集上与主流联合模型进行对比实验后,结果表明其具备一定的泛化能力.     

工业生产设备故障领域问答系统的意图识别

为了解决工业生产设备故障领域的问答系统缺乏标注数据、意图识别槽位填充性能不足的问题,提出了一种基于BERT的联合模型。利用BERT进行文本序列编码,并通过双向长短时记忆网络(Bi-LSTM)捕捉文本上下文语义关系。通过最大池化和致密层提取关键信息,同时使用条件随机场(CRF)增强模型泛化能力。构建了工业领域设备故障问答语料库,并提出了针对该领域的模型部署框架。在ATIS等公共数据集上进行实验,相对于基线模型,本文模型在句子级准确率、F1值和意图识别准确率上,分别提高4.4、2.1和0.5个百分点。本研究有效提升了问答系统性能,为缺乏工业生产数据的问答系统领域提供了数据集和部署框架。     

基于数据增强和字词融合特征的实体槽位识别

针对传统的基于字级表示的实体槽位识别模型无法很好利用词语信息,以及信息技术(IT)运维领域缺少足够数量公开数据集的问题,提出一种基于BERT＿Word2vec＿BiLSTM＿CRF模型的实体槽位识别方法,并通过数据增强对模型的训练数据集进行扩展．该模型将基于转换器的双向编码表征(BERT)模型得到的字向量表示和Word2vec得到的词向量表示进行融合,通过双向长短时记忆(BiLSTM)网络进行上下文编码,通过条件随机场(CRF)进行解码,得到最终的序列标注结果．通过在某企业提供的数据集上进行实验,结果表明：融合词级特征可以在BERT预训练模型的基础上进一步提升识别性能,F1值达到了92.33%.     

基于知识蒸馏的高效生物医学命名实体识别模型

在生物医学文献挖掘领域中,已有的BioBert采用预训练的方式在生物医学命名实体识别（BioNER）任务中表现出优秀的实体识别性能,却存在模型规模过大、速度过慢的缺点。针对BioBert网络模型如何高效压缩问题,该文提出了一种高效生物医学名称实体识别模型,命名为FastBioNER模型。该模型采用动态知识蒸馏方式对BioBert模型进行压缩,首先,通过动态权重函数模拟真实的学习行为,即在模型训练过程中动态调整各部分损失函数的重要程度;其次,采用动态知识蒸馏方式将训练后的BioBert作为教师模型,压缩到一个规模较小的学生模型中;最后,对提出的FastBioNER模型在已公开数据集NCBI疾病、BC5CDR-chem和BC4CHEMD上进行了实验验证。实验结果表明：提出的FastBioNER模型在3个数据集中获得除BioBert外最高F1值分别为88.63%、92.82%和92.60%,并分别以损失1.10%、0.86%、0.15%的F1值为代价,将BioBert的模型大小压缩了39.26%,同时推理时间缩短了46.17%。     

一种基于全卷积神经网络的空中目标战术意图识别模型

针对现有空中目标识别方法敏捷性和可靠度不够高的问题,研究设计了一种深度学习模型MLSTMFCN,结合了全卷积神经网络、循环神经网络和压缩与激励模块的优点。全卷积网络能够提取空战数据中的复杂局部特征,长短记忆神经网络可以捕捉空战意图数据的时序特征。通过消融实验和对比实验结果表明,MLSTM-FCN 模型在意图识别准确率、反应速度和抗干扰能力方面明显优于现有的空中目标意图识别模型,取得了sota的结果,为指挥员在进行空中作战决策时提供更有效的依据。     

基于知识蒸馏的差异性深度集成学习

深度神经网络模型在图像识别、语音识别等领域表现出了优异的性能,但高性能的模型对计算资源提出了更高的要求,存在难以部署于边缘设备的问题,对此提出一种基于知识蒸馏的差异性深度集成学习。首先对成员模型进行知识蒸馏,然后使用余弦相似度作为损失函数的正则化项对成员模型进行集成,最后得到训练好的模型。在MNIST(Mixed National Institute of Standards and Technology)和CIFAR10(Canadian Institute for Advanced Research)数据集上的试验结果表明,基于知识蒸馏的差异性深度集成学习在压缩模型的同时将模型的分类准确率提升至83.58%,相较于未经蒸馏的原始模型,分类准确率提高了4%,在压缩模型的同时提高模型的泛化性能。基于知识蒸馏的差异性深度集成学习打破了模型的压缩必然以泛化性能为代价这一认知,为模型集成提供了新的研究思路。     

基于贝叶斯网络的车辆并线意图识别

为了在多车道行驶场景中准确判断出旁车并线意图,提出了一种基于贝叶斯网络的旁车并线意图识别模型.首先,从运动轨迹数据集中筛选样本构建训练集和测试集,选取特征参数,并利用卡方分裂算法对其进行离散化预处理.其次,在评分搜索的网络结构学习基础上,加入随机抽样来避免局部最优,通过构造接近目标平稳分布的马尔可夫链,多次迭代直到收敛...     

基于攻击路径图的入侵意图识别

为了预测攻击者高层次的攻击目标,感知网络的安全态势,提出入侵意图识别方法.给出入侵意图的概念及其分类,提出一种基于层次化的攻击路径图.利用攻击路径图对攻击者的意图可达性、意图实现概率、意图实现的最短路径和攻击路径预测进行定量分析.应用有向图的最小割理论制定防护措施阻止攻击者意图的实现,为管理员的决策提供依据.实验验证了该方法的可行性和有效性.     

基于轻量3D CNNs和Transformer的手语识别

针对传统基于3D CNNs(三维卷积神经网络)的手语识别方法模型计算复杂度和内存占用较高,及基于RNNs(循环神经网络)的连续手语识别方法的长距离建模能力不足的问题,提出一种基于轻量3DCNNs和Transformer的手语识别方法．首先使用轻量3D CNNs进行孤立词手语识别的时空建模,然后提出RKD(随机知识蒸馏),从多个教师模型中提取知识以提高轻量三维卷积的特征提取能力;针对连续手语,在特征提取后使用完全基于自注意力的Transformer进行全局建模．实验结果表明：所提方法在CSL-500和CSL-continuous数据集上可以获得95.10%的识别率和1.9的WER(词错误率),证明了所提方法的有效性．     

面向微博用户的消费意图识别算法

利用迁移学习的方法,融合京东问答平台数据与少量已标注的微博数据构建训练集,提出一种基于注意力机制的双向长短期记忆神经网络(Attentional-Bi-LSTM)模型,用于识别用户的隐性消费意图。针对显性意图识别问题,提出一种结合TF-IDF (termfrequency-inversedocumentfrequency)与句法分析中动宾关系(VOB)的消费意图对象提取算法。实验结果表明,通过将迁移京东问答平台的数据与微博数据相融合,可以有效地扩充训练集,在此基础上训练的神经网络分类模型具有较高的准确率和召回率;融合VOB和TF-IDF的显性消费意图对象提取方法的准确率达到78.8%。     

基于知识蒸馏与ResNet的声纹识别

针对声纹识别领域中存在信道失配与对短语音或噪声条件下声纹特征获取不完全的问题,提出一种将传统方法与深度学习相结合,以I-Vector模型作为教师模型对学生模型ResNet进行知识蒸馏。构建基于度量学习的ResNet网络,引入注意力统计池化层,捕获并强调声纹特征的重要信息,提高声纹特征的可区分性。设计联合训练损失函数,将均方根误差(MSE,mean square error)与基于度量学习的损失相结合,降低计算复杂度,增强模型学习能力。最后,利用训练完成的模型进行声纹识别测试,并与多种深度学习方法下的声纹识别模型比较,等错误率(EER,equal error rate)至少降低了8%,等错误率达到了3.229%,表明该模型能够更有效地进行声纹识别。     

一种基于特征知识蒸馏的轻量级图像去噪模型

为了构建适用于小型设备的轻量级图像去噪模型,提出了一种基于特征知识蒸馏的新方法. 该方法通过学习教师模型的特征图,捕捉深层知识,从而构建轻量级去噪模型,其参数量仅为教师模型的五分之一. 实验结果验证了蒸馏算法的有效性,在不同噪声水平及数据集下,都显著提升了学生模型的去噪性能,为轻量级图像去噪模型的构建提供了一种新的方向.     

面向车辆纵向动力学控制的制动意图识别综述

制动意图识别作为新型线控制动系统控制的先决条件,其识别结果的优劣直接影响车辆控制系统的精度,进而影响特定工况下的车辆行车安全性,因此为了提高车辆的主动安全性,提升车辆的制动性能,针对车辆动力学中的纵向稳定性控制问题,以制动意图为切入点,介绍了目前制动意图的分类,概述了基于制动意图识别的车辆动力学控制的国内外研究现状;结合制动意图识别特征的选取问题,重点对比分析了几种典型的制动意图识别方法,包括模糊推理系统、神经网络、自适应神经模糊推理系统、隐马尔可夫模型和聚类分析;结合当下研究现状指出了合理选取特征参数、转换输出目标、多标准评价体系是面向车辆动力学控制的制动意图识别的研究重点和方向。     

基于距离损失和决策边界的开放意图检测方法

针对开放意图检测任务中对特征分布处理不足有可能导致所得特征分布不够紧凑的问题,提出一种融合BERT、距离损失、决策边界的开放意图检测方法.首先,通过BERT模型捕获文本间的上下文特征;然后,通过距离损失令样本特征学习更为紧密;最后,进行决策边界学习,实现开放意图检测任务.结果表明,所提方法在公开数据集StackOverflow上具有较好的表现,在2种不同的已知意图比例设置下表现均为最好,准确率达到88.28％和84.43％,F1值达到87.51％和87.40％.研究结果补充了针对边界检测的特征表示再处理方法,可为解决开放意图检测问题提供参考.     

基于行为的多机器人对手意图识别二次估计方法

在动态对抗性环境下竞争的多机器人系统,对于对手的意图进行有效而准确的识别,从而有针对性地提出对策,是获得优势的必要条件。该文针对多机器人系统的对手意图识别提出了基于行为的行为序列估计和行为规则拟合的二次估计方法,引入环境约束、危险评价和行为概率作为判据对多个意图进行排序,避免单一行为结果的推断,实时准确地为决策提供支持。通过机器人足球这一典型的对抗性多机器人系统平台进行了验证,证明该方法在实时性和准确性上均比现有方法有很大提高。     

基于分层策略的智能下肢假肢运动意图识别

智能下肢假肢运动意图识别数据集包含不同地形下的运动模式及模式间的转换,即稳态模式与转换模式.在此类数据集为前提的意图识别方法常将各个模式直接进行分类,导致类间与类内的模式都易混淆.为解决这一问题,尝试使用分层策略,利用类间差异性对稳态模式与转换模式进行二分类,再用类内差异性进行再分类.在分层策略中,第一层至关重要,根据...     

基于Attention+Bi-LSTM的公交出行意图和语义槽填充联合识别

对话系统的口语理解通常涉及意图识别和语义槽填充两个任务.目前意图和语义槽填充联合识别成为口语理解研究的主流方法.本文采用一种基于注意力机制(Attention Mechanism)的双向长短时记忆(Bi-directional long short-term memory,BiLSTM)模型,对呼和浩特市公交问路查询语句进行意图和语义槽填充的联合识别.实验结果表明,该模型在意图识别准确率和语义槽填充F1值方面,均达到了较好的水平,优于基于长短时记忆(long short-term memory,LSTM)模型的其他方法,并且该模型基于字切分的结果优于基于词切分的结果,证实了该方法的有效性.     

基于传输层标志位的P2P流量识别技术

P2P(peer-to-peer)应用程序的使用愈来愈广泛,这些应用产生的网络流量可以占到网络总流量的50%以上,从而对其他的网络应用产生较大的影响。本文通过对FTP、HTTP和BitTorrent数据流的分析研究,提出了一种利用标志位进行P2P流量识别的方法。