基于深度学习的图解码依存分析研究进展

图解码依存分析方法是一种重要的依存分析方法,优点是解码具有全局最优的特点,能够找到模型意义下的全局最佳依存树。传统图解码依存分析模型大多采用基于特征的线性评分模型,常常需要选取大量的人工特征,这一方面耗时费力,加剧了模型过拟合的风险,另一方面也显著降低了系统的运行效率。同时由于采用子图分解策略,传统图解码分析中的特征提取严重受到子图规模的限制,无法提取具有全局意义的分析特征。深度图解码依存分析研究部分解决了这些问题,本文概要介绍了近年来几个代表性的深度图解码依存分析研究工作,总结了国内外在深度图解码依存分析方面的现状和进展。     

基于依存树的藏语语义分析

藏语语义依存分析是以藏语依存句法分析为基础的深层语义研究。该文从词法分析和句法分析等浅层研究出发,结合藏语自身语法结构和语义单位之间的关系特点,实现了藏语语义依存分析。在制定了藏语语义依存关系标注规范并设计了藏语语义依存关系特征模板的前提下,采用感知机进行了藏语语义依存分析模型的训练,经实验该模型在人工标注测试语料上的根准确率、依存弧准确率、依存弧类型准确率及完全准确率等4个指标分别达到了89.56%、78.63%、71.67%及32.32%,证实了该模型在藏语语义依存分析任务中具有良好的性能。     

句法增强的UCCA语义分析方法

考虑到句法结构与语义结构之间的紧密联系, 尝试将句法信息融入UCCA语义分析模型中来增强语义分析的性能。基于目前性能最好的基于图的 UCCA语义分析模型, 提出并比较4种不同的融入依存句法信息的方法。采用SemEval-2019国际评测语义分析任务的英文数据集进行实验, 在本领域和跨领域两个数据集上的结果均表明, 句法增强的方法能够给显著地提高UCCA分析性能。引入BERT特征后, 句法信息仍然可以提供一定的帮助。     

图结构XML文档的关键字检索方法

研究了基于图结构XML文档的关键字检索方法。根据图结构XML文档的结构特点,结合用户输入的关键字及其类型,建立了用户查询语义模型;定义了拥有完整语义信息的查询结果模型,并从层次结构上分析来定义结果的语义相关性排序方案;提出基于语义的双层索引结构。实验结果表明,算法具有较高的准确率和效率。     

基于Tri-BiLSTM-CNN的钻井安全问答系统

特定领域的FAQ问答系统通常存在以下3个问题：（1）如何有效地对句子进行语义表示；（2）如何有效地进行句子间的语义匹配；（3）领域词汇的分词问题。为解决上述3个问题，提出一种基于Tri-BiLSTM-CNN的深度学习模型。首先，将双向长短期记忆网络和卷积神经网络结合构建网络模型，综合利用了BiLSTM处理序列化数据的优势和CNN捕获局部特征的优势。然后，采用Triplet并列式排列结构进行句子之间的匹配。最后，使用字向量替代词向量，避免了分词错误对模型的影响。在钻井安全领域的真实数据集上进行实验验证，结果表明，Tri-BiLSTM-CNN模型能更好地对句子语义进行向量化表征，显著提升句子相似度计算的准确率，而且效果明显优于CNN和LSTM两种网络结构。将该模型用于钻井安全领域的FAQ问答系统中，有效减少了人工成本，对改善钻井工作的效率和质量具有重要意义和应用价值。     

基于句法结构迁移和领域融合的跨领域情感分类

用于文本情感分析的深度学习模型如递归神经网络等参数较多，因此需要大量高质量标记训练数据对模型进行训练和优化。在实际应用中，特定领域难以获取高质量带情感标签评论数据。在跨领域文本情感分类任务中，针对不同领域数据分布差异性，提出了基于句法结构迁移和领域融合的跨领域文本情感分类方法，可以解决特定领域对带标签数据依赖问题。句法结构迁移方面，将依存语法特征加入到递归神经网络中，设计了一种可迁移的依存句法递归神经网络模型，通过句法结构迁移有效地迁移跨领域结构信息，为情感迁移提供支撑。领域融合方面，在传统的最大均值差异领域度量方法上细化了跨领域同类别距离度量信息。通过约束源领域和目标领域的分布，可以保证2个领域距离在学习过程中尽可能减小，有效地提取领域通用特征。实验结果表明，该方法比已有方法有效提高了跨领域情感分类准确率。     

基于ChineseBert的中文拼写纠错方法

中文拼写错误主要集中在拼音相似和字形相似两个方面，而通用的预训练语言模型只考虑文本的语义信息，忽略了中文的拼音和字形特征.最新的中文拼写纠错（Chinese Spelling Correction,CSC）方法在预训练模型的基础上利用额外的网络来融入拼音和字形特征，但和直接微调预训练模型相比，改进的模型没有显著提高模型的性能，因为由小规模拼写任务语料训练的拼音和字形特征，和预训练模型获取的丰富语义特征相比，存在严重的信息不对等现象.将多模态预训练语言模型ChineseBert应用到CSC问题上，由于ChineseBert已将拼音和字形信息放到预训练模型构建阶段，基于ChineseBert的CSC方法不仅无须构建额外的网络，还解决了信息不对等的问题.由于基于预训练模型的CSC方法普遍不能很好地处理连续错误的问题，进一步提出SepSpell方法 .首先利用探测网络检测可能错误的字符，再对可能错误的字符保留拼音特征和字形特征，掩码对应的语义信息进行预测，这样能降低预测过程中错误字符带来的干扰，更好地处理连续错误问题.在三个官方评测数据集上进行评估，提出的两个方法都取得了非常不错的结果 .     

结合主题依存特征和Bigram的汉语语言建模方法

在Bigram语言模型建模过程中，语言被看作符号集序列，没有考虑语言本身具有的语法和语义结构特征，虽然在线的文本训练数据迅速增长，但语言模型的性能却再获得大幅度的提高，基于统计方法语言建模的基本原理，提出了一种结合Bigram和主题依存特征的中文语言建模方法，初步实验结果表明，该方法可有效地补充Bigram模型提取特征的不足，通过提取远距离主题依存特征降低了语言模型的分支度。     

面向动态演化的复杂网构软件系统可靠性分析方法

 网构软件是Internet上各种软件实体以各种协同方式实现跨网络的互连、互通和协作的软件系统，动态演化是其基本特征，演化过程中会导致软件系统失效，面向动态演化的网构软件可靠性分析成为新的技术难题。首先分析构件接口交互之间的协议关系和网构软件动态演化错误传播可达性，提出通过错误传播可达图来界定构件动态演化错误的影响范围，并建立错误传播可达图生成过程模型；其次，为有效解决Markov状态空间“爆炸”的问题，利用错误传播可达图来生成Markov状态转移图，提出基于Markov的网构软件动态演化可靠性分析方法；最后通过案例分析来验证该方法的有效性。     

G-LST：一种从整体到局部优化的文本风格迁移策略

提出一种从整体到局部优化的文本风格迁移模型G-LST（Global-Local based Style Transfer）。该模型首先利用广泛的源端数据,进行迭代优化来自动构建高质量的伪平行数据,并通过联合训练以提升模型对整体风格的语义感知;随后,通过利用常识性知识修正词级的细粒度风格来增强局部风格的表现,同时兼顾整体与局部风格的考虑,提高了风格转换的准确度。基于GYAFC数据集的实验结果表明,相较于目前表现最佳的文本风格迁移模型,G-LST模型在E&M与F&R两个领域数据上的风格转换准确率分别提高了2.7% 和4.47%,内容保留与风格准确率的综合指标分别提升了1.18% 和1.95%。     

基于相关反馈的文物图像语义标注

目的 通过研究基于相关反馈的文物图像语义标注问题,以克服图像检索领域内的"语义鸿沟".方法 在标注过程中介入人机交互,以此来改进标注的准确率与效率.算法首先通过相关反馈构建语义相似性矩阵,进而通过语义聚类实现语义标注.结果 在对文物图像的标注试验中,获得了较好的标注准确率与效率.结论 基于相关反馈的图像语义标注较自动语义标注具有更大优势.     

基于依存语义注意力的词对上下位关系识别

针对现有上下位关系识别方法未能充分挖掘利用词对共现句中上下位关系语义的问题,提出一种基于依存语义注意力的词对上下位关系识别方法．利用词对共现句最短依存路径的路径向量训练Softmax分类器进行上下位关系识别,引入依存语义注意力机制,构建最短依存路径的注意力权重向量和路径评价函数,更细粒度挖掘和表示不同词和不同路径对上下位关系语义的不同贡献,从而更充分利用精细语义特征实现更准确的上下位关系识别．结果表明：相比HypeNet和NPM等代表性方法,本方法在中文和英文实验数据集上的识别准确率分别可提高2.0%和1.3%,且识别性能更稳定．     

基于语境相似度的中文分词一致性检验研究

提出一种基于语境相似度的中文分词一致性检验方法。首先利用词法和句法层面的特征, 设计基于构词、词性和依存句法的分类规则, 再使用预训练词向量, 对不一致字串所在语境的语义信息进行编码, 通过语境间的语义相似度对不一致字串进行分类。在人工构建的36万字分词语料库中进行分词一致性检验, 结果表明该方法能够有效地提高中文分词一致性检验的准确率。进一步地, 使用3 种主流中文分词模型在修正一致性后的分词语料中重新训练和测试, 结果表明该方法可以有效地提高分词语料库的质量, 3种中文分词模型的F1值分别提高1.18%, 1.25%和1.04%。     

一种基于框架语义的专项新闻检索方法研究

提出了一种专项新闻语义框架以及借助该框架识别来自动检索、分类客户负面新闻的方法.与传统基于词的语义框架不同,负面新闻事件语义框架针对每个单一语境负面新闻事件子类来定义语义框架.通过构建框架知识库、领域词汇本体库及与框架关联的样本句子库,融合利用依存语法、词性标记技术和植入任务型代价的对数线性分类建模技术,实现了负面事件语义框架的自动识别.测试表明,该方法实用、高效,对知识库中已预定义的负面事件新闻类识别,在准确率、召回率和处理效率上都有很好的表现.     

变量化设计环境下的拓扑实体一致性命名机理

基于约束的变量化三维特征造型环境,在命名机理中完全依赖特征方向进行拓扑实体区分会在三维模型重构中引发一些设计语义错误,针对这一问题,提出了一种图论和参数空间相结合的编码和解码方法进行拓扑实体一致性命名维护,纠正了在命名机理中完全依赖特征方向进行拓扑实体区分而造成的三维模型重构中的设计语义错误．本方法采用统一的编码表达,实现了编码和解码过程效率性和有效性的统一,提出的部分算法已成功应用于三维商品化原形系统中．     

基于知识图谱的问答系统中属性映射方法研究

在基于知识图谱的智能问答系统中,属性映射模块结果的错误传播会导致最终无法得到正确答案,对此提出了一种基于多注意力多维文本的属性映射方法。首先通过拆分问题文本及结合属性信息得到多维文本表示;其次使用长短期记忆网络(long-short-term memory, LSTM)层生成各自的隐层表示;然后输入多注意力机制层后使问句和属性之间的关系及语义信息更加完善,利用属性之间的交互信息及多种角度来加强问句语义信息的理解;最后通过卷积神经网络(convolutional neural networks, CNN)提取局部特征并且采用softmax分类器实现属性映射。试验结果表明,在自然语言处理与中文计算会议(NLPCC 2018)中知识库问答(KBQA)任务所提供的开源数据集上,本方法相比主流属性映射模型其性能有显著提升,准确率最高提升6.62%。本模型可以补足单一文本表示与注意力机制的短板,有效解决属性映射模块中语义歧义的问题,这有助于后续提高智能问答系统的整体性能。     

基于局部特征和全局特征融合的微博情感分析

目前的神经网络一般只将词粒度层面的词向量作为输入,忽略了语义层面的全局语义特征.针对此问题,提出了一种基于局部特征和全局特征融合的情感分类方法,以解决评论特征稀疏和主题聚焦性差的问题.对于局部特征,选择基于情感词典和BiLSTM神经网络模型提取基于词向量的文本特征.对于文本集的全局主题特征,采用神经主题模型提取文本主题特征,并将其作为全局特征来表示短文本信息.最终将基于局部加权词向量的文本特征和基于神经主题模型的文本主题特征进行拼接,并通过Softmax层输出,完成文本情感分类.结果表明：融合全局主题语义和局部加权词向量可以更加丰富神经网络的特征,从而有效地提高情感分类的准确率.     

特定领域问答系统中基于语义检索的非事实型问题研究

面向财税领域非事实型问题, 提出基于语义检索的方法来抽取答案。首先使用领域知识库对问题及领域文档进行语义标注, 引入语义相似度特征提高法规及案例的检索准确率; 其次使用排序学习算法融合领域文本的多种特征对法规检索结果优化; 最后使用法规特征对案例检索结果进行筛选, 并从相似案例中抽取相应答案。在真实数据集上的测试结果表明, 该方法在准确率和效率上比基准方法有显著提升。     

基于门控图神经网络的谣言检测模型

针对基于图神经网络的谣言检测方法在聚合邻居节点信息生成谣言表示过程中存在的噪声干扰问题，充分利用社交媒体源帖包含的丰富语义和结构信息对谣言检测的重要影响，提出一种基于门控图神经网络的谣言检测模型，该模型根据信息传播过程建模谣言的传播图和扩散图，基于门控图神经网络聚合邻居信息生成节点表示，利用门控机制去除邻居节点噪声，同时引入根节点语义增强方法提升表征节点的能力。此外，利用注意力机制融合局部结构和全局结构信息学习更加全面的谣言表示用于谣言检测任务。在公开数据集上的实验结果证明，提出的模型在谣言检测性能和早期检测能力方面均优于基线方法。     

面向医学领域的概念语义本体相似度度量理论与方法研究

领域本体概念相似度已被广泛应用于医学诊断知识库,为克服概念交互过程中所存在的概念度量准确率较低以及领域概念相似度语义融合不充分等问题,提出面向医学领域的概念语义本体相似度度量理论与方法。立足于领域本体结构特征,首先分解了概念层次结构所包含的语义信息,提出基于属性的计算模型,然后在结构层次中求出概念间的最小不可约集合,通过对集合中的语义模型引入调节因子,提高领域概念的融合效率。算法分析以及实例证明该方法能有效提高本体概念融合的准确性。