基于预警文本信息的调度命令智能生成模型

提出调度命令智能生成模型,该模型由神经网络和调度命令修正模块两部分组成。基于长短时记忆(LSTM)网络构建序列-序列(seq2seq)模型,将预警文本信息作为模型的输入进行训练,提出五种调度命令修正策略并分别对五种易错信息进行修正,最终得到调度命令。结果表明:该模型具有利用预警文本信息生成调度命令的能力,引入的调度命令修正模块能够有效提升调度命令生成质量。     

文本挖掘手册：分析非结构性数据的高级方法

信息时代使得存贮大量的数据变得容易。在万维网、内联网、新闻专线以及其他地方可以利用的文件的增长趋势是压倒一切的。尽管我们可以利用的数据的数量在持续地增加，但是我们吸收和处理这些信息的能力并未能同步增加，而搜索引擎只要通过几个按键就可以获得越来越多的信息，越来越多的文件则进一步加剧了这个矛盾。文本挖掘是一个新的激动人心的领域，通过利用源自数据挖掘、机器学习、自然语言处理、信息检索以及知识管理等技术来试图解决信息超负荷的问题。文本挖掘涉及了文件收集的预处理（文本分类、信息析取、术语析取）、中间表示的存贮、分析这些中间表示的技术（例如：分布分析、集群、趋势分析、关联规则以及结果的可视化）。     

结合预训练和自训练的法律信息抽取增强式方法

在“智慧法院”的建设中，法律信息抽取是法律人工智能任务中最基本的任务。目前，法律信息抽取方法主要基于深度神经网络的监督学习模型。由于现有的监督学习模型需要大量的标签数据，而人工标注的方式会提高法律信息抽取任务的成本，存在只有少样本情况下模型学习性能较差的问题。针对上述问题，提出一种结合预训练和自训练的法律信息抽取增强式方法。首先，利用大规模预训练模型和标签数据训练出一个教师模型；然后，利用改进的文本相似度计算公式从法律文书库中寻找出与训练集相似的无标签法律文本数据，再结合训练完成的教师模型对其生成伪标签数据；最后，将有标签数据和伪标签数据混合起来重新训练出一个学生模型用于下游的法律信息抽取任务。本文在2021法研杯提供的信息抽取数据集上进行验证。与基线模型进行对比，本文提出的结合预训练和自训练的法律信息抽取增强式方法取得了较好的抽取效果。     

多状态图神经网络文本分类算法

为了提高模型在文本分类任务中的分类性能,针对图神经网络中存在的过度平滑问题,同时增强模型在处理文本特征与文本表示方面的能力,提出了一种基于多状态图神经网络的文本分类算法(multi-state graph neural network, MSGNN)。多状态图神经网络是利用网络层的多个历史状态信息对图神经网络进行强化,构建合理的文本图结构数据作为模型输入。在缓解网络层过度平滑问题的同时,结合2种改进后的不同类型的图神经网络来增强模型的特征提取与特征聚合能力。利用多头自注意力机制对文本关键词的挖掘与利用能力,从多个文本子空间来生成高质量的文本表示,进而完成文本分类。通过在几个公开的文本分类数据集上进行实验分析,相较于其他神经网络的文本分类算法,该方法取得了较好的分类准确率。     

基于小样本机器学习的跨任务对话系统

对话系统效果主要取决于自然语言理解与对话管理组件的表现。在构建特定领域的对话系统时,标注数据和语料不足、面临多轮对话中不合作对话的干扰,而且很难将一个构建完的系统扩展到新的领域。在少量特定领域样本的基础上,将来自机器翻译模型的双向编码表征预训练模型应用到意图识别模块,在对话管理组件提出了基于神经图灵机的循环嵌入对话策略,使系统具备了更强的特征抽取能力,并初步具备了跨任务对话能力。该对话策略通过神经图灵机对历史对话和系统行为给予了特别关注,在用户和系统记忆中使用了不同的注意力机制,有效地学习了对话状态与系统行为的向量嵌入。实验结果表明,在样本不足的垂直领域对话测试中更好地完成了意图识别与槽位填充,基本避免不合作对话导致的对话状态错乱,同时能够将学到的对话控制策略迁移到另一领域。     

融合词汇特征的生成式摘要模型

生成过程中利用词汇特征(包含n-gram和词性信息)识别更多重点词汇内容,进一步提高摘要生成质量,提出了一种基于sequence-to-sequence(Seq2Seq)结构和attention机制的、融合了词汇特征的生成式摘要算法。算法的输入层将词性向量与词向量合并后作为编码器层的输入,编码器层由双向LSTM组成,上下文向量由编码器的输出和卷积神经网络提取的词汇特征向量构成。模型中的卷积神经网络层控制词汇信息,双向LSTM控制句子信息,解码器层使用单向LSTM为上下文向量解码并生成摘要。实验结果显示,在公开数据集和自采数据集上,融合词汇特征的摘要生成模型性能优于对比模型,在公开数据集上的ROUGE-1,ROUGE-2,ROUGE-L分数分别提升了0.024,0.033,0.030。因此,摘要的生成不仅与文章的语义、主题等特征相关,也与词汇特征相关,所提出的模型在融合关键信息的生成式摘要研究中具有一定的参考价值。     

口语对话系统中对话管理的演变

为了对人机语言交互领域的主要工作进行归纳和总结,分析了口语对话系统的各个组成模块,包括主要研究内容和关键技术; 然后,针对其核心的对话管理技术进行了综述,通过详细分析并比较几类主要对话管理实现方法,力求在分析现有算法的同时勾勒出其技术的发展与演变过程; 最后,对对话管理领域的深入研究进行了分析与展望。     

从单语词典中获取定义原语的一种方法

语义原语是词汇语义学研究中的一个重要概念，但在计算语言学中对它的研究尚未全面展开。文中主要讨论了从单语词典中获取定义原语的方法。对词典建立了数学模型，将获取定义原语的问题转化为图论中的一个问题。对这个问题进行了分析求解，指出了问题的计算复杂程度，并且给出了简化问题的算法以及求解问题的两种启发式方法。该方法是一种适合于所有单语词典的一般方法。     

基于核心推导的句法分析

从认知心理学的角度出发，指出人类认知的特点在很大程度上影响着人类语言；提出了核心推导在句法分析中的作用，并给出了核心推导句法分析的语言模型     

基于非确定图灵机的中文搜索引擎研究

随着Internet用户对Web信息资源需求的增加,搜索引擎技术得到迅猛的发展.针对目前中文搜索引擎大多采用基于关键词精确匹配（Accurately matched）的低智能性问题,提出一种基于非确定图灵机NTM（Nondeterministic Turing Machine）智能中文搜索引擎系统,简要介绍了非确定图灵机的基本知识,详细叙述了该搜索引擎的系统架构,系统实现的基本原理和算法.实验数据结果表明,基于非确定图灵机智能中文搜索系统在查询结果的准确性和智能性明显高于现有的搜索系统.