无监督的句法可控复述模型用于对抗样本生成

针对使用句法可控的复述生成模型生成对抗样本时模型性能受限于复述平行语料的领域和规模的问题,提出仅需要单语语料训练的无监督的句法可控复述生成模型,用以生成对抗样本.采用变分自编码方式学习模型,首先将句子和句法树分别映射为语义变量和句法变量,然后基于语义变量和句法变量重构原始句子.在重构过程中,模型可以在不使用任何平行语料...     

基于句法结构的神经网络复述识别模型

为解决已有复述语义计算方法未考虑句法结构的问题, 提出基于句法结构的神经网络复述识别模型, 设计基于树结构的神经网络模型进行语义组合计算, 使得语义表示从词语级扩展到短语级。进一步地, 提出基于短语级语义表示的句法树对齐机制, 利用跨句子注意力机制提取特征。最后, 设计自注意力机制来增强语义表示, 从而捕获全局上下文信息。在公开英语复述识别数据集Quora上进行评测, 实验结果显示, 复述识别性能得到改进, 达到89.3%的精度, 证明了提出的基于句法结构的语义组合计算方法以及基于短语级语义表示的跨句子注意力机制和自注意力机制在改进复述识别性能方面的有效性。     

汉语近义词辨析知识库构建研究

现有近义词辨析词典往往忽略近义词的细微用法,缺乏对近义词的句法分布、语义特征、组合限制及使用模板的细致描述.针对该问题,基于真实语料,以搭配为载体,以词与词之间的关系为手段,构建了一个近义词辨析知识库,为近义词提供用法和语境知识,包括近义词的搭配词及搭配关系、搭配频率以及近义词在语料库中的句法分布信息、语义特征、语境中...     

基于句法依存卷积神经网络的句子相似度计算

句子相似度计算是自然语言处理的一项基础任务,其准确性直接影响机器翻译、问题回答等下游任务的性能。传统机器学习方法主要依靠词形、词序及结构等浅层特征计算句子相似度,而深度学习方法能够融入深层语义特征,从而取得了更好效果。深度学习方法如卷积神经网络在提取文本特征时存在提取句子语义特征较浅、长距离依赖信息不足的缺点。因此设计了DCNN （dependency convolutional neural network）模型,该模型利用词语之间的依存关系来解决该不足。DCNN模型首先通过依存句法分析得到句子中词语之间的依存关系,而后根据与当前词存在一跳或者两跳关系的词语形成二元和三元的词语组合,再将这两部分信息作为原句信息的补充,输入到卷积神经网络中,以此来获取词语之间长距离依赖信息。实验结果表明,加入依存句法信息得到的长距离依赖能有效提升模型性能。在MSRP （microsoft research paraphrase corpus）数据集上,模型准确度和F1值分别为80.33%和85.91,在SICK （sentences involving compositional knowledge）数据集上模型的皮尔森相关系数能达到87.5,在MSRvid （microsoft video paraphrase corpus）数据集上模型的皮尔森相关系数能达到92.2。     

结合Transformer模型与深度神经网络的数据到文本生成方法

数据到文本的生成是指从结构化数据生成连贯文本的一种自然语言处理方法。近年来,由于端到端训练的深度神经网络的应用,数据到文本生成的方法显示出了巨大潜力。该方法能够处理大量数据自动生成连贯性文本,常用于新闻写作、报告生成等场景。然而,已有研究中对于数据中具体数值、时间等数据信息的推理存在较大缺陷,无法充分利用数据间的结构信息给出合理的生成指引,并且生成过程容易出现语义与句法分离训练的问题。因此,文中提出一种结合Transformer模型与深度神经网络的数据到文本生成方法,并提出一个用于内容规划的Transformer Text Planning(TTP)算法,有效地解决上述问题。在Rotowire公开数据集上进行方法验证,实验结果表明,文中方法性能优于已有数据到文本生成模型,可直接应用于结构化数据到连贯性文本的生成任务中,具有一定的实际应用价值。     

影响概念建模质量的关键因素分析

概念建模过程中,信息损失和误解是因为信息转换造成的,而信息转换隐含于领域专家和建模者之间的交流以及用建模语言表达概念模型的活动中.通过分析建模活动和模型表达方法,明确了影响概念建模质量的关键因素,继而提出一个建模准则:概念建模是描述而非设计.     

句法增强的UCCA语义分析方法

考虑到句法结构与语义结构之间的紧密联系, 尝试将句法信息融入UCCA语义分析模型中来增强语义分析的性能。基于目前性能最好的基于图的 UCCA语义分析模型, 提出并比较4种不同的融入依存句法信息的方法。采用SemEval-2019国际评测语义分析任务的英文数据集进行实验, 在本领域和跨领域两个数据集上的结果均表明, 句法增强的方法能够给显著地提高UCCA分析性能。引入BERT特征后, 句法信息仍然可以提供一定的帮助。     

以自然语言为界面实现VC＋＋程序的自动生成

本文提出以自然语言为界面实现程序自动生成的研究成果。该研究系统使用面向对象的方法与技术,以自然语言为输入界面,使用扩充的格语法进行语法语义分析,将用户描述的VC 期望程序功能的汉语篇章依次进行自动切词处理、语法处理、语义分析理解、目标程序的自动生成,最终形成满足用户要求且符合Visual C 语法的结果程序。     

藏文信息处理研究进展

藏文有着悠久的历史,是藏族人民交流思想的工具。1997年,藏文编码字符集国际、国家标准的制定作为藏文信息处理的开始,至今正好20年。这20年中藏文信息处理起步、发展,取得了较好的成绩。本文简要回顾了藏文信息处理中字、词、句、段、篇的特点、处理方法及取得的典型成果,也回顾了藏语资源建设和应用研究取得的成果,并对藏文信息处理未来的发展方向进行展望。希望能为迈入藏文信息处理的初学者展示一个藏文信息处理发展的脉络,提供一个参考。     

基于词序列拼积木模型的图像句子标注研究

用句子标注图像,建立图像与文本间的跨媒体关联,以提升信息检索准确率,改善用户检索交互体验.利用KDES模型抽取图像特征,在多核学习模型中融合出MK-KDES特征,准确刻画图像视觉特性;设计自然语言生成模型:词序列拼积木,评估单词与图像内容的相关性,优选单词,并根据单词间的语义相关性与句法模式约束,将单词组合成N元词序列;把N元词序列输入模板生成句子.结果表明:MK-KDES-1特征聚焦于图像的纹理及形状视觉特性,它是改善句子BLEU-1评分的关键;而单词间的语义相关性与句法模式约束是提升句子BLEU-2评分的重要前提.      

认知心理视角下句法结构歧义的生成机制

句法歧义是日常交际中常有的语言现象。它的产生除了客观语言条件,即句法结构的多解性外,从认知心理视角出发,交际主体的注意错位也是形成句法歧义的关键原因。注意错位又受语言语境和非语言语境的影响。针对导致句法歧义的主客观因素,应采取相应的策略来消除歧义,保证交际顺畅。     

蒙古语词向量评测研究

词向量具有良好的语义特性,可用于改善和简化许多自然语言信息处理应用。本研究利用CBOW和Skip-gram两种模型架构在不同数据和不同维度下训练蒙古语词向量,然后结合蒙古语特征设计一个语义语法综合测试集,并在此测试集上用语义和语法相似度来评测词向量质量。研究结果表明,蒙古语语义和语法相似性任务上,Skip-gram模型优于CBOW模型,Skip-gram模型的窗口大小为5的情况下,词向量质量最好,且随着词向量维度或训练数据的增大,词向量质量有明显的提高。     

Connecting Language with Perception and Action for Human-robot Interaction

To build robots that engage in intuitive communication with people by natural language, we are developing a new knowledge representation called conceptual network model.The conceptual network connects natural language concepts with visual perception including color perception, shape perception, size perception, and spatial perception. In the implementation of spatial perception, we present a computational model based on spatial template theory to interpret qualitative spatial expressions. Based on the conceptual network model, our mobile robot can understand user＇s instructions and recognize the object referred to by the user and perform appropriate action. Experimental results show our approach promising.     

Cross-modal and cross-temporal association in neurons of frontal cortex

The prefrontal cortex is essential for the temporal integration of sensory information in behavioural and linguistic sequences. Such information is commonly encoded in more than one sense modality, notably sight and sound. Connections from sensory cortices to the prefrontal cortex support its integrative function. Here we present the first evidence that prefrontal cortex cells associate visual and auditory stimuli across time. We gave monkeys the task of remembering a tone of a certain pitch for 10 s and then choosing the colour associated with it. In this task, prefrontal cortex cells responded selectively to tones, and most of them also responded to colours according to the task rule. Thus, their reaction to a tone was correlated with their subsequent reaction to the associated colour. This correlation faltered in trials ending in behavioural error. We conclude that prefrontal cortex neurons are part of integrative networks that represent behaviourally meaningful cross-modal associations. The orderly and timely activation of neurons in such networks is crucial for the temporal transfer of information in the structuring of behaviour, reasoning and language.     

汉语主谓句的逻辑分析

自然语言信息处理是当今众多学科共同关注的热门话题,具有重要的理论价值和现实意义。作为现代汉语最基本的句类,主谓句的逻辑分析无疑成为重要研究内容。在宏观描述研究背景的基础上,我们力求综合运用语言逻辑的工具探讨汉语主谓句的句法生成和语义表达规则,以期有助于汉语信息处理的其他相关研究。     

基于RoBERTa与句法信息的中文影评情感分析

细粒度情感分析是自然语言处理的关键任务之一,针对现有的解决中文影评情感分析的主流方案一般使用Word2Vector等预训练模型生成静态词向量,不能很好地解决一词多义问题,并且采用CNN池化的方式提取文本特征可能造成文本信息损失造成学习不充分,同时未能利用文本中包含的长距离依赖信息和句子中的句法信息。因此,提出了一种新的情感分析模型RoBERTa-PWCN-GTRU。模型使用RoBERTa预训练模型生成动态文本词向量,解决一词多义问题。为充分提取利用文本信息,采用改进的网络DenseDPCNN捕获文本长距离依赖信息,并与Bi-LSTM获取到的全局语义信息以双通道的方式进行特征融合,再融入邻近加权卷积网络(PWCN)获取到的句子句法信息,并引入门控Tanh-Relu单元(GTRU)进行进一步的特征筛选。在构建的中文影评数据集上的实验结果表明,提出的情感分析模型较主流模型在性能上有明显提升,其在中文影评数据集上的准确率达89.67%,F1值达82.51%,通过消融实验进一步验证了模型性能的有效性。模型能够为制片方未来的电影制作和消费者的购票决策提供有用信息,具有一定的实用价值。     

Knowledge Enhanced Pre-Training Model for Vision-Language-Navigation Task

Vision-Language-Navigation(VLN) task is a cross-modality task that combines natural language processing and computer vision. This task requires the agent to automatically move to the destination according to the natural language instruction and the observed surrounding visual information. To make the best decision, in every step during the navigation, the agent should pay more attention to understanding the objects, the object attributes, and the object relationships. But most current methods process all received textual and visual information equally. Therefore, this paper integrates more detailed semantic connections between visual and textual information through three pre-training tasks(object prediction, object attributes prediction, and object relationship prediction). The model will learn better fusion representation and alignment between these two types of information to improve the success rate(SR) and generalization. The experiments show that compared with the former baseline models, the SR on the unseen validation set(Val Unseen) increased by 7%, and the SR weighted by path length(SPL) increased by 7%; the SR on the test set(Test) increased 4%, SPL increased by 3%.     

输出假设的心理语言学原理及其在二语习得中的应用

输出假设理论认为,产出使学习者从理解中的“语义处理“转换到二语开发不可或缺的“句法处理“。深入分析输出假设的心理语言机制,对二语习得具有指导作用。     

语言理解中P600效应的新解读——监控理论及双路线模型的扩展

语义违例句诱发了P600效应对P600是句法加工的标志的说法提出了质疑.监控理论从执行控制参与语言理解的角度阐释了P600,并提出了双路线模型.而后的研究发现在各个语言水平上都存在对错误加工的监控,双路线模型得到扩展,提出P600反映了预期和非预期表征之间出现冲突时引发的监控反应.在对监控理论和模型进行分析和评价的基础上,认为它为P600效应实质的研究提供了新视角,但是还有待完善和深入研究.