基于神经网络模型的文本分类研究综述

文本分类是自然语言处理与理解当中重要的一个研究内容,在文本信息处理过程中有关键作用.目前深度学习已经在图像识别、机器翻译等领域取得了突破性的进展,而且它也被证明在自然语言处理任务中拥有着提取句子或文本更高层次表示的能力,也备受自然语言处理研究人员的关注.文章以基于深度学习的文本分类技术为研究背景,介绍了几种基于深度学习神经网络模型的文本分类方法,并对其进行分析.     

基于神经网络语言模型的分布式词向量研究进展

单词向量化是自然语言处理领域中的重要研究课题之一,其核心是对文本中的单词建模,用一个较低维的向量来表征每个单词.生成词向量的方式有很多,目前性能最佳的是基于神经网络语言模型生成的分布式词向量,Google公司在2012年推出的Word2vec开源工具就是其中之一.分布式词向量已被应用于聚类、命名实体识别、词性分析等自然语言处理任务中,它的性能依赖于神经网络语言模型本身的性能,并与语言模型处理的具体任务有关.本文从三个方面介绍基于神经网络的分布式词向量,包括:经典神经网络语言模型的构建方法;对语言模型中存在的多分类问题的优化方法;如何利用辅助结构训练词向量.     

自然语言处理的研究与发展

自然语言处理是信息技术最重要的研究方向之一,汉语自然语言处理应该包括对字、词、句子以及段落与篇章的处理。文中阐述了自然语言处理的研究方法及其现状,特别指出了汉语处理存在的特殊问题。概述了自然语言处理的主要研究方向,总结了我国在自然语言处理方面已经取得的成就与存在的问题,提出了对自然语言处理研究未来工作的思考。     

基于改进的朴素贝叶斯文本分类研究

文本分类(Text Categorization,TC)指的是把一个自然语言文本,根据其主题归入到预先定义好的类别中的过程.文本分类是自然语言处理的一个基础性工作,也是近年来人们研究的热点话题.针对朴素贝叶斯算法在小样本集分类效果不高的原因进行了分析,对其进行了改进和调整,提出了基于改进的朴素贝叶斯文本分类方法,试验结果表明,该方法取得了更好的效果.     

自然语言处理中的语言模型及其比较研究

就自然语言处理中的各种语言模型进行了深入的分析、比较,就各模型的本质及它们之间的关系进行了探讨,并就语言模型的建立方法及解决建立过程中所遇问题的方法进行了讨论.     

一种基于同义词的中文关键词提取方法

关键词在自然语言处理的各个领域有着十分重要的意义.对于中文自然语言处理,一词多义和多词一义问题始终是困扰研究人员的一个重大难题.传统的一些基于统计的方法,诸如KEA只是机械地统计了词频,而没有考虑词之间的关系.文中提出了一种基于同义词的中文关键词提取方法SKEA,并建立一阶隐马尔可夫模型进行词义消歧,将文本从稀疏的词空间映射到语义空间,从而实现了文本的降维.同时改进了KEA的位置权重公式,并提出新的关键词特征选取项.最后对SKEA方法和KEA方法进行比较实验,证明SKEA是一种更优秀的中文关键词提取方法.     

预训练语言模型的可解释性研究进展

基于深度神经网络的大型预训练语言模型在众多自然语言处理任务上都取得了巨大的成功,如文本分类、阅读理解、机器翻译等,目前已经广泛应用于工业界。然而,这些模型的可解释性普遍较差,即难以理解为何特定的模型结构和预训练方式如此有效,亦无法解释模型做出决策的内在机制,这给人工智能模型的通用化带来不确定性和不可控性。因此,设计合理的方法来解释模型至关重要,它不仅有助于分析模型的行为,也可以指导研究者更好地改进模型。本文介绍近年来有关大型预训练语言模型可解释性的研究现状,对相关文献进行综述,并分析现有方法的不足和未来可能的发展方向。     

面向知识图谱的多语言电子商务智能系统研究

面向知识图谱的多语言电子商务智能系统,是针对新丝绸之路经济带特定领域以汉语、藏语、蒙古语、维吾尔语、英语等多语言民族特色农产品电子商务的统一平台构建,在此基础上解决新丝绸之路经济带多语言关联的自然语言处理问题.通过绘制多语言知识图谱库并将其应用于多语言商品信息展示,同时结合知识图谱的多源知识关联来实现复杂数据分析及精准推荐,根据买家属性向用户智能推荐相关产品,实现基于深度学习的以汉语为核心的多语言智能分析推荐功能.     

面向语言模型的神经元连接自动学习方法

在自然语言处理中,由于神经网络的结构需要人工设计,容易导致复杂的神经网络结构中存在大量冗余.为了减少冗余,人们常采用剪枝等模型压缩方法,但是这类方法通过一些与训练过程无关的指标直接对模型进行裁剪时往往造成性能损失.因此探索了一种神经网络中神经元连接的自动学习方法,通过在训练中对神经元连接进行动态生长和删除的方法,可以更好地对网络连接进行动态操作,从而得到更紧凑、高效的网络结构.使用该方法在神经语言模型上进行自动生长和消去,在保证网络性能不变的前提下,网络规模可缩小49%.     

基于格语法的问答系统的设计与实现

格语法是自然语言处理学科的一种基本理论,问答系统是自然语言处理的一个重要分支。文章在介绍格语法理论的基础上,介绍了基于格语法的问答系统的设计及具体实现。     

可视化语言与语言可视化

可视化语言是人与计算机之间直观理解、直观通讯的一种有效机制 ,该领域的研究受到广大计算机工作者的重视 计算机科学的一些领域 ,如数据库、多媒体、人工智能等 ,均已引入了可视化语言的概念 文中对可视化语言进行了定义和评述 ,并阐述了软件语言可视化的可能性和必然性 从语素、语义、语法、语用、编译方式等方面对软件语言可视化进行了讨论 同时陈列了当前软件语言可视化的研究热点     

一种新型的程序设计语言——JAVA语言

ＪＡＶＡ语言是由ＳＵＮ公司设计的一种面向对象的新型程序设计语言。ＪＡＶＡ可用来开发能够在Ｉｎｔｅｒｎｅｔ上传输并可在网络任何一处运行的应用程序。文中主要介绍ＪＡＶＡ语言的主要特点及其应用，并简要介绍用ＪＡＶＡ语言进行编程的方法     

身势语与外语教学

据统计,两人说话时,只有35%的信息是由语言传递的,其它65%的信息则由非语言形式--身势语传递.作为一种用动作束传递信息的交流形式,身势语研宄与语言研究具有同等意义.真正掌握两门语言的人在换用另一种语言说话时也该换用另一种身势语,以达到更好的交际效果.既然外语教学的培养目标是语言的交际能力,身势语的教学不容忽视.     

语言测试的回顾与展望

从历史的角度看，语言测试理论的发展主要以语言理论的发展为基础。文章简略地回顾了语言测试理论在过去两三个世纪中的发展历程后，首先介绍了交际测试法的理论基础——交际语言能力模型理论，然后详细地阐述了交际测试法在测试内容、任务类型、评估体系等方面的主要特点。最后，根据交际测试法目前的发展状况，简评了其较之于其它测试法的优越性、目前仍然存在的一些问题及将来可能发展的方向。     

论语言迁移与外语教学

语言迁移是外语教学中一种很自然的现象。本文提出了语言迁移的概念、类型、本质、规律以及影响因素,并对外语教学中如何采取相应的、灵活多样的教学策略,促进语言迁移,以切实提高教学质量提出了建议。     

汇编语言与高级语言的链接方法

本文介绍了汇编语言与高级语言之间的链接方法。     

多语种自然语言生成系统中的语言模型

介绍了在多语种自然语言生成系统中如何用统一的模型来表示各种语种的语言知识。本文将语言知识分为语义资源和语法资源两个部分。前者通过Ｓｃｈｅｍａ和优化规则确定文本的内容;后者根据子结构类,句法规则和词典确定文本的具体形式。该模型以复杂特征集为语言知识的载体,将表示抽象语义的数据扩展为生成不同语种文本所需的语言资源。     

语言潜能理论与外语教学

语言潜能是指学习者所具备的某种能力倾向.从语言潜能的界定、语言潜能的构成因素、语言潜能测试的角度,阐述语言潜能理论对外语教学的影响和启示,以期达到理想的外语教学效果.     

语言习得机制与英语口语教学

英语口语教学的重点应放在如何为学生提供最佳语言输入上,口语能力不是直接教出来的,而是通过输入习得能力之后自然形成的。通过教学方法对语言习得与语言学习的关系的研究,探索为英语口语教学提供最佳语言输入,以促进学生语言能力的形成。     

Influence of Language Environment on Second Language Acquisition

As the development of the economy and technology as well as the education,more and more people begin to learn English.There are many factors that can affect the learning effect,such as emotion,motivation,environment and etc,but the most important one should be the environment factor.The learners only be put into the target language,they can experience the real language,and make progress in a relatively short period of time.