基于最长次长匹配分词的一体化中文词法分析

针对当前大多数词法分析系统流水线式处理方式存在的不足,提出一种一体化同步词法分析机制.在最长次长匹配分词的基础上,在切分有向图中增加词性信息和候选未登录词节点,并拓展隐马尔可夫模型,在切分有向图内同步完成分词、歧义消解、未登录词识别和词性标注等词法分析任务.实现了分词与词性标注的一体化、未登录词识别与分词的一体化以及不确定词性未登录词处理的一体化.一体化机制使词法分析中各步骤实现真正意义上的同步完成,充分利用上下文词法信息提高整体精度并保证了系统的高效性,避免了各步骤间的冲突.开放测试表明,系统综合测试的F值为98.03%.     

数据库受限汉语自然语言查询的分词研究与实现

对数据库受限汉语自然语言查询语句进行分渊处理．分词算法分为两个部分,第一部分对最大匹配法进行改进,改进的核心思想足体现整句长词优先的原则,改进后的算法能够减少切分歧义;第二部分根据实例数据库的查询需要处理姓名和不稳定的属性值两类未登录词,未登录词的识别对后续句子的理解起着至关重要的作用．     

藏文信息处理中自动分词方法的研究

藏文分词是藏文信息处理领域的一项不可缺少的基础性工作,也是智能化藏文信息处理的关键所在。在藏文分词的研究过程中藏文分词的准确性,直接制约着藏文输入法研究、藏文电子词典建设、藏文词频统计、搜索引擎的设计和实现、机器翻译系统的开发、藏文语料库建设以及藏语语义分析研究等高层藏文信息处理技术的进一步发展。本文借鉴汉语的分词理论和方法,提出符合藏文特性的分词方法,以及歧义字段切分和未登录词识别等相关问题,并举例说明。     

基于小字符集的藏文自动分词技术研究

文章针对传统藏文分词的切词难点及切分歧义现象,提出一种基于小字符集的藏文自动分词技术方案.其中包括分词预处理、多级Hash词典机制、藏文格助词紧缩格的判别及还原规则、逐字匹配算法和未登录词的处理等内容.     

基于延迟决策和斜率的新词识别方法

采用词典分词时会遇到未登录词的识别问题.本文提出一种新的中文新词识别方法，用于全文信息检索系统索引的建立.在索引切分过程中遇到无法切分字串时，暂存为未切分串，并生成统计信息.待未切分串达到一定数量时，再利用生成的统计信息结合斜率（加速度）的方法来切分暂存的未切分串.切分的结果可以进入索引，对于出现频率高的切分片段可以提取加入词典.     

结合BERT数据增强的基于词切分的蒙汉神经机器翻译系统

神经机器翻译是目前机器翻译领域主流研究方法,但是蒙汉平行语料的稀缺使得蒙汉神经机器翻译性能难以提升.本文针对基于Transformer的蒙汉神经机器翻译系统,利用深度学习模型对蒙古文词切分方法进行研究,分析了蒙古文部分切分、BPE子词切分和BiLSTM-CNN-CRF神经网络切分方法对于蒙汉机器翻译模型的影响,并在此基础上利用基于BERT(bidirectional encoder representations from Transformers)中文语义相似度计算的数据增强技术去扩充蒙汉机器翻译训练数据.在CCMT2019提供的数据集上进行对比实验,实验结果表明,数据增强方法的BLEU值相较于基线实验提升显著,且BLEU4值达到了75.28%.     

多策略切分粒度的藏汉双向神经机器翻译研究

现有的机器翻译模型通常在词粒度切分的数据集上进行训练,然而不同的切分粒度蕴含着不同的语法、语义的特征和信息,仅考虑词粒度将制约神经机器翻译系统的高效训练.这对于藏语相关翻译因其语言特点而显得尤为突出.为此提出针对藏汉双向机器翻译的具有音节、词语以及音词融合的多粒度训练方法,并基于现有的注意力机制神经机器翻译框架,在解码器中融入自注意力机制以捕获更多的目标端信息,提出了一种新的神经机器翻译模型.在CWMT2018藏汉双语数据集上的实验结果表明,多粒度训练方法的翻译效果明显优于其余切分粒度的基线系统,同时解码器中引入自注意力机制的神经机器翻译模型能够显著提升翻译效果.此外在WMT2017德英双语数据集上的实验结果进一步证明了该方法在其他语种方向上的适用性.     

HENU汉语自动分词系统中歧义字段消除算法

先用基于词典的最大匹配法匹配出最长词和次长词，再用检测跨越的方法发现切分歧义，判断出切分歧义是交集型切分歧义还是组合型切分歧义，根据切分歧义类型的不同分别进行切分歧义的消除．交集型切分歧义的消除方法主要是混合使用基于规则的方法和基于统计的方法，组合型歧义的消除方法主要是使用基于规则的方法，找到正确的切分位置．     

藏文分词中交集型歧义字段的切分方法研究

藏文自动分词是藏文信息处理中一项不可缺少的基础性工作,是藏文搜索引擎、语法信息词典建设、机器翻译、语音合成、文本自动分类、自动摘要、自动校对等等研究的基础工作。藏文自动分词中歧义消除也是关键技术,文章提出了藏文交集型歧义的切分方法即双向扫描识别和最大概率分词算法进行处理的方法。     

中文搜索引擎中的分词技术研究

分词模块是中文搜索引擎的一个重要组成部分,针对分词提出了一种最短路径与共首字歧义词概率的比较相结合的方法,首先寻找最短路径.如果最短路径不只一条,就比较共首字歧义词概率,选择概率较大的一条路径,效果非常明显.对未登录词识别提出了一种改进的移动窗口算法,在单字序列中移动窗口,并记录状态来寻找新词,能够识别大部分的未登录词.     

基于改进BP网络的中文歧义字段分词方法研究

文本挖掘中中文歧义字段的自动分词是计算机科学面临的一个难题.针对汉语书写时按句连写,词间无间隙,歧义字段分词困难的特点,对典型歧义中所蕴含的语法现象进行了归纳总结,建立了供词性编码使用的词性代码库.以此为基础,通过对具有特殊语法规则的歧义字段中的字、词进行代码设定,转化为神经网络能够接受的输入向量表示形式,然后对样本进行训练,通过改进BP神经网络的自学习来掌握这些语法规则.训练结果表明:算法在歧义字段分词上达到了93.13%的训练精度和92.50%的测试精度.     

论语言的模糊性

人的思维具有模糊性,是人类大脑高度发达的表现。人的思维具有模糊性导致人的语言也具有模糊性。语言的模糊性不仅丝毫无损人类语言的交际功能,反而极大地增强了语言的柔性和张力。词区分为模糊词和精确词。现代口语中模糊词使用的频率很高。有时精确词的含义也会变成模糊的。语法学家无法消除语法范畴中的各种模糊现象。在文学创作中,模糊语言有它特殊的表达功能,它可以增添含蓄蕴藉的审美效果。     

英汉语歧义比较与机器语言

本文对英汉两种语言中广泛存在的三种岐义类型（词语歧义、结构歧义、语义歧义）进行分析和比较，指出了英汉两种语言在歧义现象方面存在的一些异同。文章给出了英汉两种语言中某些岐义现象产生的原因，对英汉语文章的机器理解及机器互译提供了有益的启示。     

英语新词的时代特色

语言作为文化的一部分，是文化的一种折射，透过一个民族的语言层面窥见的仍是这个民族绚丽多彩的文化形态。语言中的词汇对社会生活的变化尤为敏感，社会发展推动了英语新闻的产生。英语新词也不可避免地烙上了英语民族文化心理的印记。英语新词作为信息载体，具有较强的信息功能，是我们了解英美社会文化的一个窗口。本文结合近几年出现的英语新词，看重从科技、政治、经济和社会生活等几方面分析了新词产生的社会背景和折射的社会文化状态。同时，新词也丰富了英语的表达能力。     

汉语新词的特征及教育对策

分析了汉语新词的特征，即创新性和生疏性，口语化和形象性，吸收性和复活性；探讨了汉语新词的教育对策，即汉语新词规范的辩证性和实践性。     

试论英语外来词的汉化翻译

从英语外来词汉化翻译的主要形式出发,阐述英语外来词的汉化翻译受现代汉语语言特点的规约,并探讨汉语吸收外来词过程中潜在的语言认知心理,以期更好地理解和吸收英语外来词。     

基于Perl的汉语自动分词算法研究

汉语的自动分词是汉语语言处理的基础,本文讨论了汉语自动分词歧义问题的产生与分类,重点研究了交集型歧义字段的排歧策略,实现了一种基于Perl的汉语自动分词方法,在比较同种算法的VC 实现上,结果显示基于Perl的实现具有简洁和高效的优点。     

基于POS-CBOW语言模型的相似词分析

相似词分析是自然语言处理领域的研究热点之一,在文本分类、机器翻译和信息推荐等领域中具有重要的研究价值和应用意义。针对新浪微博短文本的特点,给出一种带词性的连续词袋模型(POS-CBOW)。该模型在连续词袋模型的基础上加入过滤层和词性标注层,对空间词向量进行优化和词性标注,通过空间词向量的余弦相似度和词性相似度来判别词向量的相似性,并利用统计分析模型筛选出最优相似词集合。实验表明,基于POS-CBOW语言模型的相似词分析算法优于传统CBOW语言模型。     

基于表情符号和情感词的文本情感分析模型

文本情感分析是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。文本中的表情符号也能表达一定的情感。针对情感分析研究时先去除包含表情符号在内的停用词这一方法,本文在判断情感倾向性时考虑情感词和表情符号的共同作用,提出了一个包含表情符号的文本情感分析模型。通过设置一定阈值,可以对社交网络中过激情感进行实时监测。     

论婉约词的审美方式

婉约词相对于豪放词更具有词的本质特征。作为词的本色风格 ,它以纯美言情为其特有的审美方式。而不同类型的婉约词又具有各自不同的审美方式 ,如寄言派的深婉、艳情派的直露和自然派的纯朴等。