基于灰熵的汉语机器翻译消歧研究

为了更有效的克服歧义这一汉语机器翻译的瓶颈问题，提高汉语自动分词精度，采用改进蚁群算法和灰熵对汉语的自动分词问题进行了研究。在构造分词模型的基础上，以灰熵度量分词的准确性。应用实例证明了方法的有效性。该方法对于提高我国机器翻译水平，提高我国数字化水平具有重要意义。     

中文分词系统设计之词典构造

中文分词技术是中文信息处理的关键,开发设计中文分词系统需要选择合适的平台构造分词词典,处理分词方法。本文是利用VC＋＋6.0作为开发工具,介绍系统设计之初词典的构造与加载的方法。     

英语动词-ing及-ed非限定式分类分析

针对语言学领域英语动词的-ing形式及-ed形式区分认识的一贯分歧,从英语语言史实出发,结合对英语语言使用现状的考察,对这两种非限定形式的结构特征做详细分析,以期梳理出动词的这两类非限定构成的语法动因。分析表明:动词的-jng形式实质上包含两类不同的语言现象,其中之一是现在分词,与-ed非限定式同属分词范畴,另一类则是名词性质的动名词。     

基于国际标准编码系统的藏文分词词典机制研究

藏文分词词典是藏文自动分词系统的的重要组成部分.词典的数据结构与检索速度直接影响到自动分词系统的质量.文章对几种常见的汉语分词词典机制及其效率进行了分析,并根据藏文基本集编码字符串的结构特征,提出了一种逐音节二分的藏文分词词典机制.     

对英语中＂悬垂结构＂的研析

英语的悬垂结构是英语语法中的一个难点,这种结构有不合逻辑,错误的一面,但在某种情况下却又有被认可的一面,英语初学者在把握不准的情况下很容易犯错误。本文拟就悬垂结构的用法进行分析研究,同时阐明在什么情况下悬垂结构是错误的,什么情况下是正确的。     

基于SVM的日文网页分类

网页分类是使用机器学习算法实现网页类别的自动标注。提出了一种基于SVM的日文网页分类方法,针对日文的特点,设计日文词素词典与规则库,并以此为基础进行日文分词和特征表示,然后使用互信息度进行特征选择,最后应用SVM来构造分类超平面,对日文网页进行分类。最后通过实验进行了验证。     

基于改进的朴素贝叶斯文本分类研究

文本分类(Text Categorization,TC)指的是把一个自然语言文本,根据其主题归入到预先定义好的类别中的过程.文本分类是自然语言处理的一个基础性工作,也是近年来人们研究的热点话题.针对朴素贝叶斯算法在小样本集分类效果不高的原因进行了分析,对其进行了改进和调整,提出了基于改进的朴素贝叶斯文本分类方法,试验结果表明,该方法取得了更好的效果.     

一种基于语词的分词方法

提出了一种基于语词的分词系统 ,设计了相应的分词词典 .该分词词典支持词条首字Hash查找和标准的不限词条长度的二分查找算法 ,并应用于全文检索中 .结果分析表明 ,此分词系统无论是在检索速度上 ,还是在歧义处理上都有很大的改进     

基于词形的最佳路径分词算法

在基于词形统计模型分词算法的基础上，通过以存词表结构的有效组织及改进词的匹配算法和切分算法，并以最佳路径法实现了一种快速的基于词形的分词算法，在保证了较高准确率的同时，大大提高了分词速度。     

Nutch中文分词插件的编写与配置

由于Internet的迅猛发展,使得用户查找信息犹如大海捞针,而搜索引擎则能帮用户很好的解决这个问题。Nutch是用java语言开发的,基于Lucene的完整的网络搜索引擎,并采用插件机制进行设计,通过对扩展点的扩展,用户可以开发自己的各类插件。由于Nutch的分词器对中文只进行单字切分,若要实现较好的对中文信息的搜索查询,就需要编写一个中文分词器。下面介绍Nutch中文分词插件的实现与配置。