基于最大熵模型的词位标注汉语分词

近年来基于字的词位标注汉语分词方法极大地提高了分词的性能,该方法将汉语分词转化为字的词位标注问题,借助于优秀的序列标注模型,词位标注汉语分词逐渐成为汉语分词的主要技术路线.该方法中特征模板集设定和词位标注集的选择至关重要,采用不同的词位标注集,使用最大熵模型进一步研究了词位标注汉语分词技术.在国际汉语分词评测Bakeoff2005的语料上进行了封闭测试,并对比了不同词位标注集对分词性能的影响.实验表明所采用的六词位标注集配合相应的特征模板集TMPT-6较其他词位标注集分词性能要好.     

基于SVM的日文网页分类

网页分类是使用机器学习算法实现网页类别的自动标注。提出了一种基于SVM的日文网页分类方法,针对日文的特点,设计日文词素词典与规则库,并以此为基础进行日文分词和特征表示,然后使用互信息度进行特征选择,最后应用SVM来构造分类超平面,对日文网页进行分类。最后通过实验进行了验证。     

基于改进的朴素贝叶斯文本分类研究

文本分类(Text Categorization,TC)指的是把一个自然语言文本,根据其主题归入到预先定义好的类别中的过程.文本分类是自然语言处理的一个基础性工作,也是近年来人们研究的热点话题.针对朴素贝叶斯算法在小样本集分类效果不高的原因进行了分析,对其进行了改进和调整,提出了基于改进的朴素贝叶斯文本分类方法,试验结果表明,该方法取得了更好的效果.     

汉语自动分词中中文地名识别

以词语级的中文地名为识别对象,根据地名内部用字的统计信息和地名构成特点产生潜在地名．在汉语自动分词中将可信度较高的潜在地名等同于句子的候选切分词,利用候选切分词本身的可信度和上下文接续关系评价句子的各种切分方案．在确定句子最佳切分时识别句子中的中文地名．对真实语料进行封闭和开放测试,封闭测试结果为召回率93．55％,精确率94．14％,F-1值93．85％;开放测试结果为召回率91．27％,精确率73．48％,F-1值81．42％．取得了比较令人满意的结果．     

藏文短消息UNICODE编码传输协议的实现

在藏文数字电话的研究基础上开发藏文短消息的收发功能,实现在移动终端上藏文的传输。文章论述了藏文的特点、Unicode编码的结构、藏文短消息的编码/解码算法以及藏文输入法的设计思路和实现。最终完成藏文短消息的传输编码及应用。     

藏文消息域框架语义系统的设计与研究

文章以框架语义学为理论基础,以消息域为研究对象,探索藏文自然语言处理中藏语框架语义分析的理论和方法,探讨了用框架描述消息域的知识方式,并用语义框架项的描述及消息域框架间的层级关系设计了藏文消息域框架语义系统,为藏文典型实例的分析提供支撑.     

中文分词系统设计之词典构造

中文分词技术是中文信息处理的关键,开发设计中文分词系统需要选择合适的平台构造分词词典,处理分词方法。本文是利用VC＋＋6.0作为开发工具,介绍系统设计之初词典的构造与加载的方法。     

英语动词-ing及-ed非限定式分类分析

针对语言学领域英语动词的-ing形式及-ed形式区分认识的一贯分歧,从英语语言史实出发,结合对英语语言使用现状的考察,对这两种非限定形式的结构特征做详细分析,以期梳理出动词的这两类非限定构成的语法动因。分析表明:动词的-jng形式实质上包含两类不同的语言现象,其中之一是现在分词,与-ed非限定式同属分词范畴,另一类则是名词性质的动名词。     

基于国际标准编码系统的藏文分词词典机制研究

藏文分词词典是藏文自动分词系统的的重要组成部分.词典的数据结构与检索速度直接影响到自动分词系统的质量.文章对几种常见的汉语分词词典机制及其效率进行了分析,并根据藏文基本集编码字符串的结构特征,提出了一种逐音节二分的藏文分词词典机制.     

藏汉英电子词典硬件产品中藏文键盘的设计和实现方法

文章提供一种藏文输入键盘、藏文输入方法及系统，以解决目前在藏汉英电子词典上有限的键位上没有合理的键盘布局，以及没有实现所有藏文输入的问题。