基于最大熵算法的全文检索研究

全文检索是一种有效的信息检索技术,改进最大熵模型的应用研究在自然语言处理领域中受到关注。笔者利用语料库中词性标注和词频标注的上下文信息,建立基于互信息的最大熵方法的检索系统,研究的重点在于提出一种中文分词算法,并从实际问题出发,采用面向对象和模型驱动的设计方法,将该算法应用于实际的全文检索系统的设计中。     

浅谈维吾尔语术语标准化的必要性及标准化原则

摘要 文章叙述了维吾尔语术语的历史和发展状况,通过对维吾尔语术语标准化原则的讨论,说明了维吾尔语术语的规范化工作的重要意义和方法。维吾尔语言文字是维吾尔族的重要特征之一,她与维吾尔民族文化的发展有着密切的联系。现用维吾尔文的前身就是察哈台语,我们祖先当初与阿拉伯语接触之前一直用着古代维吾尔语,随着信仰伊斯兰教,阿拉伯文的社会地位也逐渐提高了,也就自然地排除了古代维吾尔文,因而就形成以阿拉伯文字为基础的维吾尔文——察哈台语(从14世纪到20世纪30年代)。1930年以后随着新疆排版事业的发展,察哈台语也就成为维吾尔语里不是独立音位的阿拉伯语专用的字母。经过多次讨论、调查研究制定出了维吾尔语的字母,而且也增加了维吾尔语不可缺少的,使用频率很高的几个元音(按照一个元音用一个音位表达的原则)字母,其顺序也重新确定了,并在1954年4月23日前新疆省政府21次委员会议上通过。但是由于历史缘故,从1954年到1982年用的是拉丁文字母为基础的维吾尔语新文字。现用的维吾尔文于1984年1月1日重新使用。我们正处在信息时代,随着科学技术的飞速发展,新事物、新概念和新技术不断涌现,用维吾尔语准确表达、命名和使用新术语是一项重要的工作,也是一项基础性的系统工程。如果我们不重视术语标准化工作,就不可能学习、推广和普及现代科学技术,更谈不上民族的进步。术语标准化是语言文字规范化工作的重要前提和基础。因为一个民族和地区对语言文字规范化工作的重视程度主要表现在该民族语言术语标准化程度的高低,以及该地区、该民族在教育和科技等方面的发展程度。如果术语不统一、不规范,就会影响各种信息的记录、交流和传播,从而也影响经济发展和社会进步。维吾尔语名词术语的规范和统一不是简单的筛选过程,而是在充分把握术语的科学性、系统性和实践性的基础上,按照现代科学技术的主流,从维吾尔语的实际出发,科学地辨别和挑选,认真处理新词术语的科学性、系统性和通俗性的关系,母学科与子学科的交叉关系等一系列过程。维吾尔语名词术语的审定原则早在20世纪50年代自治区民族语言文字工作机构成立时就已提出。1986年,少数民族语言名词术语规范审定委员会成立时,在总结过去经验的基础上,制定了术语标准化“从实际出发,按照维吾尔语言内部规律办事,着眼于群众”的总原则。实践证明,在继续坚持这项总原则的基础上还需要制定一些具体原则和细则。语言文字是为社会和广大人民群众服务的,不从实际出发,不充分着眼于人民群众,不重视使用习惯,不按照维吾尔语的内部规律办事,将会阻碍维吾尔语的正常发展。维吾尔语的术语标准化原则从大的方面来讲可归纳为以下三点：1.挖掘：口语是文字语言的基础,也是书面语形成和发展的基础,因此,可以采用维吾尔语中固有的,可赋予新义的词汇,以及具有生命力的方言土语,和群众在日常生活中习惯使用的词汇来补充和丰富维吾尔语术语。例如：2.创制：也就是按照维吾尔语的内部规律给原有的词根加前缀或后缀来创制新词语。为了使维吾尔语的发展与社会发展要求相适应,创制新词语也是一种有效的途径,是维吾尔语不断发展的标志。例如：3.借用：指直接采用汉语及亲属民族语言词汇,以及外国语词和国际通用名词术语。世界上没有不受其他语言影响的纯而又纯的语言,维吾尔语也不例外。但是在借词问题上应注意适当的比重。实际上,社会科学术语用维吾尔语固有的基础词汇表达的多些,自然科学术语则少些。如果处理好这个问题,不但不影响该民族语言的独立性,而且还能丰富本民族的语言,这对本民族未来的发展有利而无害。由于历史的缘故,社会和地理环境等原因,各种语言相互渗透,相互影响是很自然的。维吾尔语借用术语首先要从亲属语言中借用。维吾尔语的畜牧业术语中有一部分就是从哈萨克语中借来的,当然也有其他亲属语言词汇。例如：通过音译的方法吸收汉语借词也是丰富维吾尔词汇的有效途径之一,而且有些词汇是人民群众早已习惯并在书面语中已定型的术语,一般不能轻易改动。例如：在外语借词方面,文革前后从俄语或通过俄语从其他外国语言中借的词汇较多。因为那时我们在文化、教育、科学技术、经贸等方面与苏联的来往很频繁,故一些新词术语尤其是科技术语的渗透也是不可避免的。这类外语借词往往采用音译为主的原则。例如：从20世纪80年代开始,随着世界信息技术的突飞猛进,英语的使用领域逐渐扩大,维吾尔语中从英语或通过英语从其他外国语言中吸收的术语越来越多了。在对英、俄借词方面则用符合维吾尔语音规则的音译为主的原则。这主要体现在信息科学、经贸、计算机学科等领域中。例如：对人民群众已经习惯了的术语不轻易改动,否则会造成新的混乱而不利于名词的统一。在借词问题上有一部分人过分强调保持维语的纯洁性,提出对一些术语进行修改的意见。例如：如果对以上已经习惯了的借词术语改动,就会对维吾尔语族的发展造成不利影响,而且这些词汇可以说是在维吾尔语中没有什么借词痕迹的词了。维吾尔语借用国际通用的术语时,主要遵循音译为主,意译为副的原则。维吾尔文字是拼音文字,音位系统也很完善,所以在借用国际上通用的术语时,根据维吾尔语能发音,能拼音的特点,直接借用这是一种简便的方法,而且能与原术语保持一致。总之,维吾尔语名词术语的规范审定工作开展得较晚,而且缺乏人力和必要的经费,任务繁重。十几年来,经过努力已把规范审定过的常用术语及科技术语汇编入《维吾尔语详解词典及正字法词典》、《常用名词术语汇编》。科技术语和常用术语总共规范审定了8万条。我们埋头苦干作出了一些成绩,但是要做好维吾尔语术语标准化工作不是一朝一夕的事,也不是一两个人就能做好的事,应该得到全社会的普遍重视和长期不断努力。这样才能逐步形成一个规范化、系统化、准确化的维吾尔语术语体系,才能达到术语发展与科学技术发展同步进行的最终目的。     

上下文相关汉语自动分词及词法预处理算法

提出了一种适合于汉英机器翻译的上下文相关汉语自动分词及词法预处理算法.该算法采用正向多路径匹配算法和基于上下文相关知识的歧义切分消解算法,充分利用汉英机译系统词典库中的大量语法和语义等知识进行上下文相关的规则推导消歧,使自动分词的准确率达到了99%以上.同时,该算法还对汉语中意义冗余的重叠词和可以与中心词离合的虚词等进行了词法预处理,从而一方面可以减少系统词典的收词量,另一方面方便于对句子的分析处理.     

基于混合机器学习模型的短文本语义相似性度量算法

为提高短文本语义相似性度量准确性,设计一种基于混合机器学习模型的短文本语义相似性度量算法.先对短文本实施预处理,基于混合机器学习模型构建短文本的字词向量模型,对短文本进行特征扩展;然后组合短文本的多样度量特征,对多样度量特征进行维度规约;最后通过构建一个集成学习模型,计算语义相似性结果,实现语义相似性的度量.使用“Quora Question Pairs”比赛数据集测试该方法的性能,测试结果表明,该方法的准确性较高,对数损失和度量均方差均较低,说明该方法的相似性度量准确性较高.     

维吾尔语元音/ɑ/的实验研究

文章基于"维吾尔语语音声学参数数据库"研究了维吾尔语元音/ɑ/在词首和非词首位置上的声学表现,主要考察了不同的音节类型和数量以及前后辅音对该元音在口腔内的影响,并提出了[ɑ~j]、[a]、[■]、[Λ]、[ɑ]五种音位变体,其中/ɑ/为该元音的典型变体.     

基于ipad初级维吾尔语电子教材设计与开发

随着移动互联技术的发展和智能终端的普及,一种新的学习方式——基于移动终端的随时随地、碎片化的学习方式,逐渐成为青年一代获取信息、学习知识的一种新方式.基于iPad电子教材,具有富媒体性、交互性、关联性、开放性等特征,能够多方位刺激学习者的感官,与学习者进行双向互动,增强学习者的参与性,成为理想的教与学的资源.在"初级维吾尔语"电子教材的建设过程中,课题组对其教学设计和制作流程进行了研究和探索,完成了该课程的电子教材开发.     

安徽理工大学学报(自然科学版)2014年第34卷总目次

<正>~~     

基于N-最短路径的中文分词技术研究

中文分词技术是中文信息处理的基础,快速、准确的中文分词方法是进行中文信息搜索的关键。基于N-最短路径的分词算法,需要计算有向图中从起点到终点的所有路径值,分词效率低,将动态删除算法与最短路径算法结合,通过从最短路径中删除部分节点的策略减少搜索路径范围,从而提高分词效率。     

基于改进的正向最大匹配中文分词算法研究

中文自动分词技术在中文信息处理、Web文档挖掘等处理文档类研究中是一项关键技术,而分词算法是其中的核心.正向最大匹配算法FMM( Forward Maximum Match)具有切分速度快、简洁、容易实现等优点,但是还存在分词过程中设定的最大词长初始值固定不变的问题,带来匹配次数相对较多的弊端.针对此问题提出了根据中文...