汉语关键节点分词探析——来自盲文实践的启示

书写方式的变革要以人为本,适当兼顾计算机信息处理。词式书写不具备理论研究价值,全面分词连写的必要性和可行性都比较低,需要深入的理论研究,实践研究层面难以闯过起步关。我国大陆盲文实行全面分词连写,对盲文编校专业人员的难度非常大,普通盲人更是难以承受。如果对汉字文本仅在专有名词和有歧义的关键节点进行分词,分词率控制在1%以内,对现有习惯冲击小、可行性高、效益大。借鉴藏语的间隔号,比空格的接受度可能更高。关键节点分词可以作为汉语书写变革的目的地,也可以作为向全面分词连写前进的中途点。     

一种基于字和子串联合标注的汉语分词方法

近年来基于字的词位标注的方法极大地提高了汉语分词的性能,该方法将汉语分词转化为字的词位标注问题,借助于优秀的序列数据标注模型,基于字的词位标注汉语分词方法逐渐成为汉语分词的主要技术路线.针对一些领域文本中含有较多的英文词汇、缩写、数字等非汉字子串,提出了一种基于字和子串联合标注的汉语分词方法,该方法将子串看作和汉字等同的一个整体,采用四词位标注集,使用条件随机场模型深入研究了基于字和子串联合标注的汉语分词技术.在CIPS-SIGHAN2010汉语分词评测所提供的文学、计算机、医药、金融四个领域语料上进行了封闭测试,实验结果表明此方法比传统的字标注分词方法性能更好.     

汉语盲文中“的”字分词连写的问题与对策

“的”字在现代汉语中使用广泛,构词能力强。“的”字结构表面简单,实则复杂。在盲文分词连写规则中,“的”字的处理经历了从繁复到简略的过程。黄乃先生根据语法功能对“的”字的分词连写进行了区分,但是规则复杂且不易操作;现行盲文以分为主,由于处理的方式过于简单而忽略了“的”字结构内在的句法、语义关系。“的”字的分词连写存在理论复杂性与实际应用简单化之间的矛盾。将是否出现中心语作为“的”字结构分词连写的显性标记,既能反映“的”字结构的基本语法关系,又具有操作的简便性,为盲文分词连写相关规则的修订提供一定的借鉴与参考。     

一种采用基于语境松弛算法的汉语分词排歧方法

词切分是像汉语这类非拉丁语言的一个特有问题，并且由于汉语组词中普遍存在着岐义性和语境依赖性，这一问题也是一个尚未得到彻底解决的难题。本文通过仔细分析汉语分词岐义的规律，将追求整体最优效果的松驰算法引入到汉语自动分词的排岐研究中。借助于语词之间搭配关系等上下文约束条件以及词频、字频等统计数据，构造了一种汉语分词排岐的新方法。实验结果表明，这种方法在切分精度和切分速度上都取得了较好的效果，为解决汉语自动分词难题提供了一种新途径。     

浅析藏文分词中的几个概念

词、格助词、藏文信息和分词单位等概念是藏文分词过程中必须提及的几个专业术语。文章依据《咨询用中文信息处理分词规范》、《中文信息处理分词之基本词表》、《信息处理用现代汉语分词规范》和《分词词表》等地区和国家标准,结合藏文传统语法典籍和汉语语义分类体系,对这几个概念进行了论述。     

应用“层次分析法”优化汉语盲文分词连写规则

应用现有的分词连写规则书写汉语普通话盲文,会因人因时而得到不同的分词结果。为减少这种分词的不确定性,提出了应用“层次分析法”优化分词规则的方案。首先论述了普通话盲文的“结构分层”理论,继而给出了优化分词连写规则的总体原则、思路和优势,在详细介绍层次分析法基础理论后给出了应用层次分析法分词的原则,并列举有代表性的11个实例进行分析。改进的分词策略,不仅简化了分词规则、在很大程度上减少了盲文分词的不确定性,简单易用。     

书面汉语自动分词及歧义分析

歧义现象是自动分词过程中不可避免的现象，本文通过对自动分词过程的分析，总结出书面汉语自动分词中歧义产生的根源，提出处理这些歧义字段的方法．     

基于改进BP网络的中文歧义字段分词方法研究

文本挖掘中中文歧义字段的自动分词是计算机科学面临的一个难题.针对汉语书写时按句连写,词间无间隙,歧义字段分词困难的特点,对典型歧义中所蕴含的语法现象进行了归纳总结,建立了供词性编码使用的词性代码库.以此为基础,通过对具有特殊语法规则的歧义字段中的字、词进行代码设定,转化为神经网络能够接受的输入向量表示形式,然后对样本进行训练,通过改进BP神经网络的自学习来掌握这些语法规则.训练结果表明:算法在歧义字段分词上达到了93.13%的训练精度和92.50%的测试精度.     

汉语拼音正词法及其在对外汉语教学中的应用

讨论了汉语拼音分词连写的必要性,简要介绍了《汉语拼音正词法基本规则》的基本内容,列举了一些对外汉语教学中不符合正词法的现象,分析了出现这些现象的原因,并提出了解决问题的对策。     

汉韩翻译中汉字词的使用方法

韩国语中的汉字词起源于汉语，很多的汉字词都保留着它原有的汉语词义。但由于历史的发展及文化背景的不同，汉字词与它相对应的汉语又产生了很多的差异，其中词性褒贬、词义范围、词义内涵、习惯用法等都产生了变化。     

外来词用字(或字母)的读音规范

汉语中的外来词，有用汉字书写的，也有用字母书写的。从历时角度说，有些用于书写古代外来词的汉字的读音，在今天看来，则是一种毫无理据的特殊读音，是否保留，应该有个取舍的准则；从共时角度说，外来字母词与汉拼字母词并行，同一字母多种读音的现象不可避免，自然也应该设法解决。对于前者，笔者的建议是：换用符合古外来词读音的汉字，从而取消原用汉字的特殊读音。对于后者，笔者的建议是：汉拼字母词按汉语读音读，外来字母词按外语读音读，并促进外来字母词按“汉拼音译、汉字音译和意译”三种方式，逐步融汇于汉语系统。     

论古代语言研究中“以字为词”的合理性

现代语言学在对中国传统语言研究进行评价时，经常会提出这样的一条批评，即说它只重视字，不重视词，存在把文字中的“字”当作语言中的“词”的倾向．因此，怎样评价古代以文字为主要对象的语言研究，也就成为总结、继承古代语言研究成果的一个重要问题．一、“以多为词”的语言单位观提出这种批评的人首先是在词与字之间划了一道难以逾越的异域，把语言与文字看作是毫不相关的两个东西，特别是把汉字看作是游离于汉语之外，可以任意替换的一种文字。而在古代、人们已经看到，汉字不再是一个单纯作为一个视觉符号出现在人们的眼前，而是它…     

古代汉语判断句中“是”的词性刍议

古代汉语和现代汉语都有判断句式,但是两者的表达方式并不一样.现代汉语的判断句一般是在主语和谓语之间用“是”表示肯定判断,在“是”前加“不”表示否定判断.这种判断句中的“是”传统称之为系词.古代汉语中的判断句则不完全是这样,呈现出一种比较复杂的情况,甚至有没有判断词存在,至今学术界都还有争议.杨树达先生《高等国文法》、《词诠》,杨伯峻先生的《论语译注》等书,总结了前人研究成果,认为先秦文献中已有系词的用法(杨树达称“不完全内动词”、杨伯峻称“连系性动词”).王力先生在《汉语史稿》、《古代汉语》等书里,则指出先秦无系词,至于“是”字作为系词是汉以后的事了.有的古汉语专著则肯定“是”是个专门的指示代词,不是表判断的判断词.有的同志认定如果有系词“是”,也是由指示代词虚化而来的.     

试论汉字夹用汉语拼音

本文着重论述两个问题:一个是阐述汉字夹用汉语拼音的好处:可以弥补汉字在表音功能上的缺陷;能够对精简汉字起一定的促进作用;统一译名,统一读音,有利于推广普通话,有利于汉语规范化;有利于普及与巩固汉语拼音方案的知识.另一个是提出汉字夹用汉语拼音的试验范围:感叹词、拟声词、助词、音译外来词、生僻字以及口语中有音无字的词.作者认为汉字夹用汉语拼音这种试验是值得提倡的,它既是完善现代汉语记录系统的一项措施,又是《汉语拼音方案》扩大实际应用的一项具体工作.     

对中日同形异义语“勉强”的考察

在学习日语的过程中,我们时常会注意到：日语里许多同汉语书写一致的汉字熟语却存在着和汉语大不相同的意义和用法。中日汉字之间的意义及用法差异是如何产生的？追根溯源,中国是汉字的发祥地。日语里使用的汉字大部分都是从中国传递过去的。中日同形的汉字词,是不是在传递到日本之后发生了某种变迁,从而形成了与原汉字词意义迥异的新词汇呢？在本稿中,我们从众多的中日同形异义词当中选取了使用频率较高的“勉强”一词,通过和原汉语词的对比来探讨现代日语中“勉强”一词各意义的由来。     

藏文信息处理中自动分词方法的研究

藏文分词是藏文信息处理领域的一项不可缺少的基础性工作,也是智能化藏文信息处理的关键所在。在藏文分词的研究过程中藏文分词的准确性,直接制约着藏文输入法研究、藏文电子词典建设、藏文词频统计、搜索引擎的设计和实现、机器翻译系统的开发、藏文语料库建设以及藏语语义分析研究等高层藏文信息处理技术的进一步发展。本文借鉴汉语的分词理论和方法,提出符合藏文特性的分词方法,以及歧义字段切分和未登录词识别等相关问题,并举例说明。     

对《现代汉语》教材“汉字”章节的几点意见

现行《现代汉语》教材汉字章节存在着概念不统一、古今混讲、标准不一致、缺乏理论创新等问题，与其他章节相比还存在内容失衡的现象。要解决这些问题，可将“规范汉字”章节从《现代汉语》教材中分离出来，建立与汉语“普通话”相匹配的“规范汉字学”学科。     

汉语自动分词系统中切分歧义与未登录词的处理策略

本文主要综述了汉语自动分词系统中,切分歧义与未登录词的表现形式以及相应的处理策略,指出在没有完全突破现行机器翻译理论的前提下,增强机器翻译系统中切分歧义与未登录词的处理能力,是提高系统准确率的一种有效措施.     

“字本位”观与汉字教学

汉语教学通常强调言文并重,然而与其他教学要素相比,汉字教学从研究到教学一直都处于滞后状态。“字本位”观把汉字当做是书面汉语的基本单位,紧扣汉字的表意性特点,从形、音、义三位一体的“字”着眼来理解词的意义与读音,强调汉字的理据性,以字带动词的学习,重视汉字书写的训练。这样,汉字的形、音、义就能完整地呈现于学习者的脑海中,并由此而受到汉字文化的熏陶和感染。     

“字本位”观与汉字教学

汉语教学通常强调言文并重,然而与其他教学要素相比,汉字教学从研究到教学一直都处于滞后状态。“字本位”观把汉字当做是书面汉语的基本单位,紧扣汉字的表意性特点,从形、音、义三位一体的“字”着眼来理解词的意义与读音,强调汉字的理据性,以字带动词的学习,重视汉字书写的训练。这样,汉字的形、音、义就能完整地呈现于学习者的脑海中,并由此而受到汉字文化的熏陶和感染。