一种基于字和子串联合标注的汉语分词方法

近年来基于字的词位标注的方法极大地提高了汉语分词的性能,该方法将汉语分词转化为字的词位标注问题,借助于优秀的序列数据标注模型,基于字的词位标注汉语分词方法逐渐成为汉语分词的主要技术路线.针对一些领域文本中含有较多的英文词汇、缩写、数字等非汉字子串,提出了一种基于字和子串联合标注的汉语分词方法,该方法将子串看作和汉字等同的一个整体,采用四词位标注集,使用条件随机场模型深入研究了基于字和子串联合标注的汉语分词技术.在CIPS-SIGHAN2010汉语分词评测所提供的文学、计算机、医药、金融四个领域语料上进行了封闭测试,实验结果表明此方法比传统的字标注分词方法性能更好.     

融合多策略的中文分词算法研究

中文分词是中文信息处理领域的重要技术,现已成为中文信息处理研究中最成熟的领域.融合多策略的中文分词算法模型在字典匹配的基础上引入了标注统计和规则理解的优化策略,将已有的句法、语义研究应用到分词排歧与未登录词识别领域.通过实验对比,初步证实分词效果较好,达到模型分词的准确率和自适应性的提升.     

文本分词的自动校对

讨论和分析了自动分词的现状，并针对分词问题，提出了一种基于规则的中文文本分词自动校对方法。该方法通过对机器分词语料和人工校对语料的对比，自动获取中文文本的分词校对规则，并应用规则对机器分词结果进行自动校对，提高分词语料的质量。     

基于延迟决策和斜率的新词识别方法

采用词典分词时会遇到未登录词的识别问题.本文提出一种新的中文新词识别方法,用于全文信息检索系统索引的建立.在索引切分过程中遇到无法切分字串时,暂存为未切分串,并生成统计信息.待未切分串达到一定数量时,再利用生成的统计信息结合斜率（加速度）的方法来切分暂存的未切分串.切分的结果可以进入索引,对于出现频率高的切分片段可以提取加入词典.     

汉语自动分词中中文地名识别

以词语级的中文地名为识别对象,根据地名内部用字的统计信息和地名构成特点产生潜在地名．在汉语自动分词中将可信度较高的潜在地名等同于句子的候选切分词,利用候选切分词本身的可信度和上下文接续关系评价句子的各种切分方案．在确定句子最佳切分时识别句子中的中文地名．对真实语料进行封闭和开放测试,封闭测试结果为召回率93．55％,精确率94．14％,F-1值93．85％;开放测试结果为召回率91．27％,精确率73．48％,F-1值81．42％．取得了比较令人满意的结果．     

一种字母词语自动标注算法

自动分词是中文信息处理的基础,而未登录词识别是影响分词系统准确率的最主要的因素.字母词语作为中文信息处理中的一类未登录词语,现有的分词软件仍不能有效识别.为此设计了一个规则 统计的自动标注算法,该算法首先对原文本进行扫描,依据字母串正则表达式取得合法的字母串;再以字母串为锚点,往两边扫描,依次调用前后界规则、汉字组成成分规则、例外校正规则,结合搭配概率矩阵对字母词语进行识别和标注.实验结果表明:该算法的召回率为100%,准确率约为92%.该算法不仅对中文自动分词有益,而且所开发的软件可用于建设字母词语知识库和对字母词语语言现象的考察研究.     

基于混合模型的中文命名实体抽取系统

中文命名实体抽取的研究,存在分词、领域和方法三个方面的问题需要解决.解决方案是利用规则,对机器分词后的文本进行修正;提出"群山"模型,对不同领域制定不同的语言学规则;以统计学方法和语言学方法结合,对不同命名实体采用不同的方法等.根据实验结果,得出以下结论分词的错误将严重影响到最终的抽取结果;领域规则的应用可以提升抽取效果;不同方法的有机结合比采用单一方法有效.     

几种基于词典的中文分词算法评价

基于词典的中文自动分词是中文信息处理的基础.按照使用计算机缓存的优化原则,分析了几种典型的分词词典机制,指出了其中的一些问题.改进了整词二分法,极大地提高了速度.结合哈希索引和PATRICIA tree搜索算法,提出了一个综合最优化的中文分词系统.     

基于优化最大匹配与统计结合的汉语分词方法

汉语自动分词足中文信息处理的前提,如何提高分词效率是中文信息处理技术面临的一个主要问题.基于训典和基于统计的分词方法是现有分词技术的主要方法,但是前者无法处理歧义字段,后者需要大量的词频汁算耗费时间.本文提出优化最大匹配与统汁结合的分词方法,首先提出优化最大匹配算法,在此基础上提出了规则判断与信息量统计两种消歧策略.然后,给出了优化最大匹配与统计结合的分词算法,提高了分词的效率.最后,基十分词算法实现中义分词系统,并通过实验对算法进行了分析和验证.     

基于Nutch的搜索引擎技术

Nutch是一个优秀的基于Java的开放源码搜索引擎,是以Lucene为基础实现的搜索引擎应用程序,其工作流程和现代商业搜索引擎工作原理一样:文本搜集、建立索引和查询.为了使它能够支持中文搜索,在分析了Nutch结构的基础上,采用词表分词技术和前向匹配分词算法对中文信息进行分词,以JavaCC脚本实现上下文相关文法中文分析模块,成功实现了Nutch中文搜索功能.     

一种基于字符轮廓特征的印刷体汉字切分方法

针对单一汉字切分方法的不足,提出一种基于字符轮廓凹凸特征的印刷体汉字切分方法,首先对扫描后的印刷体汉字文本图像进行二值化处理,根据整篇汉字字符的左右轮廓凹凸特征,把字符图像切成一个个的汉字行,最后根据每一个汉字行的字符串上下轮廓凹凸特征,把每一个汉字行切分为单独的汉字字符．仿真实验表明,提出的方法对于标准的纯印刷体汉字文本图像,可以得到比较理想的切分效果．     

汉字输入智能人机交互界面的若干改进方法

对当前几种汉字识别与输入系统的人机交互界面 ,进行深入分析、研究和探讨 .对文字识别“后编改状态”存在的问题 ,提出机器的自动感知结合动态识别以提高识别准确性 .在语音识别校对方面 ,提出一种能让机器“听懂”的简单“语言”,来辅助机器对识别的结果进行有效修改 .在键盘输入方面 ,则提出字、词同时分区显示 ,可减少击键次数同时减少使用者查找所选字、词的时间 .最后 ,提出结合多种输入手段 ,可解决当前单一汉字输入手段识别率难以提高的瓶颈     

HZK—Ⅰ型汉字产生器的接口技术

本文通过对NZK一I型汉字产生器接口技术的剖析,说明把汉字库设计成一种智能的I/O设备,可与主机一起构成多CPU系统.这种结构对于绝大多数的微型计算机系统的汉字信息处理是一种行之有效的办法.     

基于字符类别的识别反馈混排字符切分方法

字符切分是影响OCR系统识别的关键因素之一.对于中英文混排文档,提出了基于字符类别的识别反馈混排字符切分方法,利用字符特征分类判别出文档中的汉字类、英文、数字和标点符号类、部件类,对汉字类和部件类借助识别技术分别进行处理.该方法结构简单,客易实现,实验结果表明该方法切分效果好,字符类别判断准确.     

一种改进的高效分词词典机制

汉语自动分词是中文信息处理的基础,在中文信息处理系统中具有广泛的应用。作者在研究几种分词词典机制的基础上提出了一种新的分词词典机制,其基本思想是:根据一字词和二字词出现频率高的特点,将词首字和次字组合成Hash索引表,其余字组成剩余结点数组。基于这种分词词典机制设计的组合Hash索引分词算法使得一字词和二字词查询只须在组合hash索引表中一步完成,从而显著提高查询速度。通过真实语料的对比实验,该算法在不降低精度的前提下,处理速度比整词二分平均提高了13.8倍,比TR IE索引树平均提高了2.7倍。结果表明:组合hash索引分词算法是实用有效的。     

小型汉字库制作及汉字显示

介绍在西环境下显示汉字中信息及制作小型汉字库的原理及方法，同时给出了该方法的实现过程，并利用Ｃ语言对主要过程算法作描述，相关程序均在Ｔｕｒｂｏ Ｃ（ｖｅｒ２．０）集成开发环境下编译通过。该实现方法无需中环境支持，因此可以为用户节约资源，提高系统的运行速度和资源利用效率。     

论中国书法艺术中的设计元素及其应用

文章阐述了中国书法艺术中的设计元素，列举了设计元素在具象上的直接引用和抽象上的意境升华。对书法艺术特征和审美取向进行探讨，同时对应论述设计中的设计规律。关注书法艺术所涵盖的“中国精神”，将中国书法艺术所携带和体现的“中国精神”融入当代设计语言中，探讨其与设计的关系，这也是对中国艺术设计文化做出更新层次的认知。     

切音字考

论证了早期汉字中存在的切音现象,指出这些切音字的发现,说明在汉字发展的历史上,曾经有过拼音化的萌芽。同时,也对汉字拼音化的萌芽没有得到发展以至于湮没的原因进行了初步的探索。     

Chinese word segmentation with local and global context representation learning

A local and global context representation learning model for Chinese characters is designed and a Chinese word segmentation method based on character representations is proposed in this paper.First,the proposed Chinese character learning model uses the semantics of local context and global context to learn the representation of Chinese characters.Then,Chinese word segmentation model is built by a neural network,while the segmentation model is trained with the character representations as its input features.Finally,experimental results show that Chinese character representations can effectively learn the semantic information.Characters with similar semantics cluster together in the visualize space.Moreover,the proposed Chinese word segmentation model also achieves a pretty good improvement on precision,recall and f-measure.     

消解中文三字长交集型分词歧义的算法

汉语自动分词在中文信息处理现实应用中占据着十分重要的位置。三字长交集型分词歧义是分词歧义的主要类型之一,在真实文本中的出现频率相当高。提出了一种针对这种分词歧义的消解算法,回避了训练代价比较高昂的词性信息而仅仅利用了词的概率信息及某些具有特定性质的常用字集合。从一个６０万字的汉语语料库中抽取出全部不同的三字长交集型分词歧义共５３６７个作为测试样本。实验结果表明,该算法的消解正确率达到了９２．０７％,基本可以满足实用型中文信息处理系统的需要。