基于语境相似度的中文分词一致性检验研究

提出一种基于语境相似度的中文分词一致性检验方法。首先利用词法和句法层面的特征, 设计基于构词、词性和依存句法的分类规则, 再使用预训练词向量, 对不一致字串所在语境的语义信息进行编码, 通过语境间的语义相似度对不一致字串进行分类。在人工构建的36万字分词语料库中进行分词一致性检验, 结果表明该方法能够有效地提高中文分词一致性检验的准确率。进一步地, 使用3 种主流中文分词模型在修正一致性后的分词语料中重新训练和测试, 结果表明该方法可以有效地提高分词语料库的质量, 3种中文分词模型的F1值分别提高1.18%, 1.25%和1.04%。     

汉语句法树库一致性检验方法研究

为了进一步提高完全句法分析标注的准确率,对人工修正的完全句法分析语料进行剖析,从分词、词性和句法结构三个层面检验一致性,总结标注结果不一致的类型,并提出基于分层的自动发现不一致现象的方法及相应的消解策略。实验表明,利用该方法可使语料库标注的准确率提高2.5%。     

一种基于后缀数组的无词典分词方法

提出一种基于后缀数组的无词典分词算法. 该算法通过后缀数组和利用散列表获得汉字的结合模式, 通过置信度筛选词. 实验表明, 在无需词典和语料库的前提下, 该算法能够快速准确地抽取文档中的中、 高频词. 适用于对词条频度敏感、 对计算速度要求高的中文信息处理.     

基于CRF模型的维吾尔语分词研究

条件随机场能够很好地处理序列标注问题.引入条件随机场进行维吾尔语分词方法研究,主要包括制定词性和分词单独标注与一体化标注集并建成语料库;设计不同特征模板进行训练测试,反复比较实验结果,总结优化以获取最佳的特征模板.在设计特征模板时充分结合维吾尔语语言形态特征,采用了对称特征组合非对称特征的设计方法,并将获得的最佳分词模板应用到分步预测词性和分词实验中.相比单独分词标注,分词时加入词性特征列进行分词与词性一体化标注能展现更优的分词性能.     

适用于医疗卫生领域的中文分词方法研究

目前中文分词技术已经比较成熟,但是应用于医疗卫生专业领域,出现准确率、召回率、F-值均下降等问题。文章在自建2.5万句汉语医疗卫生用语语料库基础上,实验基于词典的自动分词方法、基于统计的自动分词方法、词典与统计相结合的分词方法,并通过对各种分词方法测评比较,探索适合于医疗领域的分词方法,这对深入研究医疗卫生领域信息化处理,提高医疗卫生智能化信息服务意义重大。     

消解中文三字长交集型分词歧义的算法

汉语自动分词在中文信息处理现实应用中占据着十分重要的位置。三字长交集型分词歧义是分词歧义的主要类型之一,在真实文本中的出现频率相当高。提出了一种针对这种分词歧义的消解算法,回避了训练代价比较高昂的词性信息而仅仅利用了词的概率信息及某些具有特定性质的常用字集合。从一个６０万字的汉语语料库中抽取出全部不同的三字长交集型分词歧义共５３６７个作为测试样本。实验结果表明,该算法的消解正确率达到了９２．０７％,基本可以满足实用型中文信息处理系统的需要。     

汉字分词连写再探——兼答林廉同志

读《语文建设》１９９３年第５期发表的林廉同志的《汉字分词连写质疑———与仉玉烛同志商榷》（下简作《质疑》）一文，颇受教益，同时也引发了笔者对汉字分词连写问题的进一步思考，不揣浅陋，略陈如次，以就正于林廉同志和大方之家。汉字的分词连写是汉语书面表达方式的一项变革，是一项长期的系统工程，其根本出发点在于改变汉语有声语言与书面语言之间的不适应、不协调状况。汉字是用来记写汉语的，汉语是由词构成的，而汉字由于不实行分词连写，词与词之间没有界限，既没有空格隔开，也没有其他区分标志，这就导致了书面汉语中“没有…     

一种基于字和子串联合标注的汉语分词方法

近年来基于字的词位标注的方法极大地提高了汉语分词的性能,该方法将汉语分词转化为字的词位标注问题,借助于优秀的序列数据标注模型,基于字的词位标注汉语分词方法逐渐成为汉语分词的主要技术路线.针对一些领域文本中含有较多的英文词汇、缩写、数字等非汉字子串,提出了一种基于字和子串联合标注的汉语分词方法,该方法将子串看作和汉字等同的一个整体,采用四词位标注集,使用条件随机场模型深入研究了基于字和子串联合标注的汉语分词技术.在CIPS-SIGHAN2010汉语分词评测所提供的文学、计算机、医药、金融四个领域语料上进行了封闭测试,实验结果表明此方法比传统的字标注分词方法性能更好.     

现代维吾尔语的词性标注校对技术研究

近些年来语料库语言学的发展较为迅速,语料库的建设成为一项重要的工作.在对语料加工的过程中,保证词性标注的一致性也成为建设高质量语料库的重要问题.目前国内外对汉语语料库词性标注结果的校对,还停留在人工校对上,对词性标注结果不一致现象尚未进行系统的研究.对于词性标注方法不是很成熟的维吾尔语语料库来说,词性校对方面的研究工作更少.首先概要介绍了一种维吾尔语的标注方法,并受一些文献的启发,根据维吾尔语的特点对其进行词性标注自动校对的研究,并分析其适用于维吾尔语词性校对的可行性,进而提高维吾尔语词性标注的正确率.     

基于字位置概率特征的条件随机场中文分词方法

将分词看成是一个对汉字进行分类的过程，然后利用条件随机场（CRFs）模型对每个汉字进行标记，最后转换为相应的分词结果．在现有CRFs模型的基础上，从字的构词能力角度出发，探索了字位置概率特征，提出了基于字位置概率特征的条件随机场中文分词方法．实验表明，字位置概率特征的引入，使得结果F1值提高了3．5％，达到94．5％．     

汉语语篇修辞结构边界韵律表现

本文考察了语篇修辞层级结构边界的韵律表现。对由20个语篇构成的语料库进行了修辞结构的层级标注和声学分析。声学参数主要采用小句边界处无声段,音高重置和边界前音节延长。研究得到以下主要结论:(1)小句边界处无声段和高音点重置是语篇修辞层级结构的主要声学线索。小句边界在语篇层级结构中的位置越高,边界处无声段越长,边界处高音点重置的值越大。但是语篇结构中小句边界处的无声段延长和高音点重置增大也是有限度的。(2)小句边界处低音点重置和边界前音节延长都不是区分语篇修辞层级结构的有效线索。     

一个中文实体链接语料库的建设

鉴于现有中文实体链接基准语料库的缺乏, 在ACE2005中文语料库和中文维基百科的基础上, 通过自动构造和人工标注的方法, 构建一个中文实体链接语料库及其相关的中文知识库。与传统的英文实体链接语料库不同, 构造的中文实体链接语料库是基于实体而非单个实体指称(Mention)。中文实体链接语料库的构建, 将为中文实体链接研究提供一个可用的基准平台。     

语料库语言学视角下的台湾汉字简化研究

采用语料库语言学的研究方法, 论证台湾存在汉字简化的现象, 并分析台湾汉字简化的特点和影响因素。首先, 通过爬取台湾的新闻媒体、政府网站和博客, 建立台湾汉语语料库。然后, 借助语料库统计数据, 论证台湾民间存在对简笔俗字的使用偏好, 即台湾存在汉字简化的现象, 并进一步分析台湾汉字简化的若干特点。最后, 讨论台湾汉字简化的影响因素, 包括大陆简体字、汉字编码、中文输入法等。     

中国古诗统计建模与宏观分析

利用自然语言处理技术处理文学文本是计算语言学领域近年来的热门话题.该文结合点态互信息量与频率阈值,自动发现中国古诗词汇.基于构建的诗歌词典,利用启发式的正向最大匹配算法,对中国古诗作分词处理.采用主题模型对分词后的诗歌文本进行统计建模,并在此基础上进行了主题演变和诗人群体风格网络的探索性分析.基于全唐诗语料的实验结果表明:主题模型可以给出具有较好解释力的中国古诗统计模型,验证已有的文学史研究,并在传统的文本细读的研究范式之外,对中国诗学提供了全新视角的宏观刻画、描述与阐释.     

BFS-CTC汉语句义结构标注语料库构建方法

根据现代汉语语义学,构建了一种层次化的句义结构模型.基于该模型构建了汉语句义结构标注语料库(Beijing forest studio-Chinese tagged corpus,BFS-CTC).利用自行开发的标注和管理工具,对模型中各个句义成分及其组合关系进行快速标注,降低培训工作量和标注成本.BFS-CTC涵盖了6种句式类型,约1万句,提供了符合现有规范的词法和句法标注信息与自定义规范的句义结构标注信息,便于词法、句法和句义的对照分析研究,以及语料的综合使用和横向分析.此外,BFS-CTC还具有较强的可扩展性,可在核心标注库基础上扩展生成其它扩展库和标注资源.     

基于CNN-CRF的中文电子病历命名实体识别研究

智慧医疗技术的发展让我们不满足仅使用传统方法做医学研究。针对中文电子病历实体识别问题,设计了一种基于卷积神经网络结合条件随机场(convolutional neural network-conditional random field,CNN-CRF)的实体识别算法框架。为得到高质量的词向量,将标注实体加入词典进行分词,并将已标注和未标注文本作为语料,用word2vec工具对已分词文本进行无监督学习;为避免扩张卷积层数增加导致过拟合,采用迭代扩张卷积处理输入向量,并使用dropout随机丢弃一些连接;运用条件随机场对网络的分类结果进行修正。把该方法在中文电子病历上进行对比试验,从病历中提取出身体部位,疾病,症状,检查及治疗5类实体。实验结果表明,该方法能有效地辨别病历中的实体,其识别的准确率、召回率和f1值分别为90.01%,90.62%,90.31%,准确率和速率比传统方法都有一定提高。     

《仓央嘉措情歌》的用词风格统计研究

文章基于语料库的统计方法,以仓央嘉措的124首情歌为研究对象,确定词汇切分原则,建立了情歌语料库以及藏汉对照分词库,从诗篇包含的词条数量分布、诗句包含的词条数量分布和词汇的频度和频率三方面对《情歌》在语言艺术方面的成就进行了量化研究,也为藏族文学研究提供了一种新的研究方法和手段.     

基于关联规则挖掘的汉语语义搭配规则获取方法

针对自然语言处理系统在短语分析时的词汇排歧和结构排歧需要,本文提出了一种基于语料库的汉语短语语义搭配规则自动获取方法.该方法以《知网》为语义知识资源,在标注了句法语义信息的汉语短语熟语料库基础上,先采用数据挖掘中元规则制导的交叉层关联规则挖掘方法,自动发现汉语短语的语义搭配规律,再根据统计结果自动优选后生成语义搭配规则库.实验结果表明该方法是切实可行的.运用该方法自动获取的语义搭配规则具有较好的排歧效果.     

Lucene.net中文分词算法分析

Lucene.net实现中文分词依靠的是Analyzer类,但通过分析其内置的Keyword Analyzer,Standard Analyzer,Sto-pAnalyzer,Simple Analyzer,Whitespace Analyzer5个分词类发现,它们几乎都是按单字的标准进行切分的,为更好处理中文信息,必须引用外部独立开发的中文分词包.在对Chinese Analyzer,CJK Analyzer和IK Analyzer这3种典型的中文分词包分别测试后,发现采用字典分词以及正反双向搜索方法的IK Analyzer分词器的分词效果更胜一筹.     

中文篇章零元素语料库构建

针对中文零指代问题, 从篇章视角进行理论分析, 并完成中文篇章零元素语料库(Chinese Discourse Zero Corpus, CDZC)的构建工作。首先, 整理和分析已有的理论研究以及语料资源, 探究篇章层面中文零元素语料库标注的必要性。然后, 采用自底向上、前向搜索的标注策略和人机结合的半自动标注方式, 完成CDZC语料库的构建。最后, 对该语料库进行一系列详细的统计分析。结果表明, CDZC能够充分反映出中文零元素省略的语言特点, 为相关研究提供语料资源支持。