蒙古语短语标注策略

蒙古语短语标注是蒙古语语料库语言学研究的进一步深化。它既要包含语言学需要深入研究的内容．又要解决形式化描述处理的一系列问题。从整体上讲，规则与统计方法相结合，是实现短语自动划分和标注的最佳途径。但是，蒙古语作为一种黏着性语言，其短语结构具有自己独特的一面。我们将立足蒙古语本身，建立适合于蒙古语短语规律的规则集，采取规则和统计相结合，循环渐进的策略。本项目的主要创新点是信息处理用蒙古语短语分类体系、形式化描述及其标记、边界划分规则和知识库。其中，知识库对解决短语歧义划分问题起到决定性的作用。     

朝鲜语特殊短语结构的语言特征分析及自动提取

朝鲜语中存在大量特殊短语结构,因此在朝汉翻译中,如何准确翻译这些特殊短语显得尤为重要,此举有利于提高机器翻译的精度与效率。本文基于韩国"世宗计划"标注语料库,通过对特殊短语结构进行语言特征分析,构建规则库,以迭代方式提取特殊短语结构及其分布,并以中心词为""的特殊短语为例,进行自动提取实验,取得满意的效果。     

基于关联规则挖掘的汉语语义搭配规则获取方法

针对自然语言处理系统在短语分析时的词汇排歧和结构排歧需要,本文提出了一种基于语料库的汉语短语语义搭配规则自动获取方法.该方法以《知网》为语义知识资源,在标注了句法语义信息的汉语短语熟语料库基础上,先采用数据挖掘中元规则制导的交叉层关联规则挖掘方法,自动发现汉语短语的语义搭配规律,再根据统计结果自动优选后生成语义搭配规则库.实验结果表明该方法是切实可行的.运用该方法自动获取的语义搭配规则具有较好的排歧效果.     

专利技术功效短语获取研究

在专利技术功效矩阵构建研究中,专利技术功效短语获取是矩阵构建的基础,也是构建矩阵的词汇来源。专利技术功效短语获取的准确性直接影响专利技术功效矩阵构建的效果。为了提高专利技术功效短语的准确性,基于汽车新能源专利文献文本数据基础上,综合考虑专利文献结构、专利文献线索词,以及专利文献的句法、语法分析等多种因素,提出了基于规则和统计相结合的专利技术功效短语获取方法。首先,根据专利摘要文本定位包含专利技术功效短语的单句,提取技术功效目标句;其次,在改进的分词方法和词性标注的基础上,针对包含功效短语的句子,结合依存关系规则、短语规则计算出共现频率较高的词,并提取技术功效短语。利用该方法获取专利技术功效短语,其准确率可到达85%。实验证明该方法在获取专利技术功效短语中是有效的、可行的,进而整体上提高专利技术功效短语的识别效果。     

基于Viterbi解码的中文合成音库韵律短语边界自动标注

该文提出了一种基于Viterbi解码的中文合成音库韵律短语边界自动标注方法,以降低大语料库单元拼接合成系统的构建成本。该方法分为模型训练和韵律标注两阶段:模型训练阶段得到频谱、基频和音素时长的上下文相关隐Markov模型(hidden Markov model,HMM);标注阶段借助训练得到的模型采用Viterbi解码完成韵律短语自动标注。实验结果表明:该方法进行韵律短语边界标注时的F-score值达到77.64%,超过了人工标注时不同标注人员之间的一致性水平;另外该方法可以方便地增加待标注韵律属性,具有良好的扩展性。     

一种无指导的情感短语极性判别方法

在情感分析任务中,情感词或情感短语的极性判别是一项非常重要的任务。提出一种新的基于无指导学习的情感短语极性判别的方法。在该方法中,首先从新闻网站上抓取大量无标注的新闻评论数据。经过去除噪音并进行分词和词性标注之后,使用预先设定的模板抽取情感短语。然后人工标注少量种子词。通过分析种子词和情感短语的共现信息,最终得到情感短语的极性值。实验证明,这种方法可以有效判别情感短语的极性,并且能够用于句子级别的情感倾向分析。     

蒙古文词性标注及融合词性因子的蒙汉统计机器翻译

借鉴并利用基于短语的因子化机器翻译方法,结合基于隐马尔科夫模型的词性标注系统实现了蒙古文的自动词性标注.首先使用基于短语的因子化机器翻译方法对词表词进行标注,然后用基于隐马尔科夫模型的词性标注方法对生词进行标注.实验结果表明,采取的蒙古文词性标注方法的准确率达到97.91%.最后,将该方法标注的词性融入到蒙汉统计机器翻译系统后,译文质量有了较大提高,进一步证明该方法的有效性和实用性.     

搜索引擎用短语词典建设

百度搜索引擎分词系统中的原短语库是由统计得出,含有大量噪音.委托北京大学计算语言学研究所进行了手工整理标注.为此设计了加工规范,对短语进行了严格的定义,制定了加工操作手册,并开展了手工工程,通过严格的控制保证标注的一致性.共整理短语119 984条,噪音短语比例约占7%.当前该短语词典已应用于百度搜索引擎中,对提高检索效果和减少索引空间都起到一定作用.     

中文时间信息的TIMEX2自动标注

为了完善中文时间信息标注规范,实现中文时间短语的自动标注,该文研究并修改国际通用的时间短语标注规范TIMEX2的中文标注草案,以此为基础开发一个基于正则表达式的中文TIMEX2自动标注系统(CTAT).该系统采用3层候选确定参考时间,并行使用多个模块识别输入句子中的时间短语,通过排序冲突消解确定最终结果.经测试,该系统识别时间短语和将时间信息值解析为标准格式的F-measure分别达到了90.15%和83.27%, 与其他语言同类系统性能相当.应用该系统标注的语料,为时间信息处理方面的后续研究提供了重要资源.     

基于HMSVM的基本名词短语识别研究

名词短语在自然语言处理中具有重要的地位．文章首先从语言学角度定义了名词短语,然后为名词短语识别的问题设计了一个序列标注模型,最后将隐马尔科夫支持向量机用于学习该序列标注问题．实验显示取得了满意的准确率和召回率．     

唐宋诗之计算机辅助深层研究

介绍了北大计算语言学研究所开发的“唐宋诗计算机辅助研究系统”。该系统以全唐诗(481万字)和宋代部分名家诗(160万字)组成的语料库为基础,运用计算语言学方法对唐宋诗进行分析研究,提取了唐宋诗中的词汇,计5万余条目。在对诗文进行词语切分的基础上,建立了词汇的共现关系、对仗关系以及词汇的作者分布特征信息。系统除了提供面向诗文内容的全文检索功能外,还进一步开发了基于词汇的统计分析和诗句相似性检索等功能,实现了对全唐诗的自动注音。     

基于单个词语特征模板的汉语词性标注

针对实际应用中语言模型应该占用更小存储空间且加载速度快等需求,采用最大熵模型进一步研究了汉语词性标注中设定的特征模板集和训练后模型大小、标注精度等指标之间的关系,并在国际汉语分词评测Bake off2007的PKU、NCC、CTB三种语料上进行了对比实验.实验结果表明,双词语组合特征模板大大增加了训练后模型的大小,对汉语词性标注精度却没有提高,而基于单个词语特征模板训练后的模型大小不足原先大小的1/5,标注精度却没有下降.     

Multi-Level Cross-Lingual Attentive Neural Architecture for Low Resource Name Tagging

Neural networks have been widely used for English name tagging and have delivered state-of-the-art results. However, for low resource languages, due to the limited resources and lack of training data, taggers tend to have lower performance, in comparison to the English language. In this paper, we tackle this challenging issue by incorporating multi-level cross-lingual knowledge as attention into a neural architecture, which guides low resource name tagging to achieve a better performance. Specifically, we regard entity type distribution as language independent and use bilingual lexicons to bridge cross-lingual semantic mapping. Then, we jointly apply word-level cross-lingual mutual influence and entity-type level monolingual word distributions to enhance low resource name tagging. Experiments on three languages demonstrate the effectiveness of this neural architecture: for Chinese,Uzbek, and Turkish, we are able to yield significant improvements in name tagging over all previous baselines.     

基于MEM和HMM的中文词性标注方法

为了进一步提高中文语料库中语料的词性标注效率,在分析最大熵模型(MEM)和隐马尔科夫模型(HMM)所涉及理论、算法及其在中文词性标注技术中的应用的基础上,进行了基于MEM和HMM的中文词性标注实验.实验结果显示,基于MEM和HMM的中文词性标注算法都获得了一致性很好且覆盖率较高的标注效果,中文词性标注的准确率、召回率和F1这3个指标均达到92%以上;MEM的标注效果总体上比HMM的稍佳.     

基于MEM和HMM的中文词性标注方法

为了进一步提高中文语料库中语料的词性标注效率,在分析最大熵模型(MEM)和隐马尔科夫模型(HMM)所涉及理论、算法及其在中文词性标注技术中的应用的基础上,进行了基于MEM和HMM的中文词性标注实验.实验结果显示,基于MEM和HMM的中文词性标注算法都获得了一致性很好且覆盖率较高的标注效果,中文词性标注的准确率、召回率和F1这3个指标均达到92%以上;MEM的标注效果总体上比HMM的稍佳.     

A lexicalized second-order-HMM for ambiguity resolution in Chinese segmentation and POS tagging

Hidden Markov Model（HMM） is a main solution to ambiguities in Chinese segmentation anti POS （part-of-speech） tagging. While most previous works tot HMM-based Chinese segmentation anti POS tagging eonsult POS informatiou in contexts, they do not utilize lexieal information which is crucial for resoMng certain morphologieal ambiguity. This paper proposes a method which incorporates lexieal information and wider context information into HMM. Model induction anti related smoothing technique are presented in detail. Experiments indicate that this technique improves the segmentation and tagging accuracy by nearly 1%.     

一种基于字和子串联合标注的汉语分词方法

近年来基于字的词位标注的方法极大地提高了汉语分词的性能,该方法将汉语分词转化为字的词位标注问题,借助于优秀的序列数据标注模型,基于字的词位标注汉语分词方法逐渐成为汉语分词的主要技术路线.针对一些领域文本中含有较多的英文词汇、缩写、数字等非汉字子串,提出了一种基于字和子串联合标注的汉语分词方法,该方法将子串看作和汉字等同的一个整体,采用四词位标注集,使用条件随机场模型深入研究了基于字和子串联合标注的汉语分词技术.在CIPS-SIGHAN2010汉语分词评测所提供的文学、计算机、医药、金融四个领域语料上进行了封闭测试,实验结果表明此方法比传统的字标注分词方法性能更好.     

基于四值逻辑的汉字图像识别方法

采用定义在汉字图像平面上的四值逻辑函数对汉字图像特征进行定量描述,建立汉字图像特征的逻辑表达式。通过求解这些表达式的值,即可判断该汉字是否具有某种特征,从而得到一种汉字图像识别的新方法。     

社会化标签系统的结构、演化和功能

从复杂性科学角度总结了社会化标签系统的结构、演化和功能问题.包括多类异质性节点和超图模型的网络结构;基于标注行为的网络演化模型;基于标签的个性化推荐系统.系统地总结和比较了当前几种代表性的模型和推荐算法,并指出各方法的优缺点和适用范围.有助于更深层次理解和解决社会化标签系统中的理论和应用问题.     

现代汉语复句中短语字段的自动识别初探

为了建立一个面向中文信息处理的现代汉语复句深加工语料库,我们必须进行短语字段的自动识别工作.目的是把这些字段排除在分句层次分析的范围之外.这项工作建立在自动分词和词性标注的基础上,首先通过编写的程序把所有不含动词的字段暂时统一识别为短语字段.对于虽包含动词但前后有明显形式标志的字段则通过制定相应的规则来识别.还有一部分字段只包含一个动词,但前后却没有明显的形式标志,对此,需要利用字段中的结构助词"的"来帮助识别.