A lexicalized second-order-HMM for ambiguity resolution in Chinese segmentation and POS tagging

Hidden Markov Model（HMM） is a main solution to ambiguities in Chinese segmentation anti POS （part-of-speech） tagging. While most previous works tot HMM-based Chinese segmentation anti POS tagging eonsult POS informatiou in contexts, they do not utilize lexieal information which is crucial for resoMng certain morphologieal ambiguity. This paper proposes a method which incorporates lexieal information and wider context information into HMM. Model induction anti related smoothing technique are presented in detail. Experiments indicate that this technique improves the segmentation and tagging accuracy by nearly 1%.     

面向词性标注的多资源转化研究

利用多资源转化方法进行词性标注研究, 旨在将源端资源的标注进行转化, 以符合目标端标注规范, 进而将转化后的资源与目标资源合并, 增大训练数据规模。做了两方面创新: 在转化过程中, 额外利用指导特征的置信度信息; 在转化后的资源中, 用模糊标注表示方法减少错误标注。实验表明, 利用置信度信息能有效帮助转化, 而模糊标注表示方法的影响不大。     

自学习结合部分句法分析的汉语词性标注

针对词性标中单独使用概率方法或规则方法的缺陷,将概率方法和规则方法有机结结合起来,并引入了部分句法分析除分歧义和标注歧义,利用机器学习得到的规则对输出结果进行修正,实现了一个自学习结合部分句法分析的汉语词性标注系统。     

现代汉语和永新方言"得"字的比较

“得”字在现代汉语和永新方言中，含义和用法上都是一个很有特色的词（或语素）。本文通过现代汉语和永新方言相应“得”字的比较，探寻它在二者间的共性和差异，从一个角度比较现代汉语与永新方言的关系。本文比较的范围以永新方言“得”字的含义和用法为准，凡是永新方言中所不具有的含义和用法，只列出，不讨论。现代汉语普通话的语料大都来自《现代汉语八百词》和《现代汉语动词》。     

“很”的词性再议

“很”可以修饰除形容词、心理感知动词和能愿动词之外的普通动词短语或形容词短语 ,这里的“很”不表示程度 ,只表示动作进行的次数多、延续时间长或表示强调的语气。这里的“很”不是程度副词 ,应视为语气副词。     

基于隐Markov模型汉语词性自动标注的若干分析与改进

提出一种算法,用来高效地完成训练语料的大量工作,并解决好训练语料的扩充问题,然后基于Viterbi算法提出一些改进之策,结合训练语料工作完成后的结果在二元模型基础上,采用不同规模的训练语料对同一规模的测试语料进行测试、比较与分析,并提出模型的改进方向。     

信息检索中一种句子相似度的计算方法

为提高信息检索中检索结果的查准率,提出了基于句法分析以及带权路径长度的句子相似度计算方法。该方法首先对用户问句进行了分词、词性标注以及句法分析处理,并根据处理后的结果对该句进行了关键词提取、加权和同义词近义词扩展处理。然后提出了基于带权路径长度计算的方法,并用该方法计算用户问句与检索信息标题句之间的相似度,即问句的带权路径长度与标题句的带权路径长度的相对比值,以此对检索结果进行二次排序,提高检索结果查准率。实验表明,该句子相似度方法能有效地提高信息检索中检索结果的查准率。     

条件随机场图模型在《明史》词性标注研究中的应用效果探索

自然语言处理作为人工智能领域的一个重要分支,随着计算机信息处理技术的发展,已经取得较大进展.但是古汉语信息处理研究却相对滞后.本研究选择编年体体裁的《明史》作为研究语料,通过交叉检验方法比较了基于条件随机场的三种图模型(无边图模型、完全图模型以及嵌套图模型)在古汉语词性标注中的应用,发现完全图模型和嵌套图模型在《明史》的词性标注中的效果优于无边图模型,分词(Word Segmentation)在一定程度上可以提高古汉语词性标注的效率.另外,还发现基于条件随机场的图模型在分词前后对测试集中未登录词的词性标注效果均比较低.     

融合词性与双向时间卷积网络的中文命名实体识别方法

针对目前中文命名时实体识别方法中存在的中文边界识别困难、模型梯度、文本特征不够充分等问题,提出了一种融合词性特征与双向时间卷积网络的中文命名时实体识别模型。该模型提出使用XLNet预训练语言模型生成对应的词嵌入表示,融合后使用双向时间卷积网络提取文本前向特征与后向特征。实验中对时间卷积网络的空洞因子、卷积层数和卷积核数进行参数实验并分析其影响原因,结果表明,该模型与其他模型相比,能够更准确且有效地提取文本中的实体。     

基于词性标注规则的马铃薯文献信息抽取方法

马铃薯育种领域积累有大量尚未结构化处理的育种文献文本,人工整理文献内的种质资源数据费时费力。为了快速、准确地从育种文献中提取种植资源数据,使用基于词性标注规则和预设词的方法抽取文献数据。文献格式为PDF文档,对于不能直接获取文档文本的情况,使用游程平滑算法和光学字符识别（Optical Character Recognition, OCR）获取文本内容。采用用户可灵活建立的关键词库保存抽取项,通过正则表达式获取关键词所在语句,并利用自然语言处理工具对语句进行分词与词性标注,根据规则抽取目标词,同时采用基于关键词与预设词距离的信息抽取方法,实现将育种文献从自由文本转化为结构化数据。对115篇文献的1490个抽取项进行信息抽取,实验表明,该方法的准确率为82.97%,召回率为99.72%,F值为90.58%,能以较高的准确率和召回率对马铃薯育种文献种质资源进行抽取,可为构建马铃薯遗传育种数据库提供数据基础。