基于语义相关度计算的汉语词义消歧方法研究

词义消歧(WSD)一直是自然语言处理(NLP)研究的重点和难点之一.本文以语义资源-《知网》为基础,从语义角度出发,抽取《知网》中义原之间的多种复杂关系,结合词性、词语组合等信息,提出一种基于相关度计算的汉语词义消歧方法.实验结果表明,该方法对于处理汉语WSD是有效的.     

一种实例库与义原关系相结合的概念消歧算法

本文提出了一种利用知网的实例库与知网关系进行词义消歧算法.该方法首先利用知网提供的实例库进行初步的匹配;若在实例库中没有完全匹配,则利用上下文搭配关键词与知网中的实例搭配词进行相似度计算,若相似度大于给定阈值,则消歧结束.否则,我们再判断歧义词的义原与关键词的义原是否具有某种关系,根据义原权值调节算法调整义原权值.调整后的义原权值大小不一,按照事先的约定,我们选取综合权值最大的义项.我们发现,该方法能够弥补仅依靠实例库的覆盖率低的问题,又能减少仅依靠统计方法产生的噪音,从而提高词义消歧的正确率.     

一种基于上下文规则的词义消歧算法

针对一词多义现象, 提出一种基于上下文规则的词义消歧算法(CR-WSD), 该算法以定义消歧规则的方式确定多义词在文本中的具体含义, 利用WordNet中知识结构和上下文关系进行语义选择, 完成词义消歧. 用Senseval 3中的全文作为测试集, 实验结果表明该算法能有效地实现词义消歧.     

基于隐特征提取和CRF模型的中文词义消歧

传统的中文词义消歧方法是通过观察文本的上下文信息、词性等显性特征建立消歧模型,本文通过对歧义产生原因进行深入的分析,发现词语之间隐含的语法结构、语义信息等也会导致歧义的产生,可以考虑将这些信息加入消歧模型进行消歧。由于《知网》知识库中对词语之间的搭配信息进行了总结,本文借助《知网》提取训练语料库所获取的词语搭配信息的隐性语义特征,结合显性的上下文特征,采用条件随机场的方法进行词义消歧。最后,通过实验进行词义消歧和效果验证,结果表明：本文采用的方法与传统的条件随机场消歧相比,词义消歧的准确率得到了提高。     

一种改进的基于知网的语义相似度计算方法

语义相似度计算是自然语言处理中的一个关键过程,在机器翻译、自动问答、句法分析、词义排歧等领域都有着广泛的应用.列举并分析了几种典型的基于知网的相似度计算方法,并提出一种改进的基于知网的相似度计算方法,实验结果表明该方法是有效的.     

词义自动消歧概率模型

提出了一种词义自动消歧概率模型·在词义自动消歧实验中,分析了高频率词义、指示词、特定领域、固定搭配和固定用法信息对名词和动词词义消歧的影响·目前该词义自动消歧系统已经应用于基于词层的英汉机器翻译系统(汽车配件专业领域)中,有效地提高了翻译性能     

基于多层次句子相似度与向量空间模型的词义消歧

介绍和对比了20世纪50年代以来出现的各种主要词义消歧的方法,论述了这些方法取得的成效和存在的局限,着重讨论了基于向量空间模型的消歧方法.在此基础上,通过分析和计算,提出了一种将多层次句子相似度计算应用于向量空间模型的新方法,从而提高机器翻译中的词义消歧的准确度.     

基于LDA主题模型的维吾尔语无监督词义消歧

维吾尔语是典型的资源稀缺型语言,由于词义消歧标注语料资源和语义分析工具的不足,导致传统的有监督方法难以实现.针对该问题,将篇章文本的词义消歧问题类比为文本主题分类问题,在LDA(latent Dirichlet allocation)主题模型的基础上提出了一种维吾尔语无监督词义消歧模型.为强化主题模型对歧义词语义项的分类性能,加入了3个数据预处理过程:去除停用词,过滤有效词和强化同义词词频权重.实验结果表明,在随机抽取的63组测试样本集中,该模型的词义消歧准确率达到65.08%,在篇章文本采样词任务中词义消歧准确率达到61.2%.     

基于多特征融合的同名专家消歧方法研究

针对专家库构建过程中出现的同名歧义现象,提出一种基于多特征融合的同名专家消歧方法。从中国知网(CNKI)数据源中获取专家的论文信息,抽取论文的标题、摘要、关键词、作者单位和合作者等关键信息,并将其作为属性特征,构建特征表示模型,进而定义同名专家之间的相似度计算函数。根据计算得到的相似度,将同名消歧问题转化为聚类问题。利用近邻传播聚类算法进行聚类,解决同名消歧问题。在采集的专家论文数据上的实验表明,基于多特征融合的同名专家消歧方法的准确率可达92%,取得良好的消歧效果。     

基于话题分布相似度的无监督评论词消歧方法

基于话题信息、词的位置关系和互信息等特征, 提出一种无监督的跨语言词义消歧算法。该算法仅利用在线词典和web搜索引擎, 通过上下文信息选择评论句中多义评论词的词义。实验结果表明, 所提出的词义消歧算法具有较高准确率, 对于具有较多候选词义的评论词仍能表现出较好的性能。