一种基于上下文规则的词义消歧算法

针对一词多义现象, 提出一种基于上下文规则的词义消歧算法(CR-WSD), 该算法以定义消歧规则的方式确定多义词在文本中的具体含义, 利用WordNet中知识结构和上下文关系进行语义选择, 完成词义消歧. 用Senseval 3中的全文作为测试集, 实验结果表明该算法能有效地实现词义消歧.     

词义自动消歧概率模型

提出了一种词义自动消歧概率模型·在词义自动消歧实验中,分析了高频率词义、指示词、特定领域、固定搭配和固定用法信息对名词和动词词义消歧的影响·目前该词义自动消歧系统已经应用于基于词层的英汉机器翻译系统(汽车配件专业领域)中,有效地提高了翻译性能     

融合语言知识的神经网络中文词义消歧模型

提出一种融合语言知识的神经网络中文词义消歧模型,在双向长短时记忆网络中使用目标词的释义和例句信息进行消歧。该模型在SemEval-2007中英文词义消歧数据集上的实验结果表明,融合语言知识后,词义消歧的宏平均准确率和微平均准确率分别比基线模型提高了2.31%和1.93%,说明在神经网络模型中融合语言知识有助于改善中文词义消歧的效果。     

融合词义消歧的汉语句法分析方法研究

将句法分析与词义消歧相结合, 根据层次化语义知识的句法分析框架, 在句法分析训练过程中, 利用句法结构信息对文法模型进行调整, 解决了引入语义时所面的歧义问题, 构建一种句法分析和词义消歧的 一体化方法。实验表明, 在句法分析过程中进行词义消歧处理, 使句法分析的性能显著提升, 同时也获得词 将句法分析与词义消歧相结合, 根据层次化语义知识的句法分析框架, 在句法分析训练过程中, 利用句法结构信息对文法模型进行调整, 解决了引入语义时所面对的歧义问题, 构建一种句法分析和词义消歧的一体化方法。实验表明, 在句法分析过程中进行词义消歧处理, 使句法分析的性能显著提升, 同时也获得词义消歧能将句法分析与词义消歧相结合, 根据层次化语义知识的句法分析框架, 在句法分析训练过程中, 利用句法结构信息对文法模型进行调整, 解决了引入语义时所面对的歧义问题, 构建一种句法分析和词义消歧的一体化方法。实验表明, 在句法分析过程中进行词义消歧处理, 使句法分析的性能显著提升, 同时也获得词义消歧能力。     

基于隐特征提取和CRF模型的中文词义消歧

传统的中文词义消歧方法是通过观察文本的上下文信息、词性等显性特征建立消歧模型,本文通过对歧义产生原因进行深入的分析,发现词语之间隐含的语法结构、语义信息等也会导致歧义的产生,可以考虑将这些信息加入消歧模型进行消歧。由于《知网》知识库中对词语之间的搭配信息进行了总结,本文借助《知网》提取训练语料库所获取的词语搭配信息的隐性语义特征,结合显性的上下文特征,采用条件随机场的方法进行词义消歧。最后,通过实验进行词义消歧和效果验证,结果表明：本文采用的方法与传统的条件随机场消歧相比,词义消歧的准确率得到了提高。     

基于领域知识和词向量的词义消歧方法

利用无标注文本构建词向量模型,结合特定领域的关键词信息,提出一种词义消歧方法。以环境领域的待消歧文本作为评测语料,通过与Lesk等其他消歧方法进行比较,证明了所提方法的有效性。通过引入不同的领域知识,证明该方法亦可在其他领域的文本消歧任务中加以应用。     

基于LDA主题模型的维吾尔语无监督词义消歧

维吾尔语是典型的资源稀缺型语言,由于词义消歧标注语料资源和语义分析工具的不足,导致传统的有监督方法难以实现.针对该问题,将篇章文本的词义消歧问题类比为文本主题分类问题,在LDA(latent Dirichlet allocation)主题模型的基础上提出了一种维吾尔语无监督词义消歧模型.为强化主题模型对歧义词语义项的分类性能,加入了3个数据预处理过程:去除停用词,过滤有效词和强化同义词词频权重.实验结果表明,在随机抽取的63组测试样本集中,该模型的词义消歧准确率达到65.08%,在篇章文本采样词任务中词义消歧准确率达到61.2%.     

基于深层特征抽取的日文词义消歧系统

词义消歧的特征来源于上下文.日文兼有中英文的语言特性,特征抽取更为复杂.针对日文特点,在词义消歧逻辑模型基础上,利用最大熵模型优良的信息融合性能,采用深层特征抽取方法,引入语义、句法类特征用于消解歧义.同时,为避免偏斜指派,采用BeamSearch算法进行词义序列标注.实验结果表明,与仅使用表层词法类特征方法相比,本文构造的日文词义消歧系统的消歧精度提高2%～3%,动词消歧精度获得5%的改善.     

一种实例库与义原关系相结合的概念消歧算法

本文提出了一种利用知网的实例库与知网关系进行词义消歧算法.该方法首先利用知网提供的实例库进行初步的匹配;若在实例库中没有完全匹配,则利用上下文搭配关键词与知网中的实例搭配词进行相似度计算,若相似度大于给定阈值,则消歧结束.否则,我们再判断歧义词的义原与关键词的义原是否具有某种关系,根据义原权值调节算法调整义原权值.调整后的义原权值大小不一,按照事先的约定,我们选取综合权值最大的义项.我们发现,该方法能够弥补仅依靠实例库的覆盖率低的问题,又能减少仅依靠统计方法产生的噪音,从而提高词义消歧的正确率.     

基于义原关系的多策略汉语词义消歧方法

词义消歧是自然语言处理领域的重点和难点问题.提出了一种基于知网中义原关系的多策略词义消歧方法.该方法利用知网中义原同最基本和最重要的部件-整体和属性-宿主关系进行词义消歧,并辅以基于值一属性关系、中文信息结构和语义相关度的消歧方法.在SENSEVAL-3汉语词义消歧任务测试文本上的实验表明,该方法与官方结果相比,具有较好的计算性能.     

词义演化的计算方法

从大规模真实文本中挖掘词义关系是自然语言学习的一项艰巨任务。词义不是静态、一成不变的,随着时代的发展,词义也在不断变迁。如何从错综复杂的词义变迁中,挖掘词义演化的基本规律,准确发现词义的各种变化,并给出量化的分析和建立数学模型,是一个急待解决的问题。根据词语的上下文搭配词分布情况来定义该词的词义,提出一种基于动态语料库的词义演化计算方法统计词义在23年《人民日报》中的分布信息,计算词义在各个时段的变化值,构造词义的演化曲线,并提出一种基于X2分析的方法来挖掘词语的搭配词与时间之间的相关关系。     

基于三层过滤的评价对象抽取

针对互联网中的产品评论信息,提出一种三层过滤的评价对象抽取方法.该方法采用一个自举式的抽取算法在评论文本中得到候选的评价对象和情感词;利用评价对象与情感词之间的关联度对候选词进行关联置信度计算,提取关联置信度高的评价对象以提高识别的准确率;引入一个不相关的平行领域对剩余的候选词进行领域置信度计算,挖掘低频的评价对象.3个公开数据集中的实验结果表明该方法能够显著地提高评价对象的识别效果.      

基于互信息的宋史语料库词表的提取

基于统计语言模型,对《续资治通鉴长编》进行了统计分析.根据互信息特征抽取候选字串,通过人机交互确定其是否构成词,然后动态修正相关字串的互信息值,逐步建立宋史语料库词表.实验中据互信息阈值抽取候选字串6 500个,根据汉语大词典确定是词的有3 694个,占56.8%.结果表明互信息法是建立古汉语语料库词表的有效辅助手段.     

一种基于词语搭配的语义消歧方法

提出一种利用规则与统计相结合的方法用于英汉机译系统中以消解语义级歧义 ,建立了一种根据单词之间的词语搭配关系以消除歧义的模型。该模型利用英汉双语语料选择合理的词组语义 ,对有歧义的单词作出标注。在此基础上给出了语义消歧的学习算法 ,并建立了一套有效的提高召回率的消歧算法。算法在英汉机译系统中的实际应用使正确率提高了约 10 % ,效果显著。     

基于LDA及语义相似度的商品评论情感分类研究

提出一种结合LDA及语义相似度的商品评论情感分类方法。该方法首先使用LDA对商品语料库建模,获取文档-主题矩阵;人工选择k对褒义词、贬义词,基于HowNet语义相似度计算主题(评价对象+观点内容)与各个褒义词和贬义词的相似度,达到对观点词极性判断,计算文本观点词情感极性的加权和作为文本的情感极性。实验表明,与基于向量空间的SVM分类方法相比,该情感分类方法在分类指标上表现更好。     

面向彝文网页的敏感内容分级系统研究

随着互联网和彝文信息化的快速发展,彝文网络上充斥着大量的敏感信息,极大的影响了我国边疆的舆情信息安全.但彝文信息技术的发展与中英文相比还比较滞后,因彝文语言结构复杂、彝语分布环境广泛等原因,彝文的信息采集和文本分词等技术还不够成熟,这对涉外彝文网页的敏感内容监管带来巨大的挑战.为解决彝文网络信息的安全传播和舆情稳定,试图提出彝文敏感内容分级模型,并结合自研的彝文爬虫及分词等技术.构建一种面向彝文网页的敏感内容分级的算法模型和演示系统,相比于同类的民族语言舆情分析系统,不仅可实现敏感词的识别和过滤,还具有敏感内容分级、敏感源地址追踪等功能.通过人工评测与分析,该系统对敏感内容的分级可达到48%的准确率,敏感词的识别率为80%.     

基于时间演化图卷积网络的舆情热点内容预测

有效预测舆情事件的热点内容有利于提高对舆论导向的把控能力和对公众诉求的预判能力. 然而，现有的舆情预测工作大多关注事件整体趋势指标或情感极性的演变预测，鲜有针对舆情事件热点内容的预测研究. 为解决以上问题，本文提出一种基于时间演化图卷积网络的舆情热点内容预测方法：以舆情事件的热点词作为预测对象，首先，通过演化图卷积网络学习各时间片词语的空间关联关系；然后，使用门控循环单元捕捉各时间片词语特征的时序变化；最后，通过全连接层进行输出，实现对舆情事件热点词的预测. 以微博上两个不同的舆情突发事件的相关文本作为数据集，与两种现有热点词预测方法开展对比实验. 实验结果表明，该方法在两个数据集上的精确率分别达到51.21%和50.98%，召回率分别达到50.17%和48.15%，F1值分别达到50.68%和49.52%，均高于两种对比方法，能够更好地完成舆情事件中热点词的预测.     

基于转换的无指导词义标注方法

词义标注是自然语言处理的难题之一。该文提出用于文本词义标注的转换规则自动获取算法及相应的词义排歧算法。该算法用可能的句法关系对语境进行限制,减少了训练数据中的噪音; 为提高学习算法的速度,提出利用预排序方法减少规则搜索次数,以及只调整变化部分数据的计算方法; 并给了改善召回率的词义排歧算法。在近５ 万词的语料库上对本算法进行了实验,开放测试的词义排歧正确率为７４３％ 。     

汉语中新词识别方法研究

随着互联网和社会的飞速发展,新词不断涌现。识别和整理这些新词语,是中文信息处理中的一个重要研究课题。提出一种新词识别方法,该方法利用基于PAT-Array的重复字符串抽取候选串,提高了新词的召回率。并在此基础上分析新词内部模式,添加了垃圾串过滤机制。单字串过滤主要是运用垃圾词典的方法,多字词模式新词的确定是利用改进的互信息与独立成词概率结合的方法。由此,大幅度提高了新词识别的准确率。