多义词词义搭配知识库与词义标注

“多义词词义搭配知识库与词义标注”是国家社科基金课题“基于国家语委‘通用语料库’的汉语义频词库的开发”的研究成果.研究过程中对最初设计的目标定位、处理的词语数量、语料规模都作了较大调整,表现为由义频研究转至义频获得,由部分多义词转至现代汉语的整体双音高频多义词,由2000万字的核心语料库转至2.5亿字的通用语料库.研究成果由7个资源库与3个软件处理平台构成,从而达到词义自动标注的目的.     

基于最大熵模型的英语词义标注

词义标注是自然语言处理的热点问题。通过建立条件概率最大熵模型,合理选择特征信息,采用不同的特征信息集合对来源于语料库的实验样本进行训练,达到英语多义词词义标注的目的。最后通过数据实验验证了方法的有效性。     

一种基于规则的无监督词性标注方法

提出一种基于规则的无监督词性标注方法, 利用200多条英语语法规则, 创建26个规则函数, 先将输入的待标注英语句子进行预处理后得到初始标记, 再对每个单词调用规则函数, 最终得到标注后的英语句子. 通过对Brown语料库的实验, 词性标注的正确率达到9395%. 实验结果表明, 本文方法可行、 有效, 能很好地提高英语词性标注的准确率.     

基于无监督模型的低资源词性标注实验对比和分析

[目的]研究无监督词性标注模型在低资源语言上的性能表现.[方法]尝试利用无监督词性标注模型,包括高斯隐马尔科夫模型(Gaussian HMM,GHMM)、最大化互信息模型(mutual information maximization, MIM)与条件随机场自编码器(conditional random filed autoencoder, CRF-AE),展开低资源词性标注实验.基于对前人工作的凝练,在英文宾州树库上设置了少样本和词典标注两种低资源场景.[结果]无监督词性标注模型能够在少样本场景中超越条件随机场模型,但在词典标注场景中却始终逊色于条件随机场模型.[结论]无监督损失更加擅长对高频词进行建模,使得模型在少样本场景下获得更好的性能表现;同时无监督损失倾向于生成更加均匀的词性分布,从而降低模型在词典标注场景下的性能.     

基于词性标注规则的马铃薯文献信息抽取方法

马铃薯育种领域积累有大量尚未结构化处理的育种文献文本,人工整理文献内的种质资源数据费时费力。为了快速、准确地从育种文献中提取种植资源数据,使用基于词性标注规则和预设词的方法抽取文献数据。文献格式为PDF文档,对于不能直接获取文档文本的情况,使用游程平滑算法和光学字符识别（Optical Character Recognition, OCR）获取文本内容。采用用户可灵活建立的关键词库保存抽取项,通过正则表达式获取关键词所在语句,并利用自然语言处理工具对语句进行分词与词性标注,根据规则抽取目标词,同时采用基于关键词与预设词距离的信息抽取方法,实现将育种文献从自由文本转化为结构化数据。对115篇文献的1490个抽取项进行信息抽取,实验表明,该方法的准确率为82.97%,召回率为99.72%,F值为90.58%,能以较高的准确率和召回率对马铃薯育种文献种质资源进行抽取,可为构建马铃薯遗传育种数据库提供数据基础。     

基于语义转换的语义标注方法

提出了一种支持用户在网上的浏览活动的语义标注方法.该方法从语义上同类型的标注信息中提取特征,通过获取标注信息以建立用户意图模型,再利用概率判断识别用户意图;语义转换后得到的信息可以和其它的或被评估的用户意图进行比较;最后利用启发式函数量化具体用户意图和信息的相似度,以达到用户在浏览语义异构网络信息空间时获取相关信息的目的.     

基于语义提升HMM的语义标注

语义标注所用标签数目众多,训练数据更为稀疏,用HMM作语义标注面临参数估计不准的难题。不同于传统的解决数据稀疏方法,以《同义词词林》的层次式结构为依据,提出了利用语义层次的提升来改善HMM(hidden Markov model)中参数的估计质量;在算法实现中,采用选择受限策略来解决因语义提升而引起的模型辨别力下降问题。测试表明,在训练数据相对稀疏的情况下,适度调整模型的语义层次可大幅提高语义标注的精度,该方法表现出较好的可塑性。     

一个改进的汉语词性标注系统

汉语词性标注的难点在于确定具有多个词类的词(兼类词)在上下文中的词性。基于兼类词在词典中仅占很小的比例(约为3％)，提出了具有双重状态的隐马尔可夫模型，它不但有一个常规的状态转移概率矩阵，还在逻辑上为每个具有多个词类的词保留一个专有的状态转移概率矩阵，使模型从一个状态转移到另一个状态的概率不再和观察无关，提高了模型的精确性。     

词义自动消歧概率模型

提出了一种词义自动消歧概率模型·在词义自动消歧实验中,分析了高频率词义、指示词、特定领域、固定搭配和固定用法信息对名词和动词词义消歧的影响·目前该词义自动消歧系统已经应用于基于词层的英汉机器翻译系统(汽车配件专业领域)中,有效地提高了翻译性能     

采用Seq2Seq模型的非受限词义消歧方法

词义消歧在中文自然语言处理中有着重要作用,基于传统机器学习的方法存在准确度不高,需要人工提取文本特征的缺点;基于深度学习的方法不适于词义歧义较多的情况。该文提出采用Seq2Seq模型的非受限词义消歧方法,输入词上下文序列,经过编码器编码得到潜在语义向量,再经过解码器解码输出词义序列,适用于所有词义歧义情况。最后,在SemEval-2007 Task#5任务中进行测试,测试结果表明,该文提出的方法比其他7种方法中的最优方法消歧准确率提高了11.48%。     

一种基于词语搭配的语义消歧方法

提出一种利用规则与统计相结合的方法用于英汉机译系统中以消解语义级歧义 ,建立了一种根据单词之间的词语搭配关系以消除歧义的模型。该模型利用英汉双语语料选择合理的词组语义 ,对有歧义的单词作出标注。在此基础上给出了语义消歧的学习算法 ,并建立了一套有效的提高召回率的消歧算法。算法在英汉机译系统中的实际应用使正确率提高了约 10 % ,效果显著。     

基于深层特征抽取的日文词义消歧系统

词义消歧的特征来源于上下文.日文兼有中英文的语言特性,特征抽取更为复杂.针对日文特点,在词义消歧逻辑模型基础上,利用最大熵模型优良的信息融合性能,采用深层特征抽取方法,引入语义、句法类特征用于消解歧义.同时,为避免偏斜指派,采用BeamSearch算法进行词义序列标注.实验结果表明,与仅使用表层词法类特征方法相比,本文构造的日文词义消歧系统的消歧精度提高2%～3%,动词消歧精度获得5%的改善.     

基于主题模型的中文词义归纳

词义归纳是在给定包含多义词语料的条件下,识别出多义词词义的过程,通常是采用聚类的方法.本文提出了基于主题模型的方法来解决中文词义归纳问题,基于主题模型的词义归纳方法关键之处在于使用文档的主题概率分布来推断多义词的词义分布.实验结果表明,本文方法在测试数据上获得了77.58%FScore值.     

基于综合信息的汛期库水位实时动态控制方法

以提高洪水资源利用率为目标,研究利用实时水雨工情及短期雨洪预报等综合信息的汛期库水位实时动态控制方法,即改进的预蓄预泄法.应用实例表明,在不降低水库上下游防洪标准的前提条件下,可使桓仁水库及梯级库群的发电效益明显增加.该综合信息的汛期库水位实时动态控制方法,对北方水资源短缺地区调节性能较高的大型水库(水电站)汛期实时调度,有较好的借鉴意义.     

基于统计的中文机构名自动识别

通过对中文机构名的语法语义特性进行分析,将中文机构名分成前部词和特征词,提出了一种基于统计的识别方法.使用成熟语料库的训练数据,计算候选机构名的特征词可信度、前部词首词可信度和前部词中部可信度,最终得到机构名构词可信度,并与给定阈值比较,实现了中文机构名识别.在开放性实验中,达到了85.57％的召回率和94.37％的准确率.     

融入情感信息词向量的评论文本情感分析方法

为了解决分布式词表示方法因忽略词语情感信息导致情感分类准确率较低的问题,提出了一种融入情感信息加权词向量的情感分析改进方法。依据专属领域情感词典构建方法,结合词典和语义规则,将情感信息融入到TF-IDF算法中,利用Word2vec模型得到加权词向量表示方法,并运用此方法对采集到的河北省旅游景点的评论文本与对照组进行对比实验。结果表明,与基于分布式词向量表示的情感分析方法相比,采用融入情感信息加权词向量的改进方法进行情感分析,积极文本的准确率提高了6.1%,召回率提高了6.6%,F值达到了90.3%;消极评论文本的准确率提高了6.0%,召回率提高了7.2%,F值达到了89.6%。因此,融入情感信息加权词向量的情感分析改进方法可以有效提高评论文本情感分析的准确率,为用户获得更为准确的评论观点提供参考。     

基于多掩膜技术的无监督深度与光流估计方法

针对自动驾驶领域现有方法在处理动态、遮挡等复杂实际场景时存在的估计不准确问题,提出了一种以多掩膜技术为基础的无监督深度与光流估计方法,通过无监督学习从单目视频序列中提取目标深度、相机运动位姿和光流信息。根据不同外点类型设计了多种特定掩膜,以有效抑制外点对光照一致性损失函数的干扰,并在位姿估计和光流估计任务中起到剔除外点的作用。引入预训练的光流估计网络,协助深度和位姿估计网络更好地利用三维场景的几何约束,从而增强联合训练性能。最后,借助训练得到的深度和位姿信息,以及计算得到的掩膜,对光流估计网络进行了优化训练。在KITTI数据集上的实验结果表明,该策略能够显著提升模型的性能,并优于其他同类型方法。