基于最大树法的多文档文摘子主题划分

提出一种基于最大树法的生成多文档文摘子主题划分方法.对多文档集合中的句子进行基于语义词典的相似度计算,形成相似度矩阵.提出了将相同或相似的句子通过模糊聚类的方法归并成一类,每一类代表一个子主题,通过抱团结构分析划分出子主题.实验结果表明,生成的多文档文摘覆盖性强,冗余信息少,具有一定实用价值.     

基于最大树法的多文档文摘子主题划分

提出一种基于最大树法的生成多文档文摘子主题划分方法。对多文档集合中的句子进行基于语义词典的相似度计算,形成相似度矩阵。提出了将相同或相似的句子通过模糊聚类的方法归并成一类,每一类代表一个子主题,通过抱团结构分析划分出子主题。实验结果表明,生成的多文档文摘覆盖性强,冗余信息少,具有一定实用价值。     

多文档文摘提取方法的研究

在深入分析当前流行的自动文摘技术和方法的基础上,将语义方法融入统计算法,提出了一种基于统计的多文档文摘提取方法,描述了它的实现过程.该方法利用文档内和文档之间段落的语义相关性,实现了多文档文摘的自动生成.首先对文档进行分段实现信息分割,再利用聚类技术对文本段进行聚类实现信息合并,最后从类中抽取代表段产生摘要文本.实验结果表明,该方法是一个有效、实用的方法.     

基于语义空间的抽取式单文档摘要方法

目前的抽取式单文档摘要方法未考虑原文中句子和原文语义信息相关度,针对该问题,提出一种基于语义空间的抽取式单文档摘要方法.首先,利用Word2Vec训练词向量以获取语义空间,并基于该语义空间表示句子和原文;然后,基于余弦相似度计算句子与原文相似度值,并使用TextRank和词频-逆文本频率指数(TF-IDF)模型计算原文中句子的权重;最后,将相似度值与权重相结合得到句子的最终权重值.实验结果表明,该模型摘要质量优于基于深度学习的基线系统.     

基于指纹和语义特征的文档复制检测方法

文档复制检测是保护知识产权、提高信息检索效率的有效手段.提出一种基于指纹和语义特征的文档复制检测方法.介绍了指纹提取算法以及相关的重叠度度量,并且以知网的概念描述为基础对文本进行语义分析,利用词类信息和语义规则进行歧义消解,并采用基于框架的层级表示方法描述句子的语义特征.在3种测试集上把该方法与现存的方法在检测准确率上进行比较,实验结果表明该方法能够有效地检测出各种方式的复制文本.     

融合多级语义特征的双通道GAN事件检测方法

目前事件检测方法往往将句中事件视为独立个体,忽视了句子或文档内事件间的相关关系,且某些触发词在不同语境下可能触发不同事件,而多种语境下训练的词向量会引入与当前语境无语义关联的噪声.针对此问题,本文提出一种融合多级语义特征的双通道GAN事件检测方法,使用多级门限注意力机制获取句子级和文档级事件间的语义相关性,并利用双通道GAN及其自调节学习能力减轻噪声信息的影响,进而提高事件特征表示的准确性.在公开数据ACE2005英文语料上进行实验,F₁值达到了77%,结果表明该方法能够有效获取事件间的语义相关性,并提高语境判定的准确性.      

基于自动编码器的句子语义特征提取及相似度计算

句子特征提取与相似度计算是自然语言处理中的重要问题.目前汉语句子相似度计算方法不能全面考虑句子语义,因而导致相似度计算结果不够准确.提出了基于深层稀疏自动编码器的句子语义特征提取及相似度计算算法.首先将句子表示为高维、稀疏向量,进一步利用深度无监督学习句子非线性特征,即将高维、稀疏向量变换到低维、本质特征空间,此过程是一种更为纯粹的端到端的学习,避免了建立停用词表、分词等工作,最终得到可直接用于句子相似度计算的低维特征表示.实验结果表明,提取到的句子特征应用于句子相似度计算,与基于关系向量模型的句子相似度计算方法相比,提高了相似度计算准确率,计算的时间复杂度仅为O(n).     

基于概念共现图的多文档自动摘要研究

以概念统计为基础,以WordNet为语义资源进行语义消歧和概念归并,提出了一种概念共现图模型并把它应用于多文档自动文摘.该模型利用概念间的共现信息构造概念共现图,抽取多文档集合的主题概念,再根据主题概念构建向量空间模型并计算句子的重要性.由于对概念进行了良好的归纳,该模型能够挖掘蕴涵在文档集中的深层次主题.在DUC2005数据集上评测的结果表明,该方法取得的效果令人满意,可用于实际的应用.     

基于概念扩充和综合评价的文本综述

提出了基于知网概念特征的文本综述方法，探讨了语句相似度计算、主题区域发现、新颖度获取和综述生成等关键技术．通过对知网的改造，获取了关键词的概念特征，实现了同义词概念扩充，在文档语义相关性基础上，实现了多文档的自动综述．采用一种基于综合评价理论的文本综述评价方法，从综述的表达质量、表述内容和基于Q8LA的信息性评价三个方面实现了对综述的评价．实验结果表明该方法有效可行．     

基于Tika语义分析的文档标题提取研究

随着Web的爆炸性增长,更精确的内容检索受到广泛关注.文档的语义信息提取是内容检索中的关键问题.Tika是近年来出现的一个用来获取文档语义的一个工具软件,支持HTML、PDF、word、PPT、mht等众多格式的文档语义提取.给出了用Tika实现文档元信息提取以及文档内容提取的编程调用方法;分析了Tika进行语义提取中的一些缺陷,并针对文档标题的提取处理给出了纠正解决方案,从而为基于语义的资源检索和全文内容检索提供更为准确的信息表达.     

基于句子相似度的自动文摘评价方法

评价是自动文摘研究领域中非常重要的一个环节。针对目前自动文摘内部评价方法存在主观性强,无法体现深层语义的缺陷,提出了一种基于句子相似度的自动文摘评价方法。该方法是利用机器摘要和理想文摘中的句子相似度衡量文摘系统的性能,而不是单纯地利用词频或语句包含关系。实验表明,基于句子相似度的评价方法是一种更接近自然模型的评价方法。     

基于语义对齐的生成式文本摘要研究

针对当前生成式文本摘要模型在解码时对摘要整体语义信息利用不充分的问题, 提出一种基于语义对齐的神经网络文本摘要方法。该方法以带注意力、Pointer机制和Coverage机制的Sequence-to-Sequence模型为基础, 在编码器与解码器之间加入语义对齐网络, 实现文本到摘要的语义信息对齐; 将获得的摘要整体语义信息与解码器的词汇预测上下文向量进行拼接, 使解码器在预测当前词汇时不仅利用已预测词汇序列的部分语义, 而且考虑拟预测摘要的整体语义。在中文新闻语料LCSTS上的实验表明, 该模型能够有效地提高文本摘要的质量, 在字粒度上的实验显示, 加入语义对齐机制可以使Rouge_L值提高5.4个百分点。     

基于语义图优化算法的中文微博观点摘要研究

为从海量微博中高效地获取不同话题下的关键信息,微博观点摘要成为自然语言处理领域近期研究的热点之一。基线方法基于TF-IDF算法抽取微博句中的关键词,并据此计算微博的重要性分数,直接筛选出观点摘要;朴素改进方法在基线方法的基础上,增加了情感分类步骤,并利用微博句之间的语义距离,将摘要句候选集中语义重复、重要度较小的句子去除,生成观点摘要;基于语义图优化算法的方法在朴素改进方法的基础上,利用微博句的重要性分数及微博句之间的语义距离构建语义图结构,并通过图优化算法筛选出观点摘要。朴素改进方法在COAE2016评测任务一测试数据集上,10个话题的平均ROUGE-1值达到26.39%,平均ROUGE-2值达到0.68%,平均ROUGE-SU4值达到5.69%,且评测官方公布结果显示,该方法在9项评价指标中获得6项最佳性能。基于语义图优化算法的方法在评测样例数据集上进行了实验,结果显示,该方法比朴素改进方法在ROUGE-1,ROUGE-2,ROUGE-SU4值上分别提升了0.63%, 1.51%, 2.69%。     

基于语义的自动文摘研究综述

基于语义的自动文摘方法能解决自动文摘处理中语言复杂性问题,在克服领域局限性的同时从本质上提高文摘的质量.常用语义模型包括统计主题模型和语义知识模型.基于语义的自动文摘是对传统文摘技术基于语义模型的扩充,在自动文摘的预处理、文档转换、文档候选片段提取和文摘生成4个基本过程中使用各种语义分析方法.     

基于B/S结构的中医药信息采集系统

将MyEclipse与SQL Server 2000组合作为系统的开发工具,通过运用相关技术对数据进行先抽取、后标准化处理的方法,研究开发了中医药信息采集系统。该系统能够从互联网上采集中医药信息,并根据设定的规则从网页中分析提取出特定的信息并整理存放在指定的数据库中,实现了对中医药信息较为有效的分析、总结和管理。     

理解语义网实体:基于概念空间的摘要方法

为了快速准确地理解语义网实体,提出了基于概念空间的摘要方法.针对RDF数据的无序性问题,首先将一个实体的不同侧面的RDF数据划分到不同的概念空间中去.其次在同一个概念空间中的数据依照谓语聚类的方法进行组织.对于实体重用带来的RDF数据的可信度问题,根据数据的来源,在数据的权威性维度上对实体数据进行划分.针对实体数据的大规模特性,提出实体数据摘要的方法,综合基于结构的重要性、用户偏好以及来源文档的重要性对数据的重要性进行计算.实验结果表明:基于概念空间的摘要方法能够有效地帮助人们快速理解语义网实体;该方法相对于其他RDF浏览器有4%～17%的效率提升;在用户比较熟悉RDF的情况下,使用该方法能够提高20%左右的效率.     

基于统计语义和结构特征的自动文摘

在分析自动文摘现有方法优缺点的基础上,提出了一种基于统计、语义和结构特征的自动文摘方法。用这些特征构成句子向量表示,并用机器学习的方法对其进行训练得到器,从而把自动文摘转换为分类问题。实验表明,该方法具有较好的重合率。同时,为了解决文摘的冗余和不连贯缺点,进行了一系列的后期处理,提高了文摘的质量。     

基于分层最大边缘相关的柬语多文档抽取式摘要方法

为了解决传统多文档抽取式摘要方法无法有效利用文档之间的语义信息、摘要结果存在过多冗余内容的问题,提出了一种基于分层最大边缘相关的柬语多文档抽取式摘要方法。首先,将柬语多文档文本输入到训练好的深度学习模型中,抽取得到所有的单文档摘要;然后,依据类似分层瀑布的方式,迭代合并所有的单文档摘要,通过改进的最大边缘相关算法合理地选择摘要句,得到最终的多文档摘要。结果表明,与其他方法相比,通过使用深度学习方法并结合分层最大边缘相关算法共同获得的柬语多文档摘要,R₁,R₂,R₃和R_L值分别提高了4.31%,5.33%,6.45%和4.26%。基于分层最大边缘相关的柬语多文档抽取式摘要方法在保证摘要句子多样性和差异性的同时,有效提高了柬语多文档摘要的质量。     

基于匈牙利算法的语义相似度分析在信息安全泄密检查中的应用

介绍了在信息安全泄密检查中匈牙利算法在语义相似度分析中的应用,提出了基于知网树状义原关系结构的语义关系距离模型,提纯文档语义内容,形成义原集合,获取语义特征值并通过改进匈牙利算法,比对了实现与语义特征集的相似性。