基于指纹和语义特征的文档复制检测方法

文档复制检测是保护知识产权、提高信息检索效率的有效手段.提出一种基于指纹和语义特征的文档复制检测方法.介绍了指纹提取算法以及相关的重叠度度量,并且以知网的概念描述为基础对文本进行语义分析,利用词类信息和语义规则进行歧义消解,并采用基于框架的层级表示方法描述句子的语义特征.在3种测试集上把该方法与现存的方法在检测准确率上进行比较,实验结果表明该方法能够有效地检测出各种方式的复制文本.     

基于《知网》义原空间的文本相似度计算

针对向量空间模型特征项正交的假设和缺乏语义的缺点,本文在广义向量空间模型的基础上,提出了一种基于《知网》义原的向量空间模型,利用义原的相似度实现文本相似度的计算。通过文本特征项的TF-IDF权重将文本表示为《知网》义原空间中的向量,并利用义原向量之间的夹角实现对文本相似度的计算。通过文本聚类实验对比了本文提出的方法与VSM和GVSM模型,实验结果表明本文提出的方法在语义相似度计算方面相比GVSM和VSM有所提高。     

基于匈牙利算法的语义相似度分析在信息安全泄密检查中的应用

介绍了在信息安全泄密检查中匈牙利算法在语义相似度分析中的应用,提出了基于知网树状义原关系结构的语义关系距离模型,提纯文档语义内容,形成义原集合,获取语义特征值并通过改进匈牙利算法,比对了实现与语义特征集的相似性。     

基于语义理解的文本相似度算法

相似度的计算在信息检索及文档复制检测等领域具有广泛的应用前景.研究了文本相似度的计算方法,在知网语义相似度的基础上,将基于语义理解的文本相似度计算推广到段落范围,进而可以将这种段落相似度推广到篇章相似度计算.给出了文本(包括词语、句子、段落)相似度的计算公式及算法,用于计算两文本之间的相似度.实例验证表明,该算法与现有典型的相似度计算方法相比,计算准确性得到提高.     

面向网络舆情分析的语义相似度算法研究

本文对广义向量空间模型进行了改进,并利用《知网》义原提出了一种基于义原空间的文本相似度计算方法。此方法根据TF-IDF权重,将文中特征项转化为义原空间中的向量,通过求义原向量之间的夹角余弦值的方式,实现文本相似度的计算。最后进行文本聚类对比实验,结果表明,该方法可以很好地解决舆情分析中的语义漂移问题,使得网络舆情分析的效果有了较大提高。     

一种改进的基于本体概念相似度计算方法研究

知网是一个英汉双语本体,含有丰富的语义知识.在综合考虑了知网中义原重合度、义原差度、层次深度等因素的基础上,提出了一种新颖的义原相似度计算方法,并在义原相似度计算的基础上,通过改进的匈牙利算法来计算基于知网的概念相似度,最后通过实验验证算法的有效性,与基于WordNet的方法相比,文中提出的基于知网的相似度计算一样可以取得较好的精确度.     

带噪声的文本聚类及其在反垃圾邮件中的应用

本文针对垃圾邮件包含较多干扰信息,导致文档相似度度量效果较差的问题,将Needleman-Wunsch算法引入到文本相似度计算中,并针对性地提出一种高效的聚类算法,为反垃圾邮件系统提供了一种有效的垃圾邮件鉴别技术.与传统的仅基于知网、基于语义等聚类算法相比,本方法在算法效率和聚类质量上都有很大的改进.     

基于LDA及语义相似度的商品评论情感分类研究

提出一种结合LDA及语义相似度的商品评论情感分类方法。该方法首先使用LDA对商品语料库建模,获取文档-主题矩阵;人工选择k对褒义词、贬义词,基于HowNet语义相似度计算主题(评价对象+观点内容)与各个褒义词和贬义词的相似度,达到对观点词极性判断,计算文本观点词情感极性的加权和作为文本的情感极性。实验表明,与基于向量空间的SVM分类方法相比,该情感分类方法在分类指标上表现更好。     

《知网》义原相似度计算的研究

词语之间相似度的计算广泛应用于信息检索、文本主题抽取、文本分类、机器翻译等研究领域.词语之间的相似度的计算通常有两方法,基于统计的方法和基于世界知识的方法.对于中文的词语相似度计算,有人提出一种利用《知网》计算词语相似度的方法,该方法通过计算《知网》义原的相似度进而计算词语的相似度,但是该方法在计算义原相似度时没有考虑义原在层次体系树上的深度以及区域密度.在此基础之上深入研究《知网》的义原层次体系,将义原在层次体系树上的深度和区域密度两个因素添加到义原相似度计算中.最后,实现了该计算方法并得到实验结果,将实验结果与改进前的计算方法的结果比较,发现考虑义原在层次体系树上的深度和区域密度得到的结果比不考虑这两个因素得到结果更符合实际.     

关于语义相关度一些技术的探讨

信息检索涉及到许多技术，涉及多个学科领域，应用更是非常广泛，其中语义相关度的研究一直是研究的热点问题．本文主要针对基于词关联度、基于Wikipedia、基于概念格、基于视觉内容、基于知网、基于中文语义词典、基于领域本体中的概念、基于主题图、基于本体的语义相似度计算方法等，进行比较探讨，特别是对一种新颖的方法使用时语义分析计算单词间相关度的方法进行了详细的阐述说明，并提出了自己的一些想法和下一步的研究方向．     

基于隐主题马尔科夫模型的多特征自动文摘

基于隐主题马尔科夫模型, 消除LDA主题模型的主题独立假设, 使得文摘生成过程中充分利用文章的结构信息, 并结合基于内容的多特征方法提高文摘质量。提出在不破坏文章结构的前提下, 从单文档扩展到多文档的自动文摘策略, 最终搭建完善的自动文摘系统。在DUC2007标准数据集上的实验证明了隐主题马尔科夫模型和文档特征的优越性, 所实现的自动文摘系统ROUGE值有明显提高。     

基于分层最大边缘相关的柬语多文档抽取式摘要方法

为了解决传统多文档抽取式摘要方法无法有效利用文档之间的语义信息、摘要结果存在过多冗余内容的问题,提出了一种基于分层最大边缘相关的柬语多文档抽取式摘要方法。首先,将柬语多文档文本输入到训练好的深度学习模型中,抽取得到所有的单文档摘要;然后,依据类似分层瀑布的方式,迭代合并所有的单文档摘要,通过改进的最大边缘相关算法合理地选择摘要句,得到最终的多文档摘要。结果表明,与其他方法相比,通过使用深度学习方法并结合分层最大边缘相关算法共同获得的柬语多文档摘要,R₁,R₂,R₃和R_L值分别提高了4.31%,5.33%,6.45%和4.26%。基于分层最大边缘相关的柬语多文档抽取式摘要方法在保证摘要句子多样性和差异性的同时,有效提高了柬语多文档摘要的质量。     

融合句义特征的多文档自动摘要算法研究

多文档自动摘要研究是自然语言处理领域的关键问题之一,为使抽取的摘要更能体现多文档主题,本文在子主题划分的基础上,提出了一种融合句义特征的句子优化选择方法.该方法基于句义结构模型,提取句义结构中的话题、谓词等特征,并融合统计特征构造特征向量计算句子权重,最后采用综合加权选取法和最大边缘相关相结合的方法抽取摘要.选取不同主题的文本集进行实验和评价,在摘要压缩比为15%情况下,系统摘要平均准确率达到66.7%,平均召回率达到65.5%.实验结果表明句义特征的引入可以有效提升多文档摘要的效果.      

混合并行遗传算法在多文档文摘中的应用

提出了一种基于改进混合并行遗传算法的多文档文摘方法.该方法将k-means聚类算法的高效、局部搜索特性,和并行遗传算法的全局优化能力有机结合,解决了k-means算法对初始聚类中心的选择较为敏感,易于陷入局部最优等问题,提高了多文档聚类算法的效率和精确度.     

中文跨文本人名同名同指消解研究

跨文本命名实体同指是指出现在多个文本中的相同名字指称相同对象.同指消解则是判断相同的名字是否指称相同对象的过程.跨文本同指消解对于多文本摘要和信息融合等具有重要作用.针对中文中最典型的命名实体——人名,研究了使用层次聚类方法在进行跨文本同指消解中的2个重要问题:特征选择和聚类停止条件判断.     

基于概念共现图的多文档自动摘要研究

以概念统计为基础,以WordNet为语义资源进行语义消歧和概念归并,提出了一种概念共现图模型并把它应用于多文档自动文摘.该模型利用概念间的共现信息构造概念共现图,抽取多文档集合的主题概念,再根据主题概念构建向量空间模型并计算句子的重要性.由于对概念进行了良好的归纳,该模型能够挖掘蕴涵在文档集中的深层次主题.在DUC2005数据集上评测的结果表明,该方法取得的效果令人满意,可用于实际的应用.     

多文档文摘提取方法的研究

在深入分析当前流行的自动文摘技术和方法的基础上,将语义方法融入统计算法,提出了一种基于统计的多文档文摘提取方法,描述了它的实现过程.该方法利用文档内和文档之间段落的语义相关性,实现了多文档文摘的自动生成.首先对文档进行分段实现信息分割,再利用聚类技术对文本段进行聚类实现信息合并,最后从类中抽取代表段产生摘要文本.实验结果表明,该方法是一个有效、实用的方法.     

面向自动文摘的主题划分方法

对当前主题划分方法进行了分类, 对主题划分算法TextSegFault (TSF)做了相关改进。根据文本的类型, 从TSF算法和改进的TSF算法中选择其一来进行主题划分, 以适应自动文摘任务的需要。实验结果表明, 引入本文的主题划分方法能有效地解决传统自动文摘方法造成的主题确实和主要主题冗余的问题, 使文摘的结构平衡化。     

基于句子相似度的自动文摘评价方法

评价是自动文摘研究领域中非常重要的一个环节。针对目前自动文摘内部评价方法存在主观性强,无法体现深层语义的缺陷,提出了一种基于句子相似度的自动文摘评价方法。该方法是利用机器摘要和理想文摘中的句子相似度衡量文摘系统的性能,而不是单纯地利用词频或语句包含关系。实验表明,基于句子相似度的评价方法是一种更接近自然模型的评价方法。     

Summarization based on physical features and logical structure of multi documents

With the rapid development of the Internet, multi documents summarization is becoming a very hot research topic. In order to generate a summarization that can effectively characterize the original information from documents, this paper proposes a multi documents summarization approach based on the physical features and logical structure of the document set. This method firstly clusters similar sentences iuto several Logical Topics (LTs), and then orders these topics according to their physical features of multi documents. After that, sentences used for the summarization are extracted from these LTs, and fiually the summarization is generated via certain sorting algoritluns. Our experiments show that the information coverage rate of our method is 8.83 % higher than those methods based solely on logical structures, and 14.31% higher than Top-N method.