基于《知网》的文本相似度研究

计算文本相似度常用的方法是计算以VSM表示的文本之间的夹角余弦值,但这种方法并没有考虑文本中词语之间的语义相似度.另外由于计算余弦值时要考虑VSM向量对齐,从而导致计算的高维度、高复杂性.《知网》作为一个汉语常用的知识库得到广泛的研究,利用该知识库能方便地求得汉语词语之间的相似度.利用《知网》计算每篇文本中词语之间的相似度,对VSM进行改进,用少量特征词的TF/IDF值作为改进后的VSM向量中的权重,进而计算文本之间的相似度.通过比较改进前后的VSM的维数、召回率和准确率,结果显示,改进后的算法明显降低了计算的复杂度并提高了召回率和准确率.     

面向网络舆情分析的语义相似度算法研究

本文对广义向量空间模型进行了改进,并利用《知网》义原提出了一种基于义原空间的文本相似度计算方法。此方法根据TF-IDF权重,将文中特征项转化为义原空间中的向量,通过求义原向量之间的夹角余弦值的方式,实现文本相似度的计算。最后进行文本聚类对比实验,结果表明,该方法可以很好地解决舆情分析中的语义漂移问题,使得网络舆情分析的效果有了较大提高。     

基于语义理解的文本相似度算法

相似度的计算在信息检索及文档复制检测等领域具有广泛的应用前景.研究了文本相似度的计算方法,在知网语义相似度的基础上,将基于语义理解的文本相似度计算推广到段落范围,进而可以将这种段落相似度推广到篇章相似度计算.给出了文本(包括词语、句子、段落)相似度的计算公式及算法,用于计算两文本之间的相似度.实例验证表明,该算法与现有典型的相似度计算方法相比,计算准确性得到提高.     

基于知网句子相似度计算的主观题阅卷技术研究

提出了一种基于多态融合的句子相似度计算方法,用该方法能得到学生答案与标准答案之间的最佳相似度值,从而可大大提高主观题阅卷的准确率。     

基于N-Gram和动态滑动窗口的改进余弦相似度算法研究

为了解决余弦相似度算法进行数据清洗时重复与相似的数据会使计算量呈几何级增长的问题,提出了基于N-Gram和动态滑动窗口的改进余弦相似度算法.首先通过计算每条数据的N-Gram值,并对数据进行相似度排序,然后定义初始滑动窗口,其窗口值根据N-Gram值的方差动态调整,最后在每个窗口中根据相似度与阀值判断相似数据.实验结果表明,改进的余弦相似度算法在运行速度上有大幅度提高,数据清洗准确率也得到提升,且该算法适用于海量数据的情形.     

基于《知网》的词语相似度计算研究

词语之间相似度的计算通常有基于统计和基于世界知识2种方法.中文词语相似度的计算,可以通过计算义原的相似度进而计算词语的相似度,在此基础之上深入分析《知网》的义原层次体系,提出了一种将义原在层次体系树上的深度和区域密度2个因素添加到义原相似度计算中的方法.通过实验发现,考虑义原在层次体系树上的深度和区域密度得到的结果比不考虑这2个因素得到结果更符合实际.     

基于褒贬倾向的句子相似度计算

首先简单介绍了基于《知网》的词语相似度的计算,指出不足,并对其进行改进,在其计算过程中增加词语褒贬倾向因素.接着给出句子相似度计算步骤:①先分词;②采用匈牙利算法求解最优匹配词语;③用改进的方法计算词语相似度,进而求解句子相似度.最后给出实验结果.结果表明:在词语相似度的计算上考虑其褒贬倾向,将会使计算结果更加合理.     

基于语义相似度的文本表示降维方法

数据降维是文本表示中不可或缺的一个环节,有效的数据降维方法不仅能够减少计算量,同时有助于文本处理精度的提高.不同于传统的利用统计信息进行降维的方法,本文提出了一种基于词汇的语义相似度的文本表示的降维方法,该方法结合自然语言处理的知识,在降维环节考虑了特征词的语义信息和词性信息.实验结果表明:该方法能够有效地降低文本表示的维数,并在降维后的空间获得较高的文本处理精度,基于语义相似度的降维方法是一种适合文本处理的降维方法.     

基于细粒度依存关系的中文长句相似度计算

长句是中文书面语的常见现象,其由于结构复杂在计算句子相似度时难度较大。综合考虑依存关系中的关键元素,对中文依存句法树进行研究和分析,提出了一种细粒度依存关系的相似度计算方法。通过研究依存句法树中的各节点的词语、词性以及它们之间的依赖关系及其重要性权重等多个特征量,给出了两个依存句法树的相似度计算方法;基于该算法实现中文长句的相似度计算。实验结果表明该方法用于计算中文长句相比较其他算法有更高的准确率。     

基于马尔科夫模型的词汇语义相似度计算

在《知网2002》的基础上,充分利用其层次结构,引入了马尔科夫模型来计算词汇语义相似度,实验证明,算法取得较理想的实验结果．     

一种改进的基于知网的语义相似度计算方法

语义相似度计算是自然语言处理中的一个关键过程,在机器翻译、自动问答、句法分析、词义排歧等领域都有着广泛的应用.列举并分析了几种典型的基于知网的相似度计算方法,并提出一种改进的基于知网的相似度计算方法,实验结果表明该方法是有效的.     

基于文本相似度计算的兴趣网络构建方法研究

从海量无结构互联网信息中提取高质量的社会网络有着广阔的应用前景和较高的学术价值,本文以新浪微博网站作为信息源提取用户之间的共同兴趣网络,在知网文本相似度计算方法的基础上,结合用户特征词的词性分析,提出了一种结合词性的用户相似度计算方法,此方法可以计算用户之间的兴趣强度,进而构建共同兴趣网络。实验结果表明,该方法对用户类别判定的准确率有所提高,对兴趣网络的提取有较好的效果。     

一种改进的基于本体概念相似度计算方法研究

知网是一个英汉双语本体,含有丰富的语义知识.在综合考虑了知网中义原重合度、义原差度、层次深度等因素的基础上,提出了一种新颖的义原相似度计算方法,并在义原相似度计算的基础上,通过改进的匈牙利算法来计算基于知网的概念相似度,最后通过实验验证算法的有效性,与基于WordNet的方法相比,文中提出的基于知网的相似度计算一样可以取得较好的精确度.     

基于领域本体的概念相似度算法研究

随着本体技术的逐渐成熟,如何为本体搭建语义桥梁以实现知识的重用与共享成为新的研究热点。在分析现有相关技术的基础上,提出一种计算不同本体中概念间语义相似度的方法,该方法以基于距离的概念相似度算法为基础,同时对概念结构进行分析将两者结合,从而计算出最终的概念间语义相似度。实验证明该方法有效。该研究工作可以应用于面向Web的知识检索领域。     

《知网》义原相似度计算的研究

词语之间相似度的计算广泛应用于信息检索、文本主题抽取、文本分类、机器翻译等研究领域.词语之间的相似度的计算通常有两方法,基于统计的方法和基于世界知识的方法.对于中文的词语相似度计算,有人提出一种利用《知网》计算词语相似度的方法,该方法通过计算《知网》义原的相似度进而计算词语的相似度,但是该方法在计算义原相似度时没有考虑义原在层次体系树上的深度以及区域密度.在此基础之上深入研究《知网》的义原层次体系,将义原在层次体系树上的深度和区域密度两个因素添加到义原相似度计算中.最后,实现了该计算方法并得到实验结果,将实验结果与改进前的计算方法的结果比较,发现考虑义原在层次体系树上的深度和区域密度得到的结果比不考虑这两个因素得到结果更符合实际.     

基于余弦相似度模型的最佳教练遴选算法

介绍了一种基于余弦相似度模型的最佳教练遴选算法.该方法首先定义了执教能力评价指标,并针对指标中的时间相关因素给出了修正方法,最大程度地削减了时间因素对教练遴选算法的影响.采用单因素方差分析方法分析了性别对排名结果的影响,在此基础上提出了基于白化方法的改进策略,消除了性别的影响.采用对比策略,将所有教练的评价指标向量与理想化教练向量之间进行余弦相似度计算,最终遴选出最佳教练.基于实际数据的实验结果验证了算法的有效性.     

基于本体的应急案例相似度算法研究

文章分析了当前案例相似度和语义相似度,提出了针对应急案例语义相似度计算方法。该方法可以定量地分析OWL所描述概念、特性之间的相似度,为应急案例库语义查询中的扩充概念集和查询结果排序打下基础,进一步提高应急决策支持系统的效率。     

基于特征融合的社区问答问句相似度计算

提出了一种基于特征融合的问句匹配框架来解决问句相似度检测方法,利用答案特征、词序特征、统计特征和语义特征相结合来解决问句相似度计算问题.在Yahoo!Answers上抽取的真实标注数据集上进行实验,实验结果表明:该方法在性能上得到了较好的结果.     

关于专利类别间相似度量化方法的研究

针对专利类别内容相似度量化的问题,本文提出了一个基于语义的相似度量化方法。该算法首先通过有监督的特征选择方法提取每个专利类的关键词语集合,然后通过《知网》计算各个集合之间的相似度,最后在此基础上通过特征集合语义相似度计算公式TSC计算专利类别间的关联度。实验表明,该方法能有效的解决相似度自动量化的问题。