基于平滑逆频率和依存句法的句子相似度计算方法

综合考虑关键词、词向量及句法结构对句子相似度计算的影响,将平滑逆频率(smooth inverse frequency,SIF)与依存句法相结合以提高句子相似度计算的精准性。SIF的核心思想为利用加权和去除非信息噪音得到的句向量来计算句子相似度。借助哈尔滨工业大学的语言技术平台,将句子的结构信息添加到句子相似度计算中,通过句子中"词语依存关系"三元组的相似性来度量句子间的相似度。实验结果表明,基于SIF和依存句法的句子相似度计算方法所得的反映准确率和召回率平衡度的指标为84. 4%,与同类的句子相似度计算方法相比,能更为有效衡量句子间的相似程度。     

句子相似度计算初探

文章对句子相似度的定义、计算方法、应用领域等问题进行了简单的分析和总结。     

基于动态特征词的中文句子相似度计算

目的针对当前常用的汉语句子相似度计算方法存在的问题,结合语言习得特点,提出了一种基于动态特征词的中文句子相似度计算方法。方法首先以特征词作为语块切分边界,提取左右语块信息,采用语义向量空间模型;然后计算2个句子对应的左右组块的相似度;最终将各组块的相似度量值加权求和作为2个句子的相似度。结果实验表明,提出的方法计算结果较为理想,与人工判断的相似度较为一致。结论基于动态特征词的中文句子相似度计算方法在常用句式中具有更好的效果。     

基于细粒度依存关系的中文长句相似度计算

长句是中文书面语的常见现象,其由于结构复杂在计算句子相似度时难度较大。综合考虑依存关系中的关键元素,对中文依存句法树进行研究和分析,提出了一种细粒度依存关系的相似度计算方法。通过研究依存句法树中的各节点的词语、词性以及它们之间的依赖关系及其重要性权重等多个特征量,给出了两个依存句法树的相似度计算方法;基于该算法实现中文长句的相似度计算。实验结果表明该方法用于计算中文长句相比较其他算法有更高的准确率。     

一种基于Tree-LSTM的句子相似度计算方法

在浅层句法树和依存关系树的基础上, 提出两种结构化特征: 基于短语的浅层句法树NPST和基于短语的依存树NPDT, 并将它们与Tree-LSTM模型相结合, 进行句子相似度计算。实验表明, 使用结构化特征和Tree-LSTM会带来性能的提升。     

基于褒贬倾向的句子相似度计算

首先简单介绍了基于《知网》的词语相似度的计算,指出不足,并对其进行改进,在其计算过程中增加词语褒贬倾向因素.接着给出句子相似度计算步骤:①先分词;②采用匈牙利算法求解最优匹配词语;③用改进的方法计算词语相似度,进而求解句子相似度.最后给出实验结果.结果表明:在词语相似度的计算上考虑其褒贬倾向,将会使计算结果更加合理.     

一种混合型的句子语义相似度计算方法

句子相似度计算是智能答疑等应用领域的关键技术之一,当前相似度计算方法大都对语义因素考虑不全,使得计算的结果准确度差,为此提出了一种混合型句子语义相似度计算方法。首先,通过语义资源得到词间语义相似度;其次,以词之间的相似度为基础,结合词的权重和句型的相似度得到了混合的句子间的语义相似度,避免了单一角度度量相似度带来的偏差;最后,通过对比实验验证了本文提出的混合型计算方法相对传统方法获得了更好的测试结果。     

FAQ问答系统句子相似度计算

句子相似度计算是FAQ问答系统的核心问题,提出一种改进的基于多重信息的方法,即结合关键词信息、句子结构信息和语义信息的句子相似度计算方法,并用实例验证了方法的可行性.     

基于句义三维模型的汉语句子相似度计算

通过对句子语义表示的深入分析,提出汉语句义的三维表示模型,并在此基础上提出一种基于句义三维表示模型的句子相似度计算方法.该方法从义面、义原、义境三个侧面来综合描述句子的语义,并通过迭代求解各方的权重,从而使计算结果达到最优.与传统的方法相比,更加全面、准确地衡量句子之间的相似度,取得了较好的实验结果.     

基于量子理论的句子相似度研究

量子理论所具备的叠加、纠缠、不相容和干涉等特征使其成为优秀的建模框架.研究了量子理论在自然语言理解方面的应用潜力.在自然语言句子匹配任务上,探讨了量子理论作为一种形式化框架捕捉句子、词语的语义和语义建模上的能力:利用量子态构建句子的语义Hilbert空间,计算句子信息变换过程中信息的保真度;与此同时,将量子理论与Wor...     

基于语义的语句相似度计算研究

在对常用的语句相似度计算进行研究的基础上,指出了这些方法存在的不足.为了满足实际应用的需要,基于语句的语义和组成句子的词语在句子中重要性程度,设计出了具有较高准确率的相似度计算方法,通过实验,证明了这种方法的有效性.     

Design and Implementation of FAQ Automatic Return System Based on Similarity Computation

FAQ （frequently asked question） is widely used on the Internet, but most FAQ＇s asking and answering are not automatic. This paper introduces the design and imple mentation of a FAQ automatic return system based on semantic similarity computation, including computation model choo sing, FAQ characters analyzing, FAQ data formal expressing, feature vector indexing, and weight computing and so on. According to FAQ features of sentence length short, two mapping, strong domain characteristics etc. Vector Space Model with special semantic process was selected in system, and corresponding algorithm of similarity computation was proposed too. Experiment shows that the system has a good performance for high frequent and common questions.     

基于改进随机云滴法的云相似性计算

现有随机云滴法得出的相似度随云滴数目的增加而存在趋势性变化,以致无法给出较为稳定、合理的计算结果。为此提出了一种改进方法,对随机云滴法出现的趋势性变化现象进行了分析和讨论,给出了相关定理及证明过程。通过探讨问题产生的实质,忽略云滴数目,将相似度统一建立在云滴距离这一物理概念上,重新定义了相似度表达式。仿真实验的结果表明,改进方法能够获得相对稳定的相似度计算结果,有效解决了原算法相似度的趋势性变化问题,具有较好的适用性。     

基于配价结构的词汇化句法分析模型

基于“配价”是汉语词语的一个比较本质的特点,一旦1个词语的配价结构确定下来,它应该和怎样的词进行搭配就比较清楚,从而也可以比较直接地导出句子的结构,为此,结合中心词驱动句法分析模型,提出基于配价结构的词汇化句法分析模型,引入丰富的语义信息如语义依存信息和配价结构等语义搭配信息,并用改进的句法分析模型进行句法分析实验.实验结果表明:模型的精确率和召回率分别为88.65％和87.26％,综合指标F与Collins的中心词驱动句法分析模型的相比提高6.51％.     

一种新的词语相似度计算方法

提出了一种新的词语相似度计算方法.该方法利用词语关联分布规范化因子,对互信息中目标词和基词的关联度度量方法进行了修正,通过计算目标词和基词的关联度,构造目标词的属性向量,由目标词的属性向量,利用夹角余弦法计算出目标词语相似度.实验结果验证了该方法的有效性.     

一种新的词语相似度计算方法

提出了一种新的词语相似度计算方法。该方法利用词语关联分布规范化因子,对互信息中目标词和基词的关联度度量方法进行了修正,通过计算目标词和基词的关联度,构造目标词的属性向量,由目标词的属性向量,利用夹角余弦法计算出目标词语相似度。实验结果验证了该方法的有效性。