基于密度聚类模式的中文新闻网页关键词提取

页没有提供关键词,人工标注关键词代价巨大,并且大多数已有的关键词自动提取算法都需要建立在人工标注的训练集之上,因而难以实用.由于关键词是文章中较重要且主题关联较凝聚的词的集合,因此提出一种基于密度聚类模式的中文新闻网页关键词提取方法,根据词语之间的共现信息,对网页分词后的词语进行聚类,在分析词语关联度的基础上提取出反映新闻主题的关键词.通过大量随机新闻网页实验结果表明,与单纯的TF/IDF(词频和文档频率倒数的乘积)方法相比,此算法召回率平均提高了7.15N,准确率平均提高了7.075%.     

基于关键词提取的娱乐新闻文档去重算法

去除内容相同或相近的新闻是提高搜索引擎的关键技术之一.提出一种基于关键词提取的新闻去重算法,通过以标题为种子点构建词汇链的方法,能够找到对主题贡献大的非高频词,从而抽取出完整文档关键词集合,该方法能够基于小规模语料库识别新词;为了提高网页去重速度和质量,基于关键词建立去重倒排文档.实验结果显示,该方法与传统方法相比排斥错误率降低了5%,去重时间缩短了20%～30%.     

一种基于加权语义相似度模型的自动问答系统

在对比传统词频相似度模型的基础上,提出并实现了一种基于加权语义相似度模型的自动问答系统．首先,利用语义树中词语间的距离和语义树的高度来计算词语间的语义相似度,然后利用词语间的语义相似度和词语的权重进一步计算用户问题与答案库中问题间的语义相似度．基于此模型的自动问答系统能够接受用自然语言描述的问题,通过语义相似度的计算,自动地返回相关答案．实验表明,本文提出的基于语义树的加权语义相似度模型与传统的词频相似度模型相比,准确率有明显提高．     

一种基于LDA模型的关键词抽取方法

为解决现有方法未能综合考察文档主题的全面性、关键词的可读性以及差异性,提出一种基于文档隐含主题的关键词抽取新算法TFITF。算法根据大规模语料产生隐含主题模型计算词汇对主题的TFITF权重并进一步产生词汇对文档的权重,利用共现信息排序和选择相邻词汇形成候选关键短语,再使用相似性排除隐含主题一致的冗余短语。此外,从文档统计信息、词汇链和主题分析3方面来进行关键词抽取的对比测试,实验在1 040篇中文摘要及5 408个关键词构成的测试集上展开。结果表明,算法有效地提高文档关键词抽取的准确率与召回率。     

基于语义分析的改进TF-IDF算法

传统的TF-IDF算法主要依赖词频,往往忽略词语语义和一些具有重要意义的副词。针对这一问题,提出了一种基于语义分析的改进TF-IDF算法。该方法融入了词语语义来计算词频,改进了反义词语之间的相似度。实验结果表明,该方法在计算句子相似度中能根据语义方向对句中各词语词频进行统计,同时判断整个句子语义方向,与传统算法比较,语句相似度的准确性提高了5. 7%。     

基于词法、句法和语义的句子相似度计算方法

为了解决现有句子相似度算法未考虑句子语义信息的问题,提出了一种基于词法、句法和语义的句子相似度计算方法.将句子相似度分为词法层、句法层、语义层3个层次.在词法层,通过构建句子的词汇相似度矩阵和数字序列相似度矩阵来计算词法相似度;在句法层,使用概念词汇转化成的RDF三元组相似度来计算句法相似度;在语义层,基于本体树状结构中最短路径表示的语义距离来计算语义相似度.然后,提出句子语义相似度计算模型,采集图书领域句子对作为测试集,构建图书领域本体作为知识源.实验结果表明,所提方法具有更高的准确率和召回率,其F-度量值达0.649 9,与余弦相似度算法、基于编辑距离的算法和基于TF-IDF的算法相比分别提高约12%、17%和16%.     

基于上下文语义的甲骨文领域概念抽取算法的研究

本体构建的重点在于概念的抽取,针对甲骨文卜辞特有的特征和已有的领域概念抽取算法的缺陷,提出了一种基于上下文语义的甲骨文领域概念抽取算法。该算法针对传统的基于DR+DC的概念抽取算法的缺点进行改进,提出了基于上下文的概念间的相似度的计算方法,并给出了基于语义的领域概念筛选算法。实验数据表明,该方法在准确率和召回率以及困惑度衰减比率都有较大的提高。     

基于知网的用户模型过滤技术

本文首先从网页文档中抽取出关键词建立用户模型,然后从语义的角度出发,基于"知网"进行词语相似度计算,进而判定搜索引擎返回的网页与用户模型的相似度从而达到过滤信息的目的。实验表明,系统比传统的利用向量空间模型进行信息过滤具有更好的精度。     

中心聚类和语义特征融合的网页信息文本挖掘方法

针对网页信息内容丰富且结构复杂,难以准确挖掘的问题,采用中心聚类和语义特征相互融合的方法.利用中心聚类算法确定样本最终的聚类中心,根据每个词在网页中出现的频率和词的上下文语义,构造一个网页-词语的权重映射矩阵,并将语义特征作为中心聚类相似性的判断依据,完成网页文本信息的挖掘.实验结果表明:利用该方法对网页文本进行挖掘,在时间增加不多的情况下,可以获得更高的召回率和准确率.     

一种基于改进似然比的术语自动抽取方法

术语自动抽取是信息处理领域的基础性课题,日益受到研究者的关注。似然比方法能有效抽取低频词汇,但抽取准确率偏低。为了解决这个问题,将似然比的抽取结果用C-value进行改进。实验证明,两者相结合,在保证似然比方法高召回率的前提下,比单纯依靠似然比方法抽取准确率提高了约8%。