基于网络日志的用户查询推荐

随着Internet的迅速发展,人们面对信息爆炸的现实。因此,需要根据用户的查询意图进行推荐。基于此,提出一种计算查询词相似度的方法,利用K-means对查询词进行聚类并计算聚类簇中心,当用户输入查询词后计算该查询词与每个聚类簇中心的相似度并降序排列,选取相似度最大的两个聚类簇对其进行查询推荐。     

基于改进TF-IDF的百度百科词语相似度计算

基于百度百科对词语相似度计算进行研究,结合TF-IDF算法和词条百度百科内容,提出一种基于改进TF-IDF的百度百科词语相似度计算方法。TF-IDF算法对文本中词语权重进行计算时,面临部分代表性较好的词语权重较低的问题,通过引进百科词条中词语分布的类别信息,包括词语在类内、类间分布对词语权重的影响改进词语权重计算,此外,根据词语在全集中出现的频率定义词语的代表性,通过计算百科词条中词语的权重因子,构建词条的相关向量,根据向量之间余弦值计算词语相似度。实验表明,相对于不使用TF-IDF方法计算权重和基于经典TF-IDF方法计算权重,结合类别信息的TF-IDF方法和定义代表性的TF-IDF方法提高了词语相似度计算的准确性。     

基于知网的领域概念抽取与关系分析研究

针对目前领域概念抽取手工完成的现况,提出了一种基于知网的领域概念抽取和关系分析系统模型.本模型利用知网语义相关性从文本中生成领域语义词典,结合TFIDF算法建立"词-文本文档矩阵",用以代替传统的词形频率统计;通过产生领域语义本体,利用语义相似度对概念进行聚类.讨论了这3个步骤所涉及的算法,包括基于统计模式从文本中抽词,基于奇异值分解从词-文档矩阵中提取概念,基于语义相似度对概念进行聚类等.实验表明,本文提出的抽取方法相对与词频算法具有较高的准确度.     

基于异或编辑距离算法的航班号相似度研究

航班号是执行运输航空任务航空器的主用识别标志,但相似航班号会严重影响管制运行效率和航空安全.目前,相似航班号的判断主要依赖管制员的管制经验,对其尚无相关定量研究方法.该文在用于文本相似度定量比较的编辑距离算法基础上,提出了航班号相似度计算的异或编辑距离算法,并利用北京区域管制中心的实际运行数据验证了该算法的可行性.根据该方法计算了国内主要航空公司的平均相似度,相关结果可为航班号的分配提供定量参考.     

一种文本文档相似性计算的方法

首先对当前文本文档相似度计算方法的优缺点及适用范围进行了分析.由于越长的词语表达的意思一般越完整,基于这一思想,对不同长度的词语赋予不同的权值,把长度为n的公共序列引入到相似度的计算中,构造了一文本相似度计算公式,对其中相似度计算公式的合理性给予了理论证明.最后,通过实验证明该方法是有效的.     

基于进化模糊规则的Web新闻文本挖掘与分类方法

针对现有Web新闻文本分类方法准确率低且不能适应文本类型变化的问题,提出一种基于进化模糊规则的Web新闻文本挖掘和分类方法.首先,对每篇Web文本进行术语提取,并利用词频-逆向文档频率(TF-IDF)算法过滤掉一些具有较低描述能力的术语.然后,基于计算收集到的新的新闻文本内容与类别之间的余弦距离,利用eClass0分类器创建和更新模糊规则的数量和属性.最后,根据模糊规则推理和余弦距离进行文本分类.实验结果表明,该方法具有较高的正确分类率,且能够自适应Web新闻文本类别的变化.     

属性论在文本相似度计算中的应用

在文本信息检索中，相似度是用以反映用户需求与数据库系统中文本内容的相近程度。相似度越大，表明文本越符合用户的需要，相似度越小，表明文本越不符合用户的需要。本文以属性论中的一个模型——属性重心剖分模型(又称属性坐标系)为基础，探讨属性论在文本相似度计算中的应用。     

融合TF-IDF和LDA的中文FastText短文本分类方法

FastText文本分类模型具有快速高效的优势,但直接将其用于中文短文本分类则存在精确率不高的问题.为此提出一种融合词频-逆文本频率(term frequency-inverse document frequency, TF-IDF)和隐含狄利克雷分布(latent Dirichlet allocation, LDA)的中文FastText短文本分类方法.该方法在FastText文本分类模型的输入阶段对n元语法模型处理后的词典进行TF-IDF筛选,使用LDA模型进行语料库主题分析,依据所得结果对特征词典进行补充,从而在计算输入词序列向量均值时偏向高区分度的词条,使其更适用于中文短文本分类环境.对比实验结果可知,所提方法在中文短文本分类方面具有更高的精确率.     

基于中心向量KNN算法的改进

针对KNN算法在中文文本分类时计算开销大的问题,在已有改进算法的基础上进行了更深入的研究,提出改进的基于中心向量KNN算法.算法首先引入基于密度的思想对训练样本进行调整,同时计算各类别的类中心向量.在保证类中心向量准确性的前提条件下,使分类阶段的复杂计算提前到分类器的训练过程中.实验结果表明,该算法在不损失精确度的情况下,提高了分类实时性.     

基于QPCA的彩色图像复制粘贴检测

目前,大多数图像取证方法对彩色图像的处理是将其转换为灰度图像,从而导致了彩色图像的颜色信息不能被有效且充分地利用.针对此问题提出一种基于四元数主成分分析(quaternion principal component analysis, QPCA)的复制粘贴篡改检测方法.该方法充分利用了彩色图像的各个颜色通道及它们之间的相关性,能够有效提高篡改区域的识别度.运用基于图像块的检测方法,首先将图像分块后对所有块进行QPCA计算以提取特征,然后用字典排序获取相似块的移位向量,最后根据移位向量频数与阈值的比较确定篡改区域.实验结果表明,所提方法的误检漏检率低于现有方法,检测准确率有较大提高.     

文本分类中支持向量机研究

随着我国现代科技的快速发展,文本分类逐渐在信息化技术与数字化技术领域得到重视。利用计算处理系统处理文本信息,能够有效提升文本分类的质量与效率,提升数据信息的利用率,从而促进信息化技术的普及。而支持向量机是处理文本内容,加强文本分类速度,并通过文档建模、中文分词、分类器评估等形式,构建出的行之有效的统计语言模型,它可以推动文本分类工作的发展。本文结合国内外研究现状,探析文本分类内涵及支持向量机原理,提出基于支持向量机的文本分类算法。     

改进的高精度单本体概念相似度计算模型

概念相似度评估广泛应用于概念分类、概念聚合、概念合并等工作中.以往面向单本体概念相似度计算模型的工作虽然集中在概念特征匹配和语义分析之上,但考虑的要素单一或考虑要素的内容不全,所以计算结果精度不高,不利于概念关系的深层挖掘.该文完善概念的共性匹配,把概念间同时不具备的特征作为共性的一部分,并对概念格中不同层次的语义特征进行加权,从而提出一种具有高精度的面向单本体的概念相似度计算模型.实验数据表明该模型具有较高的精度.     

联合压缩感知和颜色向量角的彩色图像哈希方法

提出一种联合压缩感知和颜色向量角的彩色图像哈希方法.该方法先对输入图像进行预处理,并计算其颜色向量角矩阵,然后对矩阵进行非重叠分块,再将每一块进行压缩感知测量,用测量向量的均值构成哈希值.实验表明,该方法对常见数字操作稳健并有良好的唯一性,分类性能优于3种现有方法.     

中文地名数据清洗中的重复字段匹配

为了提高中文地名字段匹配的准确度,提出中文地名的相似重复检测与清洗策略和矩阵相似重复匹配方法. 该清洗策略采用矩阵相似重复匹配方法,通过矩阵运算计算中文地名数据之间相同字符或者词语出现的频率,利用频率计算两者之间的语义相似度和结构相似度,然后将语义和结构相似性有机结合,作为相似性判断和重复数据清洗的依据. 实验验证了该方法的可行性和有效性. 结果表明,该方法对于中文地名字段匹配在查准率和召回率方面优于已有的其他算法.     

基于LDA与距离度量学习的文本分类研究

提出了一种基于隐含狄利克雷分布(LDA)与距离度量学习(DML)的文本分类方法,该方法利用LDA为文本建立主题模型,借助Gibbs抽样算法计算模型参数,挖掘隐藏在文本内主题与词的关系,得到文本的主题概率分布.以此主题分布作为文本的特征,利用DML方法为不同类别的文本学习马氏距离矩阵,从而较好的表达了文本之间的相似性.最后在学习到的文本间距离上,利用常用的KNN及SVM分类器进行文本分类.在经典的3个数据集中的实验结果表明,该方法提高了文本分类的准确率,并且在不同的隐含主题数目参数下能体现较好的稳定性.     

XML文档的聚类研究

随着互联网的迅速发展,XML已经成为互联网中最常用的数据交换与存储语言,如何从大量的XML文档中提取有价值的信息是目前的研究热点之一.本文提出了一种基于SET/BAG模型的改进的相似度计算方法.该方法将XML文档的每个节点转换成一个对象(由对象名、父对象、属性集合以及该对象相对于其父对象的权重组成),能较完整地表达XML文档的结构信息,并且通过调整重复节点的权重来降低其在相似度计算中的影响.在真实数据集与人工数据集上分别进行实验,仿真实验结果表明,本文提出的基于SET/BAG模型下改进的相似度计算方法能得到很好的聚类结果.     

一种基于SOM和层次凝聚的中文文本聚类方法

研究了一种基于SOM（self-organizing map）和层次聚集的中文文本聚类方法，按照提出的中文聚类模型，该方法首先对文档集向量化，文档向量矩阵通过SOM训练映射到虚拟的二维空间，形成初步聚类；然后对虚拟坐标集进行二次聚类，与直接聚类方法相比，该方法提高了聚类的效果，减少了计算时间，通过数值实验对比表明该方法对中文文本聚类具有有效性。     

基于改进的MMR算法的新闻文本抽取式摘要方法

提出了基于最大边缘相关（maximal marginal relevance，MMR）的新闻摘要方法以及基于支持向量机（support vector machine，SVM）和MMR相结合的新闻摘要方法。其中，第1种方法是对传统MMR模型进行了改进，第2种方法使用了改进MMR模型对SVM分类结果进行了二次选择。实验表明：相比于传统MMR模型，该文提出的基于改进MMR的摘要方法和基于SVM-MMR的摘要方法的平均准确率分别提升了0.148、0.204，且基于MMR的新闻摘要方法的摘要效率约为基于SVM-MMR的摘要方法的3倍。改进的MMR算法更加适用于对摘要效率要求高的应用场景，特别是对长文本进行摘要。基于SVM-MMR的摘要方法则更适用于生成对文本内容覆盖相对全面的摘要。     

基于改进Hadoop云平台的海量文本数据挖掘

针对常用的文本数据挖掘系统在处理海量文本数据时时间效率较低的问题,论文提出了一种基于改进Hadoop云平台的海量文本数据挖掘方法.该方法首先将传统Hadoop云平台进行改进以适应海量文本数据挖掘的需要,然后将海量文本数据集和挖掘任务分解到该改进平台上的多台计算机上并行处理,从而实现了一个基于改进Hadoop云平台的海量文本数据挖掘平台,并通过对10 000篇新闻材料组成的实验数据集进行挖掘验证了该平台的有效性和高效性.     

一种融合双向LSTM和CNN的混合情感分析模型

针对现有文本情感分析方法实时性不强、难以应用到大规模文本、不能同时提取文本上下文信息和局部语义特征等问题，提出一种融合双向长短期记忆（LSTM）和卷积神经网络（CNN）的混合情感分析模型通过使用双向LSTM和CNN模型对由word2vec编码得到的文本词向量进行训练，运用注意力机制将双向LSTM模型学习到的特征作用于CNN模型上，并进行特征加权，最后将双向LSTM模型和CNN模型得到的结果进行拼接，由分类器得到相应的情感分类结果在NLPCC SCDL数据集上进行实验，结果表明所提出的融合双向LSTM和CNN模型在精度、召回、f1值和准确度方面优于两个单独的模型