基于层叠模型的话题检测方法研究

针对相似话题难以区分的问题,提出了基于层叠模型的话题检测方法.该方法以Single-Pass聚类策略为基础,将新闻实体信息运用到话题检测中,改进时间相似度和地点相似度的计算方法,在底层利用文本内容相似度完成话题检测的任务,在高层结合时间相似度和地点相似度完成话题检测的任务.实验结果表明,该方法的性能优于传统的文本相似度算法.     

面向食品安全监理话题检测方法的研究

食品安全问题一直是国民热切关注的话题,关系到社会的多个领域。为及时知晓食品安全领域关注的热点问题,对比了食品安全热点话题与其他热点话题在检测方法上的异同,构建了食品安全监理话题检测模型,运用聚类算法对食品安全数据进行文本挖掘来实现话题检测,并对食品安全数据进行分析。通过实验说明,采用Single-Pass算法的评价优于K-Means算法的评价,能够有效地对食品安全话题进行检测。     

基于改进Single-Pass的农产品安全事件在线检测方法

农产品安全事件在网络上快速传播,容易造成较大的社会影响或导致网络舆情事件,需要及时识别出农产品安全危机事件。提出了基于改进Single-Pass的农产品安全事件在线检测方法。通过将文本进行分块和动态更新特征词的文档频率,改进了特征词权重计算方法;通过引入时间距离,改进了Single-Pass算法聚类时的相似度度量方法。相对于改进前,系统的漏检率和误检率有明显降低;可有效进行农产品安全事件的在线检测,可用于网络上农产品安全危机事件的动态监测。     

基于《知网》的文本相似度研究

计算文本相似度常用的方法是计算以VSM表示的文本之间的夹角余弦值,但这种方法并没有考虑文本中词语之间的语义相似度.另外由于计算余弦值时要考虑VSM向量对齐,从而导致计算的高维度、高复杂性.《知网》作为一个汉语常用的知识库得到广泛的研究,利用该知识库能方便地求得汉语词语之间的相似度.利用《知网》计算每篇文本中词语之间的相似度,对VSM进行改进,用少量特征词的TF/IDF值作为改进后的VSM向量中的权重,进而计算文本之间的相似度.通过比较改进前后的VSM的维数、召回率和准确率,结果显示,改进后的算法明显降低了计算的复杂度并提高了召回率和准确率.     

一种基于改进相似度计算的文本聚类方法

针对文本在聚类或分类时,由于数据高维稀疏导致相似度值低的问题,提出一种基于改进文本相似度计算的聚类方法.首先,利用向量空间模型VSM表示文本,采用余弦函数计算文本之间的相似度;然后,基于网络中节点的相似性传播原理,通过设置阈值找到与各个文本相似度较大的文本集合,进而使用Jaccard系数将两个文本之间相似度计算转化为两个文本集合之间的相似度计算;最后根据得到的文本相似度矩阵,利用谱聚类算法对文本进行聚类.在WebKB上的实验结果表明,与传统的K-means、谱聚类方法相比,该方法提高了聚类的准确度,召回率与F值.     

基于中文文本的编辑距离算法的改进

为了从不同的文本获取干净、有效的信息,首先要做的是删除重复的内容,而问题的核心是字段的匹配。目前大部分的字段匹配算法主要针对英文,对于中文的字段匹配算法还存在许多缺陷。为解决中文文本匹配准确度较低的问题,通过分析汉语语法的特点以及编辑距离算法中针对中文文本相似度计算时的不足,提出了一种基于中文文本的编辑距离算法的改进方法。该算法采用中文分词和基于短句的方法,解决了编辑距离算法在中文文本相似度计算时不能处理字段颠倒的情况。通过对实验结果的分析,改进后的算法明显提高了中文文本相似度计算时的匹配准确率。     

针对修正余弦相似度改进的协同过滤推荐算法

为了提高协同过滤推荐算法的推荐准确度,降低对未评分项目的评分预测误差,提出了一种针对修正余弦相似度改进的协同过滤推荐算法。一方面,为了解决修正余弦相似度中未考虑项目热度的问题,在传统的修正余弦相似度基础上引入热门项目惩罚因子;另一方面,为了克服改进的修正余弦相似度公式高度依赖共同评分数量的限制,引入JS散度并改进,将改进JS散度得到的概率分布修正因子作为权重融合到改进的修正余弦相似度中,得到新的相似度计算方法。使用MovieLens数据集进行实验,结果表明,在协同过滤推荐算法的相似度计算部分使用本文改进方法同其他相似度计算方法比较,本文方法使推荐算法对未评分项目的评分预测更准确,推荐算法的推荐准确度更高。     

基于改进BoS的Web文本分类研究

提出了改进的文本相似度计算方法,在计算文本的相似度时,赋予不同文本块中的句子不同的权值,同时直接去掉短句子和合并高相似度的句子以精简句子包中句子数量以提高运算速度.改进后的文本相似度计算方法为:先根据句子相似度的计算方法计算句子的相似度,再计算文本块的相似度,最后按照文本块的权值计算整个文本的相似度.经试验证明,改进后的算法在文本召回率、准确率和F1值上都有明显的提高.     

基于自编码神经网络的Single-Pass聚类事件识别算法

针对传统Single-Pass聚类算法存在的缺陷，提出了一种基于自编码神经网络的Single-Pass聚类算法。通过多个深层的隐藏层对原始数据进行降维，以更好地提取出原始数据的特征信息；并通过对边缘文本重计算来降低误检率，提高聚类精度。实验结果表明，该算法相比传统Single-Pass算法具有更高的聚类准确度，解决了聚类结果受数据顺序影响的问题。     

基于本体的俄文新闻话题检测设计与实现

针对俄文新闻文本的话题检测问题,以俄文文本的自动形态分析、命名实体识别作为辅助手段,设计了一种基于本体描述俄文新闻文本和话题信息并进行相似度计算的方法,随后使用Single-pass算法进行俄文文本的话题检测实验。通过对比基于向量空间模型和基于本体模型的俄文话题检测结果,证明了后者具有相对较高的准确性和有效性。     

一种高效的用于话题检测的关键词元聚类方法

针对基于关键词元的话题内事件检测算法运行效率不高、不适合进行大规模文本话题检测的问题,提出了一种高效的关键词元聚类算法.该算法在进行词元簇选择时,为簇间相似度分配权值,并借鉴正态分布函数评估词元簇的个数,提高词元簇的选择精度,从而减少所需的词元聚类次数.实验结果表明,将改进的方法应用到舆情监控的话题检测中,能在不影响检测精度的前提下有效地提高算法的运行效率.     

基于改进Single-Pass算法的网络新闻话题发现

通过改进的Single Pass增量文本聚类算法, 以话题为粒度对新闻信息进行组织, 实现网络新闻话题的发现. 该方法考虑了新闻的动态性和时间特性, 在特征词项权重计算中从词项在标题和正文中的位置信息及词项的增量文档频率两方面进行优化, 同时在相似度的计算中添加了时间因素及聚类中动态更新话题的质心向量. 应用 基于主题的网络爬虫构建的新闻等语料作为测试数据集, 实验结果表明, 改进算法较传统算法在耗费代价和错检率上分别降低0.34%和1.57%, 验证了改进算法的有效性和准确性.     

基于语义理解的文本相似度算法

相似度的计算在信息检索及文档复制检测等领域具有广泛的应用前景.研究了文本相似度的计算方法,在知网语义相似度的基础上,将基于语义理解的文本相似度计算推广到段落范围,进而可以将这种段落相似度推广到篇章相似度计算.给出了文本(包括词语、句子、段落)相似度的计算公式及算法,用于计算两文本之间的相似度.实例验证表明,该算法与现有典型的相似度计算方法相比,计算准确性得到提高.     

中文短文本语法语义相似度算法

通过分析中文短文本的特征,提出了一种基于语法语义的短文本相似度算法.该算法结合中文语句语义的相似性以及语句语法的相似性,即计算具有相同句法结构的短文本的相似度以及考虑语句词组顺序对相似度的贡献,对中文短文本相似度进行计算.实验表明,本文提出的算法在中文短文本相似度计算结果上更加接近人们的主观判断并且拥有比较好的精确率与召回率.     

文本案例相似度计算方法

目的针对常用的向量空间模型忽视了文本中的词序和结构信息,影响文本相似度计算的准确度的缺点,提出新的文本案例相似度计算方法。方法将文本表示粒度由词提高到句子,加入词序信息。结果提出了句子向量空间模型及基于该模型的文本案例相似度计算方法。结论这种方法更符合人类理解的模式,提高了文本案例相似度计算的准确度。     

基于深度学习的文本相似度计算

提出了一种基于改进堆叠自动编码器提取低维度句子特征的方法,同时采用自动编码器的降噪技术以增加鲁棒性和表达能力。接着用提取的特征计算文本间句子的相似度并组成相似矩阵,用对应的文本生成文本特征矩阵,然后分别通过对应的深度卷积网络训练并提取特征。最后用特征融合技术将两个深度卷积网络提取的特征融合,经全连接的多层感知机计算相似度。实验结果证明,提出的方法能够表达句子的语义特征和文本的上下文特征,有效提高文本相似度计算的准确度。     

一种改进的基于本体概念相似度计算方法研究

知网是一个英汉双语本体,含有丰富的语义知识.在综合考虑了知网中义原重合度、义原差度、层次深度等因素的基础上,提出了一种新颖的义原相似度计算方法,并在义原相似度计算的基础上,通过改进的匈牙利算法来计算基于知网的概念相似度,最后通过实验验证算法的有效性,与基于WordNet的方法相比,文中提出的基于知网的相似度计算一样可以取得较好的精确度.     

基于LDA模型和T-OPTICS算法的中文新闻话题检测

给出了一种针对大量新闻数据的话题检测方法.首先通过LDA(latent dirichlet allocation)模型从语义层面抽取新闻数据主题,有效降低数据分析维度,更合理地体现新闻主题特征.然后改进OPTICS(ordering point to identify the cluster structure)密度聚类算法,基于新闻话题的时间延续性给出了T-OPTICS算法.该算法继承了OPTICS算法对参数不敏感的特性,降低了参数选择对聚类结果的影响.改进了OPTICS算法中文本间相似度的计算方法,体现了话题的时间延续性.基于TDT4数据集的实验表明,该方法能够快速有效地发现新闻中的话题.     

《知网》义原相似度计算的研究

词语之间相似度的计算广泛应用于信息检索、文本主题抽取、文本分类、机器翻译等研究领域.词语之间的相似度的计算通常有两方法,基于统计的方法和基于世界知识的方法.对于中文的词语相似度计算,有人提出一种利用《知网》计算词语相似度的方法,该方法通过计算《知网》义原的相似度进而计算词语的相似度,但是该方法在计算义原相似度时没有考虑义原在层次体系树上的深度以及区域密度.在此基础之上深入研究《知网》的义原层次体系,将义原在层次体系树上的深度和区域密度两个因素添加到义原相似度计算中.最后,实现了该计算方法并得到实验结果,将实验结果与改进前的计算方法的结果比较,发现考虑义原在层次体系树上的深度和区域密度得到的结果比不考虑这两个因素得到结果更符合实际.     

基于改进Single-Pass算法的BBS热点话题发现

详细介绍了经典增量式聚类算法Single-Pass的特点,针对该算法中"聚类质心不唯一"的缺陷提出"设定唯一聚类质心"的改进方案,降低了算法的时间复杂度;针对"算法聚类中心随机性强"的不足提出了"不断优化聚类中心"的改进方案,使得聚类中心的代表性更强.最后,基于"中华网BBS"文本数据对改进后的算法进行验证、分析,并与经典Single-Pass算法的聚类结果进行对比,得到了更为理想的实验结果,表明算法可行有效.