基于样本重要性原理的KNN文本分类算法

KNN是重要数据挖掘算法之一,具有良好的文本分类性能.传统的KNN方法对所有样本权重看作相同,而忽略了不同样本对于分类贡献的不同.为了解决该个问题,提出了一种样本重要性原理,并在此基础上构造KNN分类器.应用随机游走算法识别类边界点,并计算出每个样本点的边界值,生成每个样本点的重要性得分,将样本重要性与KNN方法融合形成一种新的分类模型——SI-KNN.在中英文文本语料上的实验表明:改进的SI-KNN分类模型相比于传统的KNN方法有一定的提高.     

协同过滤中一种项目综合相似度计算方法

协同过滤算法作为一种成功的个性化推荐技术已经被应用到很多领域,但是由于协同过滤算法所使用的用户-项目评分矩阵一般都非常稀疏,导致该算法推荐效果一直较差。文章在考虑了用户相似喜好、项目平均得分的差异性和方差等因素基础上,提出了一种项目间综合相似度计算方法JAV Weighted Model,通过在MovieLens数据集上的实验表明本文方法在预测精度上与已有方法相比有一定的提高。     

结合语义的位置语言模型

针对位置语言模型没有考虑词与词之间语义关系的问题, 提出一种结合语义的位置语言模型。首先采用高斯核函数来度量词与词之间的位置关系; 然后提出一种平滑互信息的技术来度量词与词之间的语义关系, 证明了平滑互信息能够有效解决大量词对之间无法通过互信息来计算转移概率的问题; 还证明了位置语言模型是结合语义位置语言模型的一个特例; 最后将结合语义的位置语言模型应用于信息检索, 得到一个基于该模型的检索模型。实验结果表明, 基于该模型的检索模型在性能方面要优于基于位置语言模型的检索模型。     

机器翻译自动评价中领域知识复述抽取研究

针对通用领域语料中抽取的复述在特定领域机器译文自动评价任务的应用中容易出现复述匹配偏差的问题,提出采用抽取与测试领域相关的复述来提高机器译文自动评价的方法。首先将通用单语训练语料进行聚类,并利用改进的M-L方法过滤,得到特定领域训练语料,然后在训练语料中利用Markov网络模型,抽取特定领域复述表,最后将此复述表应用在机器译文自动评价中,以提高同义词和近义词的匹配精度。在WMT’14 Metrics task和WMT’15 Metrics task数据集上的实验结果表明,利用领域知识抽取的复述能够增加自动评价方法METEOR和TER与人工评价的相关性。     

基于MapReduce的粒子群投影寻踪模型的设计与实现

利用MapReduce模式设计并实现了粒子群投影寻踪算法的并行化,以提高算法的效率.在分类阶段使用了基于MapReduce的KNN分类算法并行,实验结果表明:基于MapReduce实现的粒子群投影寻踪模型能够有效地寻找到较好的投影方向,确保分类效果;并且与其串行算法相比,在实现效率上有较大的提高.     

投影寻踪模型中投影指标的改进

针对文本分类问题及投影寻踪降维的特点,对投影寻踪模型中投影指标进行改进,给出了新的投影指标.对不同的投影指标进行相应的对比实验,实验结果表明:改进的指标不仅充分利用投影寻踪降到超低维的特点,而且对文本分类的性能有了较大地提高.     

结合语义的位置语言模型

针对位置语言模型没有考虑词与词之间语义关系的问题,提出一种结合语义的位置语言模型。首先采用高斯核函数来度量词与词之间的位置关系;然后提出一种平滑互信息的技术来度量词与词之间的语义关系,证明了平滑互信息能够有效解决大量词对之间无法通过互信息来计算转移概率的问题;还证明了位置语言模型是结合语义位置语言模型的一个特例;最后将结合语义的位置语言模型应用于信息检索,得到一个基于该模型的检索模型。实验结果表明,基于该模型的检索模型在性能方面要优于基于位置语言模型的检索模型。     

基于MR的并行决策树分类算法的设计与实现

决策树分类方法是实现数据挖掘中分类任务的一种有效方法,但在大规模测试数据集上运行时其实现性能受到严重影响.本文设计和实现一种基于MapReduce架构的并行决策树分类算法.实验结果表明:基于MapReduce的决策树分类算法比同类算法在其他并行编程模型下的实现在计算节点较多的情况下能得到更优的性能.     

基于Markov随机游走的渐进式半监督分类模型

提出了一种基于Markov随机游走的渐进式半监督分类模型:在随机游走过程中,计算待标注数据到各类的迁移概率时,只考虑相应类别样本的影响,而忽略其他类别样本对随机过程的影响;并在学习过程中借鉴渐进学习思想,通过不断地“纠正”半监督学习过程中的“错误”,从而提高模型的预测精度.在20newsgroups数据集上的实验结果表明:所提出的方法能够提高半监督分类的精度.