基于分词和基于N-Gram的网页分类系统比较研究

设计并实现一个网页分类系统,采用相同的特征权值计算方法,特征选择算法以及分类算法,进行基于分词的网页分类系统和基于N-G ram的网页分类系统的对比实验,分析两者的分类效果。结果表明,基于N-G ram的网页分类系统能达到并在一定程度上高于基于分词的网页分类系统的效果。     

基于N-Gram和动态滑动窗口的改进余弦相似度算法研究

为了解决余弦相似度算法进行数据清洗时重复与相似的数据会使计算量呈几何级增长的问题,提出了基于N-Gram和动态滑动窗口的改进余弦相似度算法.首先通过计算每条数据的N-Gram值,并对数据进行相似度排序,然后定义初始滑动窗口,其窗口值根据N-Gram值的方差动态调整,最后在每个窗口中根据相似度与阀值判断相似数据.实验结果表明,改进的余弦相似度算法在运行速度上有大幅度提高,数据清洗准确率也得到提升,且该算法适用于海量数据的情形.     

基于贝叶斯的N-Gram统计信息检索模型

为了对频繁更新的文档信息进行有效检索,提出了一种基于贝叶斯的N-Gram统计信息检索模型(Bayesian-based N-Gram,BNG).BNG模型无需对所有文档信息进行重新学习,只需根据新增的文档信息自适应地调整BNG模型的权值,以突出各个词语、文档对语义空间不同的贡献程度.实验结果表明,与现有的统计信息模型相比,提出的BNG模型显著地提高了检索的准确率与召回率.     

对联自动应答系统的设计与实现

在分析对联创作规则的基础上,结合计算语言学相关知识,采用HMM模型进行语料库训练,得出相关的概率统计信息;使用N-gram模型进行联语预测,实现了对联自动应答系统.结果表明,系统在一定程度上可以进行对联辅助创作.