文本挖掘中的层次聚类算法

随着互联网中信息的日益增长,通过文本挖掘,快速、准确地检索信息和分类信息成为人们日益迫切的要求,具有广泛的应用前景和实用价值.依据信息论的思想,从文档信息量变化的角度,对文本数据从概率角度来研究文本数据的聚类分析,研究信息量在层次聚类过程中所呈现的规律性,进而提出一种基于信息量模型的聚类分析算法.     

一种新的文本预处理方法研究

文本预处理是整个字符识别系统的重要组成部分．它的性能的优劣，对整个字符识别系统的识别率和识别速度至关重要．由于汉字印刷文稿版面的复杂性，其文本预处理远比西文困难．本文提出了一种新的文本预处理方法．实现了含有文字字符，图形，图片和表格的、版面结构复杂的数字图象的分割．整个算法分为两个阶段完成：首先，从图形的连通原则出发，定义了扩展连通域的概念，对整个文本图象逐行扫描，搜索出所有的扩展连通域，进而通过集合的交、并操作，将属于一个字符或图象、图片和表格的若干个扩展连通域合并．这时扩展连通域已标记文本图象中的字符尺寸大小和位置．然后，基于同一行字符的间距的知识，将扩展连通域合并为逻辑字符行（横，竖）；由字符行的高（宽）度的一致性及间距的知识，将逻辑字符行合并为逻辑块：按照印刷文稿的排版规律完成版面的结构识别、并将标记字符位置和大小的扩展连通域的顺序按版面结构信息重新组合，最后把字符规范为一定尺寸的点阵图象输出到字符识别器．本文提出的文本预处理方法已经实现．经实际运行测试表明，系统对于复杂版面的文件，书刊和报纸的文本图象的分割，具有较好的效果．     

一种基于Agent-NB的文本分类模型和算法

针对基于内容的文本分类问题,提出了一种Agent与朴素贝叶斯分类(Naive Bayes)相融合的反馈分类模型和算法(Agent-NB).朴素贝叶斯分类是一种简单而有效的文本分类方法,然而有限大小的训练样本集,一般不具备良好的数据完备性,难以一次性构造出高性能的分类模型.基于Agent-NB的反馈分类模型,可结合Age...     

基于免疫聚类的Web日志挖掘

Web日志挖掘旨在使用数据挖掘技术从Web服务器日志文件中挖掘出有用的规律和模式,以此改进网站结构以及实现Web个性化服务。本文提出基于免疫聚类的Web日志挖掘算法,利用人工免疫系统的基本原理来进行用户聚类分析,从而发现相似客户群体、挖掘潜在客户。免疫聚类通过模拟免疫系统体液免疫应答的基本过程,提取出数据的基本特征,以此概括数据的分布特征,从而实现Web日志数据的无监督自组织聚类。通过在真实数据集上的实验证明了该算法的可行性和有效性。     

大数据环境下的数据分析及应用研究

大数据蕴含着巨大的商业价值和社会价值。针对大数据的分析与应用面临的新挑战,文章重点阐述了文本分析、Web分析、网络分析及移动数据分析等数据分析技术,并从商务智能挖掘、公共安全预警等领域介绍了大数据分析与挖掘的热点应用。     

基于样本重要性原理的KNN文本分类算法

KNN是重要数据挖掘算法之一,具有良好的文本分类性能.传统的KNN方法对所有样本权重看作相同,而忽略了不同样本对于分类贡献的不同.为了解决该个问题,提出了一种样本重要性原理,并在此基础上构造KNN分类器.应用随机游走算法识别类边界点,并计算出每个样本点的边界值,生成每个样本点的重要性得分,将样本重要性与KNN方法融合形成一种新的分类模型——SI-KNN.在中英文文本语料上的实验表明:改进的SI-KNN分类模型相比于传统的KNN方法有一定的提高.     

一种两步HMT文本图像分割方法

引入一种新的文本图像分割方法：两步隐马尔科夫树模型（HMT）多尺度文本图像分割。该分割方法是在文献[1]1的基础上，先将背景分出，再将文本分为文字与图像两种类型，分别建立HMT模型，完成文本图像的分割。最后通过实例阐明了方法的有效性。     

矿用挖掘装载机工作机构运动学仿真研究

采用多体动力学仿真的方法,利用ADAMS软件对某型号矿用挖掘装载机工作装置进行运动学及动力学仿真分析,建立简化的工作机构虚拟样机模型。依据实际样机施加各运动副和运动驱动进行仿真分析,获得了机构运动轨迹以及关键铰链受力情况,可为矿用挖掘装载机反铲工作装置的设计提供参考的依据。     

基于VSM的中文文本分类系统的设计与实现

文本分类是指在给定分类体系下,根据文本的内容自动确定文本类别的过程。该文阐述了一个基于向量空间模型的中文文本分类系统的设计和实现。对文本分类系统的系统结构、预处理、特征提取、训练算法、分类算法等进行了详细介绍。引入标题权重系数改进词语权重,并提出了一种新的分类算法。实验测试结果表明查全率和准确率均达到90%左右,而且标题权重的引入和新分类算法的实施有效地改善了分类性能。     

基于隐马尔科夫模型的浏览路径预测

基于马尔科夫模型的浏览路径预测，仅仅从用户的浏览会话本身出发来预测用户下一步的链接，并不能捕获用户的真正兴趣所在。运用隐马尔科夫模型来分析用户浏览网页的内容，可进一步捕获用户的浏览兴趣，并作下一步的链接预测。当浏览序列长度逐渐增加，系统捕获的用户浏览信息越来越多，此时能够折射出用户的兴趣所在，预测准确率也逐步增加。当浏览序列长度大于或等于8时，预测准确率已经到达80％，提高了预测准确率。