一种基于相似融合的文本特征降维方法

提出一种基于相似融合的文本特征降维方法.首先求出不同聚类结果中每个簇的对应关系,然后计算这几个聚类结果对应簇的交集,对求交集后剩余的特征使用一种改进的互信息方法进行二次聚类,在最大限度减少信息损失的前提下实现了文本特征的有效降维.对文本的分类实验结果表明,该方法具有良好的降维效果,并且提高了聚类的效率.     

利用本体技术的文本聚类模型

文本聚类作为一种自动化程度较高的无监督机器学习方法,能够实现对文本信息的有效组织、摘要和导航,近年来已经广泛应用在信息检索领域。笔者针对使用向量空间模型进行聚类时对于同义词和多义词的处理存在的缺陷,提出了基于本体的文本聚类模型。首先使用WordNet词典对文档中的词进行语义标注,得到文档的概念集合;然后对每个文档的概念集合进行概念聚类,生成文档的概念主题;最后通过计算主题的相似度完成文本聚类。该模型减少了相似度计算量,改善了聚类结果和聚类性能。     

基于属性重要性的Web文本聚类研究

Web文本聚类是一种典型的无指导机器学习技术,目标是将站点上采集到的Web文本分成若干簇,使同一簇内的文本相似性最大,不同簇间的文本相似性最小.为了对原始粗糙的Web文本数据进行降维处理,在知识属性值的基础上,计算单个属性相对于属性集的重要性量化值,并根据属性重要性量化值对特征向量降维,并采用K-means算法对降维后的数据聚类,实验证明该方法缩短了聚类时间.     

基于属性重要性的Web文本聚类研究

Web文本聚类是一种典型的无指导机器学习技术,目标是将站点上采集到的Web文本分成若干簇,使同一簇内的文本相似性最大,不同簇间的文本相似性最小.为了对原始粗糙的Web文本数据进行降维处理,在知识属性值的基础上,计算单个属性相对于属性集的重要性量化值,并根据属性重要性量化值对特征向量降维,并采用K-means算法对降维后的数据聚类,实验证明该方法缩短了聚类时间.     

基于LSI和自组织神经网络的高效文本聚类方法

根据隐含语义索引(LSI)理论和动态自组织映射神经网络理论,提出了一种文本聚类的新方法.应用动态自组织映射神经网络来实现文本聚类,不必预先给定聚类个数,可以在任意合适的位置生成一个新的类,具有聚类灵活和精度高等特点,对于高维的文本特征向量来说,聚类速度很低;该方法应用LSI理论来建立文本集的向量空间模型,在词条的权重中引入了语义关系,消减了原词条矩阵中包含的"噪声"因素,从而更加突出了词和文本之间的语义关系.通过奇异值分解(SVD),有效地降低了向量空间的维数,克服了自组织神经网络的聚类缺陷,提高了文本聚类的精度和速度.     

一种改进的基于Newman快速算法的文本聚类方法

针对文本聚类计算量大的特点,提出了一种将概念格和Newman快速算法两种理论相结合的聚类方法。首先将文本表示为特征词语集,用统计方法抽取特征向量,同时,用IDF权重计算公式来计算词语的权重并将词语权值离散化;然后,用形式背景表达关键词,通过相似度公式,计算出形式概念相似度大小;最后,构造Newman网络,根据Newman网络算法规则对待聚类文本进行聚类。实例表明,该算法不仅得到了正确的分类结果,而且大大降低了算法的复杂度,Newman快速算法仅为 。     

深度词汇网络学习的文本聚类研究

为改进已有中文文本聚类中数据非结构化导致的算法准确度不高及特征向量高维稀疏导致算法复杂度过高的现状,提出一种基于深度词汇网络学习的中文文本聚类算法,解决了优化数据非结构化带来的聚类结果准确性低及特征向量高维度带来的高复杂度问题。首先建立词汇网络用以抽取关键义原,以词语义原代替单词作为网络节点,不仅避免了语义消歧,同时考虑到词语间语义相似性与词汇相关性,使所提取的特征向量更能表现出文章的主旨,提高聚类效果;另一方面,训练深度学习网络对特征向量降维处理,在降维的同时保留尽可能多的信息,大大减低算法的执行时间。聚类质量检测方法(F-measure)的结果表明,本文算法比k-means算法在中文文本聚类中有更好的表现。     

一种基于概率的快速聚类算法

在聚类算法和特征向量维数确定的模式样本集中,各样本的每一维表示一个对应特征;鉴于此在基于层次算法的基础上,提出了一种基于概率的快速聚类算法;该算法先对各个特征进行分类,然后按照概率准则,每个向量先自成一类,将其对应概率最大的特征向量合并,减少类别数,直至达到要求为止;用UCI中的Iris和Wine数据集对该算法进行仿真实验,实验数据表明：用该算法进行聚类,能获得较好的聚类结果,说明算法具有一定的有效性.     

基于簇特征的文本增量聚类研究

提出了一种基于簇特征的文本增量聚类算法:充分利用简单、有效的k-means算法来进行初始聚类,并保留聚类后每个簇的簇中心、均值、方差、文档数、3阶中心矩和4阶中心矩作为该簇的簇特征,当出现新增数据时,利用初始簇的簇特征对新增数据进行聚类.在20newsgroups数据集上的实验结果表明:相比于对整个数据集进行重新聚类,该算法具有一定的优势.     

一种鲁棒的子空间聚类算法

针对聚类分析常面临的维数灾难和噪声污染问题,将样本加权思想与子空间聚类算法相结合,提出了一种鲁棒的子空间聚类算法.该算法结合现有子空间聚类方法,为每个类簇计算一个反映各维度聚类贡献程度的权矢量,并利用该权矢量对各维度加权组合,得到各类簇所处的子空间.此外,算法还为每个样本分配一个反映离群程度的尺度参数,以区分正常样本和离群点在聚类过程中的地位,保证算法的鲁棒性.在二维数据集、高维数据集以及基因数据集上的对比实验结果表明,对于具有不同噪声比例的各种维度数据集,该算法均能取得较高的聚类精度,表现出较好的鲁棒性.     

A Semantic-based Clustering Method to Build Domain Ontology from Multiple Heterogeneous Knowledge Sources

IntroductionNowadays ,there are a large number of heterogeneousknowledge sources in an enterprise or a VirtualManufacturing Organization( VMO) . For example ,expertsystems , data warehouse , books , manuals , standards ,experts , and so on. Heterogeneity in knowledge sourcesare due to[1 4]:(1) Some are represented explicitly (eg.expert systems) ,some are represented i mplicitly as schemas of database ordata warehouse , while some are stored in experts brains .Implicitly represented knowledg…     

一种基于WordNet和Corpus Statistics的语义相似性计算方法

提出一种新的基于WordNet和文本集语义参数IC的计算方法,通过综合考虑概念在WordNet中语义信息以及数据集中的概率信息,即概念的自信息,同时利用新的参数考虑概念对在WordNet中的共享信息,设计了一种通用的概念语义相似性计算方法,该方法简化了传统语义相似性算法,并解决了语义相似性计算领域的相关问题,可以应用在信息抽取、信息检索、文档分类及本体学习中.领域通用的数据集RB数据实验结果表明,该方法在计算语义相似度问题上有效。     

一种基于概念相似度的文本模糊聚类方法

文本挖掘是数据挖掘的一个重要研究领域。基于形式概念分析和概念相似度，给出了一种新的文本模糊聚类方法。该方法不仅考虑了关键词之间的语义关系，而且通过非距离计算得到模糊相似矩阵。可根据不同要求，得到不同的聚类结果，具有较好的灵活性。最后通过实例，说明了给出算法的可行性。     

基于关联规则和语义规则的本体概念提取研究

为解决基于非结构化文本的中文领域本体概念提取效率和准确率不理想的问题, 提出了一种基于关联规则和语义规则的领域本体概念提取方法。利用领域一致性和相关性检查以及关联规则分别获取候选概念和关系集合, 计算候选概念在领域术语关系中的深度和广度, 利用深度和广度信息反馈概念隶属度的思想, 定量分析术语与领域的隶属程度, 进行本体概念的领域隶属度检查, 完成领域本体概念的提取。实验结果表明, 该方法提高了领域本体概念的提取效率和准确率, 具有可行性和合理性, 领域本体概念的提取准确率提高了12%左右。     

基于P-集合和FCA的中文领域本体学习方法

提出一种基于P 集合和形式概念分析的中文领域本体学习方法. 该方法以非结构化中文文本为数据源, 通过引入P-集合理论获取形式背景, 在获取形式背景的基础上, 采用Godin]算法构造概念格, 并采用自定义映射规则实现概念格到中文领域本体的映射. 通过学习生物和水领域文本, 得到一个中文领域本体. 实验结果表明, 该方法能解决手工构建本体费时、 费力的问题, 且学习到的本体是形式化本体, 能被更好地共享和重用.     

中文WordNet的研究及实现

提出了一种从英文WordNet转换生成中文WordNet的方法 ,并设计实现了中文WordNet的转换生成系统·论述了在构造中文WordNet的语义网络时 ,概念结点的转换原则 ,中文词形与词义映射关系的重新聚合 ,以及转换生成中文WordNet的可行性及转换中的相关问题 ,并给出了一种依据WordNet进行节点转换自消岐的方法     

数字图书馆个性化服务用户模型研究

提出了一种数字图书馆个性化服务用户模型构架,并对实现过程中的几个关键问题,包括用户模型表示方法,用户模型的建立以及更新算法进行了详细论述.提出了基于本体论的空间向量用户模型表示方法,建立了简单的数字图书馆领域本体,以空间向量表示用户模型,以本体概念作为向量的特征项;采用支持向量机分类算法和无监督聚类算法相结合提取用户兴趣;在用户模型更新方法上,采用渐进遗忘和滑动窗口相结合的方法实现用户兴趣概念的漂移.     

一种基于类别核心词的概念映射方法

由于同义词和多义词的存在,使得基于特征词的文本分类方法分类精度不高.近几年,基于概念的文本分类方法得到人们的重视.在此提出一种基于类别核心词的概念映射方法,首先从文本中抽取类别核心词,借助<知网>将特征词映射到基于类别核心词的概念空间,然后在概念空间上完成文本分类工作.实验结果表明,基于类别核心词的概念映射方法及相应的基于概念的文本分类能够有效提高文本分类的精度.