基于核方法的潜在语义文本分类模型

在信息检索中,潜在语义索引模型直接应用于文本分类时,由于对分类贡献大的特征可能丢失而效果不佳.而考虑了文本特征及分类信息的潜在语义文本分类模型(LSC)也因为本质上是线性模型而性能不高.为了提高分类性能,通过引入核函数,给出了一种非线性的潜在语义文本分类模型.该模型比LSC模型能更好地表示文档空间的潜在语义结构信息.在Reuter-21578文档集上的实验结果表明,潜在语义文本分类模型有很好的分类性能.     

基于潜在语义的多类文本分类模型研究

在文本分类中,一个文本往往有多类属性,而目前大多数分类模型均为二元分类模型.因此,提出一种基于潜在语义的多类分类模型.该模型同时考虑文档特征信息和文档的类属信息,在提取文档潜在语义信息的同时把对文档分类贡献大的特征信息保留下来.其结果是既能较好地解决文档中同义词和多义词的问题,又能解决多类属分类问题,并且能够探测到新类.在Reuters文档集上的实验表明,在维数较低的情况下,分类效果比较好,性能比较稳定.     

一种潜在语义索引差异模型

通过对全局模型和局部模型的分析,提出一种新的潜在语义索引差异模型,能将类别信息反应在词项中、以医学网页为实验对象,将网页中的文本抽取出来并分别用全局模型和差异模型表示,采用SVD和SLSI降维,利用SVM算法进行分类并计算分类正确率和F1指标．实验发现：采用差异模型表示时,2种降维技术下分类正确率和F1指标较全局模型都有明显提高;同时采用差异模型和SLSI算法并不能对分类结果有更大改善     

基于概率潜在语义分析的中文文本分类研究

概率潜在语义模型使用统计的方法描述"文档—潜在语义—词"之间的概率分布关系,其实质是模拟了潜在的概率语义空间,并将文档和词映射到同一个语义空间.该文将概率潜在语义分析模型用于中文文本分类,一方面较好地处理了自然语言中的同义、多义问题;另一方面通过计算概率潜在语义空间中向量的距离来获得文档间的类别信息从而达到文本分类的目的.实验结果表明,该分类器具有良好的分类性能.     

基于潜在语义对偶空间的跨语言文本分类研究

当今互联网上语言呈现多样性趋势,如何组织这些多语言的资源成为研究的热点。通过对双语平行语料库提取语义对应关系,构建潜在语义对偶空间,把双语文档映射到此概念空间后,实现跨语言分类。并通过改变训练集样本大小及语言构成来验证模型的分类性能。实验结果表明基于潜在语义对偶空间的跨语言文本分类具有良好的稳定性和准确度。     

基于潜在语义索引的文本摘要方法

因特网上的在线文本自动编制摘要可以帮助用户有选择地阅读。给出了基于潜在语义索引的文本摘要方法。它采用向量空间模型作文本表示方法,利用潜在语义索引来减少词汇间的“斜交”现象,在语义空间进行项、句子、段落与文本之间的相似度计算,而不是单纯地依赖于特征项的频率信息。依据对于文本主题的表现能力来确定摘要的各个组成部分及其组成方式,此外,给出了文本摘要的评估方法。     

上下文广告中的一种文本分类方法

针对文本分类中的交叉类别问题,提出一种基于传统潜在语义分析方法的新算法NLSA(new latentsemantic analysis)对网页进行文本分类.该方法可以将相关但是不同类别中的标签和非标签数据统一在一个概率模型中,通过研究两个类别的共有主题,在不同类别中转换知识来帮助目标文本进行分类.该方法可以最大化利用原有标签数据对新文本进行分类.实验证明:该算法能够显著提高交叉类别的文本分类性能,比传统的文本分类器有更好的性能.     

基于示例的中文文本过滤模型

简要描述了文本过滤的背景,提出了基于示例的中文文本过滤模型,其基本思想是首先对于用户提出的示例文本进行文本结构分析,采用文本层次分析方法,提取文本特征,形成主题词表示的用户模板,然后进行文本过滤。     

基于潜在语义分析的中文文本聚类方法研究

针对传统的向量空间模型在文本聚类中的局限性,提出了基于潜在语义分析模型的中文文本聚类系统,并引入WinSTAR作为聚类分析工具,用一个中文文本集作为实例进行验证。实验证明,该方法切实有效,可以提高文本聚类的准确度。     

基于文本聚类的LSI文本分类模型

文本自动分类是文本挖掘的基础,可广泛地应用于信息检索,web挖掘等领域.在分类前首先要将文本表示成计算机能处理的形式,提出了一种将隐含语义索引(LSI)与文本聚类相结合的中文文本自动分类的方法.在挖掘文本的语义信息,提高分类速度上均取得了较好的效果.通过实验验证了方法的有效性.     

一种基于关键重复语义的最大熵文本分类

文本分类做为Web文本挖掘的重要手段和搜索引擎的重要组成部分而被广泛研究。现有的分类系统大都依赖于中文分词,尽管达到分类目的,但随着Web文档数量的增加和网络新词汇的不断出现,面临着特征维数急遽增高带来的时空开销问题,严重影响了系统的性能。在此抛开中文分词而尝试使用基于关键子串的特征提取并结合最大熵模型给出了一种分类系统的实现。实验表明,与现有的分类系统相比,具有较好的问题求解效率和适应性。     

文本处理中基于随机映射的加速LSI方法

首先针对在文本处理的高维矢量环境中Kohonen自组织映射神经网络的计算瓶颈问题和输入矢量空间中存在的问题进行分析，然后对随机映射(RM)和隐含语义索引(LSI)方法分别进行理论分析，提出用于文本处理的基于随机映射的加速LSI方法．试验结果表明，加速LSI方法可以在凸现原有语义联系的基础上，低代价、有效、可控地解决上述问题，极大地降低文本处理环境中Kohonen自组织神经网络的规模和计算代价．     

启动子的潜在语义索引差异识别算法

启动子是基因前面的一个短序列,定位启动子即能找到基因,因此启动子的识别具有重要意义.潜在语义索引差异模型（DLSI）能够扩大类间的差异,降低噪声的干扰,从而提高识别的精度.本文提出基于DLSI的启动子识别算法,利用潜在语义索引差异模型进行特征词选择,通过将样本变换到潜在语义空间中实现降维,建立了启动子-外显子、启动子-内含子分类器,把两分类器的串联结果作为最终的分类结果.实验验证了算法的有效性.     

面向隐含语义文本的WEB数据挖掘研究

针对目前Web挖掘的传统算法执行效率低、挖掘结果相关度低的缺陷,从Web挖掘的内容方面入手,在分析基于Web语义化文本数据挖掘关联规则结构的基础上,改进传统的Apriori算法,提出面向语义化的隐含文本数据挖掘算法,仿真结果表明改进后的算法具有较高的执行效率及较好的挖掘相关度,对于面向文本的Web挖掘算法研究具有一定的借鉴意义。     

基于语义倾向性分析的不良文本检测模型研究

着眼于因特网的内容安全,在分析传统语义倾向性判别的类型及不足的基础上,本文提出一种改进的语义倾向性分析模型.该模型以词组为单元,同时引入几种常见的句式结构.通过对这些句式结构的判别,确定出每句话语义倾向的侧重点,再参照JRBPO准则予以定性.最后,利用各单句与上下文逻辑间的关联性,得出整个文本的语义倾向.随机抽取的测试样本表明,本方法对不良文本检测具有较高的处理速率和检测准确率.     

Metaphor Analysis Method Based on Latent Semantic Analysis

Current research on metaphor analysis is generally knowledge-based and corpus-based, which calls for methods of automatic feature extraction and weight calculation. Combining natural language processing(NLP), latent semantic analysis(LSA), and Pearson correlation coefficient, this paper proposes a metaphor analysis method for extracting the content words from both literal and metaphorical corpus, calculating correlation degree, and analyzing their relationships. The value of the proposed method was demonstrated through a case study by using a corpus with keyword "飞翔(fly)". When compared with the method of Pearson correlation coefficient, the experiment shows that the LSA can produce better results with greater significance in correlation degree. It is also found that the number of common words that appeared in both literal and metaphorical word bags decreased with the correlation degree. The case study also revealed that there are more nouns appear in literal corpus, and more adjectives and adverbs appear in metaphorical corpus. The method proposed will benefit NLP researchers to develop the required step-by-step calculation tools for accurate quantitative analysis.     

一种基于进化BP神经网络的文本分类算法

提出并实现了一种结合BP神经网络和遗传算法的文本分类算法,根据遗传算法能够快速优化网络权重以及摆脱BP算法局部极点困扰的能力,提出一种改进的遗传算法确定网络拓扑结构和训练网络的方法.最后对设计的分类器进行了开放性测试,实验结果表明该分类器显著地提高了文本分类的查全率和查准率.