文本数据挖掘的基本技术及发展趋势

文章总结了数据挖掘的基本方法、文本数据挖掘的关键技术,讨论了文本挖掘的定义和文本分类的一些形式,并对文本数据的数据挖掘算法以及发展趋势进行了研究。     

文本挖掘研究进展

数据挖掘是将人工智能技术和数据库技术紧密结合,让计算机帮助人们从庞大的数据中智能地、自动地抽取出有价值的知识模式,以满足人们不同应用的需要.由于存储信息最多的自然形式就是文本,因此文本挖掘具有重要的意义.结合笔者研究工作,主要介绍了文本挖掘的研究内容,挖掘过程,挖掘算法及应用前景.     

文本挖掘技术综述

文本挖掘，是一个对具有丰富语义的文本进行分析从而理解其所包含的内容和意义的过程．对其进行深入的研究势必将极大地提高人们从海量的文本数据中提取信息的能力，具有很高的商业价值．首先介绍了文本数据挖掘的研究情况，然后给出了文本挖掘的框架，对文本挖掘中信息的抽取技术以及文本挖掘中使用的相关技术、评估方法等都作了详细的介绍，最后指出了文本挖掘在知识发现中的重要意义，展望了文本挖掘在信息技术中的发展前景．     

基于web的数据挖掘技术

随着Internet/Web技术的快速普及和迅猛发展使得数据挖掘技术的重点已经从传统的基于数据库的应用转移到了基于web的应用.文章就web挖掘技术的概念、分类及文本挖掘和用户访问模式挖掘的实现技术做了详细地阐述,在此基础上列举了Web挖掘中的难点,并简要介绍了一下Web挖掘技术在电子商务、网站设计等领域的应用.     

浅析数据挖掘在CRM中的应用

CRM是数据挖掘技术重要的应用领域.文章在数据挖掘和CRM的基本概念基础上,分析了数据挖掘技术在CRM中的应用及CRM中数据的挖掘过程.     

刑侦档案文本挖掘系统平台中的文本精炼初探

研究利用文本挖掘技术对已有的刑侦档案进行信息整合和文本挖掘,可以获取大量的有用知识,这些知识不论对刑侦研究,还是对于一线的刑侦工作都有很大的价值。文章对刑侦档案的信息整合和挖掘进行了初步探讨,给出面向刑侦档案文本挖掘的系统框架及文本精炼方法。     

文本挖掘及其在信息内容安全中的应用

文本挖掘是数据挖掘的重要内容之一,对于信息的获取和知识的发现具有十分重要的意义,同时也是维护互联网信息内容安全的重要手段。对文本挖掘技术和信息内容安全的基本概念和理论进行系统地归纳并对相关前景进行了展望。研究分析了文本挖掘和信息内容安全的定义及文本挖掘与现有的数据挖掘和自然语言处理进行了对比;深入总结分析了文本挖掘的数据预处理、挖掘分析以及可视化过程中涉及到的关键技术和文本挖掘在信息内容安全领域的相关应用;研究新的文本特征表示模型、发展全新的非结构化的文本挖掘算法和构建融合大数据处理、自然语言处理、数据挖掘、图像处理、模式识别相集成的文本挖掘综合系统是提升文本挖掘性能的重要方向。     

网络教育资源Web挖掘研究

针对网络教育资源建设中存在的问题，着重对网络教育资源的获取、分类和标准化描述模型进行了研究．在分析Web挖掘技术和任务分类的基础上，提出了网络教育资源的Web文本挖掘、模型及其相关算法，将数据挖掘技术应用到网络教育领域，有助于在网络上获取高品质的网络教育资源，一定程度上解决了网络教育资源获取缺乏智能的问题．     

视频数据挖掘技术综述

视频数据挖掘技术旨在挖掘出视频数据中隐藏的、有价值的信息,来实现对视频的充分利用。通过对国内外视频数据挖掘的研究与分析,对视频数据挖掘技术进行了概述,详细阐述了基于特征和基于内容的视频挖掘技术,最后总结了视频数据挖掘系统所面临的挑战以及对全景视频挖掘的展望。     

文本挖掘在多文化交流平台中的应用研究

多文化交流平台(intercultural-collaboration-environment,ICE)是亚洲多所大学与研究机构参与的、开发多语种在线交流翻译平台的国际合作项目.针对目前该项目中底层翻译软件AnnoChat的翻译结果可理解度较差的问题,提出了利用文本挖掘等技术来改进AnnoChat翻译结果可理解程度的方法,给出了使用文本挖掘技术对用户谈话内容进行挖掘生成知识模式,并用挖掘得到的知识用于修正并精化本体库的一种模型.在该模型中,增加了用户个性化知识数据库以修正文本挖掘所得到的知识.     

现代远程教育个性化Web挖掘研究

从Web上异质的、非结构化的数据中发现有用的知识或者模式是目前数据挖掘研究中的一个重要内容。Web挖掘就是从Web文档和Web活动中抽取感兴趣的、潜在的有用模式和隐藏的信息。介绍了Web挖掘基本情况,在此基础上对基于Web的文本挖掘进行了分析研究,给出了一个基于Web的文本挖掘的结构模型图。重点介绍了网页聚类算法,实现了远程教学的按需学习和因材施教的要求。提出了一个基于Web挖掘的智能化、个性化的现代远程教育系统结构模型。     

基于非结构化数据挖掘结构模型的Web文本聚类算法

在非结构化数据挖掘结构模型——发现特征子空间模型(DFSSM)——的运行机制下,提出了一种新的Web文本聚类算法——基于DFSSM的Web文本聚类(WTCDFSSM)算法.该算法具有自稳定性,无须外界给出评价函数;能够识别概念空间中最有意义的特征,抗噪声能力强.结合现代远程教育网应用背景实现了WTCDFSSM聚类算法.结果表明:该算法可以对各类远程教育站点上收集的文本资料信息自动进行聚类挖掘;采用网格结构模型,帮助人们进行文本信息导航;从海量文本信息源中快速有效地获取重要的知识.     

Internet数据挖掘原理及实现

分析了Internet数据挖掘的特点、目标及其原理,重点探讨了文本知识挖掘及其CVSM模型、搜索引擎数据挖掘及其OEM模型及基于Intranet的多软件机器人体系结构和基于Agent的个性化检索,最后指出了Internet数据挖掘的发展方向。     

计算机文本信息挖掘技术在网络安全中的应用

针对网络文本信息的安全性判别问题,采取改进的邻近分类算法挖掘文本.该改进邻近分类方法在传统方法定义分类特征的同时,起用共线性判别矩阵,对具有共线属性的特征合并处理.这种改进策略,不仅可以增加分类特征的准确性,也可以加快文本信息的分类进程.对Spambase语料库开展实验研究,从精度、召回率、联判度、误差4个维度对分类效果进行评价.结果显示:改进的邻近分类方法具有明显的优势,可以更加准确地区分安全文本和危险文本.     

利用文本数据挖掘研究p53基因表达调控网络

为了研究p53基因与其下游/靶基因的关联性,以了解p53基因表达调控网络,采用文本数据挖取方法,利用自编的Perl 5.10程序,对PubMed文献数据库中p53基因相关文献及人类基因本体数据库进行数据挖掘,并利用连锁聚类法构建p53基因表达调控网络图.结果发现,目标基因的频率分布同文本中所有基因本体的频率分布存在一定的关联性,低频基因的文本挖掘比例明显低于高频基因的文本挖掘比例.从而说明,p53基因表达调控网络中各基因的分布情况与基因频率有较大关系,而文本数据量对文本数据挖掘的准确率也有重要影响.     

基于聚类分析策略的Web文本挖掘方法

在分析Web文本挖掘过程、关键技术的基础上,针对训练文本集中往往存在多个主题类别的问题,提出一种基于聚类分析策略的Web文本挖掘方法。其基本思路是对训练文档集进行聚类处理,然后对同主题文档进行共性分析,并经过特征权值调整和特征约减,从而获得表示用户不同主题感兴趣概念向量。     

文字云及主题模型的统计挖掘

互联网等信息技术的迅猛发展使网络中积累了大量半结构化和非结构化的文本数据，如何从这些海量电子文档中获取需要的信息并以高效直观信息图的形式展现，成为统计分析工作者的一项主要任务。文字云是信息图表达的一种新型文本显示方式，利用文字云和主题模型文本挖掘方法，对文本进行移除数字、去除停用词等预处理操作，然后执行中文分词，构建语料库，建立文档-词条矩阵，最后以文字云和主题模型的形式呈现挖掘结果。实验中主要利用R语言，以多年粗糙集会议纪要为实验数据进行了相关统计分析，并对比了 Tagxedo文字云生成器，结果表明，从文字云中比较容易获取文本的重要信息如主题模型等，挖掘效果较好。     

一种改进的中文分词歧义消除算法研究

随着信息技术的飞快发展,今天的互联网上信息已成爆炸式增长,文本挖掘技术成为目前研究的热点.文章概述了中文分词的算法,通过介绍歧义存在的种类,分析了分词结果歧义性存在的必然性;在中文分词基础上,提出了一种采用"动词优先"的歧义消除算法,使分词结果最大程度地消除歧义,从而提高了分词的精度,为文本挖掘之后的环节打下了基础.