面向多数据源的数据清洗关键技术的研究

对于各个领域的信息资源管理而言,数据质量一直是一个非常关键的问题。现实世界中的数据往往存在着各种各样的问题,从简单的拼写错误到复杂的语义不一致错误。数据清洗的目标就是检测并去除数据中存在的各种错误和不一致,提高数据的质量。该文归纳、总结了数据清洗相关研究的现状,提出一个面向多数据源的数据清洗框架的定义。框架实现了术语模型、处理描述文件和共享库等概念和技术。     

基于分类的模糊支撑向量机

基于分类的支撑向量机可以通过训练，找到2类训练点的分界面．一般2类点都是确定的，但是，在实际情况中，训练点不可能很确定的属于某一集合(具有模糊性)，使得每个训练点包含的信息量也不同，传统的支撑向量机算法无法处理这类问题．给每个训练点定义了点模糊度概念，利用点模糊度来度量它包含的分类信息，由此确定点在训练中所占的权重，使包含不同信息量的训练点，在训练中起不同作用，从而得到了一种有效处理包含模糊训练点的算法．     

一种改进的面向VLDB数据质量处理算法

数据质量问题是企业在构建商务智能系统中遇到的最重要的问题之一,在处理面向VLDB数据质量的时候,对模糊重复记录的识别和整合非常困难。文章中提出了一种改进的面向VLDB数据质量处理算法,即先通过基于聚类的N-gram的改进算法来检测相似重复记录,采用pair-wise来计算相似重复度,用一个固定大小的优先队列窗口来聚类相似重复记录,同时引入转换关闭准则生成一种多路聚类方法,提高聚类的准确度。本文的算法在语言识别和关键字检测方面获得高于90%的准确率。