可靠性统计与数据挖掘

讨论了可靠性统计与数据挖掘之间的关系．指出了用统计的理论与方法去进行数据挖掘在目前情况下仍不失是一种重要的方法。     

数据挖掘技术在统计预处理中的应用

目前统计分析面临的数据大多不再是预先设定的样本数据，而是杂乱、不规范的大规模的海量数据，所以统计分析之前进行数据预处理是非常必要的。采用数据挖掘技术，对存在空缺值、噪声数据等不规范的数据集进行清理，对海量数据进行维规约和自动产生概念分层处理，以缩小数据集的规模。经过预处理的数据集能更好地适应原有统计方法，并提高了统计质量。     

数据挖掘与统计理论

随着数据库技术的不断发展和数据库系统的广泛应用，数据库中存储的数据量急剧增大，迫切需要新的计算理论和工具帮助人们从大量信息中抽取有用信息，即知识，数据挖掘学科的诞生正是适应这一需要．传统数据分析工具数理统计无疑在这一学科中扮演着重要角色，阐述数据挖掘的主要任务及统计理论在各任务中的应用，旨在更好结合统计理论探讨数据挖掘，更好发挥数理统计理论在数据挖掘中的作用．     

数据挖掘技术在钢企质量成本管理中应用研究

钢铁企业降低质量成本对提高企业经济效益有着巨大潜力。本文重点阐述某钢铁企业使用数据仓库与数据挖掘技术对企业的质量成本进行分析与研究,形成了企业的质量成本控制体系,进一步明确了质量成本管理在企业经营战略中的重要性。     

从统计数据质量看统计教学

本文在统计数据质量特性分析的基础上,阐述通过对统计教学内容、方法等方面的革新,加强学生统计职业道德和统计思想的教育培养,来提高统计人员的综合素质,进而促进统计工作质量的提高,从根本上根治统计数据的失真问题.     

数据挖掘在R&D统计中的应用

在R&D统计领域,传统的统计数据分析方法已经难以胜任社会发展的需要。基于数据挖掘的基本原理与方法,首先界定了R&D的科技数据统计的内容与统计工作步骤,分析了在R&D统计研究中运用数据挖掘的主要方法及其重要作用,进而给出了R&D统计数据挖掘的操作流程,最后提出了R&D统计数据挖掘中的进一步设想。     

从统计数据质量看统计教学

本文在统计数据质量特性分析的基础上,阐述通过对统计教学内容、方法等方面的革新,加强学生统计职业道德和统计思想的教育培养,来提高统计人员的综合素质,进而促进统计工作质量的提高,从根本上根治统计数据的失真问题。     

海量数据处理过程中数据挖掘算法的应用

信息时代的快速发展带来的是信息总量呈现几何级数的增加,而海量数据的存储和分析处理对计算机硬件能力和数据分析能力都是一个极大的挑战．数据挖掘算法是针对于大批量数据处理而提出并逐步发展起来的,基于完备的数据库技术,可以在云计算算法、矩阵压缩算法和并行关联算法的基础上,进行算法集成,能进一步提高数据挖掘的速度、精度和时效性,在实际海量数据的处理过程中有较好的适应性,为海量数据处理提供了新的技术分析方法．     

数据挖掘技术应用研究

近十几年来，人们利用信息技术生产和搜集数据的能力大幅度提高，数据库系统在商业管理、政府办公、科学研究和工程开发等诸多领域得到广泛应用，这一势头仍将持续并发展下去。于是，面对信息产业的发展提出一个新的挑战，在这被称之为信息爆炸的时代，信息过量几乎成为人人需要面对的问题。如何才能不被数据的汪洋大海所淹没，并从中及时发现有用知识，提高信息利用率，成为一个企业的资源，为企业的业务决策和战略发展服务，否则大量的数据可能成为包袱，甚至成为垃圾。因此，数据挖掘和知识发现(DMKD)技术应运而生，并得以蓬勃发展。1 …     

统计面临新挑战

大数据是伴随着网络新技术的发展产生的数据形态,本质上是数据生产、传输和应用的社会化。大数据不在于数据量的多少,而是一种以数据为大的方法论,对传统统计工作的理念、方法以及价值将产生重大的冲击,对当前统计管理体制、机构设置、数据价值等形成了挑战。政府统计应当借助于大数据所带来的有利条件,从优化统计机构设置、推进统计业务数据化,提高数据挖掘分析能力等方面加快推进政府统计的改革。     

数据挖掘技术及其所面临的问题

数据库系统、数据仓库和WWW已经成为信息处理系统的主流。海量数据的处理问题使知识发现和数据挖掘 (DataMining)成为目前网络数据库研究、开发和应用最活跃的分支之一。数据挖掘是一个多学科交叉领域 ,被认为是信息产业 2 1世纪最有前途的学科。本文主要介绍了数据挖掘有关概念及其发展 ,并对数据挖掘面临的相关问题进行了研究与探讨     

基于统计分布的小波分析对时间序列孤立点数据的识别与挖掘

针对时间序列中孤立点的挖掘．提出了基于统计分布的小波分析时孤立点数据的挖掘．首先对所采集到的数据进行排序得出经验分布函数，并估计出经验分布函数与总体分布函数之间的差异；然后利用再抽样的方法缩小子样分布函数与总体分布函数之间的差值，在允许的差值之下，利用子样分布函数代替母体分布函数；最后用小波分析对孤立点进行识别与挖掘．     

数据挖掘流程中数据准备的探讨

数据挖掘是一个应用统计学和人工智能等算法进行知识发现的过程.数据挖掘需要从庞大的数据集或数据库中提炼有用的信息, 因而就产生了一个问题, 如何为数据挖掘准备一个有效的数据集合, 以提高效率, 这是本文讨论的关键.     

Domain-oriented data driven data mining:a new understanding for data mining

Recent advances in computing, communications, digital storage technologies, and highthroughput dataacquisition technologies, make it possible to gather and store incredible volumes of data. It creates unprecedented opportunities for largescale knowledge discovery from database. Data mining is an emerging area of computational intelligence that offers new theories, techniques, and tools for processing large volumes of data, such as data analysis, decision making, etc. There are many researchers working on designing efficient data mining techniques, methods, and algorithms. Unfortunately, most data mining researchers pay much attention to technique problems for developing data mining models and methods, while little to basic issues of data mining. In this paper, we will propose a new understanding for data mining, that is, domainoriented datadriven data mining (3DM) model. Some datadriven data mining algorithms developed in our Lab are also presented to show its validity.     

分布式数据挖掘综述

随着网络技术、通信技术等的不断突破,互联网、移动网、广电网等多种类现代网络及其衍生业务迅速扩张,形成泛在于网络空间的分布式计算环境。为了最大化这些数据的价值,需要利用数据挖掘技术发现其中隐藏的模式或规则,用以指导和辅助生产或运营中的管理决策行为,以提高决策水平及决策收益。然而,受到普遍存在的异构性、私有性和平台兼容性等限制,兼因行业竞争和法律约束等因素(如个人或企业的数据隐私保护问题等),互联于网络的数据源难于进行集中式挖掘,分布式数据挖掘(DDM)技术应运而生。介绍了DDM的定义与框架、适用场景和研究挑战。根据文中给出的DDM高层架构,最终结果的质量与局部数据源的类型、可用性、局部结果的质量及整合方法等密切相关。DDM的实施未必都以站点间纯粹独立挖掘的方式进行,此外,对于数据集中,系统分布式站点多的情况,也可采用DDM。当前,DDM研究领域的挑战主要有:异构与同构挖掘、动态环境下的数据多变性、通信开销、知识整合和语义异构等。当前的DDM系统被分为4类:1)基于Multi-Agent的系统,利用Agent的自治性实现局部挖掘以保护数据私有性;利用Agent的主动性减少用户参与以提高挖掘自动化水平;利用Agent的协作性实现多算法协同挖掘等;2)基于网格的系统,利用网格在资源共享、开放服务和协同工作等方面的优势,提高挖掘的可靠性和协同性;3)基于元学习的系统,通过元学习优化挖掘算法的选择与组合,并对已获知识进行多次学习以提高结果质量;4)基于CDM(collective data mining)框架的系统,将待学习的函数表示为一组基函数的分布式存在,允许各数据源选择不同的学习算法,并以全局结果正确为前提减少网络通信量。进而,对当前DDM研究存在的共性问题进行了归纳:1)结果质量问题,不考虑各个站点数据源间的内在语义联系,各站点独立挖掘本地数据,与其他站点间无语义层面的数据交互或融合,形成纯粹的"分割式"挖掘,最终导致全局结果质量受损;2)挖掘效率问题,如何调度资源以平衡挖掘负载、减少协作挖掘中的通信开销问题。针对结果质量问题,探讨本体与数据挖掘的结合。作为语义网的基础,本体能为对象语义距离度量提供有效支持。当前,在利用本体描述挖掘任务的领域背景方面,利用本体描述DM过程本身方面,都已经有研究人员进行了探索性工作:针对关联规则挖掘中需要从海量规则中遴选有效规则的问题,提出了交互式的、用于删减冗余规则的挖掘后处理方法;针对在给定知识发现过程的输入和输出类型前提下,知识发现工作流的自动构造问题,提出了解决方法。通过阐述可知,为了提升分布式挖掘过程中局部结果和最终结果的质量,策略之一就是将DDM理论和本体理论作融合,以数据源间语义距离的度量为突破口,建立语义距离度量的复合量化体系,通过构建和求解新型DDM模型来实现目标。     

数据挖掘在银行分析型CRM系统应用中存在的问题与对策

分析银行分析型CRM系统的体系结构和主要功能,给出数据挖掘用于该系统的过程、挖掘方法.指出数据挖掘在银行分析型CRM应用中存在的问题并提出相应的解决办法.     

联机数据挖掘中的数据预处理

 探讨了联机数据挖掘中海量数据的预处理问题.提出了基于立方体的数据预处理算法.该算法可对数据进行有效的收集,并可有效地约简数据.实验证明对于数据泛化,这种预处理是很有效的.     

航天工程质量数据体系架构的挖掘

 依据DoDAF体系架构框架理论，针对航天工程中的质量大数据（数据包），采用经验法挖掘出航天工程质量数据体系架构的过程模型。该过程模型与前馈-反馈复合控制系统模型基本吻合，进而识别出航天质量工作恰是遵循了前馈-反馈的复合控制机制。在该机制下，进一步从4个维度选取典型质量数据进行挖掘，得到了关于“热词”、数据基线和质量问题预测等3个方面的重要信息。     

空间数据挖掘视角

为了满足不同用户在不同条件下对空间数据挖掘的不同要求,该文提出空间数据挖掘视角。空间数据挖掘视角在描述不同数据挖掘需求的基础上,利用一定的数据挖掘算法,从大量空间数据中发现不同粒度的空间知识。首先研究空间数据挖掘视角的内涵和外延,其次给出空间数据挖掘视角的算法,最后把空间数据挖掘视角应用于滑坡监测数据的挖掘,结果令人满意。