数据预处理在商业企业数据仓库的应用

数据预处理是数据挖掘过程中重要环节 ,对数据预处理技术进行研究具有现实意义。文章在介绍数据预处理方法的基础上 ,结合大型商业营销企业数据仓库数据的特点和数据挖掘过程中对数据的要求 ,详细论述了数据预处理技术在大型商业营销企业数据仓库中的应用 ,提出改善数据质量是预处理技术的关键。     

供应链管理中的数据预处理技术

数据挖掘技术在供应链管理中起着非常重要的作用，由于数据常常出现噪声、缺失等情况，因此数据预处理成为数据挖掘过程中非常重要的一个步骤。结合供应链管理中的数据挖掘对各种数据预处理技术进行了介绍，并讨论了适合在供应链管理数据挖掘中应用的数据预处理技术。     

小波变换在数据挖掘数据预处理中的应用

数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取人们事先不知道的但是潜在的有用的知识和信息的过程,数据预处理是整个数据挖掘过程中的一个重要环节。小波变换是一种新的数学分析方法,广泛应用于信号处理、图形处理、模式识别、语言分析等众多领域。将小波变换应用在数据挖掘数据预处理中,能够得到良好的数据压缩效果。     

基于CURE聚类优化的数据挖掘算法研究

以海量非结构化数据为研究对象,在已有聚类算法研究基础上,从数据的获取与预处理,到数据聚类,再到数据的个性化管理全过程进行分析,针对数据聚类过程中的计算量庞大和复杂程度高的现状对已有CURE聚类算法进行优化,尽可能的最大程度提高数据聚类效率,进而提高大数据挖掘水平,为大数据应用提供更好的服务.通过以某通信企业不断变化的用户数据为分析对象,证明此次基于CURE聚类算法优化的数据挖掘算法有效性,结果表明CURE聚类算法优化具有一定的可用性和实用性.     

一种数据规约的近似挖掘方法的实现

讨论基于数据规约的近似挖掘技术,在数据预处理阶段对海量数据集进行数据规约.近似数据挖掘的工作流程包括任务定义、数据准备与预处理、数据挖掘建模、结果的解释与评估、模型发布与应用5个阶段.同时,提出使用属性选择和实例选择方法实现近似挖掘的方案,并对该方案进行挖掘效率和结果模型准确性的分析评估.该方案能满足对企业级大数据集进行高效挖掘的需要.     

基于粗糙集理论的数据预处理

探讨数据挖掘过程中,数据预处理应用粗糙集理论进行属性和属性值约简的方法以及用计算机实现约简的算法.通过对医疗数据的预处理表明,利用粗糙集理论来进行数据预处理是一种十分有效的精简、求最小决策算法的有效方法.     

基于大数据的线上线下电商用户数据挖掘研究

分析了大数据环境下的O2O电商用户数据特征,提出O2O电商用户数据挖掘框架,并探讨数据挖掘流程和主要的数据挖掘方法,分别从O2O电商平台、O2O用户和O2O商家三者角度探讨了O2O电商用户数据挖掘的应用问题.研究认为:O2O用户数据挖掘框架包括数据来源层、数据收集层、数据组织层、数据分析层与数据应用层等层级;数据挖掘流程主要包括数据收集、数据预处理、数据挖掘及数据应用4个过程;O2O电商用户数据的挖掘应用包括精准营销、平台网站优化、欺诈分析与防范、个性化推荐、增值服务开发与产品创新等方面.     

基于统计分析技术的属性数据挖掘

面向属性归纳的方法以关系的或面向属性的操作实现数据挖掘过程。文中将统计分析方法和面向属性的归纳方法接合起来 ,形成了一种应用比较广的数据挖掘方法。同时提出属性数据挖掘可分为两个层次 ,包括从数据产生模型和从数据归纳出知识。从数据推导出的模型可以进行数据预处理和定量描述变量之间的关系 ;由数据挖掘出的知识可以揭示客观世界的普遍规律     

浅谈数据的存储与挖掘技术

计算机与网络技术的飞速发展，使得应用领域不断增加，信息技术的应用也逐渐从信息查询、数据传送走向网络环境中的海量数据存储、数据挖掘和决策信息支持，因此数据存储的可靠性和可管理性，正日益成为企业信息化进程中的一个关键环节。     

Web日志挖掘中数据预处理技术研究

Web日志挖掘的基本思想是将数据挖掘技术应用于Web日志数据源。在数据挖掘研究领域中,数据预处理起着至关重要的作用。Web日志挖掘的数据源最主要的是Web日志,根据Web日志的特点,在预处理过程中的会话识别阶段给出一种基于过滤框架网页与页面访问时间阈值相结合的会话识别方法,实验数据验证说明该方法可以显著地提高Web日志挖掘结果的兴趣性。     

Web挖掘在个性化推荐系统中数据预处理的研究

个性化推荐系统能够根据用户的兴趣偏好主动推荐他所需的资料。它的出现解决了人们寻找信息难的问题。数据预处理将原始的真实数据库转换成适于数据挖掘的挖掘数据库,为提高挖掘算法的效率,改善挖掘结果的效果打下了良好的基础。[1]     

一个简单的Web日志挖掘系统

在分析Ｗｅｂ日志挖掘的困难及对策的基础上,给出了一个简单的Ｗｅｂ日志挖掘系统（ＳＷＬＭＳ）的体系结构,具体介绍了ＳＷＬＭＳ中日志的预处理过程,包括数据净倾、用户识别、会话识别、路径补充的主要任务及其实现,并着重介绍了预处理之后的序列模式识别过程和算法,包括最大向前路径的识别和频繁遍历路径的发现,并给出了实验结果。     

数据挖掘中并行离散化数据准备优化

在海量数据挖掘中,针对元数据的离散化数据准备处理能有效提高数据挖掘效率.本文提出了一种并行比较并获得最优离散化的数据准备算法(AOA),针对不同数据集,先进行数据集的特性检测以获得数据集分布特性,按照分布特性进行数据集的异常值检测和剔除,并行完成与分布特性适配的离散化方法处理,通过比较不同离散化方法的熵、方差指数、稳定性参数的最小欧氏距离,根据三个参数自动化比选,获得最优离散化的预处理成果.仿真表明,对不同样本数据库进行关联规则挖掘结果中,比较四种固定的离散化数据预处理方法,在使用AOA数据准备算法并行比选出最优的离散化来数据预处理后,在不同最小支持度阈值情况下,挖掘得到关联规则数都更少,因此效率得到提高.     

基于土工试验的数据挖掘中的数据预处理技术

在地质勘察的土工试验中产生大量的数据,迫切需要挖掘隐藏在这些数据间的大量有趣信息。而数据预处理技术的好坏直接影响数据挖掘的结果。现介绍一种在挖掘关联规则前的数据预处理技术,给出了相应算法,并通过实例说明了算法的执行过程。     

基于互联网+数据挖掘的农业数据平台设计

随着农业数据规模日益增加,相应的、有针对性的数据挖掘平台设计成为迫切需要.该文设计了基于互联网+数据挖掘的农业数据平台,包括交互层、功能层、数据层3个层次.功能层是平台的核心,负责数据预处理、数据挖掘、挖掘结果展示等任务.针对Apriori算法进行了改进,通过频度集合、支持度集合、地址集合的联合使用,避免了重复扫描和频度冗余,进一步提升了挖掘算法的效率.以水稻生长中的二化螟虫害问题为研究对象,展开平台性能的验证性实验.实验结果表明:4种因素对二化螟爆发影响的强弱顺序为5月份降水最大,其次是5月份的温度,再次是2月份的温度,最后是2月份的降水.     

Web使用挖掘中数据预处理算法的设计与实现

指出了数据预处理在Web使用挖掘中的重要性,详细分析了Web使用挖掘数据预处理过程,在每个数据预处理的每个阶段给出了一些规则并针对这些规则设计和实现了相应的预处理算法.实验结果证明这些算法是有效的.     

数据挖掘及其在高校教学系统中的应用

简要介绍了数据挖掘技术，详细分析了关联规则挖掘算法。给出了一个完整的数据挖掘系统一教学系统的设计与实现过程。它包括数据的准备与选择、数据的预处理、挖掘算法的选择与实现、挖掘结果的描述四个步骤。文中详细介绍了上述各个步骤的处理过程，并增加了兴趣度阈值来提高挖掘的精度，为高校管理决策提供了科学依据。     

量子计算在增量式大数据并行挖掘中的应用

针对传统大数据并行挖掘方法是一次性对所有数据进行挖掘,导致挖掘时间较长,挖掘精度较低等问 题,采用量子计算对增量式大数据并行挖掘方法进行优化设计。首先,按照数据挖掘的基本流程搭建并行数据 挖掘模型; 然后分别通过定义量子比特、量子搜索算法、量子神经网络处理以及量子映射变换4 个步骤,实现 增量式数据的预处理,利用矩阵向量相乘分解得到过滤权重组合,通过该组合实现预处理结果的并行协同过 滤; 最后通过量子模糊聚类得出增量式大数据并行挖掘结果。实验结果表明,应用量子计算的增量式大数据并 行挖掘方法的平均召回率为97． 25%,并行挖掘时间在2． 1 ～ 3． 2 s 的范围内浮动,准确率超过95%,且该方法 的收敛性最好,寻优能力强。