基于Spark平台的大数据挖掘技术分析

由于大数据具有其自身的独特性,即数据量大、多样性突出,所以在进行大数据分析时,在处理速度、效率和实时性等方面要求都非常高。而数据挖掘技术主要就是从大量数据中基于建模算法,寻找在数据中所隐藏的信息,以此促使大数据的价值得以充分发挥。Spark平台是一个针对超大数据集合的低延迟集群分布式计算系统,利用其进行大数据挖掘与分析更具优势。据此,本文主要对基于Spark平台的大数据挖掘技术进行了详细分析。     

数据挖掘技术在电子商务管理中的应用研究

人们希望有新的技术和工具对大量数据进行强有力的分析,从中提取出有价值的信息,为决策者提供必要的支持。基于此,本文对数据挖掘技术在电子商务管理中的应用研究。首先论述了电子商务管理中数据挖掘技术的重要作用,从构件系统平台、后台数据库搭建、编程语言三方面论述了电子商务系统的实现。讨论了建立系统的数据挖掘应用模型的方法。分别介绍了遗传、决策树、粗糙集、神经网络四种数据挖掘算法。     

基于数据仓库的网球比赛决策支持系统的研究与设计

本文介绍了基于数据仓库技术和数据挖掘技术构建的网球赛场的决策支持系统的研究与设计。该系统在对原有的数据源进行分析和重新组织的基础上,通过建立数据仓库来存储各种来自异质的信息源的数据,利用联机分析处理实现多维数据分析,然后通过数据挖掘技术从数据仓库中获得新的知识,以丰富决策支持系统的知识库。在系统的实现过程中,采用了ORACLE商务智能解决方案实现网球技术指标管理和预测的科学化,并说明OLAP数据仓库能够为网球比赛训练决策人员提供有效的决策信息     

基于决策树的数据挖掘算法的应用与研究

数据挖掘是指从数据库中抽取隐含的、具有潜在使用价值信息的过程,是一种新型的数据分析技术.研究数据挖掘中的决策树算法以及决策树算法在具体的客户关系管理系统中的研究与分析,对数据挖掘中的决策树技术做了详细的描述.     

基于关联规则的Apriori算法的改进及其在保险业CRM的应用

客户关系管理作为一种以客户为中心的经营策略,可以很好完成客户的获取与保持,为经营者提供决策支持,而数据挖掘作为一种分析工具,可以应用在客户关系管理中的大量数据分析和客户价值挖掘中.作为数据挖掘研究的一项重要内容--关联规则数据挖掘研究,其经典的Apriori算法及其改进算法存在着一些不足,如产生庞大的候选集、需要多次扫描数据库,大大增加I/O开销.针对这个算法的瓶颈问题,提出了基于关联规则的改进的Apriori算法,并将其应用在客户关系管理中的大量数据分析,如客户的年龄、职业、年收入、险种等属性,通过对得出的规则的分析来挖掘出具备某些特征的客户趋向购买何种险种,为业务的宣传及管理者的决策支持提供了明确性.     

智能化数据挖掘系统

目前通用数据挖掘系统需要由用户自主去选择需要的数据挖掘算法．这就使这些通用数据挖掘工具很难被那些不熟悉数据挖掘术语和数据分析技术的普通用户所使用．为了解决这个问题,文章讲述了一种基于案例推理的智能化数据挖掘系统,这种系统的主要功能是根据用户提交的任务书,在算法库中查找相应的算法自动实现数据挖掘,将用户从繁重的算法设计、算法选择中解脱出来．     

最低生活保障系统中数据挖掘技术的实现

本论述对低保数据的挖掘中,使用了两种挖掘算法,另外配合SQL Server 2010提供的数据挖掘功能对低保数据进行了全面的分析,介绍了OLAP技术和数据挖掘在低保数据分析中的应用.主要内容包括:分析了数据挖掘技术在低保数据分析中的应用意义;研究了关联规则、决策树算法、聚类分析在低保数据分析中的应用.这也是低保信息化工作今后重要的研究目标和发展方向.     

基于移动Agent的Web数据挖掘技术的研究

目前上存有大量的数据信息,如何对这些数据进行有效的应用已经成了当前数据库技术研究的重点。基于Web的数据挖掘是一个结合了数据挖掘和WWW的热门研究主题。本文介绍了基于移动Agent的Web数据挖掘技术,各挖掘算法集中到移动Agent子系统中,并根据要求动态地创建,然后派遣它们到数据站点数据库中进行数据挖掘,提出了一种基于Web数据挖掘的模型。     

基于数据挖掘技术的入侵检测系统模型

针对现有入侵检测系统在处理大量数据时,挖掘速度慢,自适应能力差的缺点,引入了数据挖掘技术使其能从大量数据中发现入侵特征和模式,提出了一种基于数据挖掘技术的入侵检测系统模型,并研究了建模过程中用到的算法.     

决策树C4.5算法在森林资源二类调查中的应用

C4.5算法是基于信息熵理论进行数据分类分析的经典决策树数据挖掘算法.它主要包括数据预处理、决策树生成、决策树修剪、决策树规则提取等步骤.笔者将C4.5算法应用于森林资源二类调查的数据分析中,通过对调查数据挖掘分析表明,数据挖掘在森林资源调查数据分析中具有广泛的应用前景.     

数据挖掘及其在电力事故分析中的应用

对数据挖掘技术及其在电力系统中的应用情况进行了简要介绍。基于长期运行的电力生产事故统计分析系统积累了大量的事实数据,可以通过这些数据之间的关系来挖掘内含的规律,因此文章引入了一种基于数据挖掘的关联规则算法来挖掘出电力事故中的相关规则,进而通过这些规则来研究事故发生的规律。     

基于改进Adaboost M1算法医学图像分类系统的研究

随着计算机医学成像技术的发展,医学影像越来越多样化,医学影像的应用也越来越广泛,与此同时大量的医学设备的应用使得医学影像的数量也越来越多,大量的影像资料使医院迷失在信息的海洋.如何有效的对医学影像进行组织、管理,合理有效的对其进行分类,从而使其更好的辅助日常的医学诊断和医学研究.为了解决这一问题,本文在单特征研究的基础上提出一种综合了多特征融合和数据挖掘的医学图像分类的方法,该方法引入数据挖掘中集成学习的概念,利用改进的Adaboost M1算法针对单特征分类的弱分类器进行迭代训练,并采用SVM分类器开发设计了一个基于改进Adaboost M1算法的医学图像分类系统,以提高医学图像分类效率.     

基于关联规则的Apriori算法的改进及其在保险业CRM的应用

客户关系管理作为一种以客户为中心的经营策略,可以很好完成客户的获取与保持,为经营者提供决策支持,而数据挖掘作为一种分析工具,可以应用在客户关系管理中的大量数据分析和客户价值挖掘中。作为数据挖掘研究的一项重要内容——关联规则数据挖掘研究,其经典的Apriori算法及其改进算法存在着一些不足,如产生庞大的候选集、需要多次扫描数据库,大大增加I/O开销,针对这个算法的瓶颈问题,提出了基于关联规则的改进的Apriori算法,并将其应用在客户关系管理中的大量数据分析,如客户的年龄、职业、年收入、险种等属性,通过对得出的规则的分析来挖掘出具备某些特征的客户趋向购买何种险种,为业务的宣传及管理者的决策支持提供了明确性。     

一个基于时间窗口的入侵检测算法

入侵检测是计算机安全机制的一个重要组成部分 ,由于它需要从大量的系统审计数据中进行准确、高效的分析 ,因而适宜用数据挖掘的方法来发现规则 .本文给出了一个基于时间窗口的数据挖掘算法来发现入侵行为 ,在文章末对算法的优缺点进行了讨论     

数据挖掘技术在选课系统中的应用

许多高校都拥有选课系统,并积累了大量的原始数据,这些数据中包含了大量潜在的、未知的有用信息,这些“信息”可以辅助相关部门进行合理的教学资源分配并做出相应决策。本文基于高校选课系统,讨论了数据预处理和数据挖掘技术,并应用关联规则中的FP-tree算法挖掘选课数据,获得了一些有用的规则信息,取得了良好的应用效果。     

浅谈数据挖掘技术在电子商务中运用

数据挖掘是从海量数据中发现和提取知识和信息的过程。在电子商务领域中运用数据挖掘技术,寻求和发现更多的企业顾客、供应商、供应链内部流程优化,将为企业决策者提供更为广泛而有效的决策依据,提高企业战略竞争能力。本文简要介绍了数据挖掘的基本概念和方法,在此基础上重点分析了数据挖掘技术在客户管理和搜索引擎数据分析、等方面的应用。     

海量数据处理过程中数据挖掘算法的应用

信息时代的快速发展带来的是信息总量呈现几何级数的增加,而海量数据的存储和分析处理对计算机硬件能力和数据分析能力都是一个极大的挑战．数据挖掘算法是针对于大批量数据处理而提出并逐步发展起来的,基于完备的数据库技术,可以在云计算算法、矩阵压缩算法和并行关联算法的基础上,进行算法集成,能进一步提高数据挖掘的速度、精度和时效性,在实际海量数据的处理过程中有较好的适应性,为海量数据处理提供了新的技术分析方法．     

数据挖掘技术在电子商务客户关系管理中的应用研究

在电子商务环境下,客户的信息量越来越大,运用数据挖掘技术研究客户关系管理,可实现从大量不确定的客户信息中挖掘出客户分类的依据和信息,为企业提供重要决策支持.通过分析和总结国内外学者研究成果,找出了数据挖掘在电子商务环境下客户关系管理应用研究方面的不足,论证了数据挖掘在电子商务环境下客户关系管理中的必要性,研究并提供了数据挖掘技术在电子商务客户关系管理中的应用方法及实施步骤.     

智能优化算法在聚类分析中的应用

聚类是数据挖掘领域中的一个重要研究课题,聚类分析应用广泛,既能作为一个独立的工具来进行数据分析,也可以作为其他算法的预处理步骤.本文介绍了智能优化算法在聚类分析中的应用,着重分析了基于蚁群算法的聚类算法和基于微粒群算法的聚类算法.     

基于数据挖掘技术的CRM系统中客户行为

为了解决在企业中实施客户关系管理（CRM），CRM系统中客户行为的定量研究问题，利用决策树的数据挖掘相关技术和方法，提出了UPTree数据挖掘算法，并采用UPTree算法对隐藏在大量客户行为中的信息进行挖掘，从而获取了CRM系统中潜在的客户行为规则，并给出这些行为规则的IF-THEN的描述形式，为企业的科学决策提供依据。