基于时序数据挖掘的澜沧江流域气象预报系统

 在对澜沧江流域多年气象数据分析研究的基础上,依据气象数据的时序特性,结合数据挖掘中比例规则挖掘技术,实现了一个基于时序数据挖掘的气象预报系统.该系统对澜沧江流域近40年气象数据进行预测实验,结果表明:基于数据挖掘的气象预报系统的研究是对气象预报新路的有益探索.此外,该系统还提供了友好的用户界面和可视化结果展示.     

基于Hadoop平台的数据挖掘算法应用研究

Hadoop平台是一个开源的计算机集群系统,它能快速处理海量的数据,且具备低成本、高效率、高扩展、高可靠、高容错的优势.基于Hadoop平台探索了数据挖掘算法的应用,详细阐述了Hadoop平台的基本组成原理以及运行机制,探索了相关的数据挖掘算法.基于MapReduce的K-Modes聚类数据挖掘算法具备较好的自适应性,利用簇众数来取代中心节点,提高了算法效率;基于Hadoop平台的分类算法采用朴素贝叶斯算法来实现数据挖掘过程,实验结果表明它完全适应在大数据环境下的数据处理,节约了时间,提高了算法运行效率.     

基于云计算的数据挖掘平台架构及其关键技术研究

本文详细分析了基于云计算技术的数据挖掘平台. 研究发现,该系统不但可以充分达成数据挖掘管理的各项任务指标,还增加了大理新的管理模块,实现了数据挖掘平台的智能化与高效化.     

BDAP——一个基于Spark的数据挖掘工具平台

大数据处理系统是大数据领域的一个热点,为此首先研究大数据分析平台的架构与功能,将大数据分析平台分为数据源、数据吸收层、数据存储层、平台层、安全与监控层、设备层和应用层.平台包含多个数据预处理和算法模块,平台架构为大数据分析了奠定基础.在功能上,该平台功能全面,可以自由组合各种操作,模块之间耦合度低,便于维护和拓展.在用户体验上,调参、建立流程、监控、数据挖掘过程都是可视的,融合工作流和调度流技术.在性能上,该平台相应算法的性能优于Hive和MLlib.最后,举例说明大数据挖掘平台的应用场景.可以对电网线路故障和气象数据进行预处理,从而对故障进行预测和分类,可以通过视频挖掘组件,对数据分类.     

一个地震数据挖掘网格及其作业调度

基于网格建立地震数据挖掘平台,充分利用网格中现有的资源和研究成果,可以减少系统开发、升级及维护的费用,提高系统可伸缩性;同时还能有效地提高对大量数据信息的处理能力,从而提高数据挖掘的速度.该文介绍了一个基于网格构建的地震数据挖掘平台,着重论述了其中的作业调度策略,并针对作业调度中面临的各种问题,设计并实现了一个能适应资源动态变化的JRA作业调度算法.     

面向电力大数据日志分析平台的异常监测集成预测算法

随着电力企业网络技术的发展,传统和新生的日志处理系统已不能满足大数据状态下的日志分析要求,为了实现系统日志异常分析的目标,该文提出一种基于时间序列的系统异常数量集成预测算法和面向该算法的评价体系。该算法对多种分类预测算法进行集成,对收集到的日志数据进行分类预测,进而实现了以综合最优的准确度预测系统的异常数量,评价体系很好地支持了该算法的工作,算法增强了日志分析平台的安全性。     

基于最大频繁项集的层次聚类方法

几千年来,中医药领域的无数临床实践与理论研究积累了很多对哮喘病的治疗方剂,已有的基于距离的聚类算法在对哮喘方剂数据的聚类上不太有效.根据哮喘药方数据集高维稀疏性的特点提出一种基于最大频繁项集的层次聚类算法,此算法在哮喘方剂的聚类上取得了较好的效果.基于现有中药数据,设计并实现一个中药方剂数据挖掘平台,该平台将中药数据检索功能和中药数据挖掘功能集成起来,带来了极大的便利.     

基于权重的Jaccard相似度度量的实体识别方法

社会网络分析方法将社会行动者映射为图的节点,社会行动者之间的关系映射为图的边,然后利用图论的相关知识来解决社会网络问题.将数据挖掘方法应用于社会网络分析是数据挖掘研究领域的一个新方向.本文主要在算法改进和系统实现层面展开数据挖掘在社会网络分析中的应用,提出了基于权重的Jaccard相似度度量的方法及处理多链接属性的实体识别算法.最后基于电信分析系统平台,使用上述算法在电信数据集上进行测试,实验结果表明上述算法的有效性和实用性.     

成果介绍

“多功能数据挖掘器 (MFDM)”通过成果鉴定　　华南理工大学计算机学院彭宏教授主持的广东省科技厅 2 0 0 2年立项的重大专项项目“数据仓库开发工具与智能信息分析平台的实现研究”于 2 0 0 4年 10月 2 9日通过了由广东省科技厅组织并委托广东省教育厅主持的“多功能数据挖掘器 (MFDM)”科技成果鉴定 .多功能数据挖掘器是一种结合了WebService ,XML和跨语言调用等特性的通用数据挖掘器 .该系统能实现数据挖掘算法整合、管理和用户程序生成 ,是一种具有支持跨语言算法编写、良好层次体系结构和方便生成用户应用系统等功能的开发平台 .…     

基于关联规则优化的个性化推荐系统

针对当前个性化推荐系统处理数据效率较低的问题,提出了一种混合聚类关联规则优化的个性化推荐系统实现方法.深入分析了基于Web网络服务平台的电子商务个性化推荐系统的结构组成,将数据分析与推荐算法实现分为离线和在线处理两部分,阐述了算法初始化、关联实现以及推荐数据集合生成和兴趣模型预测的具体原理,并给出了算法的实现步骤.最后,基于提出的系统构建模型,建立了一种基于混合聚类关联优化的图书网络推荐平台.实验结果表明,该方法具有较高的推荐精度和推荐效率,更适合大数据环境的推荐系统.     

基于ARIMA模型的时间序列数据挖掘方法改进

ARIMA模型是一种很重要的时间序列数据挖掘模型,但是这个模型往往只是对某个时间点进行研究.事实上一段时间往往影响未来的预测结果,就ARIMA模型的数据挖掘方法进行改进,并用美国IT界的股票价格数据对改进的模型进行了实证分析.结果显示改进后的模型与未来股票价格的预测更加准确.     

基于ARIMA-KF模型的船舶系统设备状态参数预测

针对目前大多数预测模型在船舶智能运维领域应用过程中存在的预测精度偏低、模型不易构建等问题,提出了自回归积分滑动平均模型(Auto-Regressive Integrated Moving-Average Model,ARIMA)和卡尔曼滤波(Kalman-filter,KF)相结合的船舶系统设备状态参数组合预测模型—ARIMA-KF模型。该模型首先构建了自回归积分滑动平均(ARIMA)单步和多步预测模型;然后利用卡尔曼滤波(KF)算法对ARIMA预测模型参数值进行寻优,得到ARIMA-KF组合预测模型;最后,基于组合模型对船舶海水冷却系统状态参数进行预测,将预测值与实船获取的实际值进行对比及误差分析。结果表明,采用基于ARIMA-KF组合模型比单一的ARIMA模型预测精度提高3%左右。研究结果对船舶系统设备的健康管理和视情维修具有一定的指导意义。     

基于算法适用知识的挖掘算法选择交互系统

为具体挖掘任务选择合适的挖掘算法需要用户对挖掘任务、各种挖掘算法和数据特征都非常熟悉,一般用户是很难达到这个要求的.针对以往研究的系统存在实现困难、不能适应动态添加算法等不足,文中形式化表示数据挖掘算法的适用知识,并基于此设计算法选择交互问题和选择逻辑,实现了一个易于实现的数据挖掘算法选择交互系统.实例验证了系统的有效性.     

一种数据挖掘的方法研究

总结了数据挖掘中聚类算法的研究现状,分析比较了它们的差异及局限性.提出了一种新的数据挖掘的方法--基于数据仓库的数据挖掘方法.通过实例得出该方法为数据挖掘提供了有效的平台.     

基于Python的瓦斯浓度ARIMA预测模型构建及其应用

针对矿井瓦斯浓度预测研究现状,提出一种基于Python的瓦斯浓度时间序列预测方法。该方法采集、处理了矿井瓦斯浓度历史数据,形成适用于数据挖掘的平稳时间序列;基于该序列,调用Python自带的ARIMA模块函数,构建瓦斯浓度预测模型;利用建立的预测模型对瓦斯浓度进行预测,并对比分析瓦斯浓度历史数据与预测数据的误差大小,进行模型预测效果评价;最后,利用满足精度要求的预测模型,预测瓦斯浓度变化趋势。以贵州某矿为例,采集2018年3月5日至2018年3月7日的瓦斯数据作为样本数据,并调用Python的ARIMA模块建立预测模型,开展瓦斯浓度预测研究。结果表明,该方法实现了瓦斯浓度预测的可视化,并使瓦斯浓度预测均方根误差低为234%,预测精度较高,可为降低矿井瓦斯事故提供一定的技术支撑。     

基于Hadoop的大气污染物质量浓度预测系统设计

针对大气污染物质量浓度预测及其大规模数据计算问题,设计了一种基于随机森林算法的污染物质量浓度预测算法,采用MapReduce并行计算框架并行化计算空气质量指数,实现了基于Hadoop平台的空气污染物质量浓度预测系统.通过试验比较了基于随机森林算法和基于线性拟合算法的计算结果,显示本算法能够有效降低大气污染物质量浓度的预测误差.     

改进决策树算法在企业资源计划系统中的应用

为改进企业资源计划(ERP)的数据挖掘技术和提高利用效率,改善ERP系统的预测功能和决策支持,通过运用改进的混合决策树算法ID3,对企业ERP系统中某些决策判定的依据进行学习,根据学习结果对ERP系统中的新问题进行预测. 给出了相关的算法流程和实现步骤. 实验结果验证了改进决策树算法在决策预测支持中的有效性和可行性.     

空间数据挖掘在基于GIS的交通诱导系统中的应用

介绍了基于GIS的交通诱导系统,并指出模糊地名匹配问题是其中一个急需解决的难题.针对这一问题,研究了空间数据挖掘方法中的聚类分析方法,建立了基于聚类分析方法的模糊地名匹配模型,并提出了基于CURE聚类方法的求解算法.最后以采用MapInfo 为平台的广州市电子地图为例,对文中提出的地名模糊匹配模型和算法进行了试验.结果表明该模型和算法是有效的,平均计算时间只有0.01s.     

基于Multi-Agent技术的个性化数据挖掘系统

设计基于Multi Agent技术的个性化数据挖掘系统,介绍了该系统构造的基本思想和Agent的状态转变关系及其它们之间的通信协议;利用用户Agent和挖掘Agent得到个性化数据挖掘系统MAS,并给出了系统的算法.该类系统的特点是:用Agent模拟人,实现用户在系统中的智能代理.结果表明,它能够实现数据挖掘的个性化服务功能,提供对用户真正有价值的知识,有效地避免了用户的重复劳动和精力耗费;同时,避免了系统对无用数据的挖掘,提高了系统的运行效率.     

数据挖掘技术在电力管理和分析中的应用

作为一种数据分析方法和技术,发现潜在的信息,大量的信息,数据挖掘已成为社会关注的焦点.在电力行业的信息化建设进程中,有大量历史数据,采用数据挖掘技术来研究和发展是刻不容缓,分析决策系统需要解决在电力运行管理中存在的关键和突出问题企业.本文提出了详细的数据挖掘算法分析.基于电力管理分析的特点,重点讨论了聚类分析算法.基于电力数据管理分析系统,数据挖掘技术在本文设计的过程采用混合型数据并获得良好的挖掘效果.聚类对电力客户数据分析可以得到很好的分类,有助于预测顾客的购买行为.