基于Hadoop框架和ARIMA算法的气象预测系统研究

对气象数据挖掘和ARIMA预测算法进行分析,构建了基于Hadoop的气象数据挖掘平台,并在该平台上设计实现了基于ARIMA算法的气象预测系统.实验结果表明,该气象预测系统具有易扩展性、易维护性和对海量气象数据的高效管理特性,实现了气象预测功能.     

多策略数据挖掘系统的分析与设计

为了满足数据规模的膨胀和分析需求的增长,在对数据挖掘系统的发展史进行回顾的基础上,分析了国内外典型数据挖掘系统的特点,设计了一个多策略的数据挖掘系统。并针对数据挖掘面临的大规模海量数据的处理问题,为系统引入和设计了算法插件思想、缓冲区处理技术、基于XML(Extensib le M arkup Lan-guage)语言的配置文件和相应的并行处理技术。最后讨论了系统今后开发过程中需要注意算法更新及评估的问题。     

基于Spark平台的大数据挖掘技术分析

由于大数据具有其自身的独特性,即数据量大、多样性突出,所以在进行大数据分析时,在处理速度、效率和实时性等方面要求都非常高。而数据挖掘技术主要就是从大量数据中基于建模算法,寻找在数据中所隐藏的信息,以此促使大数据的价值得以充分发挥。Spark平台是一个针对超大数据集合的低延迟集群分布式计算系统,利用其进行大数据挖掘与分析更具优势。据此,本文主要对基于Spark平台的大数据挖掘技术进行了详细分析。     

一种数据规约的近似挖掘方法的实现

讨论基于数据规约的近似挖掘技术,在数据预处理阶段对海量数据集进行数据规约.近似数据挖掘的工作流程包括任务定义、数据准备与预处理、数据挖掘建模、结果的解释与评估、模型发布与应用5个阶段.同时,提出使用属性选择和实例选择方法实现近似挖掘的方案,并对该方案进行挖掘效率和结果模型准确性的分析评估.该方案能满足对企业级大数据集进行高效挖掘的需要.     

基于灰色神经网络的云平台大数据安全风险评估

为了提高网络云平台大数据存储的安全性能,并对数据安全风险进行评估,提出了一种基于灰色神经网络的云存储大数据安全风险评估模型。首先,采用基于自治的元组划分方法将待分析和评估的大数据安全风险信息进行分类,利用高斯密度谱提取信息特征,然后利用灰色神经网络将待分类的信息进行分解,最后,使用自适应差分改进方法检测安全风险信息的相关性。模型根据大数据安全风险信息频谱的特征提取,实现了相关补偿和自适应控制,提高了大数据安全风险评估能力。安全评价曲线能够快速收敛,并与K近邻算法(K-nearest neighbor, KNN)对比仿真实验结果显示,基于灰色神经网络的模型评估具有较高的准确性,因而具有更好的大数据安全保护能力。     

基于Hadoop平台的数据挖掘算法应用研究

Hadoop平台是一个开源的计算机集群系统,它能快速处理海量的数据,且具备低成本、高效率、高扩展、高可靠、高容错的优势.基于Hadoop平台探索了数据挖掘算法的应用,详细阐述了Hadoop平台的基本组成原理以及运行机制,探索了相关的数据挖掘算法.基于MapReduce的K-Modes聚类数据挖掘算法具备较好的自适应性,利用簇众数来取代中心节点,提高了算法效率;基于Hadoop平台的分类算法采用朴素贝叶斯算法来实现数据挖掘过程,实验结果表明它完全适应在大数据环境下的数据处理,节约了时间,提高了算法运行效率.     

基于改进集成学习算法的在线空气质量预测

为了实现空气质量的在线预测,提出了一种基于XGBoost算法的改进集成学习算法OPGBoost。首先对PI(plant information)实时数据库系统进行二次开发,构成大数据挖掘与分析平台,运用数据融合工具对原始数据进行预处理,并采用Boruta算法进行特征选择,从而构造出包含更多属性特征量的有效数据集。然后对XGBoost算法中的一阶和二阶导数进行优化,并通过时间滑动窗口和衰减函数机制获取训练数据以及训练模型的权重,最后采用Bagging集成学习策略构成OPGBoost组合模型。实验结果表明,针对基于PM2.5浓度和AQI表征的空气质量预测,本文方法与4种已有算法相比在准确性和实用性方面具有明显的优势,能够较精确地预测未来1、12、24h的空气污染情况。     

基于模糊改进聚类分析的数据挖掘模型

针对对海量数据库中的大数据进行优化挖掘,可以提高数据特征的提取和检测能力.传统方法采用模糊C均值聚类的数据挖掘算法,当数据在层次聚类过程中空间特征的相似度差异性较小时,数据挖掘的准确度不高.提出一种基于粒子群混沌差分训练对模糊C均值聚类算法进行改进,建立数据挖掘优化模型.首先提出了数据聚类据挖掘模型的总体构架,采用非线性时间序列分析方法进行数据信息流拟合,对数据信息流进行高阶累积量特征提取,采用粒子群混沌差分训练实现模糊C均值聚类算法改进.以改进的模糊聚类算法对提取的高阶累积量特征进行聚类分析,以分析结果为依据对数据挖掘模型进行优化.仿真结果表明,该数据挖掘模型能有效实现海量数据的优化聚类和特征提取,数据挖掘的精度较高,性能较好,避免挖掘过程陷入局部收敛.     

基于最大频繁项集的层次聚类方法

几千年来,中医药领域的无数临床实践与理论研究积累了很多对哮喘病的治疗方剂,已有的基于距离的聚类算法在对哮喘方剂数据的聚类上不太有效.根据哮喘药方数据集高维稀疏性的特点提出一种基于最大频繁项集的层次聚类算法,此算法在哮喘方剂的聚类上取得了较好的效果.基于现有中药数据,设计并实现一个中药方剂数据挖掘平台,该平台将中药数据检索功能和中药数据挖掘功能集成起来,带来了极大的便利.     

集中供热管理数据挖掘系统

基于数据挖掘技术，以集中供热管理为研究对象，提出了关联数据挖掘的设计思想及实现方法。采用了属性构造法进行数据预处理，建立了数据挖掘模型，实现了关联规则算法，并对挖掘结果进行解释与分析。分析表明：对于供热系统的温度、压力和流量，其热量消耗应满足最小支持度和最小置信度阈值。     

动态云模型大规模数据挖掘算法

分析了云计算和数据挖掘的关系,研究了SLIQ和SPRINT两种数据挖掘算法,提供了一种数据存储量不断增加时基于动态云模型的数据挖掘算法。     

基于ADAM优化卷积神经网络的火电厂大数据平台预警模型测试与应用

为了提高火电厂大数据平台的生产维护安全化、监控管理精细化、经济效益持续化,提出了大数据平台内开发故障诊断预警系统,采用基于自适应力矩估计(adaptive moment estimation, Adam)算法优化二维卷积神经网络方法建模技术融入于大数据平台中,并结合大数据平台和专家故障预警诊断功能进行测试与应用。首先对故障预警模型进行数理建模及模型训练优化,直至满足模型功能要求,实施模型算法代码与大数据平台的合库部署上线、满足提前发现系统故障的功能,并结合机理分析对故障系统进行细致化分类,最终发现根本的故障原因。实现了火电厂生产过程中各系统运行特性的全周期监控,在系统或设备发生故障前进行预警并推送异常信息,规范化了模型部署在大数据平台后的测试与实施工作,进一步发现模型缺陷,提高模型准确率。     

基于互联网+数据挖掘的农业数据平台设计

随着农业数据规模日益增加,相应的、有针对性的数据挖掘平台设计成为迫切需要.该文设计了基于互联网+数据挖掘的农业数据平台,包括交互层、功能层、数据层3个层次.功能层是平台的核心,负责数据预处理、数据挖掘、挖掘结果展示等任务.针对Apriori算法进行了改进,通过频度集合、支持度集合、地址集合的联合使用,避免了重复扫描和频度冗余,进一步提升了挖掘算法的效率.以水稻生长中的二化螟虫害问题为研究对象,展开平台性能的验证性实验.实验结果表明:4种因素对二化螟爆发影响的强弱顺序为5月份降水最大,其次是5月份的温度,再次是2月份的温度,最后是2月份的降水.     

一种基于地震前兆观测数据的可视化数据挖掘的研究

在现有数字化地震前兆观测数据的基础上,研究可行的数据挖掘算法和地震数据可视化方法,设计可行的基于地震前兆数据的可视化数据挖掘的模型,为地震预测提供决策分析支持.     

大数据环境下的动态最短路径算法

数量庞大、类型复杂的海量数据给智能交通带来了新的挑战.文中对交通诱导中的动态最短路径问题进行了研究,提出了动态交通网络数学模型,在此基础上设计了考虑交叉口延时的动态最短路径算法,并使用当前流行的大数据技术,设计了基于Ha Loop MapReduce的动态最短路径并行计算模型,最后在连续流智能交通管控平台上对算法进行了测试.实验结果表明,文中设计的算法和基于大数据的并行计算模型可以有效地查找到大规模路网中的动态最短路径,同时能很好地满足实时性需求.     

基于数据挖掘的IPTV QoE评价方法

针对运营商难以对用户感知质量(QoE)进行主动评估和预警,且难以有效利用海量的网络日常运行数据的问题,在调研了运营商的IPTV网络运行数据和指标基础上,分析了现有的IPTV QoE评价方法和相关的数据挖掘算法,提出了一种基于数据挖掘的IPTV QoE评价方法.该方法包括特征指标相关性分析、指标选择、指标降维、QoE评分及QoE预警等,通过相关性分析、回归分析等算法实现了从原始指标数据到IPTV QoE评价模型建立的过程.基于真实数据集的验证结果表明:当该方法选择80作为QoE评分阈值时,能够达到66.35%的预警命中率.     

矩形块划分的二维空间数据挖掘算法及其应用

空间数据挖掘的研究是当今极具发展前景的领域,也是一个广阔的研究课题,它是在大量空间数据中进行知识发现的技术.针对基于矩形块划分的二维空间数据挖掘问题,本文运用动态规划法实现了一个近似度上界为2的多项式算法,并分析了算法复杂性.实现的算法可以直接应用于数据挖掘、数字网格划分与评估、数据分割、数值地形曲面的简化等问题.     

基于移动Agent的Web数据挖掘技术的研究

目前上存有大量的数据信息,如何对这些数据进行有效的应用已经成了当前数据库技术研究的重点。基于Web的数据挖掘是一个结合了数据挖掘和WWW的热门研究主题。本文介绍了基于移动Agent的Web数据挖掘技术,各挖掘算法集中到移动Agent子系统中,并根据要求动态地创建,然后派遣它们到数据站点数据库中进行数据挖掘,提出了一种基于Web数据挖掘的模型。     

基于策略模式的中医药数据智能挖掘平台设计与应用

针对目前大多数中医药数据挖掘研究中使用单一且基础的算法而出现的问题,设计并实现一种通过策略模式智能优选中医药数据挖掘方法的平台(TCM data strategy model analysis platform, TCMDP)。根据策略模式的思想,集成以下4个数据挖掘模块,统计学分析模块可对药物、药物种类、四气五味归经和药物功效进行统计学分析;关联规则挖掘模块可以分析处方中的药物关联性;聚类分析模块可获取药物组合得出聚类新方,通过分析结果来探讨肺癌处方的配伍规律;证型分类模块以电子病历的中医症状和四诊信息作为输入,将相关证型作为输出,构建证型分类模型。综上实现了基于策略模式的中医药数据智能挖掘平台,并运用该平台对中医临床治疗肺癌的中药处方进行用药规律和证型分类研究。结果表明：以痰瘀互结证肺癌病例为例,关联规则挖掘模块中WD-Get Rule算法的运行时间最少仅为0.038 s。聚类分析模块中CMC-DD算法分析时间略长但精确率高达87%。肺癌证型分类分析模块中PSO-ELM运行时间短为88.98 s,且模型平均精确率达88.44%,具有一定的临床参考价值。而本平台所采用的改进算法均优于...     

一个地震数据挖掘网格及其作业调度

基于网格建立地震数据挖掘平台,充分利用网格中现有的资源和研究成果,可以减少系统开发、升级及维护的费用,提高系统可伸缩性;同时还能有效地提高对大量数据信息的处理能力,从而提高数据挖掘的速度.该文介绍了一个基于网格构建的地震数据挖掘平台,着重论述了其中的作业调度策略,并针对作业调度中面临的各种问题,设计并实现了一个能适应资源动态变化的JRA作业调度算法.