大数据下的智能数据分析技术研究

大数据背景下对数据的智能分析技术提出了新的挑战,本文对传统的智能数据分析技术做了比较,分析其各自的优缺点。同时对新的大数据分析方案Hadoop进行了梳理,提出了未来大数据智能分析技术的发展方向的展望。     

粗糙集理论在智能数据分析中的应用

为了使信息技术得到很好的开发和利用,更好的解决实际应用中的问题,本文基于粗糙集理论智能数据分析方法的实例,通过对目标数据集中数据性质一系列的分析,结合试验的测试结果,可以发现该数据集中潜在的数据模式和内在联系,概括了数学在智能数据分析中应用的模型,促进了数学在信息技术中的应用探索.     

探究大数据下的智能数据分析技术

人类发明计算机以来就一直利用它进行数据相关性分析，从这个意义上来说现在的所谓“大数据分析”和之前的数据分析是一样的，只是原来的算法对处理上千个维度这样复杂数据模型时显得力不从心。从2006年以来，随着算法上的一系列突破再加上廉价计算能力的普及，人们终于有能力分析这些复杂的数据模型，于是大数据这个概念就诞生了。该文主要对通过对数据分析和大数据进行论述，探究大数据下的智能数据分析技术。     

智能油田开发中的大数据及智能优化理论和方法研究现状及展望

简要概述智能油田开发中大数据及智能优化理论发展现状,基于智能油田的基本理念、基本特点以及当前国内外研究现状,系统论述智能油田开发中面临的生产问题、大数据分析与机器学习方法以及智能优化理论和方法,归纳凝练出两大研究领域:构建数据与油藏工程方法相融合形成油田大数据分析理论体系;数据、模型与智能算法相融合形成数据与模型双驱动的智能优化理论体系。针对两研究领域中的前沿科学问题,综述其研究进展和发展趋势,总结出基于数据与物理规律融合形成复杂油藏系统模型精准构建和快速优化是油田生产开发智能化的核心,以促进石油工业智能化转型升级。     

基于报警数据融合的智能电网攻击检测方法

智能电网中信息技术的广泛使用为攻击者提供了更多的途径入侵和攻击电力系统,这已成为智能电网安全的最大隐患之一。提出了一种基于异常数据融合的智能电网攻击检测方法,通过入侵检测系统发现信息网络中的异常流量,利用标准化残差方法检测电力系统中的异常量测数据,通过关联信息网络和物理系统的异常报警数据来检测智能电网攻击事件。仿真实验表明该方法可以消除入侵检测与标准化残差检测产生的大量错误报警,显著提高智能电网攻击的检测精度。     

基于混沌的异常数据的动态识别与挖掘

异常数据的识别与挖掘是非常重要的数据分析之一,在传统的数据分析中往往将异常数据的影响最小化或剔除它们,这可能导致重要的隐藏信息的丢失.该文提出了一种时间序列中异常数据检测与挖掘的新方法,首先计算出时间序列相邻两个点之间的斜率,再与混沌预测斜率相比较以检测出数据的偏差点集,其次对偏差点集进行动态方差检测以确定其异常数据集.该算法较好地解决了异常数据分析中的"屏蔽效应"及异常数据识别不能具体量化的缺陷.     

大数据环境下的数据分析及应用研究

大数据蕴含着巨大的商业价值和社会价值。针对大数据的分析与应用面临的新挑战,文章重点阐述了文本分析、Web分析、网络分析及移动数据分析等数据分析技术,并从商务智能挖掘、公共安全预警等领域介绍了大数据分析与挖掘的热点应用。     

基于经验耦合函数的动态运行参数异常检测

随着工业智能化的发展,工业生产系统中的工业设备都具备了智能管控系统,其中重要需求之一是智能异常检测。实现智能异常检测通常需要从动态运行参数入手,但动态运行参数的流式数据形式以及高维数据耦合给可靠、高效的异常检测带来了很大困难。为此,提出了一种基于联合分布的动态运行参数异常检测方法。该方法首先从实时检测和整体检测两个角度对动态运行数据进行采样,然后结合经验耦合函数对联合分布进行建模,最后根据模型得到异常分数来判断异常。通过在大渡河流域水电站排水系统的排水泵动态运行参数数据集上的实验验证表明,该方法相比传统的异常检测方法效率更高,并且在曲线下的面积(area under curve, AUC)和平均精确率上均有提升。同时,该方法的可解释性也为工作人员故障排除以及后续维护提供了可靠依据。     

基于自动编码器和长短时记忆网络的智能汽车故障诊断方法研究

智能汽车故障诊断技术对于保障智能汽车安全行驶具有重要意义,本文针对智能汽车传感器数据异常检测和车辆运动的异常检测提出了一系列故障诊断方法. 针对非时序传感器数据,采用基于超限学习框架的自动编码器,对正常数据进行特征压缩学习其特征表示,再利用压缩的特征重构数据,根据重构误差的大小判断数据是否异常. 针对时序传感器数据,采用多层长短时记忆网络学习时序数据之间的时间依赖关系来预测当下时刻的数据值,根据预测误差的大小判断数据是否异常. 提出一种阈值随误差大小动态变化的自适应阈值确定方法,使得决策变量对于异常值相对敏感. 进一步地,采用车辆自行车运动学模型和Kalman滤波,利用Jarque-Bera测试对预测值和量测值残差的正态性进行检验来检测车辆运动是否异常. 实际场地测试验证了本文所提出的方法可以有效检测非时序或时序传感器数据的异常,并对车辆运动是否异常进行检测.     

SARS分析、预测、防治决策支持系统探讨

提出了一种防御SARS这样的突发疾病的智能决策支持系统。通过运用新的数据分析和决策支持理论，建立智能的决策支持系统，对现有的疫情进行数据噪声分析、灾变趋势预测以及提出科学决策。系统主要分噪声子系统、预测和模拟子系统、诊断子系统以及二次防御子系统4部分。其中预测子系统以FGR系统为原型，综合了传统微分方程的预测方法，以及基于数据的包括神经网络、支持向量机的方法和模糊推理方法的综合信息处理系统，经过该系统的预测分析和模拟可以对可变的突发疫情进行更科学的决策。     

服务于智能交通系统的离群交通数据识别

为了提高交通建模的准确性和可靠性,或者提取重要的有价值的隐藏信息,将离群数据挖掘技术引入交通数据处理.首先分析了3种典型的离群数据挖掘算法:基于统计的方法、基于距离的方法以及基于密度的方法的原理、特点和时间复杂性;其次给出了2个实例分析,一是在建立交通流量预测模型前,将基于统计的方法和基于距离的离群检测方法分别用于交通量时间序列,寻找离群数据;二是将基于距离的方法和基于密度的方法用于路面平整度检测.实例研究表明,离群数据挖掘算法可有效识别异常交通数据,在交通工程领域具有较大的应用潜力.     

高维数据流的聚类离群点检测算法研究

针对基于聚类的离群点检测算法在处理高维数据流时效率和精确度低的问题,提出一种高维数据流的聚类离群点检测（CODHD-Stream）算法。该算法首先采用滑动窗口技术对数据流划分,然后通过属性约简算法对高维数据集降维;其次运用基于距离的信息熵过滤机制的 K-means 聚类算法将数据集划分成微聚类,并检测微聚类的离群点。通过实验结果分析表明:该算法可以有效提高高维数据流中离群点检测的效率和准确度。     

Outlier Detection Algorithm Based on Iterative Clustering

A novel approach for outlier detection with iterative clustering( ICOD) in diverse subspaces is proposed. The proposed methodology comprises two phases,iterative clustering and outlier factor computation. During the clustering phase, multiple clusterings are detected alternatively based on an optimization procedure that incorporates terms for cluster quality and novelty relative to existing solution. Once new clusters are detected,outlier factors can be estimated from a new definition for outliers( cluster based outlier), which provides importance to the local data behavior. Experiment shows that the proposed algorithm can detect outliers which exist in different clusterings effectively even in high dimensional data sets.     

基于离群点检测的K-means算法

K-means算法以其简单、快速的特点在现实生活中得到广泛应用。然而传统K-means算法容易受到噪声的影响,导致聚类结果不稳定,聚类精度不高。针对这个问题,提出一种基于离群点检测的K-means算法,首先检测出数据集中的离群点,在选择初始种子的时候,避免选择离群点作为初始种子。然后在对非离群点进行聚类完成后,根据离群点到各个聚类的距离,将离群点划分到相应的聚类中。算法有效降低离群点对K-means算法的影响,提高聚类结果的准确率。实验表明,在聚类类别数给定的前提下,在标准数据集UCI上该算法有效降低离群点对K-means算法的影响,提高了聚类的精确率和稳定性。     

基于单元的快速的大数据集离群数据挖掘算法

提出基于单元的快速的大数据集离群数据挖掘算法,用聚簇技术对数据进行预处理,然后将数据放入合适的空间单元并对非空单元使用维单元树（cell dimension tree,CD-tree）进行索引,数据集中大部分位于高密度区且与离群数据无关的数据将会被过滤掉,从而避免了大量不必要的计算。实验表明,该算法能快速准确地从大数据集中挖掘出离群数据,并提高离群数据的检测速度。     

离群数据集延伸知识发现研究

以现有离群挖掘技术为基础,结合已提出的离群约简与关键域子空间等一系列概念及其搜索算法,定义了离群最近邻、原子离群类及离群变异类等概念,提出了离群簇分析及离群趋势分析方法,建立了一种完整的离群数据集特征描述及延伸知识发现的整体框架CEKDO,以期对离群数据分类、产生来源、含义、行为特征以及离群趋势等进行全面分析,提出了离群分析的步骤。通过对移动通信业务数据的离群分析进行具体讨论,说明了这种离群延伸知识发现框架的实际应用。     

一种基于距离的聚类和孤立点检测算法

提出了一种基于距离的聚类和孤立点检测算法(DBCOD),根据距离阈值对数据点进行聚类,在聚类过程中记录每个数据点的密度,并根据密度阈值确定数据点是否为孤立点.实验结果表明,该算法不仅能够对数据集进行正确的聚类,可以发现任意形状的聚类,算法执行效率优于DBSCAN,具有对噪音数据、数据输入顺序不敏感等优点,同时还能有效地进行孤立点检测.     

基于邻域和密度的异常点检测算法

为了减少基于密度的异常点检测算法邻域查询操作的次数,同时避免ODBSN(Outlier Detection Based onSquare Neighborhood)中有意义异常点的丢失和稀疏聚类中的对象靠近稠密聚类时导致错误的异常点判断,提出了一种基于邻域和密度的异常点检测算法NDOD(Neighborhood and Density based Outlier Detection)。NDOD吸收基于网格方法的思想,以广度优先扩张方形邻域,成倍地减少了邻域查询的次数,从而快速排除聚类点并克服基于网格方法中的"维灾"。新引入的基于邻域的局部异常因子代表候选异常点的异常程度,用于对候选异常点的精选,可避免ODBSN的缺陷,发现更多有意义的异常点。大规模和任意形状的二维空间数据的测试结果表明,该算法是可行有效的。     

数据密集型计算环境下离群点挖掘算法设计与实现

在数据密集型计算环境中,数据具有海量、高速变化、分布存储和异构等特征,对数据挖掘算法的设计与实现提出了新的挑战.基于MapReduce模型,提出了一种网格技术与基于LOF方法相结合的离群点挖掘算法MR_LOF.Map阶段采用网格进行数据约简,将代表点信息发送给主节点;Reduce阶段使用基于密度的离群点挖掘算法,借助网格期望值E筛选出稠密区域.该算法只需计算稀疏区域对象的LOF值,降低了算法的时间复杂度.实验结果表明,在数据密集型计算环境中,该方法能有效的对离群点进行挖掘.     

ARIMAX模型中的异常点挖掘

异常点挖掘的意义主要体现在两个方面.传统观念中,异常点常常被认为是噪声数据或无用数据,分析时的一般方法是排除这些干扰数据,更好地估计模型的参数.然而,随着Lon-Mu Liu.et(2001)在快餐行业的数据中进行了实例分析,异常点挖掘也被用于挖掘异常点本身所蕴含的信息.ARIMAX模型引入了外部变量,可以更好地拟合数据.因而对含异常点的ARIMAX模型,提出了利用Gibbs抽样挖掘其中AO型异常点的方法,最后进行了模拟试验,取得了较好的结果.