面向公共安全的时空数据挖掘综述

随着各种手持无线设备及传感器的普及,大量的具有时间和空间属性的轨迹数据在不间断地产生.这些不同来源的轨迹数据记录了个体在时间和空间上的活动,从微观和宏观揭示出个人和团体的活动规律,对研究人群行为及城市管理,特别是城市公共安全管理方面,具有重要的意义.以公共安全管理为主要目标,分4个方面调研了相关的研究工作,并分别给出了笔者的研究进展.使用了2类比较有代表性的数据,第1类是智能手机的时间、空间轨迹数据;第2类是城市公共交通卡的换乘数据.第1类是从“点”上分析挖掘个体或者群体的活动规律,而第2类数据则是从“线”上发现人群的聚散规律.基于第1类数据,针对“个体的发现”介绍了相关工作;对于第2类数据,分别从短时和突发2个方面,发现具有潜在危害性的事件,从而向有关部门提供预测和预警,防范该区域可能出现的公共安全事件.比较了各类模型包括经典的时序数学模型ARIMA(autoregressive integrated moving average model)和SARIMA(seasonal autoregressive integrated moving average)、机器学习和神经网络模型SVR(support vector re-gression)、NN(neural networks)、和LSTM(long short-term memorg),发现笔者的模型在短时客流预测方面可以最多提高27.78％,突发客流预测精度可以最高提高到14.68倍.     

矿区土地复垦信息系统中时态数据组织方法

基于GIS建立矿区土地复垦信息系统，对矿区土地资源管理和土地复垦规划决策具有重要意义。沉陷地土地资源信息随着煤炭的开采而不断变化。所以，矿区土地复垦空间数据库是一个时态数据库。分析了采煤沉陷地土地资源动态变化的特点，在前人研究的基础上，综合了基于事件和基于特征时空数据模型的特点，建立了一个基于事件和特征的时空数据模型，并进一步给出其相应的数据组织方法。在此基础上，探讨了基于该模型的时空信息查询与分析方法。该模型可以较好地保持特征实体的完整性，数据冗余较少，适合于在现有的GIS软件中组织时空数据。     

基于大数据的防窃电模型与方法

针对常见的窃电现象及方法,分析了窃电方法的本质特征;利用鱼骨图表示特征参量的方法建立了多维度电参量的相关特征参量集合,并构建了多维度电参量的窃电本质特征模型来揭示窃电方法、本质特征和特征参量三者的关联关系;提出了基于大数据的防窃电模型与方法,包括数据预处理、大数据的防窃电结构化模型;最后通过用电信息系统采集的数据验证了本文结构化防窃电模型与方法的有效性。本文研究成果可为解决大数据条件下窃电行为监控问题提供有效的途径和方法。     

数据挖掘技术的研究

介绍了数据挖掘常用的分析方法及每种分析方法的定义和实现过程,叙述了数据挖掘的4个过程及每个过程需要处理的具体问题。最后介绍了预处理的常用方法及每种方法的实现过程,为数据挖掘提供了一定的理论基础。     

一种基于数据挖掘的隐私保护方法

在数据挖掘隐私保护进行协作数据分析时,部分数据集可能分属不同的数据对象,处理时就需要采取不同的数据失真方法.提出了一组全新的数据失真优化策略,通过将属性划分与奇异值分解法(SVD)、非负矩阵因子分解法(NMF)、离散小波变换法(DWT)相结合,运用4种方案对隐私保护原始数据集的子矩阵进行扰动,并用一些衡量指标来衡量这些策略的效果;利用基于支持向量机(SVM)的二元分类来进行数据实用性的检测.结果表明与数据失真单策略相比,新提出的方案在实现数据隐私和数据实用性的良好平衡方面效果十分显著,为协作数据分析提供了可行性解决方案.     

基于数据挖掘的远程教育系统多维数据模型构建

随着电子信息技术的高速发展,人们积累的信息量急剧增长,采用数据挖掘技术便可从大量的信息中提取有价值的知识．数据挖掘技术广泛应用在电信、农业、金融、生物、化工、医药等领域．本文主要探讨将数据挖掘技术引入远程教育系统中,并运用数据挖掘技术构建起远程教育系统中各种多维数据模型．     

能耗实时监测的数据挖掘方法

针对能耗监测常用的设定能耗阈值方法和基于历史数据的数据分析方法在实时性和智能性方面的不足,提出了一种基于数据挖掘技术的能耗实时监测方法。该方法通过对历史能耗数据进行聚类分析识别耗能体特有的能耗模式集合,对数据分类后获得能耗模式判定树,在能耗实时监测过程中对动态采集的能耗数据进行模式匹配,与相同模式历史数据进行离群点分析,可判别当前能耗是否异常。结合某综合大楼能耗数据进行了实验,验证了该方法及时发现能耗数据异常的有效性。     

数据挖掘流程中数据准备的探讨

数据挖掘是一个应用统计学和人工智能等算法进行知识发现的过程.数据挖掘需要从庞大的数据集或数据库中提炼有用的信息, 因而就产生了一个问题, 如何为数据挖掘准备一个有效的数据集合, 以提高效率, 这是本文讨论的关键.     

Domain-oriented data driven data mining:a new understanding for data mining

Recent advances in computing, communications, digital storage technologies, and highthroughput dataacquisition technologies, make it possible to gather and store incredible volumes of data. It creates unprecedented opportunities for largescale knowledge discovery from database. Data mining is an emerging area of computational intelligence that offers new theories, techniques, and tools for processing large volumes of data, such as data analysis, decision making, etc. There are many researchers working on designing efficient data mining techniques, methods, and algorithms. Unfortunately, most data mining researchers pay much attention to technique problems for developing data mining models and methods, while little to basic issues of data mining. In this paper, we will propose a new understanding for data mining, that is, domainoriented datadriven data mining (3DM) model. Some datadriven data mining algorithms developed in our Lab are also presented to show its validity.     

WEB数据挖掘研究与探讨

随着WWW迅猛发展,WWW上的信息量不断增加,如何在这些信息中找到用户真正需要的内容,成了数据组织和web相关领域的专家学者关注的焦点.为了解决这个问题,把数据挖掘的理论和技术应用于WWW,出现了一个新的研究领域-Web数据挖掘.主要介绍了Web数据挖掘的原理、应用、实现以及它的最近发展情况.     

基于ARIMA模型的时间序列数据挖掘方法改进

ARIMA模型是一种很重要的时间序列数据挖掘模型,但是这个模型往往只是对某个时间点进行研究.事实上一段时间往往影响未来的预测结果,就ARIMA模型的数据挖掘方法进行改进,并用美国IT界的股票价格数据对改进的模型进行了实证分析.结果显示改进后的模型与未来股票价格的预测更加准确.     

数据挖掘在高校图书馆中的应用

以西安工程大学图书馆为实例,把数据挖掘技术应用于图书馆读者管理中．以“西安工程大学图书馆自动化管理系统”中的馆藏数据、读者信息及历史借阅记录等作为基本数据源,采用SPSS、MATLAB作为数据挖掘工具,基于不同角度对西安工程大学图书馆图书分类、入库比例以及各学院借阅量排名进行对比细分,探讨数据挖掘技术在图书馆中的应用．对比分析发现,数据挖掘技术可以更细致地了解读者分布情况及图书需求情况,实现图书馆的科学化管理,更好地进行资源优化配置．     

数据挖掘技术的常用方法分析

 介绍了数据挖掘的概念及任务,阐述了数据挖掘技术中的常用方法和Apriori算法,并对数据挖掘的一些算法作了简单分析.     

联机数据挖掘中的数据预处理

 探讨了联机数据挖掘中海量数据的预处理问题.提出了基于立方体的数据预处理算法.该算法可对数据进行有效的收集,并可有效地约简数据.实验证明对于数据泛化,这种预处理是很有效的.     

数据挖掘技术综述

对数据挖掘技术进行了综述,阐述了数据挖掘产生的背景、定义和任务,论述了数据挖掘的技术和算法,介绍了目前数据挖掘的应用状况及指出了数据挖掘的未来研究方向。     

基于数据挖掘方法的公司财务报表分析模型

为了用数据挖掘方法实现财务分析,建立了基于数据挖掘方法的财务报表分析模型,即运用聚类、关联规则、决策树方法进行联合分析操作,构建在资产结构年度值表上运用数据挖掘方法的模式,以网络上公布的电子产品企业的财务报表为基础,实现了这个行业一个完整的数据挖掘模型构建的过程。     

Feature Selection Based on Difference and Similitude in Data Mining

Feature selection is the pretreatment of data mining. Heuristic search algorithms are often used for this subject. Many heuristic search algorithms are based on discernibility matrices, which only consider the difference in information system. Because the similar characteristics are not revealed in discernibility matrix, the result may not be the simplest rules. Although differencesimilitude（DS） methods take both of the difference and the similitude into account, the existing search strategy will cause some important features to be ignored. An improved DS based algorithm is proposed to solve this problem in this paper. An attribute rank function, which considers both of the difference and similitude in feature selection, is defined in the improved algorithm. Experiments show that it is an effective algorithm, especially for large-scale databases. The time complexity of the algorithm is O（｜ C ｜^2｜U ｜^2）.     

利用数据挖掘技术对上市公司报表粉饰的识别

会计报表的粉饰对于社会和投资者有很大的危害。现在的会计报表粉饰识别技术比较复杂且对分析人员要求较高，数据挖掘技术能较好地对数据进行分析。通过一个预测书法的例子说明应用数据挖掘去识别粉饰是可行的。     

分布式数据挖掘综述

随着网络技术、通信技术等的不断突破,互联网、移动网、广电网等多种类现代网络及其衍生业务迅速扩张,形成泛在于网络空间的分布式计算环境。为了最大化这些数据的价值,需要利用数据挖掘技术发现其中隐藏的模式或规则,用以指导和辅助生产或运营中的管理决策行为,以提高决策水平及决策收益。然而,受到普遍存在的异构性、私有性和平台兼容性等限制,兼因行业竞争和法律约束等因素(如个人或企业的数据隐私保护问题等),互联于网络的数据源难于进行集中式挖掘,分布式数据挖掘(DDM)技术应运而生。介绍了DDM的定义与框架、适用场景和研究挑战。根据文中给出的DDM高层架构,最终结果的质量与局部数据源的类型、可用性、局部结果的质量及整合方法等密切相关。DDM的实施未必都以站点间纯粹独立挖掘的方式进行,此外,对于数据集中,系统分布式站点多的情况,也可采用DDM。当前,DDM研究领域的挑战主要有:异构与同构挖掘、动态环境下的数据多变性、通信开销、知识整合和语义异构等。当前的DDM系统被分为4类:1)基于Multi-Agent的系统,利用Agent的自治性实现局部挖掘以保护数据私有性;利用Agent的主动性减少用户参与以提高挖掘自动化水平;利用Agent的协作性实现多算法协同挖掘等;2)基于网格的系统,利用网格在资源共享、开放服务和协同工作等方面的优势,提高挖掘的可靠性和协同性;3)基于元学习的系统,通过元学习优化挖掘算法的选择与组合,并对已获知识进行多次学习以提高结果质量;4)基于CDM(collective data mining)框架的系统,将待学习的函数表示为一组基函数的分布式存在,允许各数据源选择不同的学习算法,并以全局结果正确为前提减少网络通信量。进而,对当前DDM研究存在的共性问题进行了归纳:1)结果质量问题,不考虑各个站点数据源间的内在语义联系,各站点独立挖掘本地数据,与其他站点间无语义层面的数据交互或融合,形成纯粹的"分割式"挖掘,最终导致全局结果质量受损;2)挖掘效率问题,如何调度资源以平衡挖掘负载、减少协作挖掘中的通信开销问题。针对结果质量问题,探讨本体与数据挖掘的结合。作为语义网的基础,本体能为对象语义距离度量提供有效支持。当前,在利用本体描述挖掘任务的领域背景方面,利用本体描述DM过程本身方面,都已经有研究人员进行了探索性工作:针对关联规则挖掘中需要从海量规则中遴选有效规则的问题,提出了交互式的、用于删减冗余规则的挖掘后处理方法;针对在给定知识发现过程的输入和输出类型前提下,知识发现工作流的自动构造问题,提出了解决方法。通过阐述可知,为了提升分布式挖掘过程中局部结果和最终结果的质量,策略之一就是将DDM理论和本体理论作融合,以数据源间语义距离的度量为突破口,建立语义距离度量的复合量化体系,通过构建和求解新型DDM模型来实现目标。     

数据挖掘在电信网管中的应用研究

根据数据挖掘技术提供的对大量数据进行分析的功能,讨论了如何采用关联规则挖掘技术处理电信网管系统中的大量告警数据和性能数据的问题,重点给出了一种基于挖掘技术的综合数据分析系统,对告警和性能数据挖掘和分析,报表图形展示等技术进行了介绍。