基于Hadoop的时空离群点挖掘研究

时空离群点挖掘作为空间数据挖掘中的一个重要分支,为了找到与时空邻居对象有显著差别的时空对象,他们的数量很少,非常容易被当做数据噪声而被忽略,然而挖掘时空离群点能够发现意想不到的有意义的时空模式。在对现有的时空离群点挖掘进行研究时,我们发现挖掘对象通常是海量空间数据,因此研究合适的并行算法弥补串行算法的效率不足势在必行。     

基于地理信息系统的时空数据挖掘研究

传统的数据挖掘方法一般是从事务型数据库或者关系数据库中进行挖掘从而进行研究,对于地理信息系统中的时空特征无法进行很好的揭示。对于时空数据挖掘这种方法进行大量的研究,找出数据中包涵的时空规律,对于提高气象数据的研究效率,从而更好的进行气象预报,提高气象预报的准确性,有着非常重要的意义。将时空数据挖掘技术与传统的地理信息系统相结合,基于地理信息系统对于时空数据挖掘进行大量的分析,对于时空数据挖掘在气象数据使用中的方法,作用进行了大量的阐述。首先介绍了地理信息系统,时空数据挖掘和数据挖掘的概念,技术方法和联系。     

基于POI数据的城市功能区划分和识别——以泉州市主城区为例

随着社会经济发展,识别城市功能区,理解城市功能区的空间分布特征,对城市的科学规划和政府决策具有非常重要的作用.采用一种新型的城市功能区分区模型,利用城市路网划分出不规则格网作为研究单元,根据POI(point of mterest)的建筑面积、公众认知度对POI数据进行重分类和权重赋值.在此基础上使用核密度估计方法,并...     

基于时空大数据的北京城市功能混合评估方法及规划策略

城市功能混合是提升城市效率和活力的重要手段,也是现代城市规划的重要原则。提出了一种基于多源时空大数据的城市功能混合评估新方法,该方法借鉴了TF-IDF算法和信息熵算法,不仅考虑各类城市功能的空间布局结构,而且反映了其实际使用特征,从而将城市功能的供给侧与需求侧特征结合起来。基于这一方法,对北京六环以内地区的城市功能混合进行计算。结果表明,城市功能混合现象极为普遍,应视为城市规划和管理的一项基本原则;从空间特征上看,功能混合密度符合距离衰减特征,体现了空间区位与城市中心结构对城市功能混合的显著影响。在此基础上,进一步探讨了不同主导功能的用地中,各类城市功能混合的配比关系和空间特征。最后,面向城市规划和管理,提出了提升城市功能混合、加强城市精细化治理水平的可行建议。     

基于时空兴趣点和主题模型的动作识别

提出了一种新的基于概率主题模型的人体动作识别方法.该方法利用局部的时空兴趣点特征,采用词袋(bag of words)的方法对跑、跳、挥手等几种常见的动作进行表示.利用概率主题模型,使视频的动作类别标记对应于概率模型中的隐含变量,通过对隐变量的推断,实现对整个视频的动作分类.该算法还可以将每个兴趣点划分为不同的动作类别...     

面向大规模交通网络的时空关联挖掘方法

时空关联挖掘是智能交通领域的关键技术之一。大规模交通网络中的交通流量数据具有高度非线性和复杂特征,故精准地预测交通流量面临巨大挑战。现有方法大多设计2个独立模块来分别捕获交通流量的时间和空间相关性,故无法精准地对流量数据中的复杂时空相关性建模。该文提出一种时空组合图卷积神经网络(STCGCN),以更好地预测交通流量。STCGCN通过构建自适应时空组合图,并提出时空组合图卷积,来有效揭示交通流量数据动态和复杂的时空相关性。在美国加利福尼亚州高速公路流量公开数据集上进行了实验,结果表明STCGCN的预测效果优于11个现有方法。     

基于概率主题模型的动作识别算法研究

在时空兴趣点以及3D-SIFT描述的基础上,采用概率主题模型进行动作识别,结果表明：概率主题模型不仅能够实现对视频中单个动作的识别,而且对复杂情况下的视频也有一定识别能力。     

陕北黄土高原土地利用多功能时空分异及分区管理研究

开展土地利用多功能研究,对于全面认识土地系统变化以及区域可持续发展具有重要意义.该文基于"三生"空间理论构建指标体系,结合指标空间化模型和ArcGIS10.6热点分析工具定量分析陕北黄土高原土地利用多功能时空分异,使用Spearman相关系数分析其权衡协同变化,基于高斯混合模型进行土地利用功能分区.结果 表明:①201...     

基于混沌的异常数据的动态识别与挖掘

异常数据的识别与挖掘是非常重要的数据分析之一,在传统的数据分析中往往将异常数据的影响最小化或剔除它们,这可能导致重要的隐藏信息的丢失.该文提出了一种时间序列中异常数据检测与挖掘的新方法,首先计算出时间序列相邻两个点之间的斜率,再与混沌预测斜率相比较以检测出数据的偏差点集,其次对偏差点集进行动态方差检测以确定其异常数据集.该算法较好地解决了异常数据分析中的"屏蔽效应"及异常数据识别不能具体量化的缺陷.     

基于LOGISTIC模型的城市扩展时空模拟——以深圳龙岗区为例

龙岗区是深圳市面积最大的市辖区,在深圳城市扩展中占有重要地位．在综述国内外采用LOGISTIC模型进行土地利用时空模拟的基础上,改进原始模型,将动态交通数据和空间滤波引入模拟流程．以龙岗区为例,基于改进模型尝试对中小尺度的单个城区进行城市扩展的时空模拟．结果显示,模型在中小尺度城市扩展模拟方面具有较好效果．     

基于XML的Web数据挖掘技术的探讨

随着信息时代的来临,Web数据挖掘成为了一门新兴研究领域,分析了Web数据挖掘的特点,并将XML技术引入Web数据挖掘领域中,进而在此基础之上介绍了一种数据挖掘的模型。     

基于数据挖掘技术的客户关系管理系统

针对数据挖掘技术是实现客户关系管理的重要工具，介绍了客户关系管理系统，着重分析了应用在CRM中的数据挖掘技术，探讨了其商业价值。     

聚类算法在数据挖掘领域的研究

全方位的对各类聚类算法进行总结和归纳,并且对一些在特殊领域中应用聚类算法进行深度解析,然后从以下三个部分,算法思想,关键技术以及算法特点等方面进行基本概括,对一些代表性的聚类算法进行比较分析以及聚类算法新领域研究的展望,这对将来聚类发展具有重大意义.     

一种基于数据挖掘的隐私保护方法

在数据挖掘隐私保护进行协作数据分析时,部分数据集可能分属不同的数据对象,处理时就需要采取不同的数据失真方法.提出了一组全新的数据失真优化策略,通过将属性划分与奇异值分解法(SVD)、非负矩阵因子分解法(NMF)、离散小波变换法(DWT)相结合,运用4种方案对隐私保护原始数据集的子矩阵进行扰动,并用一些衡量指标来衡量这些策略的效果;利用基于支持向量机(SVM)的二元分类来进行数据实用性的检测.结果表明与数据失真单策略相比,新提出的方案在实现数据隐私和数据实用性的良好平衡方面效果十分显著,为协作数据分析提供了可行性解决方案.     

基于Web的数据挖掘应用模式研究

如何对Web上的海量信息进行高效的应用 ,使之能做到信息处理的智能化、个性化、自动化 ,是当今数据挖掘技术的最重要的应用。本文从分析Web上数据信息的特点入手 ,研究面向Web的数据挖掘需解决的主要问题 ,提出了一种基于Web数据挖掘的应用模式框架 ,并着重从功能的角度介绍了Web数据挖掘的演进过程。     

基于数据挖掘技术的客户关系管理系统研究

数据挖掘是CRM的核心,通过阐述数据挖掘的概念、过程、目标,分析基于数据挖掘的CRM的特征．并从客户生命周期和行业应用的角度探讨数据挖掘在客户关系管理系统中的应用．     

一种基于动态调度的数据挖掘并行算法

数据挖掘并行算法,应该以不牺牲挖掘效率和挖掘质量为前提。通过对数据挖掘原理和并行化的深入研究,在考虑到挖掘效率,负载平衡,运行环境,节点状态等多方面因素的基础上,提出了一种新的基于动态调度的数据挖掘并行算法。该算法以规模较小的子数据集为并行挖掘单元,各个并行单元之间采用全局通讯模式—Master-Worker模式来进行互相通信。降低了并行挖掘的通信成本,提高了挖掘的效率,缩短了挖掘的时间。同时该算法对不断变化的节点状态适应能力强。最后,实验结果验证了该算法的有效性以及在大数据集挖掘应用中的优越性。该算法不但保证了挖掘结果的正确性,而且具有较高的加速比。     

分布式数据挖掘综述

随着网络技术、通信技术等的不断突破,互联网、移动网、广电网等多种类现代网络及其衍生业务迅速扩张,形成泛在于网络空间的分布式计算环境。为了最大化这些数据的价值,需要利用数据挖掘技术发现其中隐藏的模式或规则,用以指导和辅助生产或运营中的管理决策行为,以提高决策水平及决策收益。然而,受到普遍存在的异构性、私有性和平台兼容性等限制,兼因行业竞争和法律约束等因素(如个人或企业的数据隐私保护问题等),互联于网络的数据源难于进行集中式挖掘,分布式数据挖掘(DDM)技术应运而生。介绍了DDM的定义与框架、适用场景和研究挑战。根据文中给出的DDM高层架构,最终结果的质量与局部数据源的类型、可用性、局部结果的质量及整合方法等密切相关。DDM的实施未必都以站点间纯粹独立挖掘的方式进行,此外,对于数据集中,系统分布式站点多的情况,也可采用DDM。当前,DDM研究领域的挑战主要有:异构与同构挖掘、动态环境下的数据多变性、通信开销、知识整合和语义异构等。当前的DDM系统被分为4类:1)基于Multi-Agent的系统,利用Agent的自治性实现局部挖掘以保护数据私有性;利用Agent的主动性减少用户参与以提高挖掘自动化水平;利用Agent的协作性实现多算法协同挖掘等;2)基于网格的系统,利用网格在资源共享、开放服务和协同工作等方面的优势,提高挖掘的可靠性和协同性;3)基于元学习的系统,通过元学习优化挖掘算法的选择与组合,并对已获知识进行多次学习以提高结果质量;4)基于CDM(collective data mining)框架的系统,将待学习的函数表示为一组基函数的分布式存在,允许各数据源选择不同的学习算法,并以全局结果正确为前提减少网络通信量。进而,对当前DDM研究存在的共性问题进行了归纳:1)结果质量问题,不考虑各个站点数据源间的内在语义联系,各站点独立挖掘本地数据,与其他站点间无语义层面的数据交互或融合,形成纯粹的"分割式"挖掘,最终导致全局结果质量受损;2)挖掘效率问题,如何调度资源以平衡挖掘负载、减少协作挖掘中的通信开销问题。针对结果质量问题,探讨本体与数据挖掘的结合。作为语义网的基础,本体能为对象语义距离度量提供有效支持。当前,在利用本体描述挖掘任务的领域背景方面,利用本体描述DM过程本身方面,都已经有研究人员进行了探索性工作:针对关联规则挖掘中需要从海量规则中遴选有效规则的问题,提出了交互式的、用于删减冗余规则的挖掘后处理方法;针对在给定知识发现过程的输入和输出类型前提下,知识发现工作流的自动构造问题,提出了解决方法。通过阐述可知,为了提升分布式挖掘过程中局部结果和最终结果的质量,策略之一就是将DDM理论和本体理论作融合,以数据源间语义距离的度量为突破口,建立语义距离度量的复合量化体系,通过构建和求解新型DDM模型来实现目标。     

基于数据挖掘的远程教育系统多维数据模型构建

随着电子信息技术的高速发展,人们积累的信息量急剧增长,采用数据挖掘技术便可从大量的信息中提取有价值的知识．数据挖掘技术广泛应用在电信、农业、金融、生物、化工、医药等领域．本文主要探讨将数据挖掘技术引入远程教育系统中,并运用数据挖掘技术构建起远程教育系统中各种多维数据模型．     

基于电子商务的Web数据挖掘研究

随着Web技术的发展，开发电子商务网站成为一种新的营销模式，在保证产品质量的前提下，增加用户的点击率，提高商品销售率是企业提升竞争力的关键。Web挖掘正是应用数据挖掘的方法通过对Web页面内容、页面之间的结构、用户访问的信息等各种数据进行分析和挖掘发现潜在的、有用的知识的过程，帮助决策者更加准确地获得商品的销售信息和客户信息，使客户在短时间内完成商品的浏览、搜索以及订购。