云环境下的流式空间信息服务

随着物联网、传感器技术与应用的发展,对大规模多维空间数据集成与服务的需求愈加迫切.如何实现基于大规模、多维空间数据流的实时计算成为空间数据处理领域的难点.结合云计算的特点,提出针对高速、大流量空间数据的实时处理方法.通过对多维、异构空间数据进行智能处理,生成结构化、简洁化的中间属性集;利用针对高速数据流的大规模数据实时处理方法,解决Map/Reduce难以满足此类计算实时性要求的不足.在此基础上,设计了流式空间信息组织模型与云端适配方法,对方法中的关键技术问题进行了描述.实践表明,该方法可显著提高动态空间信息的服务质量与运行性能.     

干扰状态下大规模网络数据流的分发协调技术研究

干扰状态下大规模网络数据流具有实时性、波动性、突发性等特点,当前数据流分发协调方法无法保证数据流的平稳传输及分发协调的实时性。为此,提出一种新的干扰状态下大规模网络数据流分发协调方法,通过网络数据流预测值和实际值之间的误差滤除干扰状态下的干扰数据,保证剩余数据流的纯正性。将大规模网络数据流分发协调问题转换成多目标优化问题,以提高大规模网络数据流分发协调的整体性能为目的设定一个目标函数,提出一种大规模网络数据流分发协调预测技术,通过比较处理器计算资源和未来的预期负载确定数据流分发协调策略。实验结果表明,采用所提方法对干扰状态下大规模网络数据流进行分发协调,不仅效率高、实时性好,而且CPU资源利用率很高。     

基于网络距离和内容相似度的微博社交网络社区划分方法

现有的微博社交网络社区挖掘方法多是基于网络结构进行,忽略了节点本身行为的重要性,并且不能同时实现对大规模复杂网络结构适应性和社区挖掘的高效性。为缓解上述问题,提出了一种基于网络距离和内容相似度的微博社交网络社区划分方法,该方法在考虑微博社交网络结构的同时兼顾了网络中节点的历史微博内容,通过对历史微博数据的分析提高社区划分的精确度。文中对Louvain算法和其模块性的修改使用,保证了该方法能够处理大规模网络数据,同时又能保证社区挖掘的效率。实验证明,该方法能够高效地挖掘微博网络社区结构,对学术研究和商业应用都有十分重要的意义。     

基于支持向量机的空间数据挖掘流程与实现方法

研究探讨了基于支持向量机的空间数据挖掘工作流程与工作框架,以及基于分类或回归功能的空间数据挖掘实现方法和基于核函数工具实现空间数据结构拓扑关系挖掘的方法。阐述了挖掘工作的重点和关键步骤。     

供水管网GIS中空间数据挖掘的研究与应用

以地理信息系统(GIS)为基础,详细讨论了数据挖掘、空间数据统计技术在城市供水管网维护中的应用,并针对空间数据库中数据的挖掘方法进行了分析和研究,实现了利用空间数据库中数据的挖掘方法对城市供水管网的维护.     

面向android手机平台的网络恶意数据流挖掘研究

由于android手机平台网络中数据流众多,以往研究出的面向android手机平台网络恶意数据流挖掘方法,均无法对网络恶意数据流进行高效、准确挖掘。故提出一种挖掘效率和挖掘准确性均较高的android手机平台网络恶意数据流挖掘方法。网络恶意数据流通常均有自动收发行为,所提方法利用概率分类法和邻近值法对android手机平台网络数据流进行预分类,使具有自动收发行为的网络数据流优先进行网络恶意数据流挖掘,提高挖掘效率和挖掘准确性。该挖掘方法将网络数据流划分成多段行为向量,对具有自动收发行为的网络数据流和不具有自动收发行为的网络数据流采取不同精度的挖掘操作,输出网络恶意数据流,存储网络非恶意数据流,供下次挖掘使用。经实验验证可知,所研究的方法挖掘效率高、挖掘准确性高。     

"数字城市"建设中的多元空间数据挖掘

数据挖掘是通过对大量数据进行分析,采用多种分析方法发现其中未知和有用规律的过程,在“数字城市”建设中对海量的多元空间数据的挖掘是极其重要的和极具价值的,具有广阔的应用前景,对“数字城市”建设中的多元空间数据挖掘的步骤、挖掘方法进行了分析,对多元空间数据挖掘在城市规划管理平台、城市可持续发展信息平台、城市经济信息平台等方面的应用进行了讨论。     

数据流频繁闭项集挖掘研究

频繁项集挖掘是关联规则挖掘算法的核心,数据流的实时、无限及不可逆性给传统数据挖掘方法带来很大挑战.频繁闭项集挖掘为频繁项集挖掘提供了完整且低冗余的结果,是近年来数据流频繁项集挖掘研究的热点之一.介绍了数据流频繁闭项集挖掘的相关概念,并从搜索空间的遍历策略、误差结果控制方式等方面对数据流频繁闭项集挖掘算法进行了分析比较.     

基于弹性分布数据集的海量空间数据密度聚类

为了快速挖掘大规模空间数据的聚集特性,在cluster_dp密度聚类算法基础上,提出了一种基于弹性分布数据集的并行密度聚类方法 PClusterdp.首先,设计一种能平衡工作负载弹性分布数据集分区方法,根据数据在空间的分布情况,自动划分网格并分配数据,使得网格内数据量相对均衡,达到平衡运算节点负载的目的;接着,提出一种适用于并行计算的局部密度定义,并改进聚类中心的计算方式,解决了原始算法需要通过绘制决策图判断聚类中心对象的缺陷;最后,通过网格内及网格间聚簇合并等优化策略,实现了大规模空间数据的快速聚类处理.实验结果表明,借助Spark数据处理平台编程实现算法,本方法可以有效实现大规模空间数据的快速聚类,与传统的密度聚类方法相比具有较高的精确度与更好的系统处理性能.     

大数据分析中基于 MapReduce 的空间权重创建方法研究

大数据空间分析是 Cyber-GIS 的重要方面。如何利用现有的网络基础设施（比如大规模计算集群）对大数据进行并行分布式空间分析仍然是一大难题。为此,提出一种基于 MapReduce 的空间权重创建方法。该方法依托Hadoop 框架组织计算资源,基于 MapReduce 模式从大规模空间数据集中高效创建出空间权重：大空间数据被分为多个数据块,将映射器分布给计算集群中的不同节点,以便在数据中寻找出空间对象的相邻对象,由约简器从不同节点处收集相关结果并生成权重文件。利用 Amazon 公司弹性 MapReduce 的 Hadoop 框架,从人工空间数据中创建基于邻近概念的权重矩阵进行仿真。实验结果表明,该方法的性能优于传统方法,解决了大数据的空间权重创建问题。     

基于群集运动智能的SDN业务传输优化技术

针对软件定义网络(software defined network,SDN)负载全局优化问题,受生物界群集运动的启发,以实现当前分布式全网状态感知、全局优化目标、区域自主协同为目标,研究了基于群集运动智能的SDN业务传输优化技术。为满足上层业务对网络传输性能的需求,根据传输时延、网络吞吐量等性能指标,在多目标优化约束条件下,通过业务聚类定义针对各业务的平稳流,并将平稳流内共同协作的节点相结合定义为平稳流协作场。协作场内的节点通过收集网络状态信息并在协作场内共享,实现网络状态的快速感知及决策。协作场之间各个平稳流以不同的带宽、时延等网络传输需求运行,使得平稳流获得了确定的资源抢占成功率,从而以稳定速率传输。针对基于平稳流的业务传输优化技术,给出了基于群集运动协同方式的流量工程处理体系和业务优化方案,并对该体系下群智节点的感知认知、业务聚类分析、平稳流协作场构建、协同智能决策优化方法、优化流程、节点架构等进行分析阐述。     

基于P2P网络捕包与过滤的实现

P2P网络的出现使得计算机网络的安全性更加脆弱,使计算机更易受到外界不明用户的攻击,因此在网络中实现主动防御显得十分重要。网络中的主动防御是通过网络捕包及过滤来实现,这是一种有效的管理手段,可以进行流量监控、故障诊断以及观察到网络所受到的攻击。本文主要是在P2P网络模式中利用混杂模式具体编程实现底层数据捕包。     

基于大数据的分布式中压配电网空间负荷分配方法研究

分布式中压配电网空间负荷分配涉及的数据量较大,当前分配方法通常为经验法或简单类比法,分配结果不可靠,无法达到用户要求。为此,提出一种新的基于大数据的分布式中压配电网空间负荷分配方法,在GIS平台上完成对空间信息的提取,将经数字化处理后的配电网空间地图分割为若干层,针对各子空间求出用户密度因素。对规则条件进行判断,选择能够使规则产生最佳效应的规则推理,针对能够被添加至当前规则集合中的所有节点,求出启发式函数的值,对全部路径节点信息素浓度进行更新,以获取配电网电力负荷元胞转换规则,确定各空间适于发展各类负荷的程度。以大数据为基础,通过全局最优分配法实现分布式中压配电网空间负荷分配。实验结果表明,所提方法分配结果佳,能够满足用户要求。     

基于语义关联性特征融合的大数据挖掘方法

提出一种基于语义关联性特征融合的大数据挖掘算法.对云存储大数据分布式信息流进行高维相空间重构,在重构的相空间中提取大数据的语义关联维特征量,以提取的特征量为测试集进行自适应学习训练.采用模糊C均值算法进行大数据语义关联特征的稀疏性融合和聚类处理,在聚类中心实现对挖掘目标数据的指向性聚敛,输出数据挖掘结果,并采用特征压缩器进行降维处理,降低计算开销.仿真结果表明,采用该方法进行大数据挖掘的特征提取准确性较好,挖掘数据的聚类能力较强,在实时性和准确性方面具有优势.     

大数据云存储下海量数据传输完整度控制技术

为确保大数据云存储下海量数据传输的完整度,提出了一种基于属性特征匹配和关联规则的海量数据传 输完整度控制方法。构建海量数据的属性特征高维重组模型,得到关键信息的特征分布状况,据此设计海量数 据的关键信息存储分布结构模型,采用关联规则方法进行海量数据的关键信息特征挖掘提取,利用关键信息进 行海量数据的特征分析和数据聚类处理,采用属性特征匹配方法设计海量数据关键信息存储节点后,利用模糊 减法聚类对关键信息存储节点进行聚类处理,在海量数据传输中,以数据关键信息存储节点传输的完整度实现 海量数据的传输完整度控制。仿真结果表明,采用该方法进行海量数据传输完整度控制,能提高云存储下的空 间利用效率,数据传输完整度高。     

不同视角下海量高分辨率视频图像数据挖掘方法研究

当前高分辨率视频图像数据挖掘方法容易受到外界环境的干扰,提取的视频图像特征不可靠,且不同视角下提取的特征值有很大差异,导致视频图像数据挖掘精度大大降低。为此,提出一种新的不同视角下海量高分辨率视频图像数据挖掘方法,通过Harris角点检测方法对待挖掘高分辨率视频图像数据时空特征进行提取,依据高分辨率视频图像数据时空特征,通过自相关矩阵建立相同事物不同视角下的递归图,将递归图看作一幅图像,通过计算像素点的梯度向量构建递归特征描述符,对相同事物不同视角下的关联性进行挖掘,将具有相同递归图梯度特征的高分辨率视频图像数据汇聚在一起,实现数据挖掘。实验结果表明,所提方法挖掘精度高。     

基于时空数据挖掘的铁路客流预测方法

提出了一种新的基于时空数据挖掘的铁路客流预测方法,该方法一方面采用统计学原理对目标对象本身的时序进行预测,另一方面通过神经网络解算相邻对象的空间影响,最后使用线性回归得到综合预测结果.采用该方法对某铁路直通区段2004年春运期间旅客总发送量进行预测,与不考虑空间影响的预测方法相比,预测精度有所改善.     

一种多层次分布式网络数据挖掘方法的改进研究

针对传统数据挖掘方法时间开销大的问题,提出一种新的多层次分布式网络数据挖掘改进方法,给出多层次分布式网络结构。介绍了常用的随机扰动数据挖掘方法,通过概率歪曲技术完成对多层次分布式网络中原始数据集的扰乱处理,对项集的实际支持度进行重构,经概率转换获取数据挖掘结果。随机扰动方法具有时间效率低的弊端,在时间复杂度要求较低的情况下,通过XMASK方法对随机扰动方法进行改进;在时间复杂度要求较高的情况下,给出相应的改进过程。对提出的多层次分布式网络数据挖掘方法进行实验测试,结果表明,该方法准确性高、挖掘时间短、效果优。     

网络流量监测中在线数据融合方法设计

在线数据融合方法在网络流量检测中一直有融合精确度低、接收点差的问题。提出一种新的网络流量监测中在线数据融合方法,采集网络流量监测中的实时在线数据,通过卡尔曼滤波法对在线数据进行预测,获取网络流量状态值;并以此为基础,通过时空综合分析,计算节点的量测实时方差;并依据最小二乘准则,对数据进行加权处理,求出加权系数,引入加权数据融合算法,实现在线数据的融合。实验结果表明,改进的融合方法不仅融合精度高,而且所需能耗低,适应能力较强。     

一种基于数据挖掘的多步入侵警报关联模型

基于传统网络入侵检测系统, 提出一种基于数据挖掘的多步入侵警报关联模型. 该模型能将多个入侵检测系统的警报信息进行融合, 对大量、 无序的警报信息进行分析, 发现其中的内在联系, 精简攻击事件警报, 并通过不断更新场景知识库发现融合后警报中的多步入侵行为. 与已有模型进行对比的结果表明, 该模型的关联分析方法及多步入侵知识库的建立有助于更好地结合系统的特征实现多步入侵的警报关联.