并行环境下基于图着色理论的空间数据部署

在面向计算部署到数据节点端执行的分布式并行环境下,提出一种基于图着色理论的适用于矢量空间数据的部署方法,将空间数据粒度的部署问题转化为图顶点着色的过程,提高了任意空间区域的信息查询效率.给出基于图着色理论的数据部署方法,并通过节点的任务量进一步改进算法,使得该算法可实现海量空间数据粒度的离散化部署,提高了空间数据检索和查询的并行化程度,充分利用了并行计算资源.     

MapReduce模型下基于R树索引的Skyline查询算法

提出一种MapReduce并行计算模型下基于R树索引的Skyline查询算法, 解决了海量空间数据集下执行Skyline查询效率低的问题. 通过建立R树索引实现空间数据不同粒度的范围剪枝, 有效降低了分布式Skyline查询需扫描的数据规模, 提高了在MapReduce模型下Skyline查询的执行效率. 在不同数据分布下进行对比实验的结果表明, 该方法比已有算法在执行效率上更具优势.     

基于并行计算的空间co-location模式挖掘

提出适合并行计算的空间数据分区算法,并在此基础上提出基于并行计算的空间co-location挖掘算法.在三类数据集上做了大量的实验.实验结果表明,基于并行计算的算法在很大程度上提高了挖掘的效率,为进行空间大数据的挖掘提供了有效且快速的方法.     

基于MapRedue的大规模矢量空间数据选择查询处理

为高效地处理大规模矢量空间数据,基于Hadoop的并行计算框架MapRedue,实现了一种分布式的矢量空间数据选择查询处理方法.首先,分析OGC简单要素标准与Hadoop的Key/Value数据模型,设计了可存储于Hadoop HDFS的矢量文件格式;其次,根据两阶段的过滤-精炼策略,对Map输入数据分片、选择查询处理过程及Reduce结果合并等关键步骤进行了详细阐述;最后,基于上述技术,利用Hadoop集群环境对所提出的方法进行验证,该方法具有较好的可行性和较高的效率.     

大数据环境下并行计算模型的研究进展

在大数据时代,制约并行计算发展的掣肘正在发生改变,为分布式并行计算带来了前所未有的机遇和挑战.回顾了并行计算的发展和大数据环境下的新变化;结合硬件环境、计算模式、以及应用需求等对于并行计算模型研究的影响,综述了面向批处理、面向流处理、面向图数据以及面向内存等几类并行计算模型的相关研究;展望了其发展趋势.     

基于多块同位网格对管路流场的分区并行计算

在基于多块同位网格和集群以突扩管路系统内部流场为算例开展的分区并行计算研究中,利用SIMPLE算法实施了可自定义分区的并行计算方法,分析了不同雷诺数和突扩比对突扩管内流动结构的影响,重点探讨了基于自定义分区的不同分区方式及核数工况下集群的并行计算效率,进一步分析负载对计算效率的影响.结果表明,网格数、核数和分区方式对集群的计算效率都有很大的影响,并且每个分区所包含的网格数越均匀即负载越均衡,并行计算效率越高.     

面向分布式存储的空间数据放置方法研究

目前,互联网中海量空间数据采用分布式存储,空间数据放置直接关系到数据访问效率.为了提高分布式存储中空间数据访问效率,提出了一种DHT-R数据放置策略,该策略将分布式哈希表（DHT）和R树相结合,按照分布式哈希表存储空间数据基本信息和索引地址,同时以R树型结构组织和存放空间数据,R树存储使得快速访问空间数据成为可能.实验发现,数据存取的可靠性较高,数据的吞吐时延也明显低于业界的阀值,DHT-R放置方法在大量访问压力下依然能良好的平衡和并发.     

基于"双模结构"思想和SVG的异构空间数据转换方法

提出一种基于"双模结构"思想和SVG的异构空间数据转换新方法,并以shape和mif/mid两种格式文件间的相互转换过程为例阐述了新方法的实现过程.和传统异构数据转换方法相比,新方法拥有更高的安全性、更高的自由度和更适合网络环境下操作的优点.新方法对异构空间数据的转换有一定的参考价值.     

基于Oracle Spatial的北京城市空间要素数据库实现

现阶段,城市研究中涉及的空间数据逐渐增多,如何将这些研究中用到的海量多源异构空间数据进行一体化管理,同时提高数据的安全性和加快数据的访问速度,是急需解决的问题.为此,重点探讨Oracle Spatial 11g空间数据建模的特点,并结合其能够将空间数据与属性数据一体化存储的特点,基于Oracle Spatial建立北京城市空间要素数据库,对已有的城市研究数据进行统一化管理,提高数据的使用效率.     

基于弹性分布数据集的海量空间数据密度聚类

为了快速挖掘大规模空间数据的聚集特性,在cluster_dp密度聚类算法基础上,提出了一种基于弹性分布数据集的并行密度聚类方法 PClusterdp.首先,设计一种能平衡工作负载弹性分布数据集分区方法,根据数据在空间的分布情况,自动划分网格并分配数据,使得网格内数据量相对均衡,达到平衡运算节点负载的目的;接着,提出一种适用于并行计算的局部密度定义,并改进聚类中心的计算方式,解决了原始算法需要通过绘制决策图判断聚类中心对象的缺陷;最后,通过网格内及网格间聚簇合并等优化策略,实现了大规模空间数据的快速聚类处理.实验结果表明,借助Spark数据处理平台编程实现算法,本方法可以有效实现大规模空间数据的快速聚类,与传统的密度聚类方法相比具有较高的精确度与更好的系统处理性能.     

基于GML的空间数据动态集成及应用研究

在分析GML数据格式和几何特征基础上,提出一个基于GML的空间数据动态集成框架,探讨了数据动态集成过程,并以福建省漳浦县绥安镇的林业数据为样本,进行了动态集成应用示范.结果表明,应用GML对空间数据进行动态集成,是在现有网络环境下以矢量方式进行数据传输、交换、集成海量空间数据最有效的方法.     

精密电容器误差的并行计算方法

利用局域网和标准消息传递库构成并行计算环境,实现了对精密电容器误差的并行计算.改进了传统的Runge-Kutta方法.最后讨论了与并行计算效率有关的因素.     

基于DPPEJ的并行计算研究

对DPPEJ(Distributed Parallel Programming Environment for Java)软件包的工作原理作了详细的介绍,并采用Java语言实现了运行于DPPEJ环境下的FFT迭代算法和递归算法的并行计算程序.通过对实验数据的性能分析表明,由于Java代码的简单性和可移植性,基于DPPEJ的Java并行计算程序通过使用RMI远程方法调用可以较好地利用网络环境下的计算资源进行分布式的并行计算,具有一定的应用前景.     

基于瓦片金字塔模型的海量空间数据快速分发方法

针对分布式并行环境下海量空间数据的快速显示和浏览问题,提出一种基于分层、分专题的海量空间数据金字塔模型及基于数据库存储方案的瓦片数据快速分发方法.对比分析了瓦片数据在文件式管理和数据库管理两种模式下的存储机制和响应流程,并以时间跨度59年的沙尘暴观测数据为例,验证了该方法不仅能有效地组织管理海量空间数据,实现高效数据互操作,而且在多用户并发访问时,能快速响应客户端请求.     

云计算环境下关联规则数据挖掘算法研究

在海量数据的关联规则数据挖掘中,采用并行计算是非常必要的;针对当前的关联规则算法,运用并行算法的思想,结合云计算环境下的Hadoop架构,提出了Hadoop下的并行关联规则算法的设计,最后实验表明,该算法能处理节点失效,并且能实现节点负载均衡。     

基于MapReduce的数据流频繁项集挖掘算法

针对传统数据流频繁项集计算中效率低、内存消耗大等问题,本文采用并行计算的思想设计了一种基于MapReduce的数据流频繁项集挖掘算法,首先,对进行数据分块压缩和传输,其次,将数据频繁项的计算分布在负载均衡的数据节点,可以有效保证数据的执行效率.最后通过一次调度处理合并各个节点产生的频繁项集并进行合并.理论分析和实验对比结果均表明,该算法对于并行处理数据流频繁项集的统计问题是有效可行的.     

结构非线性动力分析显式积分并行算法

对同时具有几何非线性、材料非线性和边界条件非线性的结构动力分析问题的并行性进行了讨论。提出了能有效用于该问题并行计算的双重区域分解法 ,重新规划了各处理机与宿主机间的任务分配。采用了数据整体传送技术 ,不需要处理子域交界面上的“影响单元”,减少了算法的复杂度 ,降低了通信开销。对 3 2 3 0 4 5阶自由度、 62 5 0 0时间步的大规模冲击接触问题进行了并行计算 ,在网络机群环境下采用 8个处理机并行计算时的并行效率为 84 .6%。结果表明 ,该并行算法对大规模非线性问题的并行计算非常有效     

适于云计算的并行RAM程序的函数加密方案

针对云计算环境下的现有函数加密方案难以有效利用并行计算能力进行大数据运算的问题,提出了一种并行随机存取计算模型程序的函数加密方案,允许数据拥有者一次性传输加密数据,获得授权的云服务提供者利用其并行计算集群有效计算大量加密数据。该方案将混淆并行随机存取计算模型中的密码原件作为黑盒使用,将并行随机存取计算模型程序硬编码于电路中。并采用现有的基于电路模型的函数加密方案对该电路生成密钥,从而转化为并行随机存取计算模型程序的函数加密方案。通过理论分析该方案的时间效率相对原有并行算法仅有多项式时间的额外负载,并给出了该函数加密方案的不可区分性安全性证明。     

一种基于MapReduce的粗糙集并行属性约简算法

云计算技术是海量数据挖掘的一种高效解决方案,将MapReduce并行计算模型与粗糙集属性约简算法相结合,提出一种基于MapReduce的浓缩布尔矩阵并行属性约简算法.该算法提高了粗糙集属性约简算法对大数据的处理能力和效率,并能适应云计算环境.实验结果表明,所提算法具有良好的效率、加速比和可扩展性.     

物探数据处理网络并行计算环境的设计和实现

本文讨论应用网络并行计算处理物探数据时并行计算环境的设计和实现,介绍了机群系机构在实际项目中的应用.