基于机群的并行多连接查询处理机分布算法

多连接查询优化是并行数据库系统的核心问题.基于机群的并行数据库系统中,网络通信的带宽一直是系统的瓶颈,处理机间的数据交换会大大的增加连接操作执行的时间开销.提出了基于机群的处理机分布算法,在选择分布关系的处理机集合时,充分考虑了机群系统中引起数据重分布的因素,减少了额外的通信开销;同时兼顾并行系统中的算子内并行、算子间并行和流水线并行等多种并行,便于开发机群系统的并行性.实验结果表明,该方法具有良好的性能,有助于提高并行多连接查询的执行速度.     

基于多重加权树的并行数据查询处理方法

研究了并行数据库系统的优化问题,提出了一个基于多重加权树的查询处理方法.这种方法由基于多重加权树的并行查询计划模型、并行查询计划的代价模型和一个并行查询优化器等三部分组成.并行查询计划模型首次模拟了所有关系操作、查询执行的三种并行性、查询操作的处理器和存储器分配、按流水线方式并行执行的操作间的存储器分配以及数据重分布.查询代价模型充分考虑了按流水线方式并行执行的操作间的等待时间,并给出了一种自底向上的查询代价计算方法.查询处理器以最经常使用的选择-投影-连接查询为背景.查询优化器使用了一组确定启发式规则为数据操作分配处理器,并且很好地利用了存储器资源.此外,查询优化器支持多种连接操作实现算法,能够根据不同情况为查询中每个连接操作选择优化的连接操作实现算法.该查询处理方法已经用于作者自行设计的并行数据库管理系统,取得了良好的效果.     

并行矩阵乘法算法的研究

针对大型矩阵乘法进行研究,描述了基于长方网格处理机阵列的Cannon算法,通过重叠技术,改进算法,使数据计算和数据通信在时间上重叠,达到时延隐藏的目的,给出了该算法在PC机群系统环境下的加速比和并行效率实验数据.实验证明,只要研究开发适合的并行算法,克服机群系统的通信瓶颈问题,可以成倍提高其在机群系统上的求解性能.     

运用数据库优化器提高SQL查询效率

数据库优化器为数据库查询提供一个最佳的执行策略，执行策略是执行查询所需要的一系列步骤，数据库操作的反应速度经常就体现在这个优化算法上，不同的查询策略会使服务器的响应速度大相径庭。对数据库优化器的性能进行分析，给出四种查询优化策略。     

基于遗传算法的关系数据库查询优化策略

介绍基本遗传算法的基本思想和工作流程,针对数据库管理系统中最难处理和优化的连接操作,讨论在左深连接树的计划集合和浓密连接树的计划集合上的基于遗传算法的查询优化策略。同时通过具体的查询实例说明其左深度连接树和浓密连接树的染色体编码方法,并基于该编码方式进一步确定了基本遗传算法中其它的七个变元。     

具有复杂网络特性的无线传感器网络的谣言传播机制的查询方法研究

为了降低无线传感器网络的通信开销,减少搜索目标节点的查询次数,以提高无线传感器网络的生存周期;提出了构建具有小世界特性和幂律分布的复杂网络的网络结构,引入谣言传播机制.结合择优连接机制,建立一种新的查询方法.借助GPL模型的拓扑模拟器BRITE产生了不同尺度的仿真网络.针对查询通信开销和算法覆盖度两个重要指标,测试传统的flood-ing算法和本文的方法,结果表明,本文的查询方法的通信开销小于flooding算法的一半,算法覆盖度与flooding算法相当.     

面向对象的多媒体知识库的查询优化和查询处理概述

本文对面向对象及多媒体技术进行了概述,并讨论了有关OODBS和OOMKB中的查询优化和查询处理.     

SDD 1改进算法在Hive中应用

针对Hive在处理连接查询时所存在的执行时间长和带宽资源消耗大等问题,提出了一种基于数据预处理和双半连接的SDD-1改进算法.首先,引入预处理技术,在各分布节点对原始数据进行归并排序,以减少汇聚节点的数据映射次数,加快数据处理执行速度;其次,采用基于行和列的双半连接技术,进一步缩减在不同节点间的数据传输量,减少带宽资源消耗.仿真实验表明,相比原始的Hive连接算法,改进算法在元组数达到5 000和8 000时,可使查询速度提升10%,有效缩短查询的处理和响应时间,该改进算法可方便地应用到其他云计算平台上.     

数据库查询技术研究

对于数据库的一条复杂查询语句，相同查询条件可以有多种不同的实现方法。而不同的方法会使数据库的响应速度大相径庭。本文对数据库的查询技术进行分析，给出两种优化方法：分解查询和选择最优存取路径。     

XML查询优化策略

<正>XML查询处理技术是与处理XML查询相关的所有技术的集合[1]133.XML查询过程为:一个XML表达式或XQuery查询,经过解析后成另外一种表示结构,将此结构经过查询改写后产生更优的表示,再生成查询计划,将该计划经过查询执行引擎在XML数据库上执行,最终产生查询结果.如果将一个XML查询编译成一个纯生的查询计划,则存在寻找一个最优查询计划的问题,可以分查询分析、查询重写、物理计划生成3个步骤来完成,其中查询重写、物理计划生成是优化的重点与难点.     

基于多重加权树的并行关系数据库系统的查询优化方法

The author investigates the query optimization problem for parallel relational databases. A multi-weighted tree based query optimization method is proposed. The method consists of a multi-weighted tree based parallel query plan model, a cost model for parallel qury plans and a query optimizer. The parallel query plan model is the first one to model all basic relational operations, all three types of parallelism of query execution, processor and memory allocation to operations, memory allocation to the buffers between operations in pipelines and data redistribution among processors.The cost model takes the waiting time of the operations in pipelining execution into consideration and is computable in a bottom-up fashion. The query optimizer addresses the query optimization problem in the context of Select-Project-Join queries that are widely used in commercial DBMSs. Several heuristics determining the processor allocation to operations are derived and used in the query optimizer. The query optimizer is aware of memory resources in order to generate good-quality plans. It includes the heuristics for determining the memory allocation to operations and buffers between operations in pipelines so that the memory resourse is fully exploit. In addition, multiple algorithms for implementing join operations are consided in the query optimizer. The query optimizer can make an optimal choice of join algorithm for each join operation in a query. The proposed query optimization method has been used in a prototype parallel database management system designed and implemented by the author.     

一种基于移动设备的图形化查询的实现

提出基于移动设备的地图查询算法,定义了EGSQL查询语言,给出了EGSQL查询实现的标准流程.以公交路线查询为例说明了整个查询流程的实现.实际应用表明该体系具有良好的通用性和较高的查询效率.     

一种有效支持并行数据仓库区域查询的方法

如何更有效地组织和存储Cube数据,是数据仓库中一个十分重要的研究问题。应用并行计算技术,提出了一种基于计算机机群并行计算环境的并行Cube存储结构CMD-Forest。它不但可以有效地支持数据仓库上的大数据量批量追加更新,而且具有很高的区域查询性能。尤其在批量追加方面,与已有的存储组织相对比具有明显的优势。     

基于PVM并行应用程序的设计与实现

研究了基于PVM系统的、适用于PC机群的网络并行计算的并行编程模式Master Slave的基本框架 .通过实现矩阵乘法并行应用程序 ,分析了实现时易于出现的问题 .根据测试结果得出影响并行计算性能的各种因素 .     

一种基于CUDA的局部敏感哈希算法

传统的局部敏感哈希算法建立哈希表时往往需要较大的内存空间以及较长的建立时间. 在查询阶段,查询样本K个最近邻数据项的所需时间超过整个运行时间的95%. 针对这些问题,运用计算设备架构将局部敏感哈希算法移植至图形处理器,并用多线程并行计算数据项的哈希值来建立哈希表. 查询阶段在全局内存中引入基于工作队列的多样本查询,以提高算法的运行效率. 实验结果表明,所提出的算法与传统的局部敏感哈希算法相比,能在不降低运算精度的情况下将运算速度提高近12倍.     

基于分枝路径分析的连续查询降载算法

研究了在数据流系统中,由于输入数据流速率增大而引起的连续查询过载时的降载问题.分析了数据流和连续查询网络的特点以及现有降载策略的不足,给出了问题的定义及约束条件,提出了基于分枝路径分析的降载算法.理论分析和实验结果表明了该算法的有效性.     

基于2-hop优化的子图模式匹配算法

讨论大图上有效可达标记2-hop编码,及其构造的图结构信息数据结构在判定两点之间可达性的高效性,基于这些高效结构,提出一种基于栈的DAG全局图模式匹配算法,该算法结合了栈在匹配过程中线性空间开销的优势。实验结果表明,相对于目前主流的图模式匹配算法,该算法具有中间结果小,时间高效的优势。     

用于联盟链的布隆过滤器优化

布隆过滤器常用于联盟链Hyperledger Fabric状态数据库LevelDB的读性能优化,但布隆过滤器本身存在误报现象,且LevelDB只能对布隆过滤器进行统一配置而无法自适应调整。为此,提出一种单元化的部分计数式布隆过滤器（partial counting Bloom filter,PCBF）构造方案,设计可并行计算的元素插入与查询机制并结合双重哈希及非加密哈希来实现快速插入与查询;基于开启过滤器单元与访问次数构建排序字符串表优先级,使用时间片轮询算法对过滤器单元进行自适应调整,实现了资源的合理分配。实验结果表明： PCBF具有较高的插入效率,并能减少20%左右的误报数量,适用于联盟链的高并发场景。     

支付视角下疫情对消费经济的影响效应

新冠肺炎疫情对中国经济社会发展造成了前所未有的冲击，消费经济也受到了较大的影响。支付是与消费者最息息相关的经济活动，支付数据能够精准地捕获消费经济的特点。鉴于此，本文基于银联网络交易数据，量化了疫情对消费经济的影响，并对不同省份及行业进行了对比分析。同时，通过进一步分析疫情期间消费数据与疫情进展数据，定量揭示了疫情进展显著牵动消费信心，影响消费经济发展。若疫情得不到有效控制，复工复产则难以有效推进。本研究从支付的角度对后续疫情防控和经济全面复苏政策提出了相关建议。