数据流上并行查询优化技术

主要讨论了DSMS的核心技术--查询优化;并讨论在高速数据流上的查询优化技术.着重致力于在shared-noohing网络并行环境下,探讨适合流的新型查询处理技术.     

数据流上基于遗传算法的并行查询优化技术

传统数据库中存储的是相对静态的记录集,这些记录没有预先定义的时间概念,除非时间属性被显示地加上去.虽然这个模型能够较好地表示商业数据库和个人信息存储库,然而它对快速变化的数据流进行在线分析的支持存在很多限制.因此,需要对已有技术进行扩展研究,构建出新的管理系统来管理数据流.数据流的高速性和无限性以及计算机资源的有限性使得提高数据处理速度成为数据流管理系统(DSMS)的关键;本文主要讨论了DSMS的核心技术———查询优化;着重研究了在shared-nothing机群并行系统中,通过并行查询处理技术来提高数据流处理速度的新方法.     

数据流连续查询处理技术的研究

数据流查询处理技术的研究是目前数据库研究领域的热点问题.传统的数据库技术不能处理诸如网络监测、传感器网络、股票分析等应用中所生成的新型数据,即数据流.数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝、规模宏大和不可预测的特点;其研究核心是在一个远小于数据规模的有限存储空间迅速获得近似查询结果.综述关于数据流查询处理技术的研究成果,主要介绍数据流模型、查询的特征、数据流近似查询操作算法的实现以及数据流系统中的查询处理方法.     

数据流滑动窗口连接的自适应降载策略

连接操作是一种应用广泛的查询类型,在对DSMS进行降载时,必须考虑连接查询的降载问题.针对滑动窗口连接查询,构建一种基于不同等级基本窗口的滑动窗口内部结构.采用部分连接的方式实现CPU过载情况下的降载,采用基于基本窗口重要性的语义丢弃方式实现内存不足情况下的降载.实验结果表明所采用的算法有效.     

数据流处理系统的负载控制策略研究

在高速网络数据流查询处理系统中,数据到达可能是突发性的,对数据流的实时查询处理要能适应数据流的特性和网络的波动环境,应用闭环控制理论进行系统负载控制,充分利用系统资源,在系统过载时降低存储需求,提高适应性和精确度.     

面向OLAP数据库查询处理功能的模糊测试工具

查询处理是现代关系型数据库管理系统(DBMS)中最重要的功能之一,主要包括查询优化和查询执行.然而查询处理的复杂性导致了测试的高成本,阻碍了开发过程中的快速迭代,并可能在生产环境中导致严重错误.为了更好地服务于DBMS查询处理功能的评测,采用模糊测试的方法生成基于主键约束的随机数据和完全有效的复杂分析型查询;构建约束优化,对查询中算子的精确基数进行高效计算,从而获得查询的正确结果;最后实现了完整的工具.通过对TiDB的不同版本进行了小规模的测试,结果表明可以有效地检测出TiDB不同版本的一些Bug.     

数据流窗口查询语义的局限性及改进方法

在数据流处理系统普遍使用滑动窗口查询模型来解决数据流的持续查询问题.对一些特殊的查询类型,在使用滑动窗口查询时无法完全达到查询要求,通过引入条件窗口对滑动窗口模型进行更一般化的扩展和改进,可以解决滑动窗口语义在处理这一类型查询中的局限性.     

一种数据流上基于截止期的多查询过载预测模型

为保证数据流上查询处理的实时性要求,定义了截止期作为连续查询的实时性约束,提出了一种数据流上基于截止期的多查询过载预测模型.模型预测的过载点给出了能够保证数据流系统内所有查询满足各自截止期的临界情况.在多查询环境下,通过找到某一查询作为截止期瓶颈,使得该查询处理结束后剩余查询的处理能力正好大于系统的输入流速,从而计算出过载点.仿真实验结果证明,该模型预测出的过载点能够保证所有查询满足各自的截止期,并且预测算法具有良好的准确性和计算复杂性.     

支持非等值连接的分布式数据流处理系统

实时处理的分布式数据流系统在当今大数据时代扮演着越来越重要的角色.其中,连接查询是大数据分析处理中最为重要且开销较大的操作之一.然而,由于现实应用产生的数据普遍存在倾斜分布现象,加之数据流本身的无界性与不可预知性,给在分布式数据流系统上进行连接查询处理提出了严峻的挑战.目前工业界较为主流的数据流系统处理连接查询的通用性较低,没有提供专门针对连接操作的接口;学术界推出的数据流连接查询原型系统虽然提供了接口,但大多面向等值连接,或仅能支持部分theta连接,且存在资源开销大、负载均衡性能低等问题.本文对比分析三种典型数据流系统,将基于Join-Matrix的连接处理技术与Storm系统相结合,设计并实现了通用的、可支持任意连接查询的数据流处理系统.实验展示了本文设计的系统具有更加良好的吞吐量与资源优化表现.     

数据流持续查询系统的窗口语义研究

在需要处理数据流的应用系统中，数据流的达是持续的、无界的，传统对静态数据库进行分块查询处理的方式已不再适应这种数据流的无穷性．本文针对数据流持续查询应用的不同场合，提出在查询中使用滑动窗口、带符号的数据流及断言窗口机制，使传统的查询处理加上这些机制后能适应数据流的查询处理，     

数据流管理系统关键技术研究

传统数据库系统用于需要持久稳固的数据存储和复杂查询的应用,然而近几年许多的应用证明这种数据模式和查询范例是不适合的,如传感器数据位置跟踪、工厂装配线管理、金融证券管理、Internet流量监控、Web使用日志、电话呼叫记录、和事务日志的在线分析等,在这些应用背景中信息按照数据值序列的形式自然产生,都需要及时地处理大规模的潜在快速的异步的数据流.本文回顾近来数据流管理系统领域的相关工作和流项目的研究情况;分析了连续查询处理的新需求和挑战;重点研究包括数据模式,系统结构,连续查询语言,调度方法,相关算法和查询评价等关键技术.     

SQL Sever 2000系统编程时的性能优化

SQL Sever 2000作为一种普遍应用的大型数据库管理系统，其优化技术在数据库应用中尤显重要。从减少数据传输、避免使用LIKE搜索条件、使用分组字段等方面介绍如何优化查询设计；从使用UPDATE数据库更新、使用索引、防止死锁及死锁处理等方面介绍在数据维护时的性能优化。     

SAM*模型向关系模型的转换规则

在语义数据库管理系统中,模型转换是查询转换和数据转换的基础,本文探讨了SAM模型向关系模型转换过程和转换规则,并给出了原型设计,为了防止转换过程中语义丢失,本文利用字典解决这一问题.     

A graph-based sliding window multi-join over data stream

Join operation is a critical problem when dealing with sliding window over data streams. There have been many optimization strategies for sliding window join in the literature, but a simple heuristic is always used for selecting the join sequence of many sliding windows, which is ineffectively. The graph-based approach is proposed to process the problem. The sliding window join model is introduced primarily. In this model vertex represent join operator and edge indicated the join relationship among sliding windows. Vertex weight and edge weight represent the cost of join and the reciprocity of join operators respectively. Then good query plan with minimal cost can be found in the model. Thus a complete join algorithm combining setting up model, finding optimal query plan and executing query plan is shown. Experiments show that the graph-based approach is feasible and can work better in above environment.     

A graph based sliding window multi join over data stream

Join operation is a critical problem when dealing with sliding window over data streams. There have been many optimization strategies for sliding window join in the literature, but a simple heuristic is always used for selecting the join sequence of many sliding windows, which is ineffectively. The graphbased approach is proposed to process the problem. The sliding window join model is introduced primarily. In this model vertex represent join operator and edge indicated the join relationship among sliding windows. Vertex weight and edge weight represent the cost of join and the reciprocity of join operators respectively. Then good query plan with minimal cost can be found in the model. Thus a complete join algorithm combining setting up model, finding optimal query plan and executing query plan is shown. Experiments show that the graphbased approach is feasible and can work better in above environment     

改进单链接法——空间数据管理方法

根据空间数据的特性，提出了考虑空间数据大小的改进单链接法（Modified Single-Link Method），并结合大二进制（BLOB）来管理空间数据和属性数据，试验证明该方法可以提高查询效率和数据存储利用率，同时提供更大的查询灵活性，而且在其研究开发的空间数据库管理系统中得到实现。通过对改进的单链接法的操作和分析，说明该管理方法是可行的，有助于工程技术人员形成可操作的模型。     

数据库中的数据加密技术

介绍了数据库加密及其特点,并总结了原有数据库加密技术在加密范围上的限制、以及对DBMS功能的影响。基于这种技术现状,提出一种改良方案——保存顺序的加密方法OPES。OPES解决了加密技术和数据库系统整合时出现的性能降低这一重大实际难题,保证了查询处理的响应速度。