数据流上并行查询优化技术

主要讨论了DSMS的核心技术--查询优化;并讨论在高速数据流上的查询优化技术.着重致力于在shared-noohing网络并行环境下,探讨适合流的新型查询处理技术.     

基于近似等深柱状图的数据流并行聚集算法

针对数据流并行聚集问题,提出了一种不同于关系数据和时间序列数据处理的并行聚集方法.为解决已经划分出的数据流元组无法再现的特点,提出能够感知数据流变化的采样算法对数据流采样.利用近似等深柱状图技术描述采样数据的分布特征,平均分配数据流量.使用时间聚集森林结构计算时间窗聚集.通过验证采样个数对并行聚集的影响,数据分布对近似划分向量算法性能的影响,测试数据流量与并行聚集加速比的关系,证明本算法能够高效地计算数据流聚集查询.     

数据流连续查询处理技术的研究

数据流查询处理技术的研究是目前数据库研究领域的热点问题.传统的数据库技术不能处理诸如网络监测、传感器网络、股票分析等应用中所生成的新型数据,即数据流.数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝、规模宏大和不可预测的特点;其研究核心是在一个远小于数据规模的有限存储空间迅速获得近似查询结果.综述关于数据流查询处理技术的研究成果,主要介绍数据流模型、查询的特征、数据流近似查询操作算法的实现以及数据流系统中的查询处理方法.     

巨量数据流实时处理的新方法

在处理资源有限的情况下，传统的DBMS系统不能实时有效地处理和查询连续的和数量巨大的数据流，而DSMS作为解决此类问题的新方法得到广泛的研究。DBMS通过引入新算子和新的查询模型，提高了数据处理和查询的效率。首先介绍了DSMS的概念，分析了DSMS系统的原理与结构，然后对具有代表性的DSMS实例进行了介绍和比较。     

数据流处理技术

处理潜在无限的连续数据流的应用日益流行，传统数据库对快速变化的数据流进行在线分析的支持存在很多限制，需要对已存在的技术进行广泛的扩展研究，构建新的系统管理数据流．本文回顾近来数据流管理系统领域的相关工作和流项目的研究情况；分析了连续查询处理的新需求和挑战及数据流系统新颖之处．并提出在数据流研究方面的一些新看法。     

信息管理系统数据库性能优化研究

随着信息化管理系统的发展,作为信息管理系统的重要组成部分,数据库技术已经得到了广泛的应用.为了保证信息管理系统的正常、高效、安全的运行,就必须要考虑数据库的性能问题.数据库的性能优化包括缩短查询响应时间,减小查询所需要的CPU时间和磁盘I/O时间,提高数据库服务器的吞吐量.数据库优化的方法主要包括数据库设计规范优化、SQL语句优化、改善查询计划等手段.通过对数据库优化方法的研究,并且以一个具体的信息管理系统数据库优化实例,对数据库优化方法的具体应用进行介绍.为数据库技术和信息管理系统的进一步发展尽自己的一点努力.     

数据流系统中的查询处理机制

近年来,一种数据密集型的应用得到了广泛的关注。在这种应用中,数据不再来自于存储在永久介质上的数据库,而是以大量的、连续的、快速的、随时间变化的、无边界的数据流的形式到达。本文论述了当前数据流的产生背景、研究现状并且针对数据流应用中的种种特征,对数据流中的查询处理机制进行了深入讨论,包括查询分类、查询的特点及数据流系统中查询的处理方法。     

一种基于混沌理论的数据流连续聚集查询预测算法

为了有效地预测聚集查询的未来聚集值,提出了一种基于混沌理论的数据流连续聚集查询预测未来聚集值算法——CSPA算法.数据流看作是以数据到达时间为序的一个时间序列,借鉴传统时间序列分析技术探讨了连续聚集查询的未来聚集值预测问题,但由于数据流序列与传统时间序列在时间间隔和数据集的处理上存在很大差别,于是采用流滑动窗口技术加以处理.其次,针对目前数据流聚集查询预测领域已有的一些研究结果都未考虑流数据内在的复杂非线性动力学特征对预测的影响问题,该算法又利用了混沌理论中的局域预测思想解决了这一不足.实验结果表明,利用该算法进行预测具有很好的准确性.     

基于数据流的时间条件占优查询

传统的偏好推理使用权衡增强的条件偏好网络（Tradeoff-Enhanced Conditional Preference Networks,TCP-nets）进行用户的偏好推理，不仅能高效地表示对元组的定性偏好关系并优化用户偏好结果，还能描述每个属性之间的偏好关系，其主要聚焦于关系元组中的单个属性的偏好.但把对条件偏好查询的技术推广到数据流的条件提取却是一个挑战，面临的技术困难主要是对数据流中序列的提取，对提取的序列进行占优查找等.首先，针对偏好数据流，提出一种时间条件查询语言Stream Pref来处理数据流；其次，在Stream Pref中加入时间索引来推理和规范数据流提取序列的时间条件偏好，提出提取对象序列算法、占优对象及占优序列查找算法和数据流序列间占优对比的算法；最后，在数据集上分析验证提出的算法的有效性.实验结果证明，提出的算法与min Top-k,Partition和Incpartition算法相比，得到的结果更准确.     

并行数据库的查询处理技术

随着并行计算机系统的迅速发展,并行数据库系统已经成为数据库研究和应用的一个重要领域,本文介绍了各种并行数据库系统的并行计算机结构和关系数据库查询的固有并行性,然后探讨了并行数据库查询处理的并行化技术。     

Twig Pattern Matching Based on Compressed Path Labeling Scheme

Holistic twig query processing techniques based on region encoding have been developed to minimize the intermediate results, namely, those root-to-leaf path matches that are not in the final twig results. These algorithms have to scan all the streams of tags in query patterns. However, useless path matches cannot be completely avoided. TJFast which is based on the labeling scheme of Extended Dewey has been proposed to avoid useless intermediate results, and it only needs to access the labels of the leaf query nodes. However, it don＇t concern about the characteristics of elements with the same parent, and it has to merge join all the intermediate results which are evaluated during the first phrase. We propose a new labeling scheme to compress the XML elements which have the same characteristic. Based on the compressed path-labeled streams, a new novel holistic twig query algorithm named CPJoin is designed. Finally, implementation results are provided to show that CPJoin has good performance on both real and synthetic data.     

数据流管理与挖掘研究

20世纪末,为适应网络监控、商业交易管理和分析等应用的要求,数据流技术应运而生;该文回顾了近年来国内外在该领域的研究进展,总结了数据流的特点、模型及其算法,对数据流管理和挖掘的关键技术进行了分析,并进一步提出了数据流技术研究的方向。     

基于混合处理模型的乱序数据流分布式聚合查询处理技术

为了解决现有的乱序数据流聚合查询处理技术不能在降低查询处理延迟,同时保障聚合查询结果的最终正确性的局限性问题,本研究设计了混合嵌入分布式流处理模块和分布式批处理模块的乱序数据流分布式聚合查询处理技术。该技术一方面基于用户给定的结果质量,限制自适应地优化流处理模块所用的缓冲区大小,从而尽可能降低流处理的查询处理延迟;另一方面基于备份于分布式数据存储系统的历史流数据,并以批处理的方式实现对极其晚到流元组的查询处理,从而保障聚合查询结果的最终正确性。基于真实的乱序数据流数据集对该技术进行测试分析表明:该技术在平均查询处理时延、查询结果精度和系统可扩展性方面,比目前最好的基于缓存的乱序数据流处理技术均具有显著优势。     

流数据技术及其应用现状

流数据具有大数据量、数据变化频繁、需要快速响应、查询次数有限的特点，这些特点使得流数据的处理需要采用新的方式。本文介绍了最近流数据技术的研究及应用现状，总结了流数据以及连续查询的概念，描述了流数据模型以及流查询的一些关键技术，并展望了未来流数据研究的发展方向。     

数据流管理系统关键技术研究

传统数据库系统用于需要持久稳固的数据存储和复杂查询的应用,然而近几年许多的应用证明这种数据模式和查询范例是不适合的,如传感器数据位置跟踪、工厂装配线管理、金融证券管理、Internet流量监控、Web使用日志、电话呼叫记录、和事务日志的在线分析等,在这些应用背景中信息按照数据值序列的形式自然产生,都需要及时地处理大规模的潜在快速的异步的数据流.本文回顾近来数据流管理系统领域的相关工作和流项目的研究情况;分析了连续查询处理的新需求和挑战;重点研究包括数据模式,系统结构,连续查询语言,调度方法,相关算法和查询评价等关键技术.     

基于场地约束的PDMS查询优化技术

基于视图的查询求解是解决PDMS(Peer Data Management Systems)中数据共享的一个重要手段.基于成熟的Datalog技术,设计了基于场地约束的Datalog扩展技术用于解决PDMS环境下的查询优化问题.研究在数据密集型和逻辑上紧耦合的PDMS中存在的查询优化问题,提出了PDMS视图定义语言PView,局部约束和分布式约束的定义、及基于视图与约束的查询重写的优化方案,并给出性能分析.测试结果证明,基于约束的查询重写优化算法AffixC可以显著地提高查询处理效率,适用于逻辑上具有紧耦合关系的信息集成处理.     

A graph based sliding window multi join over data stream

Join operation is a critical problem when dealing with sliding window over data streams. There have been many optimization strategies for sliding window join in the literature, but a simple heuristic is always used for selecting the join sequence of many sliding windows, which is ineffectively. The graphbased approach is proposed to process the problem. The sliding window join model is introduced primarily. In this model vertex represent join operator and edge indicated the join relationship among sliding windows. Vertex weight and edge weight represent the cost of join and the reciprocity of join operators respectively. Then good query plan with minimal cost can be found in the model. Thus a complete join algorithm combining setting up model, finding optimal query plan and executing query plan is shown. Experiments show that the graphbased approach is feasible and can work better in above environment     

A graph-based sliding window multi-join over data stream

Join operation is a critical problem when dealing with sliding window over data streams. There have been many optimization strategies for sliding window join in the literature, but a simple heuristic is always used for selecting the join sequence of many sliding windows, which is ineffectively. The graph-based approach is proposed to process the problem. The sliding window join model is introduced primarily. In this model vertex represent join operator and edge indicated the join relationship among sliding windows. Vertex weight and edge weight represent the cost of join and the reciprocity of join operators respectively. Then good query plan with minimal cost can be found in the model. Thus a complete join algorithm combining setting up model, finding optimal query plan and executing query plan is shown. Experiments show that the graph-based approach is feasible and can work better in above environment.     

RFID数据流管理关键技术

新一代传感器和RFID(无线射频识别)技术为人们提供了强大的感知、理解并管理世界的能力,同时RFID数据具有不确定性、冗余性、蕴含时空性、需要在线处理等特点,也为数据管理提出了许多挑战,本文回顾了RFID数据管理的研究发展现状,从数据流连续查询、物化视图推导规则、复杂事件处理等角度分析了RFID数据管理涉及到的几种关键技术,最后介绍一种数据流驱动的RFID复杂事件处理系统(CodEye Event Processor)的设计思想,将RFID事件查询设计成复杂连续查询,能够有效捕捉并处理复杂RFID事件.