数据流连续查询处理技术的研究

数据流查询处理技术的研究是目前数据库研究领域的热点问题.传统的数据库技术不能处理诸如网络监测、传感器网络、股票分析等应用中所生成的新型数据,即数据流.数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝、规模宏大和不可预测的特点;其研究核心是在一个远小于数据规模的有限存储空间迅速获得近似查询结果.综述关于数据流查询处理技术的研究成果,主要介绍数据流模型、查询的特征、数据流近似查询操作算法的实现以及数据流系统中的查询处理方法.     

QJoin：质量驱动的乱序数据流连接处理技术

数据流乱序现象会导致数据流处理结果的丢失,给数据流的分析处理带来了巨大困难。本研究探讨了质量驱动下的乱序数据流连接处理问题,提出一种质量驱动的乱序数据流连接处理技术(QJoin)。QJoin采用缓冲存储技术和对称连接策略,实现并确保对流元组进行即时分析处理,从而降低了流元组处理的平均等待时间。同时,基于质量驱动的理念,根据临近阶段连接处理过程中收集统计的数据,自适应地调整和优化内存缓存区的大小,从而在满足用户结果质量要求的前提下,降低系统内部历史数据的内存缓存量,尽可能保证迟到元组的连接处理完整性。真实数据集上的实验结果表明,与传统的数据流乱序处理技术MP-K-slack相比,QJoin在满足用户结果质量要求的前提下,确保能够即时地分析处理数据流的流元组,显著降低系统的内存开销。     

数据流系统中的查询处理机制

近年来,一种数据密集型的应用得到了广泛的关注。在这种应用中,数据不再来自于存储在永久介质上的数据库,而是以大量的、连续的、快速的、随时间变化的、无边界的数据流的形式到达。本文论述了当前数据流的产生背景、研究现状并且针对数据流应用中的种种特征,对数据流中的查询处理机制进行了深入讨论,包括查询分类、查询的特点及数据流系统中查询的处理方法。     

数据流处理技术

处理潜在无限的连续数据流的应用日益流行,传统数据库对快速变化的数据流进行在线分析的支持存在很多限制,需要对已存在的技术进行广泛的扩展研究,构建新的系统管理数据流．本文回顾近来数据流管理系统领域的相关工作和流项目的研究情况;分析了连续查询处理的新需求和挑战及数据流系统新颖之处．并提出在数据流研究方面的一些新看法。     

数据流上并行查询优化技术

主要讨论了DSMS的核心技术--查询优化;并讨论在高速数据流上的查询优化技术.着重致力于在shared-noohing网络并行环境下,探讨适合流的新型查询处理技术.     

数据流上基于遗传算法的并行查询优化技术

传统数据库中存储的是相对静态的记录集,这些记录没有预先定义的时间概念,除非时间属性被显示地加上去.虽然这个模型能够较好地表示商业数据库和个人信息存储库,然而它对快速变化的数据流进行在线分析的支持存在很多限制.因此,需要对已有技术进行扩展研究,构建出新的管理系统来管理数据流.数据流的高速性和无限性以及计算机资源的有限性使得提高数据处理速度成为数据流管理系统(DSMS)的关键;本文主要讨论了DSMS的核心技术———查询优化;着重研究了在shared-nothing机群并行系统中,通过并行查询处理技术来提高数据流处理速度的新方法.     

面向高速网络的数据流处理模型研究

高速网络中实时大容量数据流处理的需求，显现出传统基于静态数据集的数据库管理系统的不足．本文从数据流的特性出发，分析了数据流处理的设计要求，给出数据流处理模型和方法。     

面向高速乱序流的top-k连续查询方法

提出一种面向高速乱序流的top-k连续查询方法.使用基于缓存的方法等待迟到元组,但不对缓冲区内数据进行排序,通过统计运行信息实现缓存时长自适应,然后使用改造的MinTopk算法计算当前窗口的top-k结果集.实验结果表明,该方法在高速乱序流上实现了高效的top-k查询,在保证用户允许的最小正确率的情况下计算出最小缓存时...     

基于自适应均衡技术的分布式储能聚合模型及评估方法

针对分布式储能广域分布、资源分散、无法高效聚合等问题,提出一种基于自适应均衡技术的分布式储能聚合模型及评估方法.首先,建立基于储能容量、功率、荷电状态等动态特性参数的自适应均衡函数模型.然后,在自适应均衡函数模型基础上,建立以储能功率调节度、自适应均衡度和容量贡献度3种聚合度动态参数为决策的储能聚合模型.通过算例仿真,...     

基于不确定数据的分布式Top-k查询算法

目前基于不确定数据的Top-k查询算法仅考虑了集中式的环境,为了解决分布式系统中节省系统带宽的问题,在此基础上,提出了在分布式环境中基于不确定数据的Top-k查询算法UDTopk.该算法定义了一个候选集(candidate set),仅使用候选集中的数据,而不用访问数据集中所有数据,就可以得到正确的Top-k查询答案.算法通过动态维护候选集、仅传输少量数据,达到减少网络中数据传输的目的.实验结果表明,该算法可以有效地节省网络带宽.     

分布式数据查询技术的实现与分析

分布式数据库系统的数据在逻辑上是统一的,而在物理上却是分散的.分布式查询可以访问来自多种异类数据源的数据,而这些数据可存储在相同的或不同的计算机上,与集中式数据库相比它有诸多优点,但也有很多新问题,如:数据一致性问题、数据远程传递的实现、通信开销的降低等.本文具体分析解决了远程对象的发布与获取、数据库的访问、分布式查询等方面的关键问题,对实现分布式数据查询的技术进行初步探讨和分析.     

数据流管理系统关键技术研究

传统数据库系统用于需要持久稳固的数据存储和复杂查询的应用,然而近几年许多的应用证明这种数据模式和查询范例是不适合的,如传感器数据位置跟踪、工厂装配线管理、金融证券管理、Internet流量监控、Web使用日志、电话呼叫记录、和事务日志的在线分析等,在这些应用背景中信息按照数据值序列的形式自然产生,都需要及时地处理大规模的潜在快速的异步的数据流.本文回顾近来数据流管理系统领域的相关工作和流项目的研究情况;分析了连续查询处理的新需求和挑战;重点研究包括数据模式,系统结构,连续查询语言,调度方法,相关算法和查询评价等关键技术.     

无线传感器网络中数据流聚集的预处理

提出了一种基于无线传感器网络数据流聚集的预处理算法。传感器结点将其在一段时间内采集到的信息当作一个数据流,由此组成数据流上的查询集合,为了得到对于给定查询的结果,结点采用预处理的算法在查询集合中选择出最有效的时间段信息,并把该段时间内的数据发给路由上其他结点进行进一步处理。提高了网络结点感知效率和数据精确度。     

一类数据查询结果的自动语音处理

基于电话网络的数据查询语音系统的一般实现及应用,提出了基于语音MODEM的低成本实现方案,给出了程序实现流程图,并重点解决了语音处理的连续性问题。在语音信息服务领域具有较好的应用价值。     

基于查询的改进数据仓库模型研究

提出一种改进的数据仓库体系结构,在数据仓库中添加一个辅助结构作为接收和存储更新数据的暂存库,直到数据仓库获得空闲周期,加入新的数据和更新必要的视图;通过试验模拟两种数据仓库结构,验证了新的模型在设计和性能上的优越性。     

基于代价敏感不平衡数据流分类算法

在数据流分类学习过程中,类不平衡和概念漂移是两大挑战问题.在分析传统特征选择算法和代价敏感学习方法的基础上,将代价敏感学习算法的思想引入特征选择算法中,设计并实现了一种基于代价敏感的Relief F剪枝的数据流分类算法,不仅能删除冗余的特征,而且适应动态变化的数据流环境.与经典的算法进行分析比较,结果表明所提算法可显著提升分类效果.     

面向对象的XML查询处理技术研究

随着XM L逐渐成为In ternet数据表示与数据交换的标准,存储与查询XM L数据变得日益重要;面向对象的方法具有很强的建模能力,将面向对象的特征引入到XM L中来提高XM L语言的建模能力也变得非常重要;如何快速准确的存储和查询面向对象的XM L数据成为挑战性的课题.对面向对象的XM L数据的查询处理技术进行了研究,提出变量向导和查询数据仓的方法,提高了查询处理效率.