数据流窗口查询语义的局限性及改进方法

在数据流处理系统普遍使用滑动窗口查询模型来解决数据流的持续查询问题.对一些特殊的查询类型,在使用滑动窗口查询时无法完全达到查询要求,通过引入条件窗口对滑动窗口模型进行更一般化的扩展和改进,可以解决滑动窗口语义在处理这一类型查询中的局限性.     

数据流持续查询系统的窗口语义研究

在需要处理数据流的应用系统中，数据流的达是持续的、无界的，传统对静态数据库进行分块查询处理的方式已不再适应这种数据流的无穷性．本文针对数据流持续查询应用的不同场合，提出在查询中使用滑动窗口、带符号的数据流及断言窗口机制，使传统的查询处理加上这些机制后能适应数据流的查询处理，     

数据流连续查询处理技术的研究

数据流查询处理技术的研究是目前数据库研究领域的热点问题.传统的数据库技术不能处理诸如网络监测、传感器网络、股票分析等应用中所生成的新型数据,即数据流.数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝、规模宏大和不可预测的特点;其研究核心是在一个远小于数据规模的有限存储空间迅速获得近似查询结果.综述关于数据流查询处理技术的研究成果,主要介绍数据流模型、查询的特征、数据流近似查询操作算法的实现以及数据流系统中的查询处理方法.     

面向社交数据流连续查询的基准评测

社交数据流上的连续查询处理具有广泛的应用,但其处理技术仍不成熟.本文对社交数据流上的连续查询问题进行建模,定义数据特征、负载类型与分布,以及性能测度.在此基础上,提出一个面向该问题的基准评测.该工作对社交数据流处理应用的系统选型、相关查询处理技术性能比较具有重要意义.     

数据流上并行查询优化技术

主要讨论了DSMS的核心技术--查询优化;并讨论在高速数据流上的查询优化技术.着重致力于在shared-noohing网络并行环境下,探讨适合流的新型查询处理技术.     

在线数据流的连续限制查询算法

提出并实现一个基于持续限制查询的在线系统,使其能在网络日志数据流中,当满足一定条件的事件时自动发出警告;而条件是根据用户需要而设定的,用来侦测可能严重破坏网站正常运作的行为.分析并评测时间索引算法、无时间索引算法、紧过期时间算法、紧过期时间无索引算法、多查询并行算法5种算法的性能,结果表明,单个查询时,无时间索引算法是最好的选择;而在多个查询时,多查询并行算法是最佳的算法.     

数据流系统中的查询处理机制

近年来,一种数据密集型的应用得到了广泛的关注。在这种应用中,数据不再来自于存储在永久介质上的数据库,而是以大量的、连续的、快速的、随时间变化的、无边界的数据流的形式到达。本文论述了当前数据流的产生背景、研究现状并且针对数据流应用中的种种特征,对数据流中的查询处理机制进行了深入讨论,包括查询分类、查询的特点及数据流系统中查询的处理方法。     

数据流上基于遗传算法的并行查询优化技术

传统数据库中存储的是相对静态的记录集,这些记录没有预先定义的时间概念,除非时间属性被显示地加上去.虽然这个模型能够较好地表示商业数据库和个人信息存储库,然而它对快速变化的数据流进行在线分析的支持存在很多限制.因此,需要对已有技术进行扩展研究,构建出新的管理系统来管理数据流.数据流的高速性和无限性以及计算机资源的有限性使得提高数据处理速度成为数据流管理系统(DSMS)的关键;本文主要讨论了DSMS的核心技术———查询优化;着重研究了在shared-nothing机群并行系统中,通过并行查询处理技术来提高数据流处理速度的新方法.     

巨量数据流实时处理的新方法

在处理资源有限的情况下,传统的DBMS系统不能实时有效地处理和查询连续的和数量巨大的数据流,而DSMS作为解决此类问题的新方法得到广泛的研究。DBMS通过引入新算子和新的查询模型,提高了数据处理和查询的效率。首先介绍了DSMS的概念,分析了DSMS系统的原理与结构,然后对具有代表性的DSMS实例进行了介绍和比较。     

一种基于变窗口的数据流连续查询方法

目前对数据流连续查询的研究工作大部分基于滑动窗口,窗口大小固定不变.本文从内存资源有限性与查询结果精确性角度出发,采用可变窗口技术,在缓存中加入窗口控制器,当数据到达缓存时,根据用户提出查询具体问题和数据流速情况,窗口分配算子对其进行窗口大小的划分.使得在内存资源有限的情况下,通过动态改变滑动窗口大小,充分利用系统资源,降低内存使用率的同时,使连续查询的查询结果都在允许的误差范围内,此方法经过验证是可行的.     

面向高速网络的数据流处理模型研究

高速网络中实时大容量数据流处理的需求，显现出传统基于静态数据集的数据库管理系统的不足．本文从数据流的特性出发，分析了数据流处理的设计要求，给出数据流处理模型和方法。     

数据流挖掘技术

简要概述了数据流挖掘技术，探讨了数据流的特点．数据流的概念漂移现象，给数据流上的数据挖掘带来很大困难．由于计算机的内存有限，数据窗口技术只针对最近的数据，而最近的数据常常导致数据挖掘系统中的分类器过配，文中介绍了解决这一问题的方法，并讨论了数据流挖掘技术的应用．     

数据流挖掘技术

简要概述了数据流挖掘技术,探讨了数据流的特点.数据流的概念漂移现象,给数据流上的数据挖掘带来很大困难.由于计算机的内存有限,数据窗口技术只针对最近的数据,而最近的数据常常导致数据挖掘系统中的分类器过配,文中介绍了解决这一问题的方法,并讨论了数据流挖掘技术的应用.     

连铸钢流保护浇注的研究

通过连铸水口接缝吸气原理的分析，建立了水口接缝吸气方程，且用该方程计算的吸气量与实验分析进行了对比。为了避免水口接缝吸入空气和简化保护浇注现场操作，提出了利用密封料密封水口接缝的保护方法。     

连续查询的运算符调度方法

在连续查询的数据流应用系统中,需要处理连续的大容量数据元组,由于有限的硬件条件限制,会出现未能及时处理的元组,导致内存耗尽的问题和输出延迟等问题,通过查询计划中运算符的调度方法分析,在不同的场合中综合运用发挥不同方法的优势,可以做到降低内存需求和输出延迟.     

基于ETL的数据仓库ODS数据查询

ETL是构建数据仓库的一个非常重要的环节,是整个数据仓库系统乃至整个决策支持系统的基石。如何设计高效的ETL过程成为众多计划或正在实施数据仓库项目的单位考虑的重要问题。针对数据来源一是Oracle数据库,二是Excel格式的经济普查电子年鉴系统的异构性,提出了一种并行数据抽取接口设计方案,解决了异构数据源的模式匹配问题,对数据进行清理、集成和变换后,整合两种异构数据源为统一的Oracle数据存储模式,消除了异构数据源之间的隔离,保证了对数据资源的有效集成。提出在数据源和数据仓库之间增加一个中间层ODS(操作型数据存储),通过在ODS中的转换策略研究,论述了如何实现个性化的数据转换,将信息仓库中的数据以多维的形式表示,满足各种方式的个性化查询。