数据流连续查询处理技术的研究

数据流查询处理技术的研究是目前数据库研究领域的热点问题.传统的数据库技术不能处理诸如网络监测、传感器网络、股票分析等应用中所生成的新型数据,即数据流.数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝、规模宏大和不可预测的特点;其研究核心是在一个远小于数据规模的有限存储空间迅速获得近似查询结果.综述关于数据流查询处理技术的研究成果,主要介绍数据流模型、查询的特征、数据流近似查询操作算法的实现以及数据流系统中的查询处理方法.     

数据流管理系统关键技术研究

传统数据库系统用于需要持久稳固的数据存储和复杂查询的应用,然而近几年许多的应用证明这种数据模式和查询范例是不适合的,如传感器数据位置跟踪、工厂装配线管理、金融证券管理、Internet流量监控、Web使用日志、电话呼叫记录、和事务日志的在线分析等,在这些应用背景中信息按照数据值序列的形式自然产生,都需要及时地处理大规模的潜在快速的异步的数据流.本文回顾近来数据流管理系统领域的相关工作和流项目的研究情况;分析了连续查询处理的新需求和挑战;重点研究包括数据模式,系统结构,连续查询语言,调度方法,相关算法和查询评价等关键技术.     

巨量数据流实时处理的新方法

在处理资源有限的情况下,传统的DBMS系统不能实时有效地处理和查询连续的和数量巨大的数据流,而DSMS作为解决此类问题的新方法得到广泛的研究。DBMS通过引入新算子和新的查询模型,提高了数据处理和查询的效率。首先介绍了DSMS的概念,分析了DSMS系统的原理与结构,然后对具有代表性的DSMS实例进行了介绍和比较。     

数据流上并行查询优化技术

主要讨论了DSMS的核心技术--查询优化;并讨论在高速数据流上的查询优化技术.着重致力于在shared-noohing网络并行环境下,探讨适合流的新型查询处理技术.     

数据流系统中的查询处理机制

近年来,一种数据密集型的应用得到了广泛的关注。在这种应用中,数据不再来自于存储在永久介质上的数据库,而是以大量的、连续的、快速的、随时间变化的、无边界的数据流的形式到达。本文论述了当前数据流的产生背景、研究现状并且针对数据流应用中的种种特征,对数据流中的查询处理机制进行了深入讨论,包括查询分类、查询的特点及数据流系统中查询的处理方法。     

基于混合处理模型的乱序数据流分布式聚合查询处理技术

为了解决现有的乱序数据流聚合查询处理技术不能在降低查询处理延迟,同时保障聚合查询结果的最终正确性的局限性问题,本研究设计了混合嵌入分布式流处理模块和分布式批处理模块的乱序数据流分布式聚合查询处理技术。该技术一方面基于用户给定的结果质量,限制自适应地优化流处理模块所用的缓冲区大小,从而尽可能降低流处理的查询处理延迟;另一方面基于备份于分布式数据存储系统的历史流数据,并以批处理的方式实现对极其晚到流元组的查询处理,从而保障聚合查询结果的最终正确性。基于真实的乱序数据流数据集对该技术进行测试分析表明:该技术在平均查询处理时延、查询结果精度和系统可扩展性方面,比目前最好的基于缓存的乱序数据流处理技术均具有显著优势。     

面向社交数据流连续查询的基准评测

社交数据流上的连续查询处理具有广泛的应用,但其处理技术仍不成熟.本文对社交数据流上的连续查询问题进行建模,定义数据特征、负载类型与分布,以及性能测度.在此基础上,提出一个面向该问题的基准评测.该工作对社交数据流处理应用的系统选型、相关查询处理技术性能比较具有重要意义.     

数据流上基于遗传算法的并行查询优化技术

传统数据库中存储的是相对静态的记录集,这些记录没有预先定义的时间概念,除非时间属性被显示地加上去.虽然这个模型能够较好地表示商业数据库和个人信息存储库,然而它对快速变化的数据流进行在线分析的支持存在很多限制.因此,需要对已有技术进行扩展研究,构建出新的管理系统来管理数据流.数据流的高速性和无限性以及计算机资源的有限性使得提高数据处理速度成为数据流管理系统(DSMS)的关键;本文主要讨论了DSMS的核心技术———查询优化;着重研究了在shared-nothing机群并行系统中,通过并行查询处理技术来提高数据流处理速度的新方法.     

一种基于变窗口的数据流连续查询方法

目前对数据流连续查询的研究工作大部分基于滑动窗口,窗口大小固定不变.本文从内存资源有限性与查询结果精确性角度出发,采用可变窗口技术,在缓存中加入窗口控制器,当数据到达缓存时,根据用户提出查询具体问题和数据流速情况,窗口分配算子对其进行窗口大小的划分.使得在内存资源有限的情况下,通过动态改变滑动窗口大小,充分利用系统资源,降低内存使用率的同时,使连续查询的查询结果都在允许的误差范围内,此方法经过验证是可行的.     

数据挖掘中衍生过程的研究

在对基于统计数据仓库的海量历史数据进行数据挖掘和知识发现过程中,产生出一大类带有时态特征的衍生信息,可以归结定义为衍生过程.本文介绍了在万峰统计数据仓库中进行数据挖掘和知识发现过程中的衍生现象,定义了衍生过程的数学模型,并对统计数据挖掘中衍生过程模型的建立提出了相关规则.     

电子商务中的数据加密技术赵乃真

随着基于因特网的电子商务的蓬勃发展,电子商务的安全问题日益重要。本文从数据加密算法、数字摘要、数字签名、数字时间戳及数字证书等几方面简要介绍了被称为电子商务安全技术灵魂的数据电子加密技术。     

GIS数据共享机制研究

实现GIS数据共享已成为GIS发展的迫切需要.分析了需要数据共享的原因,评述了当前处理数据共享的几个途径.认为实现GIS数据共享的根本途径是制定全球统一的数据格式,辅之以政府的宏观调控和引导.     

基于密度的数据流聚类算法

为了提高数据流的聚类质量与效率,提出了一种基于密度的数据流聚类算法,该算法采用双层聚类框架,对于历史数据的遗忘问题采用了消逝策略和粒度调整策略,消逝策略能够处理噪声,节约内存;粒度调整策略检测当前的内存消耗,提高了聚类质量。基于标准数据集和仿真数据集的实验表明,此算法是可行有效的,适合处理和分析大规模的快速数据流。     

关于我国地学数据整合与集成问题的思考

基于对我国地学数据现状的分析，阐述了地学数据整合与集成应借鉴的原则和地学数据率的建库内容，对我国地学数据建立与功能提升提出了建议。     

复阻抗谱数据处理研究

本文在总结前人对复阻抗谱处理研究的基础上,用系统方法导出了组合柯尔-柯尔模型的乘积形式,进而提出了用对数形式的柯尔-柯尔模型对复阻抗谱进行分段拟合的方法.拟合反演的初参由计算机自动选择.     

液晶显示控制器ASIC设计关键技术研究与分析

液晶显示控制器设计中首要解决的问题就是一些视频信号的数据处理算法.本文讨论上述问题中几个关键数据处理算法,包括运动图像无级缩放,逐行扫描处理,信号源自动辨别等.     

数据库图像字段数据存储与读取技术应用研究

针对开发Web应用程序时所遇到的图像文件存取问题,详细研究了数据库图像字段数据存储技术,给出一种在Web环境下把图像存入数据库中的方法。并用ASP技术实现了图像的读取和在网页中定位显示,最后将研究结果应用到一个大学生社团会员资料管理系统中。     

文物数字化的关键技术

以文物三维网格模型的获取、三维纹理映射为重点,对文物保护方面相关的若干工作进行了探讨.利用三维激光扫描仪InSpeck 3D-DF采集文物几何数据,然后使用三维建模工具对文物几何数据进行后续处理,来建构特定文物的网格模型.在此基础上,给出了以建构好的网格模型与彩色图像之间的纹理映射关系,基本方法是根据一个透视投影模型,利用文物网格模型和各幅图像之间手工标记的特征对应来求解图像与模型间的纹理映射,并最终把各个模型点实际对应的多个纹理值进行合成,得到较好的纹理映射效果.