分布式可扩展数据流连接算法

Join-Matrix是一种高性能的连接矩阵模型,方便部署于分布式环境下,支持任意连接谓词的数据流连接操作.由于采取随机分发元组作为路由策略,Join-Matrix可利用对元组内容的不敏感性来有效抵御数据倾斜.为了实现工作节点的负载均衡以及网络传输代价的最小化,基于连接矩阵模型设计一种高效的数据划分方案尤为重要.针对数据流连接处理,本文设计并实现了一种新颖的连接算子,可灵活地进行划分方案的自适应调整,以应对实时动态变化的数据分布.具体来说,我们根据数据流流量的采样信息和系统额定负载,通过一个轻量级的决策器制定出一个数据划分方案和相应的数据迁移计划,在保证输出结果完整性与正确性的情况下,实现迁移代价的最小化.本文在多种不同的数据集上进行了大量对比实验,结果证明,在资源利用率、系统吞吐率与时间延迟等方面,该连接算子较对比系统具有更高的性能体现.     

QJoin：质量驱动的乱序数据流连接处理技术

数据流乱序现象会导致数据流处理结果的丢失,给数据流的分析处理带来了巨大困难。本研究探讨了质量驱动下的乱序数据流连接处理问题,提出一种质量驱动的乱序数据流连接处理技术(QJoin)。QJoin采用缓冲存储技术和对称连接策略,实现并确保对流元组进行即时分析处理,从而降低了流元组处理的平均等待时间。同时,基于质量驱动的理念,根据临近阶段连接处理过程中收集统计的数据,自适应地调整和优化内存缓存区的大小,从而在满足用户结果质量要求的前提下,降低系统内部历史数据的内存缓存量,尽可能保证迟到元组的连接处理完整性。真实数据集上的实验结果表明,与传统的数据流乱序处理技术MP-K-slack相比,QJoin在满足用户结果质量要求的前提下,确保能够即时地分析处理数据流的流元组,显著降低系统的内存开销。     

数据流系统中的查询处理机制

近年来,一种数据密集型的应用得到了广泛的关注。在这种应用中,数据不再来自于存储在永久介质上的数据库,而是以大量的、连续的、快速的、随时间变化的、无边界的数据流的形式到达。本文论述了当前数据流的产生背景、研究现状并且针对数据流应用中的种种特征,对数据流中的查询处理机制进行了深入讨论,包括查询分类、查询的特点及数据流系统中查询的处理方法。     

基于混合处理模型的乱序数据流分布式聚合查询处理技术

为了解决现有的乱序数据流聚合查询处理技术不能在降低查询处理延迟,同时保障聚合查询结果的最终正确性的局限性问题,本研究设计了混合嵌入分布式流处理模块和分布式批处理模块的乱序数据流分布式聚合查询处理技术。该技术一方面基于用户给定的结果质量,限制自适应地优化流处理模块所用的缓冲区大小,从而尽可能降低流处理的查询处理延迟;另一方面基于备份于分布式数据存储系统的历史流数据,并以批处理的方式实现对极其晚到流元组的查询处理,从而保障聚合查询结果的最终正确性。基于真实的乱序数据流数据集对该技术进行测试分析表明:该技术在平均查询处理时延、查询结果精度和系统可扩展性方面,比目前最好的基于缓存的乱序数据流处理技术均具有显著优势。     

支持复杂语义的数据流滑动窗口连接建模和查询优化

数据流连接操作的执行方式直接影响到查询执行的效率和结果的正确性.在STREAM项目流化方法的基础上,对复杂应用下的数据流滑动窗口连接的准确语义进行了分析和建模,以时间窗口连接的增量维护为例提出了两种改进的基本维护策略,给出了针对元组窗和分组窗的维护方法,讨论了根据参数和环境的不同进行适应性的维护.实验证明了在不同的窗口、流速和选择度下,适应性地选择不同的优化算法会达到最优的处理性能.     

数据流滑动窗口连接的自适应降载策略

连接操作是一种应用广泛的查询类型,在对DSMS进行降载时,必须考虑连接查询的降载问题.针对滑动窗口连接查询,构建一种基于不同等级基本窗口的滑动窗口内部结构.采用部分连接的方式实现CPU过载情况下的降载,采用基于基本窗口重要性的语义丢弃方式实现内存不足情况下的降载.实验结果表明所采用的算法有效.     

面向高速网络的数据流处理模型研究

高速网络中实时大容量数据流处理的需求，显现出传统基于静态数据集的数据库管理系统的不足．本文从数据流的特性出发，分析了数据流处理的设计要求，给出数据流处理模型和方法。     

数据流处理技术

处理潜在无限的连续数据流的应用日益流行,传统数据库对快速变化的数据流进行在线分析的支持存在很多限制,需要对已存在的技术进行广泛的扩展研究,构建新的系统管理数据流．本文回顾近来数据流管理系统领域的相关工作和流项目的研究情况;分析了连续查询处理的新需求和挑战及数据流系统新颖之处．并提出在数据流研究方面的一些新看法。     

数据流处理系统的负载控制策略研究

在高速网络数据流查询处理系统中,数据到达可能是突发性的,对数据流的实时查询处理要能适应数据流的特性和网络的波动环境,应用闭环控制理论进行系统负载控制,充分利用系统资源,在系统过载时降低存储需求,提高适应性和精确度.     

将向量处理引入数据流计算机

数据流计算机解决了多机系统存储器延时和同步２个不易解决的基本问题，可以充分利用程序的各级并行成分．这种计算机在算术运算等方面性能优越，但在结构数据（如向量）处理方面开销大、效率低．将向量处理技术引入数据流计算机，能有效地解决这个问题．通过在类似Ｍａｎｃｈｅｓｔｅｒ的数据流计算机上增加向量处理功能，并进行了矩阵乘运算的模拟．结果表明，增加向量处理后，矩阵乘运算的效率比近几年提出的Ｍｏｎｓｏｏｎ和Ｅｐｓｉｌｏｎ等数据流计算机提高一倍，甚至２倍以上．     

共享连接结果的连续查询处理

深入研究了适合数据流连续查询处理的Shared PushDown,PullUp和Filtered PullUp三种可共享连接结果的策略.通过理论分析和实验证明,在数据流的连续查询处理中,PullUp策略性能较低,而Filtered PullUp和Shared PushDown策略各占优势.Filtered PullUp处理简单,消耗内存相对较少.而Shared PushDown增加内存使用,但在注册查询的选择因子覆盖较少时有一定优势.考虑到处理的方便,一般情况下Filtered PullUp是适合数据流连续查询处理的最佳方案.     

基于RFID数据处理的公交停车场管理

采用了基于J2EE架构的公交停车场管理信息集成技术,描述了一个Web应用系统,提供一个多层次的分布式应用模型。它可以使用户通过浏览器来管理公交停车场,该系统使用最新的JBOSS框架Seam来实现,Seam能很好地连接表现层和持久层,有利于保持公交停车场数据库管理的一致性和数据的动态更新和维护。同时采用了高效的RFID数据流清理框架,提出了一个可扩展接收器数据流的处理（GRSP）和声明式的基于查询框架,用来清理射频识别技术（RFID）传感器设备产生的数据流。实验证明,系统具有良好的性能和应用前景。     

基于分布式系统OceanBase的并行连接

随着应用数据的飞速增长以及分布式数据库系统的不断涌现,数据存储在物理独立的节点已经成为一种趋势.在这种情况下,当应用需要进行复杂join查询时,就会不可避免地产生非常多的网络传输代价.所以,如何提高分布式系统中join查询的效率成为研究热点.本文在分析分布式数据库系统OceanBase执行nested loop join、Hash join、semi-join等算法的基础上,提出了合理利用硬件资源采用多线程并行执行join操作的优化思想,并在OceanBase数据库中分别对nested loop join、Hash join、semi-join等算法进行了并行改造.实验结果表明,在一定线程数内join算法执行效率与并行度呈正相关.     

液压支架分布式计算机控制系统

煤矿综采工作面液压支架的位置和动作与采煤机、刮板输送机的位置和动作在采煤工作中存在互相约束的关系,该文设计了一套基于计算机控制的液压支架分布式控制系统,提出了主、子控机的设计方案,介绍了系统的控制原理和硬件结构。     

面向复杂产品的分布式协同设计系统

在回顾国内外并行工程和协同设计发展情况的基础上,结合多学科协同设计优化理论,明确分布式并行协同设计的概念;提出一个基于SORCER(Service oriented computing environment)的面向复杂产品的协同设计系统DCDSCP(Distributed collaborative design system for complex product)。给出DCDSCP的架构和工程软件工具封装和集成为服务的方法,描述服务被调用的临时联盟环境。在DCDSCP支持下,顺序调用Pro/E,HyperMesh,Ansys和Human Expert服务,部署面向机车转向架静态强度分析的协同设计任务,实现在动态网络环境中的可扩展性、可靠性和柔性。计算结果表明:新系统能缩短服务交换周期,支持复杂产品的异地分布式协同设计。     

支持通信数据查询分析的分布式计算系统

本文详细介绍一种基于分布式内存的通信数据管理平台,可以有效支持针对通信数据的实时处理以及在线查询分析任务.首先,通过对分布式技术、内存技术进行分析,依据通信业务的特点进行技术选型;然后,基于高性能的分布式内存计算环境,设计、实现针对通信数据的实时处理与在线查询分析平台;最后,利用内存技术对平台实现方案进行技术优化.实验结果表明,基于内存的分布式计算系统在查询响应速度、实时数据处理效率、系统资源利用率以及数据吞吐量上较基于硬盘的系统较大的性能提升.     

数据流连续查询处理技术的研究

数据流查询处理技术的研究是目前数据库研究领域的热点问题.传统的数据库技术不能处理诸如网络监测、传感器网络、股票分析等应用中所生成的新型数据,即数据流.数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝、规模宏大和不可预测的特点;其研究核心是在一个远小于数据规模的有限存储空间迅速获得近似查询结果.综述关于数据流查询处理技术的研究成果,主要介绍数据流模型、查询的特征、数据流近似查询操作算法的实现以及数据流系统中的查询处理方法.     

虚拟制造系统分布式应用研究

面对制造辅助工具异构集成 ,代码重用等问题 ,制造业进一步投资需要的是一种网络层的、可扩展的框架结构。该文分析了制造应用软件社会化开发的特点 ,提出了分布式制造应用的概念和以框架为中心的制造应用分布式开发方法。建立了虚拟制造系统分布式应用开发的层次结构。总结了制造组件的三类模型。以柔性制造单元分布式布局应用为例 ,研究了最大生成树布局算法组件的建模策略 ,开发了分布式柔性制造单元布局系统。     

分布式网络信息查询系统

介绍了“中国公众多媒体业务网”的分布式网络导航系统的设计方案。整个系统由多个相互独立又相互配合的子信息查询系统组成。方案采用分布式的结构 ,具有速度快、网络带宽利用合理、安全性高等优势。提出了数据库小型化、本地化等设计原则。介绍了整体结构和具体模块设计。在此方案中 ,利用用户反馈成功地解决了判断用户对信息的满意程度、选择搜索引擎、更新数据库等关键问题。依赖用户的反馈调整系统运行参数的做法将提高系统的服务质量