基于混合处理模型的乱序数据流分布式聚合查询处理技术

为了解决现有的乱序数据流聚合查询处理技术不能在降低查询处理延迟,同时保障聚合查询结果的最终正确性的局限性问题,本研究设计了混合嵌入分布式流处理模块和分布式批处理模块的乱序数据流分布式聚合查询处理技术。该技术一方面基于用户给定的结果质量,限制自适应地优化流处理模块所用的缓冲区大小,从而尽可能降低流处理的查询处理延迟;另一方面基于备份于分布式数据存储系统的历史流数据,并以批处理的方式实现对极其晚到流元组的查询处理,从而保障聚合查询结果的最终正确性。基于真实的乱序数据流数据集对该技术进行测试分析表明:该技术在平均查询处理时延、查询结果精度和系统可扩展性方面,比目前最好的基于缓存的乱序数据流处理技术均具有显著优势。     

连续查询的运算符调度方法

在连续查询的数据流应用系统中,需要处理连续的大容量数据元组,由于有限的硬件条件限制,会出现未能及时处理的元组,导致内存耗尽的问题和输出延迟等问题,通过查询计划中运算符的调度方法分析,在不同的场合中综合运用发挥不同方法的优势,可以做到降低内存需求和输出延迟.     

基于浓缩数据立方的内存实化数据立方的构建

为提高联机分析查询的速度,在浓缩数据立方的基础上,构建了元组级别的内存实化方法.以内存空间至少能容纳最细粒度数据小方为前提,在内存中构造两级Hash结构:第一级Hash结构存放最细粒度的数据小方以保证所有查询都可从内存中响应;第二级Hash结构按照聚集度高的小方元组优先、相同聚集度情况下尺寸小的小方中元组优先的选择策略,选择立方元组在内存实化.处理点查询时,首先从第二级结构中直接查找满足条件的立方元组.若对范围查询,则需从第一级结构中计算获得.由于最细粒度立方元组和其他一些粗粒度元组都在内存中,避免了费时的外存存取,数据立方更新和维护代价也得以降低.     

分布式可扩展数据流连接算法

Join-Matrix是一种高性能的连接矩阵模型,方便部署于分布式环境下,支持任意连接谓词的数据流连接操作.由于采取随机分发元组作为路由策略,Join-Matrix可利用对元组内容的不敏感性来有效抵御数据倾斜.为了实现工作节点的负载均衡以及网络传输代价的最小化,基于连接矩阵模型设计一种高效的数据划分方案尤为重要.针对数据流连接处理,本文设计并实现了一种新颖的连接算子,可灵活地进行划分方案的自适应调整,以应对实时动态变化的数据分布.具体来说,我们根据数据流流量的采样信息和系统额定负载,通过一个轻量级的决策器制定出一个数据划分方案和相应的数据迁移计划,在保证输出结果完整性与正确性的情况下,实现迁移代价的最小化.本文在多种不同的数据集上进行了大量对比实验,结果证明,在资源利用率、系统吞吐率与时间延迟等方面,该连接算子较对比系统具有更高的性能体现.     

LCDJ:面向内存集群计算的局部感知连接算法

等值连接是数据库系统中最为重要的操作之一,哈希连接在处理等值连接时,表现出较高的性能.在分布式内存数据库系统中,数据即已分布式地存储于多个节点上,哈希连接通常情况需要将参与连接的两个关系表在连接属性上按照相同的哈希函数进行数据重分区,从而保证连接属性值相同的元组被传输到同一个节点上进行本地连接操作.由于内存数据处理速率远远高于网络的数据传输速率,因此数据重分区占据了连接算法的绝大部分时间,成为分布式内存数据库系统中等值连接操作的性能瓶颈.本文提出了一种新颖的分布式内存数据库环境下的等值连接算法LCDJ(Locality Conscious Distributed Join),在充分利用高效的内存计算的同时尽量减少网络数据传输量.算法首先对每个表连接属性的数据分布进行精确的统计,并结合并行度和计算负载均衡因素,进而建立代价模型来衡量不同调度策略下的时间开销,并求出最优的调度策略.LCDJ实现于基于内存的分布式原型系统Claims中.实验结果表明,本文所提算法有效地降低了网络传输代价,大幅度减少了响应时间,比起当前流行的Hive和Shark等系统有明显的性能提升.     

数据流系统中链式调度算法的改进

在数据流处理系统中,数据到达的突发性要求调度策略具有适应性.链式调度算法在最小化内存使用量方面起到较好的作用,但使输出延迟增大,降低了数据流处理系统的吞吐量.对数据流系统中链式调度算法进行了改进,采用链式调度与先进先出调度相结合的方式,在满足降低系统存储需求的同时能保持较低的输出延迟.     

一种面向不确定数据流的聚类算法

作为大数据的重要组成,产生于传感器、移动电话设备、社交网络等的不确定流数据因其具有流速可变、规模宏大、单遍扫描及不确定性等特点,传统聚类算法不能满足用户高效实时的查询要求.首先利用MBR(minimum bounding rectangle)描述不确定元组的分布特性,并提出一种基于期望距离的不确定数据流聚类算法,计算期望距离范围的上下界剪枝距离较远的簇以减少计算量;其次针对簇内元组的分布特征提出了簇MBR的概念,提出一种基于空间位置关系的聚类算法,根据不确定元组MBR和簇MBR的空间位置关系排除距离不确定元组较远的簇,从而提高聚类算法效率;最后在合成数据集和真实数据集进行实验,结果验证了所提出算法的有效性和高效性.     

分布式流处理系统的时间感知分组算法

随着对实时数据流处理需求的增加,分布式流处理系统的发展也越来越受到关注。大量的倾斜的数据流以及复杂分布式系统的异构性对当前的分布式流处理系统的分组策略提出了挑战。目前已有的分布式流处理分组策略通常关注并行实例之间元组数量的均衡性,而忽视了系统异构性对分组策略造成的影响。该文提出了一种时间感知分组算法,通过对分布式流处理系统存在的网络异构性和处理能力异构性的分析,综合考虑流处理系统中各下游算子实例的处理时间以及上游算子与下游算子之间的通信时间,并根据键值的频率不同制定不同的路由策略,在较小的开销下使系统达到负载均衡。在Apache Flink分布式流处理系统上进行的实验结果表明:时间感知分组算法比已有的分组算法在系统吞吐量上提高了10%,在平均处理延迟上降低了33%。     

滑动窗口内动态数据流聚类算法研究

滑动窗口是数据流中一种关注近期数据的近似方法,提出一种采用滑动窗口处理数据的优化算法SWStream。在线阶段利用滑动窗口树存储概要结构,动态调整窗口大小。优化后的算法能及时淘汰过期元组,同时对新到达的元组不断进行实时处理,可以获得更准确的分析结果。而在离线阶段对上一阶段的结果进行宏聚类,得到最后的结果。与聚类算法CluStream相比,此算法处理数据的效率更高,也相对节约内存。     

支持非等值连接的分布式数据流处理系统

实时处理的分布式数据流系统在当今大数据时代扮演着越来越重要的角色.其中,连接查询是大数据分析处理中最为重要且开销较大的操作之一.然而,由于现实应用产生的数据普遍存在倾斜分布现象,加之数据流本身的无界性与不可预知性,给在分布式数据流系统上进行连接查询处理提出了严峻的挑战.目前工业界较为主流的数据流系统处理连接查询的通用性较低,没有提供专门针对连接操作的接口;学术界推出的数据流连接查询原型系统虽然提供了接口,但大多面向等值连接,或仅能支持部分theta连接,且存在资源开销大、负载均衡性能低等问题.本文对比分析三种典型数据流系统,将基于Join-Matrix的连接处理技术与Storm系统相结合,设计并实现了通用的、可支持任意连接查询的数据流处理系统.实验展示了本文设计的系统具有更加良好的吞吐量与资源优化表现.     

An Indexed Non-Equijoin Algorithm Based on Sliding Windows over Data Streams

0 IntroductionJooipner partoorcess ,sihnags ,rebceeiinvged o nreen oefw tehdei nmtoersets tex dpueen stiovein qfiuneirteymemory requirements from stream-oriented applications .Symmetric HashJoin(SHJ)[1 ,2]which was originally designedto allowa high degree of pipeliningintraditional parallel data-base systems ,is an optional approach because both ofitsinputmust be kept in bounded memory during query execution.Butit leads into thrashing on larger inputs . To rectify the situa-tion,XJoinis pro…     

复合滑动窗口连接算法

滑动窗口是对数据流进行连续查询处理、得出近似查询结果的一种常用的数据采样技术．连续查询处理的执行方式有2类：一类是立即执行方式；一类是周期执行方式、在已有的研究工作中，基于滑动窗口的连接算法都是适用于立即执行的连续查询．提出了适用于周期执行的连续查询的复合滑动窗口连接算法，即CSWSNLJ算法和CSWSNHJ算法．理论分析和试验结果表明CSWSNHJ算法具有较好的性能．     

高密度RFID事件流上的复杂事件检测

由于高密度事件流具有实时性和海量性特点,应用已有的复杂事件检测技术处理时,存在时间效率不高、占用内存空间较大等不足.针对这些问题,提出了一种基于哈希链表结构的复杂事件检测算法.该算法设计有效的哈希映射分类来保存中间结果,加快了匹配过程,同时,提出高效的更新机制及时删除内存中过期的数据.针对常见的事件流的乱序现象,对原有自动机处理机制进行了改进.实验和分析证明,复杂事件流检测方法具有理论上的可行性和操作上的高效性与正确性.     

基于路径频率树的XML流数据剪切分片技术

与传统数据库对XML数据的处理不同,对XML流数据的处理不仅受实时性的约束,还受存储空间的限制.在Hole-Filler模型的基础上,首先利用XML的查询统计信息,定义了路径频率树,提出了基于兄弟关系的XML流数据剪切分片策略及其算法.在此基础上,提出了基于父子关系的XML流数据剪切分片策略及算法.这两个基于路径频率树的剪切算法有效地提高了XML片段的利用率,增强了XML片段的内聚性.实验结果表明,基于路径频率树的XML剪切算法在剪切时间、查询时间、空间消耗等方面都表现出较好的性能.     

基于滑动窗口的动态数据流聚类算法研究

数据流聚类算法是当前数据流研究领域里的重要分支,而滑动窗口是数据流中一种关注近期数据的近似方法,提出一种采用滑动窗口处理数据的优化算法SWStream.算法采用双层架构思想,在线阶段利用滑动窗口树存储概要结构,动态调整窗口大小.而在离线阶段对上一阶段的结果进行宏聚类,得到最后的结果.实验验证本算法有更高的处理效率,也相对节约内存.     

数据流持续查询系统的窗口语义研究

在需要处理数据流的应用系统中，数据流的达是持续的、无界的，传统对静态数据库进行分块查询处理的方式已不再适应这种数据流的无穷性．本文针对数据流持续查询应用的不同场合，提出在查询中使用滑动窗口、带符号的数据流及断言窗口机制，使传统的查询处理加上这些机制后能适应数据流的查询处理，     

QPAAS：一种在线多数据流自适应分段算法

数据流分段是数据流处理技术的基本任务，然而，它在多数据流环境下并不是一个小问题。该文提出了一个高效算法（即QPAAS算法），它能实时处理多个数据流分段。该算法利用了PAA技术中的增量计算特性，能快速处理单个数据流分段。为了处理多个数据流，它索引所有数据流的当前分段到一颗B^＋树中，这样算法即可实时分段多个数据流。在真实的数据流上的多个实验表明，QPAAS算法有效而高效，仅具有线性时间和空间复杂度。而且，它比传统的PAA分段算法快几个数量级。     

面向视频处理的高效二维流存储系统

为了解决高度并行的视频处理中存储系统的瓶颈问题,设计了一种高效的基于流的二维存储系统.该系统完成了二维逻辑空间到物理上多路并行存储器模块的映射.在二维逻辑空间中的每一个数据阵列都可以根据给出的基地址、二维偏移量、长度、数据粒度来进行灵活的流访问.数据在物理存储器上进行了交织存放以支持行阵列和列阵列的同时访问.该交织算法在之前的交织算法基础上做了面向流访问的改进.实验结果表明,在实时视频处理中,所述的二维流存储系统可以减少平均约32.0%的存储器访问率,以及25.4%的实时处理所需要的时钟周期数.