基于混合处理模型的乱序数据流分布式聚合查询处理技术

为了解决现有的乱序数据流聚合查询处理技术不能在降低查询处理延迟,同时保障聚合查询结果的最终正确性的局限性问题,本研究设计了混合嵌入分布式流处理模块和分布式批处理模块的乱序数据流分布式聚合查询处理技术。该技术一方面基于用户给定的结果质量,限制自适应地优化流处理模块所用的缓冲区大小,从而尽可能降低流处理的查询处理延迟;另一方面基于备份于分布式数据存储系统的历史流数据,并以批处理的方式实现对极其晚到流元组的查询处理,从而保障聚合查询结果的最终正确性。基于真实的乱序数据流数据集对该技术进行测试分析表明:该技术在平均查询处理时延、查询结果精度和系统可扩展性方面,比目前最好的基于缓存的乱序数据流处理技术均具有显著优势。     

数据流连续查询处理技术的研究

数据流查询处理技术的研究是目前数据库研究领域的热点问题.传统的数据库技术不能处理诸如网络监测、传感器网络、股票分析等应用中所生成的新型数据,即数据流.数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝、规模宏大和不可预测的特点;其研究核心是在一个远小于数据规模的有限存储空间迅速获得近似查询结果.综述关于数据流查询处理技术的研究成果,主要介绍数据流模型、查询的特征、数据流近似查询操作算法的实现以及数据流系统中的查询处理方法.     

分布式流处理系统的时间感知分组算法

随着对实时数据流处理需求的增加,分布式流处理系统的发展也越来越受到关注。大量的倾斜的数据流以及复杂分布式系统的异构性对当前的分布式流处理系统的分组策略提出了挑战。目前已有的分布式流处理分组策略通常关注并行实例之间元组数量的均衡性,而忽视了系统异构性对分组策略造成的影响。该文提出了一种时间感知分组算法,通过对分布式流处理系统存在的网络异构性和处理能力异构性的分析,综合考虑流处理系统中各下游算子实例的处理时间以及上游算子与下游算子之间的通信时间,并根据键值的频率不同制定不同的路由策略,在较小的开销下使系统达到负载均衡。在Apache Flink分布式流处理系统上进行的实验结果表明:时间感知分组算法比已有的分组算法在系统吞吐量上提高了10%,在平均处理延迟上降低了33%。     

一种面向互联网应用的多路实时流媒体同步合成方案

针对互联网流视频协作直播应用,以多路实时流媒体应用系统为背景,提出了一种基于RTMP(real-time messaging protocol)协议的多路音视频实时同步合成方案。首先,在采集端以同一基准为多个数据流添加自定义的时间戳;其次,基于阈值同步多路数据流,并实现基于时域的自适应加权平均多路音频混合和基于像素域的多画面合成,生成一路音频流和视频流;最后,将生成的音频流和视频流同步复用,推流直播。该方案无需全网同步时钟与反馈机制,算法复杂度低,并有效解决了直播中网络延迟、抖动、时钟偏移、数据丢失等问题。试验表明,其可满足多路实时流媒体网络直播中的同步、合成及实时性需求。     

基于立体重叠网络的网管模型

针对分布式环境,现有网络管理模型在复杂数据的实时处理及合作伙伴管理中的困难。利用数据流处理技术和重叠网络技术,提出了一种分布式环境下的网络管理模型。在此模型中,研究了网络管理策略,并给出了应用立体重叠网络建立合作联盟的有效算法,最后通过应用证明了该模型的有效性。     

动态数据流集成分类算法综述

数据流分为静态数据流和动态数据流,但因数据的情况越来越复杂,动态数据流已经遍布我们的生活.针对动态数据流中的不平衡数据流、概念漂移数据流及噪声数据流的基本概念、算法特点、相关工作及优缺点等方面进行了分析和阐述,同时对三类动态数据流的传输特点、适用方法及集成分类算法展开了介绍与对比,并对突变、增量、重复及渐变的概念漂移类型展开了研究,以及集成分类中常用的Boosting和Bagging方法进行了深度研究,指出了现阶段动态数据流集成分类算法所需要解决的主要问题,此外,针对多种类概念漂移、复合动态数据流及集成基分类器的动态加权等提供了多个可扩展性研究方向,并进行了分析和展望.     

基于J2EE的10 MW高温气冷实验堆管理信息系统

为实现10MW高温气冷实验堆(10MW high temperature gas-cooled reactor,HTR-10)的信息化管理,开发出HTR-10管理信息系统。通过HTR-10管理数据流的分析,应用Java2平台(J2EE)的多层分布式,建立以Web层为中心的网络架构,使用组件技术搭建二次开发平台。通过分析操作卡与运行规程的关联,建立数学模型,设计出操作卡自动生成逻辑。结果表明,该系统比基于传统客户机/服务器两层架构的管理信息系统更适合HTR-10,具有良好的伸缩性和扩展性,能够提高管理效率。     

基于J2EE的10MW高温气冷实验堆管理信息系统

为实现10MW高温气冷实验堆(10MW high temperature gas-cooled reactor,HTR-10)的信息化管理,开发出HTR-10管理信息系统。通过HTR-10管理数据流的分析,应用Java2平台(J2EE)的多层分布式,建立以Web层为中心的网络架构,使用组件技术为二次开发,搭建平台。通过分析操作卡与运行规程的关联,建立数学模型,设计出操作卡自动生成逻辑。结果表明,该系统比基于传统客户机/服务器两层架构的管理信息系统更适合HTR-10,具有良好的伸缩性和扩展性,能够提高管理效率。     

校园网络异常行为检测技术研究与应用——基于数据流的网络数据采集技术

针对校园网络异常用户行为,研究了基于数据流的网络数据采集以及预处理技术,采用一种随机可变时长的数据采集策略采集数据网络,利用K-means聚类算法处理数据缺失值,混合直方图生成概要数据结构,提高了网络数据的聚类质量。     

支持非等值连接的分布式数据流处理系统

实时处理的分布式数据流系统在当今大数据时代扮演着越来越重要的角色.其中,连接查询是大数据分析处理中最为重要且开销较大的操作之一.然而,由于现实应用产生的数据普遍存在倾斜分布现象,加之数据流本身的无界性与不可预知性,给在分布式数据流系统上进行连接查询处理提出了严峻的挑战.目前工业界较为主流的数据流系统处理连接查询的通用性较低,没有提供专门针对连接操作的接口;学术界推出的数据流连接查询原型系统虽然提供了接口,但大多面向等值连接,或仅能支持部分theta连接,且存在资源开销大、负载均衡性能低等问题.本文对比分析三种典型数据流系统,将基于Join-Matrix的连接处理技术与Storm系统相结合,设计并实现了通用的、可支持任意连接查询的数据流处理系统.实验展示了本文设计的系统具有更加良好的吞吐量与资源优化表现.