基于嵌套滑动窗口的数据流缺失数据填充算法

提出了一种基于嵌套滑动窗口的缺失数据填充算法.考虑到传感器数据流的时效特性,采用嵌套滑动窗口选取空间相关度高且距离最近的数据作为样本数据,之后分两种情况对缺失数据进行填充.算法首先通过皮尔逊相关计算对数据的空间性进行分析,应用嵌套滑动窗口对缺失数据相关的数据进行采样,得到强相关数据,之后采用MKNN算法进行精确填充.通过皮尔逊相关分析和嵌套窗口采样,极大地降低了数据样本大小,提高了缺失数据处理实时性;对于不具有强的空间相关的缺失数据,考虑到短时间内采集数据间强的时间相关性,采用线性相关法对数据进行填充,降低算法复杂度.实验表明,该算法能够实时、精确地对数据流缺失数据进行填充.     

一种基于动态填充的不完备数据聚类算法

不完备数据聚类是聚类分析中的一个重要问题.现有的不完备数据聚类算法对缺失值仅填充一次进行聚类,没有充分利用数据的已知信息,致使填充效果不佳,影响了聚类的有效性.文章提出了一种基于动态填充的不完备数据聚类算法.首先利用均值填充法对缺失数据进行初始完备化,然后利用K-means算法对填充后的数据集进行聚类,同时用含缺失值对象所在类的类中心的相应属性值对其再次填充,直到聚类结果不再变化时停止.该算法在多个UCI数据集上进行了实验验证,结果表明算法是有效的.     

适用于海量数据应用的多维Hash表结构

传统的Hash表通过对目标数据进行Hash计算,可以实现数据的快速存取与检索。为了保持较好的存储性能,需要使整个Hash表保持疏松的状态,从而牺牲掉10%~25%的空间。这对于海量数据存储而言,是一种巨大的空间浪费。该文提出一种多维Hash表结构,通过增加Hash表在逻辑上的维度,大大降低了Hash表的冲突率,实现了在较高的填充率下获得较满意的性能。实验结果表明:在千万的数据量级上,二维Hash表的冲突率比传统Hash表的减小2~4个数量级,总体性能则提升了1个数量级。该文还在原有填充率的基础上,提出失效率的概念,进一步完善和统一了Hash表性能评价指标。     

基于链路带宽的分布式存储系统框架及动态负载均衡技术

针对在节点间进行数据传输、备份等操作时,不同节点间链路带宽将限制分布式存储系统的性能的问题,借鉴软件定义网络及云存储技术的基本思想,通过对控制流与数据流的分离,提出了一种基于链路带宽的分布式存储系统框架及动态负载均衡技术.所提出框架中,在分布式数据节点之外引入一个中心控制节点,该节点掌握全局网络视图,全局网络视图中既包括数据存储表记录存储数据的分布,又包括当前链路带宽情况.在用户读取数据时,根据数据存储表确定需要的数据存放于哪些数据存储节点,指派相应的数据存储节点根据路由表发送数据包,并实时监测网络中的链路带宽负载情况,及时调整数据的传输路径.仿真验证所提架构和算法可以有效解决海量数据在不同位置的分配调度,以及缩短用户对大量数据提取的响应时间及提升存储速率等问题.      

负载自适应的数据流流量测量算法

针对现有的数据流流量测量算法负载适应性不佳的问题,基于计数型布鲁姆过滤器,提出了一种负载自适应的数据流流量测量算法LACBF(load-adaptive counting bloom filter)。采用真实的网络流量数据,对LACBF算法的性能进行了仿真验证,结果表明,LACBF算法能够在网络流量动态变化的情况下获得比现有算法更小的测量误差。     

一种IP可追踪性的网络流量异常检测方法

提出了一种支持IP可追踪性的网络流量异常检测方法.该方法实时记录网络数据流信息到概要数据结构,然后每隔一定周期进行异常检测.采用EWMA预测模型预测每一周期的预测值,计算观测值与预测值之间的差异sketch,然后基于差异sketch采用均值均方差建立网络流量变化参考模型.该方法能够检测DDoS、扫描等攻击行为,并能追踪发生异常的流中的IP地址.通过模拟试验验证,该方法占用很少的计算和存储资源,能检测骨干网络流量中的异常IP地址.     

数据流处理系统的负载控制策略研究

在高速网络数据流查询处理系统中,数据到达可能是突发性的,对数据流的实时查询处理要能适应数据流的特性和网络的波动环境,应用闭环控制理论进行系统负载控制,充分利用系统资源,在系统过载时降低存储需求,提高适应性和精确度.     

用于频率域航空电磁数据的二维自动调平

研究了频率域航空电磁数据的自动调平问题.提出了一种基于一维、二维滤波处理的二维自动调平算法.零漂具有随机性且一般变化缓慢,二维滤波处理可从航电数据中求出包含局部异常和零漂的中间结果,一维滤波处理能从中间结果中求出零漂主要成分,二者结合就能从航电数据中除去大部分零漂误差.该算法只需输入简单的处理参数,实际数据处理结果表明它比以往的调平方法计算速度快、调平效果好、人为因素对结果的影响小,可有效除去零漂造成的"窗帘效应",提高视电阻率和平面剖面图质量.二维自动调平算法为频率域航空电磁数据的零漂调平提供了新的处理手段.     

数据流系统中的查询处理机制

近年来,一种数据密集型的应用得到了广泛的关注。在这种应用中,数据不再来自于存储在永久介质上的数据库,而是以大量的、连续的、快速的、随时间变化的、无边界的数据流的形式到达。本文论述了当前数据流的产生背景、研究现状并且针对数据流应用中的种种特征,对数据流中的查询处理机制进行了深入讨论,包括查询分类、查询的特点及数据流系统中查询的处理方法。     

SMART: 基于数据流技术的电信网络流量监控系统

大多数国内电信运营商现有的网络流量监控系统的分析都是基于数据文件的操作模式,处理速度远跟不上大量数据到达的速度。基于这种情况,提出了基于数据流技术来实现在线网络流量监控系统SMART。SMART收集多个路由器发送的Netflow V5或者V9格式的数据,并将其转换成用户定义的监控流;以滑动窗口的方式查询输出流量构成中Top-k频繁数据信息;监测网络流量突变;以可视化的图形和报表形式显示结果。SMART先进的数据流算法技术基础和完整的系统框架设计使得它在上海电信高效稳定的7*24h运行。     

一种基于可变滑动窗口的数据流分段聚类算法

数据流的应用越来越广泛,数据流挖掘成为数据挖掘的重点研究方向之一。在分析各种数据流聚类算法的基础上,提出了一种基于可变滑动窗口的数据流分段聚类算法。算法以时间序列数据流模式表示技术为参考,以去除噪音和压缩数据为目的,实现了数据流的特征提取和概要存储。实验表明,算法具有低时空复杂度、自适应等特点。     

数据流连续查询处理技术的研究

数据流查询处理技术的研究是目前数据库研究领域的热点问题.传统的数据库技术不能处理诸如网络监测、传感器网络、股票分析等应用中所生成的新型数据,即数据流.数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝、规模宏大和不可预测的特点;其研究核心是在一个远小于数据规模的有限存储空间迅速获得近似查询结果.综述关于数据流查询处理技术的研究成果,主要介绍数据流模型、查询的特征、数据流近似查询操作算法的实现以及数据流系统中的查询处理方法.     

视频压缩数据流实时分割的软件实现

针对当前监控系统数据存储的问题，提出了视频压缩数据流的分割保存方法。具体采用软件编程，寻找数据流的序列头，将它作为新文件的开始，生成时间长度固定的文件。这种分段存储方法不但方便了用户对文件的查找和删除，而又提高了硬盘空间的利用率。     

面向android手机平台的网络恶意数据流挖掘研究

由于android手机平台网络中数据流众多,以往研究出的面向android手机平台网络恶意数据流挖掘方法,均无法对网络恶意数据流进行高效、准确挖掘。故提出一种挖掘效率和挖掘准确性均较高的android手机平台网络恶意数据流挖掘方法。网络恶意数据流通常均有自动收发行为,所提方法利用概率分类法和邻近值法对android手机平台网络数据流进行预分类,使具有自动收发行为的网络数据流优先进行网络恶意数据流挖掘,提高挖掘效率和挖掘准确性。该挖掘方法将网络数据流划分成多段行为向量,对具有自动收发行为的网络数据流和不具有自动收发行为的网络数据流采取不同精度的挖掘操作,输出网络恶意数据流,存储网络非恶意数据流,供下次挖掘使用。经实验验证可知,所研究的方法挖掘效率高、挖掘准确性高。     

基于流预测的无线传感器网络动态功率管理

为了最大限度地节约能量的使用,延长无线传感器网络使用寿命,提出了一种利用小波和自回归的动态功率管理(DPM)方法.该方法利用收发器(sink)节点上的历史数据流预测未来值,在后续周期内,若传感器节点的观测值不超过给定阈值则不向sink节点发送数据,sink节点将预测值作为观测结果,通过减少传感器节点工作时间,降低网络数据传输量来减少传感器网络的总体能量消耗.理论分析和试验结果表明,该方法是有效的.     

一种基于混沌理论的数据流连续聚集查询预测算法

为了有效地预测聚集查询的未来聚集值,提出了一种基于混沌理论的数据流连续聚集查询预测未来聚集值算法——CSPA算法.数据流看作是以数据到达时间为序的一个时间序列,借鉴传统时间序列分析技术探讨了连续聚集查询的未来聚集值预测问题,但由于数据流序列与传统时间序列在时间间隔和数据集的处理上存在很大差别,于是采用流滑动窗口技术加以处理.其次,针对目前数据流聚集查询预测领域已有的一些研究结果都未考虑流数据内在的复杂非线性动力学特征对预测的影响问题,该算法又利用了混沌理论中的局域预测思想解决了这一不足.实验结果表明,利用该算法进行预测具有很好的准确性.     

操作条件对分子蒸馏纯化不饱和单甘酯的影响

通过单因素试验和正交试验研究了蒸发温度、进料流速、进料温度和冷凝温度对分子蒸馏纯化不饱和单甘酯时轻相/进料质量比D/F的影响,试验结果表明:影响D/F值的因素从大到小为:蒸发温度进料流速进料温度冷凝温度.建立了轻相中单甘酯和甘二酯的含量对不同蒸发温度的二次回归方程,为验证方程的可靠性,分别在进料流速为0.71、1.06、1.42mL/min,蒸发温度为150～200℃的条件下进行试验,将模型值同实验值进行比较,发现数学模型值和实验值很吻合.文中还考察了不同操作条件下不饱和单甘酯的回收率,当蒸发温度在170～190℃之间、进料流速为0.71mL/min、进料温度为70℃、冷凝温度为60℃时,只通过一步分子蒸馏,轻相中单甘酯的纯度便可提高到80%以上,回收率在60%～80%.     

基于混合处理模型的乱序数据流分布式聚合查询处理技术

为了解决现有的乱序数据流聚合查询处理技术不能在降低查询处理延迟,同时保障聚合查询结果的最终正确性的局限性问题,本研究设计了混合嵌入分布式流处理模块和分布式批处理模块的乱序数据流分布式聚合查询处理技术。该技术一方面基于用户给定的结果质量,限制自适应地优化流处理模块所用的缓冲区大小,从而尽可能降低流处理的查询处理延迟;另一方面基于备份于分布式数据存储系统的历史流数据,并以批处理的方式实现对极其晚到流元组的查询处理,从而保障聚合查询结果的最终正确性。基于真实的乱序数据流数据集对该技术进行测试分析表明:该技术在平均查询处理时延、查询结果精度和系统可扩展性方面,比目前最好的基于缓存的乱序数据流处理技术均具有显著优势。     

QJoin：质量驱动的乱序数据流连接处理技术

数据流乱序现象会导致数据流处理结果的丢失,给数据流的分析处理带来了巨大困难。本研究探讨了质量驱动下的乱序数据流连接处理问题,提出一种质量驱动的乱序数据流连接处理技术(QJoin)。QJoin采用缓冲存储技术和对称连接策略,实现并确保对流元组进行即时分析处理,从而降低了流元组处理的平均等待时间。同时,基于质量驱动的理念,根据临近阶段连接处理过程中收集统计的数据,自适应地调整和优化内存缓存区的大小,从而在满足用户结果质量要求的前提下,降低系统内部历史数据的内存缓存量,尽可能保证迟到元组的连接处理完整性。真实数据集上的实验结果表明,与传统的数据流乱序处理技术MP-K-slack相比,QJoin在满足用户结果质量要求的前提下,确保能够即时地分析处理数据流的流元组,显著降低系统的内存开销。     

Delphi应用ADO技术解析

简述了ADO的发展历程,指出ADO技术作为当前数据存取引擎的必然性。介绍了ADO的数据存取架构。在此基础上详细地论述了影响ADO效率的因素及其相应措施。最后阐述了使用ADO的一般规则。