基于嵌套滑动窗口的数据流缺失数据填充算法

提出了一种基于嵌套滑动窗口的缺失数据填充算法.考虑到传感器数据流的时效特性,采用嵌套滑动窗口选取空间相关度高且距离最近的数据作为样本数据,之后分两种情况对缺失数据进行填充.算法首先通过皮尔逊相关计算对数据的空间性进行分析,应用嵌套滑动窗口对缺失数据相关的数据进行采样,得到强相关数据,之后采用MKNN算法进行精确填充.通过皮尔逊相关分析和嵌套窗口采样,极大地降低了数据样本大小,提高了缺失数据处理实时性;对于不具有强的空间相关的缺失数据,考虑到短时间内采集数据间强的时间相关性,采用线性相关法对数据进行填充,降低算法复杂度.实验表明,该算法能够实时、精确地对数据流缺失数据进行填充.     

数据质量多属性加权评价算法

考虑各属性和各质量特性在实际问题中重要性的不同,提出了一种基于加权的数据质量评价算法,突出了重要属性和质量特性对于系统整体质量的影响,可以更科学的对现有系统的数据质量进行评价。该算法在实际系统的数据质量评价中得到了应用,结果表明所提出的算法能够提高评价的准确性。     

大数据环境下的不确定数据流在线分类算法

在大数据环境下,由于隐私保护、数据丢失等原因,数据普遍存在不确定性;数据流系统中数据不断地到达系统,只扫描一遍且不能一次性全部获得;所以要构建一个增量分类模型来处理不确定数据流分类.本文基于VFDT算法提出了WBVFDTu算法,该算法在学习和分类阶段都可快速而有效地分析不确定信息.在学习期间,采用Hoeffding分解定理构造决策树模型;在分类期间,在决策树的叶子节点利用加权贝叶斯分类算法提高模型的分类准确率和算法的执行效率.最终证明该算法能够非常快速地学习不确定数据流,提高分类的准确率.     

舰船运动姿态极短期预报算法研究

舰船运动姿态数据流的极短期实时预报可以帮助决策者在决策过程中更好地分析问题、评价和制定方案,具有很好的参考价值,故着重对该部分进行研究。考虑到六自由度运动中横摇的影响,故主要针对舰船横摇运动姿态数据流序列具有混沌属性并且连续量大的特点,结合数据流挖掘理论框架,提出了一种基于小波变换的递推最小二乘(recursive least square,RLS)的Volterra核估计算法,用于对监测系统中采集到的连续的横摇运动姿态数据流进行实时预报研究。该方法首先对姿态数据流概要结构进行获取,然后利用小波阈值降噪,最后将降噪处理的数据利用RLS的Volterra核估计算法进行实时预报。通过在舰船横摇运动姿态预报的实践验证表明,该算法可很好地解决运动姿态数据流在线自适应预报问题。     

基于SNMP的校园网络监控系统的设计与实现

针对传统的网络流量检测方法的不足，设计了一种基于SNMP协议的校园网络流量监测与分析系统。该系统通过SNMP协议收集不同网络设备数据，并用这些数据掌握了一系列图表直观的体现网络设备的流量和整个网络的负载状况。     

一种基于SNMP的以太网拓扑自动发现算法

提出一种新的基于SNMP的拓扑自动发现算法，该算法能够实现以太网内部的交换机、主机互联的拓扑自动发现。从而降低基于以太网变换技术的园区网的网络管理难度。以太网是当前园区网所使用的主要网络技术，利用以太网交换机划分网段并实现网内互联。以太网通信使用交换技术，数据交换双方依据MAC地址识别。在一个以太网内，每一台交换机都存储着网络内所有活动主机的MAC地址。利用SNMP协议能够获取交换机中MAC地址表数据，利用笔者所述算法处理这些数据能够实现以太网内部交换机、主机拓扑结构的自动发现。由于SNMP和MIB被各厂商所接受，因此笔者提出的算法具有通用性。     

基于谱聚类算法的高速网络数据流快速分类方法研究

当前高速网络数据流分类处理时，忽略了冗余数据对分类结果的影响，使得分类结果 F1值较低。因此，提出了基于谱聚类算法的高速网络数据流快速分类方法。采用主成分分析法对高速网络数据流进行降维处理。对所有数据流相关性特征进行选择，去除冗余特征，保留有效的特征信息。应用支持向量机算法构建网络数据流快速分类模型，结合谱聚类算法对多数类样本进行聚类，组成新的数据集并将其输入到分类模型中得出相关的分类结果。实验结果表明，所提方法的平均F1值为0.95,F1值越大分类结果越准确，说明该方法能够满足高速网络数据流快速准确分类，具有优越的数据分类性能，应用价值更高。     

桥梁健康监测中多传感器的时空数据配准分析

 针对桥梁健康监测中多传感器数据的可信性及准确性问题,提出了一种二维数据处理模型.首先利用最小二乘法对异步测量数据进行时间配准,再通过几何坐标转换算法进行空间配准,将测量数据置于同一个时间和空间的坐标系中,使得数据具有可信性;并在时空数据配准处理后利用卡尔曼滤波的方法减小系统误差,这样数据具有了准确性.仿真结果表明:该模型有效提高了桥梁健康监测中传感器网络所采集数据的可信性与准确性.     

基于流形学习的网络数据流异常检测

将非线性流形学习应用于网络数据流的降维过程,基于局部保持投影(LPP)算法基本思想,提出基于类别信息的监督判别LPP(SDLPP)算法;与传统线性降维算法和传统流形学习算法的结果进行对比,以验证算法的准确性与稳定性;建立基于SDLPP算法的网络数据流异常检测系统实施模型。结果表明:SDLPP算法通过多目标优化,在保证局部保持投影同时实现类间距离最大与类内距离最小,在挖掘低维特征空间嵌入的同时提高了分类效果;非线性的流形学习算法能有效挖掘高维数据中的低维流形,保证了维数约减过程中的非线性结构;SDLPP算法能够生成显式投影映射,泛化性较好,时间复杂度低,更加适合网络数据流实时监测系统,并可应用于实际的网络数据流入侵检测模型。     

数据流管理系统研究现状分析

近年来,在很多应用领域中出现了一种新的数据模式,其数据不是以传统的有限数据集,而是以连续的数据流形式出现。数据流管理的理论与算法,以及系统实现和开发技术都非常重要,需要深入研究。目前,     

数据流管理与挖掘研究

20世纪末,为适应网络监控、商业交易管理和分析等应用的要求,数据流技术应运而生;该文回顾了近年来国内外在该领域的研究进展,总结了数据流的特点、模型及其算法,对数据流管理和挖掘的关键技术进行了分析,并进一步提出了数据流技术研究的方向。     

数据流挖掘技术

简要概述了数据流挖掘技术,探讨了数据流的特点.数据流的概念漂移现象,给数据流上的数据挖掘带来很大困难.由于计算机的内存有限,数据窗口技术只针对最近的数据,而最近的数据常常导致数据挖掘系统中的分类器过配,文中介绍了解决这一问题的方法,并讨论了数据流挖掘技术的应用.     

数据流连续查询处理技术的研究

数据流查询处理技术的研究是目前数据库研究领域的热点问题.传统的数据库技术不能处理诸如网络监测、传感器网络、股票分析等应用中所生成的新型数据,即数据流.数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝、规模宏大和不可预测的特点;其研究核心是在一个远小于数据规模的有限存储空间迅速获得近似查询结果.综述关于数据流查询处理技术的研究成果,主要介绍数据流模型、查询的特征、数据流近似查询操作算法的实现以及数据流系统中的查询处理方法.     

基于Web数据流挖掘的增值服务平台设计

根据web数据流的动态性、连续性和实效性的特点,分析和挖掘不同类型的数据,成立样本库,将分类后的数据用相应的流算法进行处理,构建web数据流挖掘系统,分用户、挖掘、数据三层,在挖掘层实现数据处理,然后应用到网站中,实现网站的增值服务.     

对称密码体制及其算法研究

密码算法是实现网络信息安全的基础，本文对现代密钥密码算法及体系进行了研究，介绍了对称密码体制与非对称密码体制，重点分析了对称密码体制中分组密码与序列密码算法的原理、性质，比较了分组密码与序列密码的不同应用特性。     

一种基于数据流的网络软件系统逆向工程方法

由于网络软件系统中分析数据具有快速产生的特征,网络软件系统逆向工程的最大挑战在于如何及时高效地处理这些数据,从而得到逆向工程的结果。在分析现有研究成果的基础上,对分析数据进行基于数据流的建模,从而能够快速高效地处理大中型网络软件系统中的数据,同时设计了基于优先级与数据流四元组的网络软件系统逆向工程算法,通过不同类型网站的实验,验证了算法的性能与匹配度和其他同类算法相比都有较大的提高。     

高速性能测试系统的并行流调度机制

为了解决当前已有的基于硬件的并行流调度算法无法适应高速测试系统的问题,该文首先证明了不存在一种普适的纯硬件流调度算法,并提出了一种基于软件预计算的高速网络设备测试系统的并行流调度机制,这种机制由软件计算出流序列并由硬件根据流序列进行实时流调度。在具有10G b/s接口的测试系统进行的实验结果表明该文提出的流调度机制具有较好的均匀性和公平性,并能够在满负荷的环境下工作。该调度机制与测试系统中流的数量无关,与测试系统的接口速率无关,可以适应于任何接口速率的测试系统,具有良好的可扩展性。     

基于ASWT的流数据弹性跳变检测算法

在迁移小波树的基础上提出了带放大器的迁移小波树(ASWT)结构,并基于该结构设计出了一个能够在线性时间内检测出弹性窗口中感兴趣的聚集的流数据弹性跳变检测算法.该算法不仅能够监测单调聚集(COUNT、SUM、MAX和MIN)跳变,也适应非单调聚集(AVG)跳变检测.输入数据流不受限制,可以是正数流、负数流或者正负数交错流.实验使用上海证券交易所的实时贸易数据监测交易高峰期和股票价格的涨停期,结果表明本算法是较高效的.     

面向高速网络的数据流处理模型研究

高速网络中实时大容量数据流处理的需求，显现出传统基于静态数据集的数据库管理系统的不足．本文从数据流的特性出发，分析了数据流处理的设计要求，给出数据流处理模型和方法。     

Multidimensional Data Querying on Tree-Structured Overlay

Multidimensional data query has been gaining much interest in database research communities in recent years, yet many of the existing studies focus mainly on ten tralized systems. A solution to querying in Peer-to-Peer（P2P） environment was proposed to achieve both low processing cost in terms of the number of peers accessed and search messages and balanced query loads among peers. The system is based on a balanced tree structured P2P network. By partitioning the query space intelligently, the amount of query forwarding is effectively controlled, and the number of peers involved and search messages are also limited. Dynamic load balancing can be achieved during space partitioning and query resolving. Extensive experiments confirm the effectiveness and scalability of our algorithms on P2P networks.