RealMon: 处理低质量SNMP数据流的实时监测系统

提出了一个新颖的数据流监测系统RealMon的设计和实现。该系统能够在大量的网络流量数据中通过分析不同数据流之间的关联关系及时地检测出数据异常。通过应用数据流挖掘算法，该系统能够对电信骨干网络的SNMP流量数据进行监测。同时为了解决所采集SNMP数据中存在着的大量数据质量问题，该系统集成了数据流清洗算法，该算法能够实时处理SNMP数据来提高所采集数据的质量。在模拟环境中的测试表明，该系统能够在SNMP数据流上同时对数千条链路进行有效监测。     

基于随机平衡采样的不平衡数据流分类研究

数据流广泛应用于现实世界的多个领域,但是不平衡数据流的存在严重影响了传统数据流分类器的性能.针对不平衡数据流问题,提出了随机平衡采样算法(RBS)处理数据流的不平衡问题,并以RBS算法为基础提出了随机平衡采样数据流集成算法(RBSSEA)旨在解决不平衡数据流的分类问题.最后,分别采用合成和真实数据集对RBSSEA算法进行验证,实验结果证明RBSSEA算法在解决不平衡数据流分类问题具有一定的优势.     

存储特定流数据的通用框架

通过仔细研究存储流数据的各种应用的共同特征,提出了一种数据流存储模型.在数据流存储模型基础上,采用先进的基于组件的开发方法,实现了一个存储流数据的通用框架,通用框架采用本体技术来解决语义互操作性.测试结果表明,通用框架可以调用一组用户提供的过滤算法,筛选出指定数据流中符合条件的信息,将它们成批存储到数据库中.用户可以通过定制和配置参数的方法,在各种不同的应用环境中重用该通用框架.     

数据实时转化技术在智能限高监控平台中的应用研究

数据实时转化方法是实时转化成一定规则的数据并存放在数据库中供给服务端的使用。在智能交通监控平台中,实时监控超高车辆行驶信息和实时转化抓拍的超高车辆图像信息数据需要实时转化,以数据视图、折线视图、图像等方式实时呈现在平台中,供管理人员决策。因此,本文研究了一种数据实时转化技术,通过通信和编码技术把设备中多种类16进制数据流实时映射到服务缓存中,实现数据流实时、安全、准确转化和表达。     

RFID系统与传统图书管理系统的数据关联分析

根据图书馆各部门职责分工的不同,分析了传统图书管理系统和使用RFID系统后图书馆业务的数据流关系, 详尽介绍了图书管理系统与RFID系统之间的数据和组织关系衔接,为图书馆引进RFID后可能出现的问题提供了解决依据.     

动态环境下基于微粒群优化算法的数据分类方法研究

动态环境下数据流容易出现概念漂移现象。随着数据的逐渐到达,隐含在数据中的知识在一定程度上会出现改变,当前数据分类方法无法进行动态更新,不适于动态环境下数据的分类。为此,提出一种新的基于微粒群优化算法的数据分类方法,通过K-means方法对动态环境下的数据进行分类。介绍了微粒群优化算法,将所有个体看作d维搜索空间中没有体积的微粒,在搜索空间中以某一速度飞行,该速度可通过其自身及相邻微粒的飞行经验进行动态调整。通过某种规则对新微粒的局部最优值进行更新,利用优化后的微粒群算法实现数据分类。实验结果表明,所提方法分类性能优,实时准确率高。     

基于.NET的并行数据流设计与实现应用

介绍了基于.NET的并行数据流设计与实现应用,提出了企业级的并行数据模型概念,介绍了数据访问逻辑组件、业务实体组件等,说明了基于.NET的并行数据流设计与实现应用可以解决企业用户数量多、数据调用频繁、需要可靠的数据访问的需求,实现业务逻辑与抽象数据的分离,它的模块化设计符合软件工程中的"高内聚,低耦合"的思想。     

小波方法在数据流中的应用

有关流数据分析与管理的研究是目前国际数据库研究领域的一个热点.流数据的特点是数据持续到达,且速度快、规模宏大;其研究核心是设计高效的单遍数据集扫描算法,在一个远小于数据规模的内存空间里不断更新一个代表数据集的结构———概要数据结构,使得在任何时候都能够根据这个结构迅速获得近似查询结果.将主要采用小波方法对数据流的采样加以实现,并对数据流进行查询.     

基于密度的不确定数据流聚类算法

不确定性的出现使传统算法无法直接用于聚类不确定数据流。该文提出一种不确定数据流环境下基于密度的聚类算法,其中提出不确定度的概念以衡量不确定数据的分布信息,并在改进面向确定数据的聚类算法DENCLUE的基础上,提出一种可处理数据不确定度的UDENCLUE算法,以降低数据的不确定性对聚类结果产生的影响;提出滑动窗口下基于密度的不确定数据流聚类算法USDENCLUE,通过聚类特征指数直方图技术实现快速剪枝,可以高效处理噪音数据、演化数据流并生成任意形状的簇;采用真实数据集及人工合成数据集对USDENCLUE与CluStream聚类算法进行比较,实验结果表明了所提出算法的高效性和有效性。     

基于HTM网络的多源海洋实时观测数据异常检测

在时下海洋观测系统中,往往通过分布于不同地理位置的智能传感器来获取实时观测数据。然而由于通信环境不稳定、观测仪器故障、数据采集或传输软件运行异常等原因,观测数据的完整性、可靠性和时效性往往得不到保障。本文基于层级实时记忆(Hierarchical Temporal Memory,HTM)网络设计多源数据异常检测算法,对不同测点海洋实时观测数据流进行质量监控。首先考虑海洋观测系统中存在的数据缺测、网络丢包现象,对观测数据进行预处理;接着基于HTM网络,生成观测数据的稀疏离散表征,动态更新神经元活跃和预测状态,并根据赫布法则奖励或惩罚突触连通值,模拟时序数据的空间和时间关系,从而学习和识别数据内部特征,实现单源海洋实时数据流的异常检测;最后在此基础上,利用不同测点间观测数据的距离相关性,对多源海洋实时数据流进行质量监控,降低异常数据漏报率。实验结果表明,本文提出的算法能有效检测出海洋实时观测数据异常点,且识别速度快于数据采集速度,能保证异常检测过程的准确性和实时性,符合实际应用需求。     

基于增量式学习的海量数据流实时预处理模型

针对海量数据环境下对数据流预处理实时性和高效性的需求,文中提出了一种大规模数据环境下的数据流实时预处理模型,基于MMHC（Max-Min Hill-Climbing）并运用增量式学习的方式改进贝叶斯网络模型的构建过程,提升预处理模型的有效性,同时也减少了因模型更新所消耗的时间,在一定程度上防止了数据的积压,支持网络结构的动态更新,适用于更复杂的数据环境.     

基于嵌套滑动窗口的数据流缺失数据填充算法

提出了一种基于嵌套滑动窗口的缺失数据填充算法.考虑到传感器数据流的时效特性,采用嵌套滑动窗口选取空间相关度高且距离最近的数据作为样本数据,之后分两种情况对缺失数据进行填充.算法首先通过皮尔逊相关计算对数据的空间性进行分析,应用嵌套滑动窗口对缺失数据相关的数据进行采样,得到强相关数据,之后采用MKNN算法进行精确填充.通过皮尔逊相关分析和嵌套窗口采样,极大地降低了数据样本大小,提高了缺失数据处理实时性;对于不具有强的空间相关的缺失数据,考虑到短时间内采集数据间强的时间相关性,采用线性相关法对数据进行填充,降低算法复杂度.实验表明,该算法能够实时、精确地对数据流缺失数据进行填充.     

分布式可扩展数据流连接算法

Join-Matrix是一种高性能的连接矩阵模型,方便部署于分布式环境下,支持任意连接谓词的数据流连接操作.由于采取随机分发元组作为路由策略,Join-Matrix可利用对元组内容的不敏感性来有效抵御数据倾斜.为了实现工作节点的负载均衡以及网络传输代价的最小化,基于连接矩阵模型设计一种高效的数据划分方案尤为重要.针对数据流连接处理,本文设计并实现了一种新颖的连接算子,可灵活地进行划分方案的自适应调整,以应对实时动态变化的数据分布.具体来说,我们根据数据流流量的采样信息和系统额定负载,通过一个轻量级的决策器制定出一个数据划分方案和相应的数据迁移计划,在保证输出结果完整性与正确性的情况下,实现迁移代价的最小化.本文在多种不同的数据集上进行了大量对比实验,结果证明,在资源利用率、系统吞吐率与时间延迟等方面,该连接算子较对比系统具有更高的性能体现.     

视频压缩数据流实时分割的软件实现

针对当前监控系统数据存储的问题，提出了视频压缩数据流的分割保存方法。具体采用软件编程，寻找数据流的序列头，将它作为新文件的开始，生成时间长度固定的文件。这种分段存储方法不但方便了用户对文件的查找和删除，而又提高了硬盘空间的利用率。     

大数据环境下的不确定数据流在线分类算法

在大数据环境下,由于隐私保护、数据丢失等原因,数据普遍存在不确定性;数据流系统中数据不断地到达系统,只扫描一遍且不能一次性全部获得;所以要构建一个增量分类模型来处理不确定数据流分类.本文基于VFDT算法提出了WBVFDTu算法,该算法在学习和分类阶段都可快速而有效地分析不确定信息.在学习期间,采用Hoeffding分解定理构造决策树模型;在分类期间,在决策树的叶子节点利用加权贝叶斯分类算法提高模型的分类准确率和算法的执行效率.最终证明该算法能够非常快速地学习不确定数据流,提高分类的准确率.     

一种基于可变滑动窗口的数据流分段聚类算法

数据流的应用越来越广泛,数据流挖掘成为数据挖掘的重点研究方向之一。在分析各种数据流聚类算法的基础上,提出了一种基于可变滑动窗口的数据流分段聚类算法。算法以时间序列数据流模式表示技术为参考,以去除噪音和压缩数据为目的,实现了数据流的特征提取和概要存储。实验表明,算法具有低时空复杂度、自适应等特点。     

无线传感器网络中的数据融合应用研究

针对无线传感器网络中存在多对一的数据流,能量受限和冗余的低速数据等问题,提出以数据为中心的技术来实现网内数据融合从而达到高效能的数据分发,同时分析最佳化和次最佳化数据融合模型的性能及影响这些性能的因素,并着重分析使用数据融合得到的能量节省及其对鲁棒性和延迟的影响,体现数据融合在大范围的运作场景中的优越性能。     

"信息阳光"--无冲突共享结构

文章探讨一种非Internet原理的无冲突信息共享结构--"信息阳光"。"信息阳光"包含"数据流环境"和"个人需求代码"两个新概念。所谓"数据流环境",是利用DVB技术,营造一种普照天下的高速数据流,每天都有数百GB的数据流经家庭。其流量如此之大,足以把上千种报纸、期刊、网站、课程的内容每天反复传播几十遍。所谓"个人需求代码"用来在上述数据流中辨认并下载用户有兴趣的内容,实现无需远程互联的交互选择。由于只需单向广播,大大降低了成本,也从原理上消除了互联结构固有的带宽冲突。     

基于数据平面可编程的负载均衡算法

针对目前网络数据平面存在僵化现象,导致网络中数据流不均衡的问题,提出了一种基于数据平面可编程的负载均衡算法。首先通过带内网络遥测(INT:In-band Network Telemetry)技术获取网络实时状态信息,然后利用提出的BD-ECMP(Bandwidth and Delay Equal-Cost Multi-Path Routing)算法选择数据流的最佳传输路径。采用编程协议无关的包处理器(P4:Programming Protocol-Independent Packet Processors)语言对SDN网络数据平面的数据流进行优化处理,从而实现网络负载均衡。仿真实验结果表明,与传统ECMP算法相比,BD-ECMP算法在平均流完成时间、网络吞吐量及网络丢包率等方面具有明显优势。     

如何改善航行情报数据/资料质量

随着民航实业的迅猛发展,区域导航(RNAV)、基于性能的区域导航(RNP)和以计算机为基础的机载导航系统的落实,航空数据/资料的作用和重要性发生了重大变化,然而,由于现阶段我国航行情报服务数据流的自动化程度还很有限并且不连续,为了确实保证航空飞行安全,原始数据/资料质量还需要进一步的提高和改善。由于数据搜集的多样性、分散性,情报人员在从事数据处理时除了严格遵循工作流程外,行业本身还可以通过完善相关培训、监督、检查等工作机制来规范和要求航行情报数据/资料质量。