RealMon: 处理低质量SNMP数据流的实时监测系统

提出了一个新颖的数据流监测系统RealMon的设计和实现。该系统能够在大量的网络流量数据中通过分析不同数据流之间的关联关系及时地检测出数据异常。通过应用数据流挖掘算法,该系统能够对电信骨干网络的SNMP流量数据进行监测。同时为了解决所采集SNMP数据中存在着的大量数据质量问题,该系统集成了数据流清洗算法,该算法能够实时处理SNMP数据来提高所采集数据的质量。在模拟环境中的测试表明,该系统能够在SNMP数据流上同时对数千条链路进行有效监测。     

校园网络异常行为检测技术研究与应用——基于数据流的网络数据采集技术

针对校园网络异常用户行为,研究了基于数据流的网络数据采集以及预处理技术,采用一种随机可变时长的数据采集策略采集数据网络,利用K-means聚类算法处理数据缺失值,混合直方图生成概要数据结构,提高了网络数据的聚类质量。     

交通流大数据中的套牌车并行检测算法

传统的套牌车识别算法通过串行工作方式在网格化城市交通监控系统所产生的大规模数据中进行两两比对实现套牌车检测,因此在处理海量数据时存在性能瓶颈问题.提出了一种新的基于Hadoop的MapReduce算法模型,该算法具有并行特征,通过引入多台硬件计算资源协同处理大规模数据下的套牌车检测问题,显著提高了计算性能.同时,采用基于动态旅行时间实时的时空窗口计算技术,能进一步提高算法的检测速度和识别精度.     

基于流形学习的网络数据流异常检测

将非线性流形学习应用于网络数据流的降维过程,基于局部保持投影(LPP)算法基本思想,提出基于类别信息的监督判别LPP(SDLPP)算法;与传统线性降维算法和传统流形学习算法的结果进行对比,以验证算法的准确性与稳定性;建立基于SDLPP算法的网络数据流异常检测系统实施模型。结果表明:SDLPP算法通过多目标优化,在保证局部保持投影同时实现类间距离最大与类内距离最小,在挖掘低维特征空间嵌入的同时提高了分类效果;非线性的流形学习算法能有效挖掘高维数据中的低维流形,保证了维数约减过程中的非线性结构;SDLPP算法能够生成显式投影映射,泛化性较好,时间复杂度低,更加适合网络数据流实时监测系统,并可应用于实际的网络数据流入侵检测模型。     

基于多制式网络便携可定位实时多媒体传输系统

设计了一种基于多种制式网络的便携信息传输系统,通过多种制式无线网络进行信息数据的实时传输,实现了在不同层面上的复杂不确定网络情况的系统应用。数据采集端体积小巧、携带方便,极大地增加了信息数据采集作业的灵活性,更能适应多种复杂的工作环境。服务中心同时对多个数据采集端进行实时视频语音通信和定位监控,并通过对视频图像进行直观背景提取、动态物体识别和人脸标定,使对现场环境分析更加准确快速。     

基于角度分布的高维数据流异常点检测算法

为了有效检测高维数据流中的异常点,提出一种基于角度分布的高维数据流异常点检测(DSOD)算法.运用基于角度分布的方法准确识别高维数据集中的正常点、边界点以及异常点;构造了基于正常集、边界集的小规模数据流型计算集,以降低算法在空间以及时间上的开销;建立了正常集、边界集的更新机制,以解决大数据流的概念转移问题.在真实数据集上的实验结果表明,所提出的DSOD算法的效率高于Simple VOA算法与ABOD算法,并且适用于大数据流上的异常点检测.     

移动综合网管监控数据采集

移动通信网的管理要求综合网管通过网络数据采集对各专业网管的关键性能进行实时监控，并能够对各专业网管采集到的性能数据进行统计，从全网角度进行分析．在此基于亿阳网管系统建立了数据采集的框架，从数据采集的控制和数据采集的实现2方面入手阐明了移动综合网管监控数据采集方法和过程，采用消息机制、数据检测进程和OMC实时通信，一旦数据完备即可触发数据采集程序，增加了数据采集的实时性。     

基于YOLOv4的暴力行为实时检测算法

针对当前深度学习行为识别技术无法满足监控系统实时性要求的问题,本文提出了一种监控视频暴力行为实时检测算法.该算法以YOLOv4模型作为基础,从提升检测准确性和实时性的角度对模型的主干网络和后处理方法做了改进.通过自建暴力行为数据集,分别对YOLOv4原模型和改进模型进行训练和测试.实验结果表明,在检测精度和速度的性能比...     

基于物联网的粮情监控系统中入侵检测研究

在基于物联网的粮情监控系统中,传统入侵检测方法很难准确实时地从海量数据提取特征信息来识别网络攻击,使系统容易遭受安全问题,从而破坏数据的完整性,因此,提出一种基于深度信念网络的交替决策树入侵检测(DBNADT)方法。该方法利用深度信念网络进行无监督地特征学习,通过预训练将原始数据特征降维,利用权值微调算法获得数据的最优低维表示;然后采用交替决策树分类器对各种异常网络入侵数据进行识别。结果表明,DBN-ADT方法在攻击行为的识别准确率上比支持向量机(SVM)和逻辑回归(LR)分别提高了7.24%和8.25%,在检测时间上分别缩短了约1/2和2/5。DBN-ADT方法具有更高的检测准确率和实时性。     

海底观测网络数据管理系统设计

针对海底观测网数据管理的需求，建立了数据管理系统的功能模型，设计了数据通信、设备管理、故障诊断及数据质量控制等关键技术的相关实现算法。综合运用Socket网络编程、MySQL数据库技术，依据模块化的设计思想，开发了海底观测网数据管理系统。海试结果表明，该系统实现了对海底观测网的实时数据采集、状态监控、数据分类存储和数据共享等功能，具有长期运行稳定可靠、可扩展性强的优点。     

网络切片中物理节点的分布式在线异常检测方法

网络切片中的异常检测问题是实现网络切片自动化管理的重要研究内容,针对网络切片中物理节点的异常检测问题,提出了基于支持向量数据描述的分布式在线物理节点异常检测方法.基于支持向量数据描述建立了一种分布式的物理节点异常检测模型;通过引入随机近似函数,解决了数据分布式存储场景下的核函数计算问题,从而实现观测数据的切片内处理;基...     

基于分形理论的网络流量异常检测技术

传统网络流量异常检测技术不能适应网络流量的复杂性,异常检测精度低,不能保证实时性,为此,提出一种新的基于分形理论的网络流量异常检测技术。通过FIR滤波方法对流量的时间序列进行预处理。采用Schwarz信息准则对网络流量异常检测问题进行处理,估测网络流量异常点数量与位置。采用R/S分析法求出自相似指数Hurst值,依据Hurst值对网络流量时间序列的分形特征进行分析。引入滑动窗口完成多网络流量异常点的检测,在检测异常点处对流量进行分形处理,依据自相似指数计算过程获取异常点间的流量自相似指数值,保存异常点之后的流量,为下一个流量异常点的检测提供依据。实验结果表明,所提技术实现过程简单,网络流量异常检测精度高,保证了实时性。     

基于稀疏向量距离的网络入侵数据检测

传统的网络入侵检测速度慢、实时性差,且误报率较高。为此,提出一种基于稀疏向量距离的网络入侵数据检测方法。该方法首先对所获得的网络样本数据进行初步分析,采用K-means算法对样本数据包进行量化处理得到该数据流的位置分布集,使用压缩感知的稀疏编码技术处理,得到数据的稀疏表示,然后通过随机投影获取数据集的二值哈希编码可以近似地表示稀疏向量的距离,与设定的阈值进行比较,判断该数据是否为入侵数据。根据这些稀疏向量的距离能够快速而准确地检测到入侵的网络数据。实验结果表明,相对于传统检测算法,本文算法具有速度快、实时性好、误报率低等优点,使入侵检测系统的性能得到了很大提高,充分确保了网络的安全性。     

国家海洋信息通信网建设与规划研究

 国家海洋局现有国家海洋行政管理专网、国家海洋局行政管理专网、国家海洋非实时业务专网和国家海洋实时业务专网4套专网, 4套专网独立运行且对不同的海洋业务提供支持。国家海洋局启动信息化整合工作,网络整合作为信息化整合的基础性工程率先启动。整合后的海洋信息通信网为后续离岸网络和涉海部委网络的统一接入、数据资源和业务系统整合奠定基础。介绍了现有各海洋业务专网情况、整合后的海洋信息通信网的情况;结合海洋数据多渠道获取的特点,分析了现有网络离岸数据获取方面的不足;针对海洋离岸数据的获取需要,结合现有海洋无线网络接入模式,提出了海洋无线网络整体建设规划思路。     

船用蓄电池智能检测仪的设计

为了提高船用蓄电池参数的测量速度和精度,保障测量人员的身体健康,设计了基于单片机的蓄电池智能检测仪.系统采用凌阳SPCE061A单片机作为数据处理核心,包括蓄电池温度、电压和电流采集及处理模块,键盘、显示以及语音报警模块.介绍了船用蓄电池的测量原理,系统的设计原理以及软、硬件设计.实现了船用蓄电池参数的快速测量和显示,电池电量不足时的语音报警功能.     

基于数据挖掘的网络状态异常检测

针对目前网络状态异常行为检测正确率低的问题,提出一种基于数据挖掘的网络状态异常检测模型.首先提取网络状态信号,通过小波变换对信号进行预处理,并提取网络状态异常检测的特征;然后通过回声状态网络对网络状态异常检测进行建模,并通过遗传算法对回声状态网络的参数进行优化;最后采用网络状态异常数据集对模型的有效性进行测试.测试结果表明,数据挖掘技术可以准确检测各种网络状态异常行为.     

入侵检测规则动态生成研究

在入侵检测研究领域中,提高检测模型的检测率并降低误报率是一个重要的研究课题.本文提出了一种针对网络入侵检测事务流的实时动态规则生成方法.该方法解决了当前主流关联规则生成算法应用到入侵检测过程中存在的多遍扫描、大量无效规则和频繁集产生等问题.实验结果表明,文中所提出的方法在规则动态生成和对网络异常情况的检测方面都显示出比较好的性能,相对Snort入侵检测系统,平均提高10%左右的检测精度,克服了Snort系统在异常检测方面的局部缺陷.     

基于经验耦合函数的动态运行参数异常检测

随着工业智能化的发展,工业生产系统中的工业设备都具备了智能管控系统,其中重要需求之一是智能异常检测。实现智能异常检测通常需要从动态运行参数入手,但动态运行参数的流式数据形式以及高维数据耦合给可靠、高效的异常检测带来了很大困难。为此,提出了一种基于联合分布的动态运行参数异常检测方法。该方法首先从实时检测和整体检测两个角度对动态运行数据进行采样,然后结合经验耦合函数对联合分布进行建模,最后根据模型得到异常分数来判断异常。通过在大渡河流域水电站排水系统的排水泵动态运行参数数据集上的实验验证表明,该方法相比传统的异常检测方法效率更高,并且在曲线下的面积(area under curve, AUC)和平均精确率上均有提升。同时,该方法的可解释性也为工作人员故障排除以及后续维护提供了可靠依据。     

基于多元数据特征和改进随机森林的智能配电网异常数据辨识

智能配电网异常数据的准确辨识对于提高电网安全运行和调度具有重要意义。本文提出一种基于多元数据特征和改进随机森林算法的异常数据辨识方法。首先,在分析异常数据辨识过程的基础上,利用k-means、箱线图法等提取原始数据异常特征;考虑配电网技术需求,挖掘电网运行的衍生特征。然后,针对类不平衡问题提出结合过采样方法的混合Bootstrap抽样和加权投票策略,引入信息增益率优化最优特征选择,增加算法稳定性。最后,仿真分析了决策树数量和衍生特征对算法辨识性能的影响,并与支持向量机、神经网络等算法进行性能比较。实验结果表明本文方法有效、合理,具有优异的辨识性能和效率。     

面向流数据的实时处理及服务化系统

流数据的处理需求复杂多变,业务人员要进行相应的算法定制,不仅需要相关的编程知识,更要应对繁琐的处理流程和冗长的开发周期。为解决上述问题,文中设计并实现了基于流程建模的流数据处理及服务化系统,提供了对于多源流数据的实时接入,流数据服务化以及流数据处理服务化的能力。该系统将流数据处理过程封装为服务提供给用户,允许用户拖拽组合流数据处理和服务化模块、配置相关参数,定义流数据处理及服务化的过程,快速又自然地实现流数据处理及服务化的任务,将处理结果经由服务路由实时推送到其他应用系统,满足不同的业务需求。案例分析表明,与传统的流数据处理系统相比,本系统具有高效、灵活、可配置等特点,在实用性、可用性和伸缩性方面都更有优势。