基于改进的Adaboost算法在 网络入侵检测中的应用

网络入侵检测是一种基于网络行为特征的检测技术.近年来,作为信息安全领域中的研究热点,网络入侵检测发展迅速.针对传统入侵检测算法对于数据特征提取较慢的问题,本文提出了基于信息熵理论的免疫算法来提高特征提取速度.为了进一步提高分类精度,本文对Adaboost分类方法进行了改进,在分类过程中判断噪声数据,并对噪声数据的权重进行调整,从而缓解了Adaboost算法的过度拟合.通过对KDD CUP 99数据的实验结果表明,本文方法可以提高免疫算法在特征提取方面的收敛速度,并能有效地提高入侵检测率.     

测试井数据资料的数据清洗技术研究

针对测井和试井资料中存在数据质量的问题,提出了一种基于聚类分析和神经网络预测技术的数据清洗新方法。该方法首先检测测试井数据中存在空缺项的记录数据,对无空缺数据项的记录数据采用模糊聚类分析技术进行数据分类,再对各类数据分别进行蚁群聚类分析和神经网络学习并矫正噪声数据。将该数据清洗方法运用到试井分析中进行检验,取得了良好的效果。为提高测试井数据质量进行正确的解释评价提供了保证。     

噪声数据流的分类方法

数据流中噪声数据的处理是当前数据流分类挖掘中重要的研究分支,近些年来得到了广泛的关注.本文提出了一种称为FDBCA的数据流分类算法.它使用基于密度的带有噪声的空间聚类(DBSCAN)的改进算法Fast-DB-SCAN(FDBSCAN)处理噪声数据,并利用错误率方差(MSE)来检测概念漂移.同已有的数据流分类算法相比,实验结果表明了FDBCA算法可以提高噪声数据流的分类精度.     

基于TAN网络的层次约减数据分类清洗方法

为提高多源异构环境数据清洗的效率和降低多源异构数据清洗的复杂度,针对多源异构数据环境下存在大量不精确数据的问题,提出一种层次约减分类清洗方法。通过重要度度量算法在数据源层、数据属性层、数据元组层进行层次约减,基于分类算法思想构建TAN网,然后利用数据概率值完成对不精确数据的分类清洗。实验表明所提方法能够有效地提高不精确数据清洗的准确率和清洗效率。     

基于小波变换和模糊c-均值聚类的图像边缘检测

提出一种结合小波变换和模糊聚类技术对图像边缘进行检测的新算法．首先,对图像进行小波变换。并将相邻尺度小波系数相乘以增强边缘和去除噪声,然后利用模板得到四个方向的小波模梯度值,并以其作为特征作成待分类点集,最后,采用模式识别中的模糊c-均值聚类技术进行自动分类,实现边缘检测．实验结果表明,该算法具有较好的边缘检测和抑制噪声的能力。     

基于主动学习的标签噪声清洗方法

在监督分类学习中,标签噪声对模型有重要的影响;而现有的标签噪声过滤方法一般都是基于模型的预测结果对噪声样本进行检测并去除,当噪声样本较多时,去除噪声样本的同时将会影响原来样本的完整性,使样本信息缺失。针对这一问题,提出一种基于主动学习的标签噪声清洗方法(active label noise cleaning based on classification with gaussian process,GP_ALNC),该方法将高斯过程模型和主动学习相结合,从已有标签样本集中筛选出不确定性最高的样本交给人工专家进行检验,通过这种迭代方法清洗掉大部分噪声数据的同时保持了原有数据的完整性;并针对二分类任务中的标签噪声问题,在MNIST数据集和UCI数据集上,与已有方法ALNR(active label noise removal)以及ICCN_SMO(iterative correction of class noise based on SMO)进行了实验对比,并取得了不错的表现。     

基于模糊支持向量机的网络入侵检测技术

针对支持向量机算法中存在对噪声数据和异常数据敏感的问题,提出了模糊支持向量机算法,并应用于入侵检测.该算法是在传统支持向量机分类器的构造方法中引入隶属度函数,根据不同输入所得到的分类结果,产生相应的惩罚值.将这个方法应用到入侵检测系统中,能较好地将正常数据和异常数据区分开.实验结果表明,采用模糊支持向量机的入侵检测技术,其误报率低于基于支持向量机的入侵检测,同时其检测率也相对较高.     

基于模糊支持向量机的网络入侵检测技术

针对支持向量机算法中存在对噪声数据和异常数据敏感的问题，提出了模糊支持向量机算法，并应用于入侵检测．该算法是在传统支持向量机分类器的构造方法中引入隶属度函数，根据不同输入所得到的分类结果，产生相应的惩罚值．将这个方法应用到入侵检测系统中，能较好地将正常数据和异常数据区分开．实验结果表明，采用模糊支持向量机的入侵检测技术，其误报率低于基于支持向量机的入侵检测，同时其检测率也相对较高．     

关系学习中贝叶斯分类算法的比较研究

数据分类是数据挖掘的主要内容之一,通过分析训练数据样本,产生关于类别的精确描述.贝叶斯分类是数据挖掘领域中一种常用的有效分类方法.在关系学习中,贝叶斯分类算法有很多种,对这些算法进行总结、比较,指出其优点与不足,对提高分类效率有很大帮助.本文对已有的关系学习中贝叶斯分类算法作了详细的比较,并进行归纳总结.在单关系学习中重点介绍了几种基于粗糙集的贝叶斯分类器和加权贝叶斯分类算法,并分析了各种方法的模型、权值确定方法、优缺点及进一步工作方向.在多关系学习中主要比较了几种基于语义关系图的贝叶斯分类算法,重点介绍了MI-MRNBC模型.最后对本文工作进行了总结与展望,提出进一步工作方向是研究基于粗糙集的多关系贝叶斯分类算法.     

基于最佳距离度量的两层最近邻分类算法

两层最近邻(TLNN)分类算法通过在有限训练样本条件下最小化错误率的平均绝对误差,能够产生比k-最近邻(kNN)算法更好的分类结果,但其精度易受噪声影响。针对这个问题,提出一种基于最佳距离度量的两层最近邻分类算法(ODM-TLNN),提高对噪声数据的鲁棒性。算法分为两层,下层使用最佳距离度量来确定一个未标记样本的局部子空间,上层采用AdaBoost在子空间进行信息提取。基于UCI数据集的实验结果表明,该算法能充分降低分类错误率,并且在噪声数据下具有较好的稳定性。     

基于注塑过程数据的制品尺寸合格性判定

针对注塑生产过程中人工质量检测存在的效率低、成本高等问题,提出了一种基于注塑加工过程数据对产品尺寸是否合格进行预测判定的方法,首先对于清洗后的数据集采用5折交叉验证筛选出LR模型、SVM模型等5个分类模型,然后以ROC曲线和AUC值作为性能评估指标,综合比较和分析了5个分类模型在不同特征选取方法下的分类性能。结果表明:基于树模型特征选取与LR算法组合对本文的数据集表现出优良的分类性能,准确率可达96.42%,具有一定的工程应用价值。     

一种基于Toeplitz矩阵重构的波达方向估计新算法

为了提高空间谱中信号与噪声的区分度以及改善传统Toeplitz矩阵重构算法在进行波达方向(direction of arrival,DOA)估计时的精度,本文提出一种新的基于Toeplitz矩阵重构的DOA估计算法。首先将观测数据估计的自相关矩阵预处理得到数据向量,并基于数据向量进行Toeplitz矩阵重构;再对重构后的矩阵进行奇异值分解,得到信号子空间和噪声子空间;最后同时利用信号子空间和噪声子空间进行空间谱估计。结果表明:无论是相干源还是非相干源的DOA估计,该算法估计精度均优于传统Toeplitz算法,在非相干源的DOA估计精度性能与多重信号分类(multiple signal classification,MUSIC)算法一致,并在处理相干信源个数能力与传统Toeplitz算法相同。     

基于半像素的Hessian矩阵的空域误码掩盖

针对线条边缘采用传统的Sobel算子进行边缘检测和方向判别方法无法准确地检测其方向的问题,提出了基于半像素的Hessian矩阵对线条边缘进行检测的算法。该算法将图像中丢失的数据块的像素进行分类,再根据不同类别的边缘采用相应的边缘检测算子进行边缘检测,并根据检测的边缘方向对受损图像进行方向外推掩盖。实验证明,半像素精度的Hessian矩阵对线条边缘方向的检测更加精确,该算法较一般误码掩盖算法使受损图像的恢复质量PSNR(Peak Signul Noise Rate)值提高了0.2~0.4 dB。     

数据挖掘中分类算法综述

对分类算法中需要解决的关键问题进行了分析;综述了不同分类算法的思想和特性,决策树分类算法能够很好地处理噪声数据,但只对规模较小训练样本集有效;贝叶斯分类算法精度高、速度快,错误率低,但分类不够准确;传统的基于关联规则算法分类准确率高,但容易受硬件内存的制约;支持向量机算法分类准确率高、复杂度低,但速度慢.针对各种分类算...     

基于粗糙加权平均单依赖估计的入侵检测算法

入侵检测作为网络安全的重要方向,得到了越来越多的重视,大量传统的数据挖掘算法被尝试应用到入侵检测的数据分析领域。随着网络带宽不断提升,激增的数据量和类型繁多的协议格式使得这些传统算法在入侵检测方向的应用出现了识别精度差、运行效率不高或者参数选取困难等实际问题。该文提出一种基于粗糙集理论和贝叶斯理论的粗糙加权平均单依赖估计入侵检测算法,该方法基于粗糙集理论对网络数据进行属性约简,使用加权平均单依赖估计方法进行分类,完成对网络数据的入侵检测,算法资源消耗较低且易于实现。实验证明,该方法具有较好运行效率与准确度。     

基于滑动窗口的RFID数据流多标签清洗算法

RFID数据流清洗技术主要关注的是数据的实时性、完整性和动态性.传统的适应性清洗机制针对的只是单标签的情况,且在调整窗口以保证动态性的情况下丧失了完整性.为此,首先在二项分布模型的基础上提出了一种新的单标签清洗算法,改进和完善了传统的单标签清洗算法;之后提出了基于防碰撞模型的多标签清洗算法,从而形成了一套完整的数据流清洗算法.此外,进行了大量实验,验证了算法的有效性.     

用于高分辨率测向的噪声子空间抽取算法

高分辨率测向是有广阔应用前景的技术，当前的一个主要问题是其计算量巨大，噪声子空间抽取算法（ＮＯＳＥ）首先利用最小二乘法求得噪声子空间中的一组基或这组基的一个子集，然后形成空间谱并估计可能的波达方法。最后，再利用一次最小二乘法检测信号数目并确定真实波达方向。在存在相干源时，ＮＯＳＥ可利用空间平滑技术去相干后进行检测和估计。与标准的高分辨率测向算法（多信号分类算法ＭＵＳＩＣ）相比，ＮＯＳＥ不但运算量大为减少，而且分辨率也有提高，文中的信号数目的检测方法基于对波达方向的估计，具有简单准确的特点，可以推广到多种算法中去。     

基于噪声特性的语音增强算法

针对不同的语音增强算法对不同噪声的增强效果不同,提出了一种基于深度神经网络的噪声分类的语音增强算法。首先,使用深度神经网络(DNN)算法对噪声进行分类。分类算法包括训练阶段和分类阶段。在训练阶段,采用babble,car,street,train四中噪声对DNN进行训练;在分类阶段,将提取的噪声输入训练好的DNN中,得到分类结果,并对分类性能进行评估。其次,采用PESQ,LSD及SNR等语音评估方法,对不同的含噪语音在不同信噪比、不同语音增强算法下进行评估。语音增强算法包括子空间法、维纳滤波算法、谱减法及对数最小均方误差法(log MMSE),噪声包括babble,car,street,train,信噪比为-5db,0db和5db,并对通过评估得到的值采用平均值法得到噪声和语音增强算法的最佳匹配;最后,针对不同分类噪声,采用不同的增强算法进行语音增强,并对4种噪声之外的噪声根据本文算法选取相应的语音增强算法。     

数据挖掘技术在商业库存决策支持算法的研究

针对商业库存数据库中存在大量冗余特征和噪声,许多数据挖掘算法对于目标数据的维度非常敏感,随着数据特征的增加,算法的时间空间开销也急剧增加.商业库存决策支持数据挖掘算法利用粗糙集技术对数据作预处理,分析过滤这些冗余的例子,减少了噪声的干扰,减少了训练数据,运用粗糙集的分类算法和浮动搜索算法对浮动搜索算法进行了改进.并用此算法进行了仿真实现,验证了改进后算法的优越性.     

基于窄带电力噪声干扰的OFDM分组检测算法

针对电力噪声和正交频分复用(orthogonal frequency division multiplexing,OFDM)信号的特点,为提高检测的准确度同时减少数据冗余,基于含噪信号本元分析,分解干净信号和电力噪声特征向量,根据噪声和信号空间能量的不同,利用本元滤波的方法检测数据分组的起点。在电力噪声和基于G3方案的OFDM模型下,通过对经典延时相关检测算法和本元滤波检测算法进行性能评测比较,结果显示在不同信噪比下,本元滤波检测算法对接收信号的起点检测更准确,相应系统的误码率得到降低。