基于关键属性组的相似重复记录检测方法研究

对相似重复记录的检测是数据预处理中的关键环节。针对海量数据相似重复记录检测过程中,记录属性维度过高导致的查准率和时间效率较低的问题,提出了基于统一互信息的关键属性组查找算法,通过过滤噪音属性,降低属性维度,达到准确检测相似重复记录和提高时间效率的目的。最后,在真实数据集上通过对该算法和基于原始数据所有属性的相似重复记录检测算法在准确率和效率方面的比较,验证了所提出算法的有效性。     

基于灰狼算法和案例推理的工控系统入侵检测

提出了一种基于二进制灰狼算法和邻域粗糙集的案例推理分类算法(bGWO-NRSCBR),以有效处理工控网络数据样本高维、冗余的问题。首先,将邻域粗糙集(NRS)中的依赖度概念和属性个数作为二进制灰狼优化算法(bGWO)的适应度函数,通过狼群不断更新位置寻找最小相对属性集;然后基于属性重要度对权重进行优化分配从而建立案例推理(CBR)分类模型;最后利用该模型对工控网络标准数据集进行入侵检测研究。实验结果表明,本文算法能够获得最小相对属性子集,并有效提高入侵检测算法的准确度和效率。     

关键属性组的相似重复记录检测方法研究

对相似重复记录的检测是数据预处理中的关键环节。针对海量数据相似重复记录检测过程中,记录属性维度过高导致的查准率和时间效率较低的问题,提出了基于统一互信息的关键属性组查找算法,通过过滤噪声属性,降低属性维度。最后,在真实数据集上通过对该算法和基于原始数据所有属性的相似重复记录检测算法在准确率和效率方面的比较,验证了所提出算法的有效性。     

基于网格分组和属性权值的相似重复记录识别算法

针对在处理海量数据时,传统的相似重复记录识别方法具有检测效率不高、检测精度较低等缺陷,提出了一种基于网格分组和属性权值的相似重复记录检测算法。该算法采用分而治之的思想,使用网格法将海量数据进行分组,并为各属性设立相应的权值,然后进行相似重复记录的识别。理论分析和实验表明,网格分组有效减少了记录之间的比对次数,基于属性综合权值的方法更加准确反映各属性对记录的贡献度,两者结合能够有效解决大数据的相似重复记录的识别问题。     

一种改进的属性约简算法在入侵检测中的应用

将基于粗糙集理论的双向选择属性约简算法应用于入侵检测系统中,对收集到的入侵数据进行预处理、数据离散化、属性约简,通过对入侵数据的分析处理,可提高系统检测率,降低错检率,为信息系统提供高效的入侵检测服务.     

基于粒子群优化的异常入侵检测算法的研究

提出了一种基于粒子群优化的异常入侵检测算法．首先,对基于动态聚类分析的异常入侵检测系统进行了建模和关键模块分析,对聚类算法区别正常和异常数据记录的过程,进行了详细的介绍,然后针对基本PSO算法存在的局部早熟收敛问题,利用改进的粒子属性进行了算法改进,增加了粒子多样性．通过初始化种群、更新速度、更新位置、计算每个粒子的适应度值、更新pgd、循环迭代,得到最优解．最后,利用该算法对基于聚类的入侵检测系统进行实验,结果显示该算法明显提升了入侵检测系统的正确率．     

基于关键属性约束的关联规则挖掘在日志分析中的应用

日志是计算机取证,入侵检测分析的重要数据来源,运用关联规则挖掘算法对日志进行分析是获取日志中所蕴含有用信息的重要方法.针对基于置信度一支持度框架的常用关联规则挖掘算法在日志分析中存在的不足,引入日志关键属性的概念,提出了基于关键属性约束的关联规则挖掘算法.实验结果表明,该算法能有效阻止无趣规则的产生,提高挖掘结果的有效性.     

基于粗糙集的自适应入侵检测算法

为了提高入侵检测系统的检测率,降低错检率,在分析现有入侵检测方法基础上提出一种基于粗糙集的入侵检测算法,将粗糙集算法和入侵检测技术结合起来实现系统的安全检测.对收集到的入侵数据进行预处理、数据离散化,属性约简,并依据生成的检测规则来分析入侵数据.实验结果表明: 与基于BP(back propagation)神经网络和支持向量机的入侵检测算法比较,该算法的检测率提高10%左右,能很好地为信息系统提供入侵检测服务.     

网络入侵异常检测中数据预处理的研究

在网络入侵异常检测中,数据预处理是一个非常重要的步骤,数据预处理的好坏直接影响后续检测的准确性．本文针对基于层次聚类的网络入侵异常检测中两个问题,在数据预处理阶段做出改进,一是属性冗余和属性权重问题,运用粗集理论对各个属性赋予权重并进行属性约减,二是粗集理论中连续数据离散化问题,提出了针对数据特点的自适应离散化算法,该算法是根据样本属性值分布来决定离散间隔,最后针对两个改进方法进行了实验,并与采用现有离散化方法进行了对比,实验结果证明了该算法的有效性和准确性．     

基于模糊数据挖掘技术的入侵检测算法与应用

基于数据挖掘技术的入侵检测技术是近年来研究的热点,目前有不少入侵检测系统中都采用了关联分析的数据挖掘方法,现有的关联分析算法只能够解决数据中分类属性的挖掘,对于数值属性则不能直接使用,然而网络流量数据中包含了许多反映入侵状况的数值属性,已有学者提出了将数值属性先进行分类而后再进行关联分析的挖掘方法,然而这种方法带来的问题是在进行异常和正常划分时存在明确的界限,即“尖锐边界问题”,由于网络安全概念自身具有一定的模糊性,因此明确的界限可能会导致误报和漏报的情况产生,从而影响检测效果,文中提出了一种基于模糊关联挖掘技术的入侵检测算法,并采用遗传算法确定划分模糊集合的隶属度函数参数,最后的实验结果说明了该算法的有效性。     

基于改进决策树的入侵检测算法

本文对经典的基于信息增益的决策树算法进行改进,提出一种基于决策树与属性相关性相结合的入侵检测算法。该算法同时结合综合策略的剪枝算法以避免过度拟合对检测结果的影响。实验结果证明,本算法不仅在面对已知攻击时能够做出良好的判断,而且在面对未知攻击时仍然具有一定的检测能力,具有良好的性能和可用性。     

基于多元节点属性分类的光纤网络入侵中未感染节点检测

光纤网络采用开放性较强的分布式结构,易受到恶意数据和代码的入侵。提出基于多元节点属性分类的光纤网络入侵未感染节点检测算法研究。依据节点测距原理,提取光纤网络中全部节点的位置信息;选定与未感染节点类型相关的光纤节点特征属性;并针对节点属性和入侵类型建模。依据多元分类算法对提取的光纤节点样本空间采样特征数据进行学习和分类,检测光纤网络中的入侵未感染节点。仿真实验表明,提出的节点检测算法克服了传统算法的弊端和不足,能够有效降低通信成本和节点能耗、提高入侵检测率、延长光纤网络生命周期。     

光纤网络入侵中的未感染节点检测

光纤网络采用开放性较强的分布式结构,易受到恶意数据和代码的入侵,提出基于多元节点属性分类的光纤网络入侵未感染节点检测算法研究。依据节点测距原理,提取光纤网络中全部节点的位置信息;选定与未感染节点类型相关的光纤节点特征属性,并针对节点属性和入侵类型建模;依据多元分类算法对提取的光纤节点样本空间采样特征数据进行学习和分类,识别出光纤网络中的未感染节点。仿真实验表明,提出的节点检测算法克服了传统算法的弊端和不足,能够有效降低通信成本和节点能耗、提高入侵检测率、延长光纤网络生命周期。     

一种基于粗糙集的区域交通绿时控制方法

本文根据一种基于粗糙集理论的数据挖掘方法,以路口检测数据为研究对象,通过记录数据形成原始的决策表,后通过改进的Semi Naive Scaler算法对原始决策表进行数据预处理,最后对数据预处理后的决策表采用基于可辨识矩阵的属性频度的启发式约简算法进行属性约简,得出的约简结果为关键的属性,即关键的相位,根据程序实现结果为道路决策部门提供依据。     

基于属性熵和加权余弦相似度的离群算法

离群点检测是数据挖掘的一个重要研究方向,大多数离群数据挖掘算法在应用到高维数据集时效率较低。给出了一种基于属性熵和加权余弦相似度的离群数据挖掘算法LEAWCD.该算法首先根据局部属性熵分析每个对象在其k-邻域内的局部离群属性,并依据各离群属性的属性偏离度自动设置属性权向量;其次使用对高维数据有效的余弦相似度经加权后度量各对象在k-邻域内的离群程度,实现高维局部离群点检测;最后采用国家天文台提供的天体光谱数据作为数据集,实验验证了LEAWCD算法具有伸缩性强和检测精度高等优点。     

基于遗传算法和变精度粗糙集的离散化算法

目前常用的离散算法多为单属性离散化算法.利用该类算法对多维连续属性进行离散化时,逐次对单个属性进行离散化,割裂了多维属性之间的关系.基于此提出了一种基于遗传算法和变精度粗糙集的多属性离散化算法.该算法基于变精度粗糙集所具有的较好数据分类容错和抗噪能力,通过变精度粗糙集近似分类精度建立遗传算法适宜度评价函数,并利用遗传算法在多维连续属性候选断点集上寻找最优断点子集.基于UCI数据集比较了所提算法与多种常用的离散化算法的差异,实验结果表明,该算法可以获得相对较好的离散化效果.     

一种基于属性贡献度的决策树学习算法

文章提出一种基于属性贡献度的决策树算法ICD,该算法利用信息熵理论构建基于样本类别信息分布确定的属性贡献度函数模型,从属性选优上消除了多值属性选择的偏向,将ICD算法与ID3、C4.5算法进行实验对比,数据结果表明该算法具有良好的性能.     

基于粗糙集的决策树在产品缺陷检测中的应用

将数据挖掘中的决策树与粗糙集理论进行了有机结合,提出了一种基于粗糙集技术的决策树构造算法,并将该算法应用于胶合板缺陷检测.通过粗糙集属性约简,找出造成胶合板缺陷的关键因素;再基于约简后的决策表,使用该决策树算法构建决策树,从而提取分类规则,指导决策过程.通过实验验证了,该算法可以有效对胶合板的缺陷进行检测.     

基于云计算的模糊规则挖掘算法在入侵检测中的应用

提出了一种基于云计算的模糊规则挖掘算法的入侵规则检测方法.以模糊集理论为基础,提出了在入侵关联规则挖掘中将特征属性模糊集作为单一属性来处理的模糊规则挖掘算法,有效地解决入侵规则中出现不相关规则和"尖锐边界"等问题.在云计算平台上进行算法的验证,利用云计算平台可进行大规模计算和数据处理的特点,得出该思想在入侵检测具有较好的应用效果和前景.     

融合正域及边界质量的实域属性约简方法

基于邻域关系提出一种综合考虑正域和边界数据的属性约简方法.该方法利用邻域关系对数据进行离散化处理,通过定义基于邻域的正域属性重要度、边界属性重要度和邻域综合属性重要度概念,设计一种新的启发式属性简约算法.该算法从空约简集出发,利用邻域属性重要度启发式搜索属性空间以扩展约简属性集,理论分析和实验表明该算法有效可行.