基于约束模糊聚类思维的网络入侵检测方法研究

提出一种基于约束模糊聚类思维的网络入侵检测方法,首先对疑似入侵数据进行预处理,将网络数据分割为若干区域,将数据分配至对应的区域中,以区域为单位实现分类;通过区域进化法,以模糊聚类的思想为约束,利用文档中类标签信息引导区域的进化过程,用得到的结果对网络中的未知数据进行迭代分类,以实现网络入侵检测.实验结果表明,与传统方法相比所提方法检测精度高,所需时间更短.     

一种基于模糊C均值聚类的稀疏数据缺失值填充方法

缺失数据处理通常基于统计学的方法,在数据预处理阶段对缺失值进行填补,其效率和准确性并不高。因此,提出了一种基于模糊C均值(FCM)聚类的嵌入式填充方法(FCMSI)。此算法通过平均比率法(ARM)对稀疏数据进行初始化填充;采用局部距离策略对FCM进行改进,并对数据进行聚类;将缺失数据作为变量,在每次聚类迭代后的簇内采用协同过滤(CF)的思想对变量值进行替换,直到结果收敛。利用UCI标准数据集进行对比实验,并采用三种不同评价指标衡量,验证了FCMSI方法比传统填充方法性能显著提高。     

一种基于自编码器的无线传感网数据收集方案

利用自编码器设计了一种高效的数据收集方案.该方案包括模型训练和数据收集两个阶段,在模型训练阶段利用历史监测数据进行模型训练从而获得测量矩阵和重构矩阵,在数据收集阶段首先利用测量矩阵实现分布式数据压缩,然后利用重构矩阵重构网络中的所有监测数据.实验结果表明,该方案不但具有较高的数据压缩率,而且具有较高的数据重构精度和较快的数据重构速度.     

数据的多流形结构分析与研究

结合现实中数据表现出复杂的多流形特点,对多流形假设下的学习算法进行了研究。利用多种聚类算法对不同类型的数据进行聚类分析,得出每种数据类型下的最优聚类方法。仿真结果表明,采用规范化切割谱聚类方法可将独立子空间高维数据成功分类;SSC算法对线性子空间聚类效果表现最佳;引入LLE的Ncut聚类算法和SMMC算法对于非线性数据的多流形聚类具有较好的效果;SSC算法和SMR算法对高维子空间聚类问题表现出较好的适用性。     

一种基于模糊聚类的可解释性建模方法

提出一种基于模糊聚类的可解释性建模方法.利用提出的一种含有熵的聚类有效性函数来评价模糊聚类方法的有效性和可解释性,从而确定模糊规则数和模型前提参数,然后利用最小二乘法来辨识模型的结论参数,最后采用梯度下降法来调整模型的参数.该方法应用于Box-Jenkins 数据仿真实例,仿真结果表明该方法不但能保证系统的精确性,还具有很高的可解释性.     

基于基因表达数据双向聚类算法的研究

基因组数据的聚类分析,可以从多个数据集中识别与特定的生物学表型相关联的基因。传统的聚类方法仅进行单向聚类,即仅对基因表达谱的特征(基因)或样本进行聚类,没有考虑基因与样本的关联性。针对基因表达数据提出了一种新的无监督双向聚类算法,同时对基因和样本进行聚类。对已提出的聚类性能评价指标进行了改进,利用改进的指标确定双向聚类算法最优的聚类个数。将该方法分别应用到乳腺癌和青少年类风湿性关节炎基因表达数据中,结果显示,与传统方法相比,本方法具有较好的聚类效果。     

FCM聚类分析在我国农村居民收入变化分类中的应用

介绍了FCM聚类分析理论,并在此基础上给出了改进模型.根据2000—2009年的全国农村居民收入的数据对31个省、市及自治区农村居民收入变化进行了比较研究,利用改进后的FCM聚类模型进行了分类.所用方法和所得结论对研究我国农村居民收入的变化具有一定的参考价值.     

改进Faster R-CNN算法及其在车辆检测中的应用

为了更准确地得到符合车辆形态学特征的初始候选框,提出一种基于改进的Faster R-CNN模型的车辆检测算法.首先提取目标框的人工标注坐标值,得到标注框的宽度和高度,然后利用K-means算法对所有框的宽高值进行聚类,得出聚类中心点坐标值后,重新设置RPN的锚盒尺寸及比例,对Faster R-CNN算法的3种尺寸和3种比例加以改进.最后选择轿车、SUV、客车和货车4种车型车辆数据,对改进前后的Faster R-CNN模型进行训练,比较改进前后的模型在车辆检测及车型识别任务中的表现.实验结果表明,使用改进的Faster R-CNN模型达到86.54%的检测准确率,较原始模型提高3.12%.并且该模型有效解决了漏检和误检问题,在恶劣天气和复杂背景下均表现出较高的鲁棒性.     

一种改进的局部离群数据检测算法

针对传统局部离群数据检测算法时间复杂度高、参数鲁棒性差的问题,在基于连接的异常因子(Connectivity based outlier factor,COF)算法的基础上,提出了一种基于聚类和密度的局部离群数据检测算法。利用聚类方法从原始数据集中筛选出候选离群数据集,来降低算法的时间复杂度;在进行数据对象之间距离计算时,引入信息熵的概念确定数据对象的离群属性,以提高算法的检测准确率。确定数据集的离群属性后,采用新的局部链接离群因子(Local connectivity based outlier factor,LCOF)度量候选离群数据集中数据的离群程度。此算法在保证检测准确率的前提下,降低了时间复杂度和检测准确率对参数的依懒性。仿真结果证明了所提方法的有效性和可行性。     

基于聚类的双中心检测机制的研究

分布式协同攻击是网络应用安全中不可忽视的威胁，而目前入侵检测系统中常用的检测方法均以入侵者为中心点来检测，对分布式协同攻击的检测能力很弱。针对这一问题，提出了一种双中心检测机制，并采用聚类的方法对双中心检测机制的实现做了初步的研究。     

基于聚类融合的不平衡数据分类方法

列举了有关基于聚类融合的不平衡数据分类的办法,可以解决少数类的识别率很低,利用传统分类手段予以解决.利用此种方法能够发现,引入少数类边界区域与在多数类核心当中的样本聚类一致性系数,并且分别对欠抽样方法对少数类与多数类的训练集.     

电子商务中基于聚类的顾客满意度影响因素分析

针对电子商务中顾客满意度影响因素的分析,提出一种基于RFM模型评分方法和聚类技术的影响因素分析方法 .首先,利用有序加权平均(OWA)方法来获得RMF模型中各变量的权重.然后,利用RFM模型对顾客的购买行为进行分析,给出各项评分,并使用模糊C均值(FCM)聚类技术对顾客进行聚类.接着,通过将每个聚类组的RFM值与平均RFM值进行比较,以此来发现流失的顾客类型.最后,对这些客户进行问卷调查来获得顾客不满意的主要因素.通过一个案例分析,提出方案能够准确找到顾客不满意因素,为电子商务公司提供有力依据.     

模糊数学在员工考评和管理中的应用

指出在基层单位员工考评中存在的问题,提出了模糊聚类方法对员工进行量化考评的模型,并给出了聚类数据在管理中的应用。     

多窗口融合判别子空间的高光谱图像异常检测

由于高光谱图像异常检测受到不规则背景和噪声的干扰,直接应用传统的RX异常检测算法会造成很高的虚警和很大的运算量.针对这一问题,提出了一种基于判别子空间的结合多窗口融合的RX算法.首先在无先验信息的前提下采用聚类的方式得到样本类别,并对占优聚类样本进行判别特征提取;然后利用正交子空间投影使背景和目标信息达到最大程度的分离以实现对背景的抑制,从而在抑制背景的基础上利用局部多窗口融合的RX算法进行异常检测;最后将AUC值作为评价检测方法性能的指标. NUANCE和HYDICE高光谱数据异常目标检测实验的AUC值统计结果表明:多窗口融合算法在检测性能方面优于经典的全局和局部RX算法,它对背景和噪声有更强的抑制作用,且检测到的异常目标精确,可见该算法是有效而可行的.     

基于加权特征的无监督模糊聚类入侵检测研究

鉴于网络入侵检测数据样本特征属性的异构性及贡献率不同,提出一种加权特征的异构数据相似性度量法来反应网络数据样本间的相似程度.针对基于模糊C-均值聚类的网络入侵检测算法聚类数目难以确定的问题,提出了一种自动确定最佳聚类数的无监督模糊聚类入侵检测算法.通过KDDcup1999数据集的仿真对比实验,结果表明本文算法能找到最佳...     

基于云计算平台Hadoop的HKM聚类算法设计研究

为有效解决传统K-means聚类算法在处理大规模数据集时面临的扩展性问题,提出了一种Hadoop K-means聚类算法.该算法首先根据样本密度剔除数据集中孤立点或者噪声点的影响,再利用最大化最小距离思想选取K个初始中心,使初始聚簇中心点最优化,最后用Hadoop云计算平台的Map Reduce编程模型实现算法的并行化.实验结果表明,该算法不仅在聚类结果上具有较高的准确率和稳定性,而且能够很好地解决传统聚类算法在处理大规模数据时所面临的扩展性问题.     

多任务模糊聚类驱动的多任务TSK模糊系统模型

该文提出了一种多任务Takagi-Sugeno-Kang(TSK)模糊系统建模方法.首先给出了一种新的多任务模糊c均值聚类算法,能够有效提取所有任务之间的公共信息和每个任务的私有信息,进而利用所得的聚类中心构建多任务TSK模糊系统的前件参数.其次设计了一种具备多任务协同学习机制的后件参数优化方法,可以优化多任务TSK模糊系统的后件参数.最后基于优化的前后件参数,构建出具体多任务模糊聚类方法驱动的多任务TSK模糊系统模型(multi-task fuzzy c-means based multi-task TSK fuzzy system, MTFCM-MT-TSK-FS)以用于实际应用.分别在合成和真实数据集上进行实验,结果验证了该模型的有效性.     

基于权重的改进K-means算法应用研究

数据聚类是将数据对象划分到不同的类或簇中,是数据挖掘中的一项重要技术.教育领域拥有海量的学生信息数据,把数据挖掘中的聚类技术引入其中,具有很强的实际价值.阐述了运用数据挖掘中改进的引入权重的聚类技术对成绩数据进行选择、预处理和挖掘分析等,展示了3个Matlab实验使成绩数据如何通过K-means算法进行聚类分析,并对3种运行结果的意义各自进行了显示与分析,同时指出了运行结果的不足及意义.针对学生实验中的分类原因进行了研究并在学生成绩分析中发现很多隐含着的不易发现的有价值信息,利用这些聚类结果提出了相应的教学措施及建议,从而有针对性地提高教学质量.     

基于K-means聚类算法对某劳务众包平台定价机制的研究

针对某劳务众包平台——拍照赚钱APP的任务定价,根据数据位置及分布的统计特征,充分挖掘所给数据信息,利用R软件,基于K-Means聚类算法计算出每一价格任务到聚类中心的最短距离,建立任务价格与距离的非线性回归模型.探讨任务的定价机制,发现任务的定价与其距聚类中心的距离存在幂函数关系,并提出了优化任务定价的建议.     

基于数据挖掘技术的湖南省县域乡村分类分析

以数据挖掘为工具,结合县域经济发展理论,探究湖南省县域经济发展聚集态势.构建了湖南省县域经济发展评价指标体系,对数据集应用基于原型的二分K均值聚类、基于图的AGNES聚类、加权主成分距离聚类与基于密度的DBSCAN聚类,根据邻近度矩阵的相关度选择最优聚类方法 .结果显示,湖南省县域经济发展按特征可归为四类,各类县市特征显著,类别间发展差距较大.根据模型的理论结果对现有的湖南省政府乡村振兴三大发展梯队的划分进行调整,为地方政府实施乡村振兴战略提供一定的理论基础,具有较好的参考价值.