基于遗传算法的入侵检测系统特征选择方法研究

在入侵检测系统中,分类器所选取的特征对系统的性能有很大的影响,大量冗余和不相关特征的存在会降低系统的正确性和实时性,因此如何选取出最优特征组合成为研究的热点问题。在研究当前各种特征选择方法的基础上,提出了一种基于遗传算法的特征组合选择方法。使用遗传算法搜索特征空间,依据Fisher准则计算各种特征组合的分类能力,根据计算结果对特征组合进行选择、交叉、变异,通过多次反复迭代最终选取出最优的特征组合。在实验中分别使用全部特征和选取出的最优特征组合的进行分类验证,最终证明选取出的最优特征组合能够使入侵检测系统在保持高检测率和低误报率的同时具有较高的检测效率,提高了系统的整体性能。     

基于单个特征分类准确率的特征选择方法研究

【目的】随着遥感技术迅猛发展,在影像解译过程中提取的信息越来越繁杂多样。为提高地物分类准确率,常加入更多的特征信息,而由此往往造成一定的信息冗余,导致分类效率甚至准确率降低。笔者利用随机森林(RF)和支持向量机(SVM)分类器,探索在遥感分类过程中保证分类精度的同时又能降低特征维度的方法。【方法】以吉林省安图县福兴林场部分区域为研究对象,利用2015年Landsat-8影像为数据源,提取光谱信息(红、绿、蓝、近红外和短波红外波段)、植被指数(NDVI、增强型植被指数、比值植被指数和裸土植被指数)、纹理(同质性、均值、二阶矩、方差、差异性、对比度、熵和相关性)和地形信息(坡度和坡向)共19个指标作为分类特征变量。以RF分类器估测的特征重要性进行特征选择为对照,分别以单个特征在RF和SVM两分类器中的分类准确率为依据进行特征选择,并对选取的特征进行主成分分析,与未做主成分分析的进行区分,再分别用RF和SVM分类器进行分类,评价分类精度,确定最优特征和分类器组合。【结果】①基于SVM单个特征分类准确率选取特征,对选取的特征进行主成分分析,再用RF进行分类,该方法与其他方法相比分类性能最好,当特征维度为5时,总体精度为0.86,Kappa系数为0.83; 与输入全部特征进行分类相比,不仅提高了分类精度,而且降低了特征维度,使分类效率得以提升。基于RF特征重要性选取特征的RF分类取得了较高的分类准确率,但特征维数小于7时,分类准确率波动较大; 在特征维数为4时分类准确率增至最大值(0.88),随后骤降为0.83,之后基本保持在此水平。而基于单个特征分类准确率选取特征,分类准确率变化较为平缓,如上所提最优分类性能方法的分类准确率波动范围基本在0.02。②基于单个特征在RF和SVM分类器中的分类准确率进行特征选择,在随后的分类过程中,SVM分类器分类精度总体高于RF。基于RF单个特征分类准确率选取特征的SVM分类,及基于SVM单个特征分类准确率选取特征并对选取特征进行主成分分析的RF分类,较仅利用SVM或RF单个分类器选取特征并分类的分类准确率更高。【结论】①基于单个特征分类准确率的特征选择方法,可在保证分类精度的同时降低特征维度,且在较低维度时,基于该方法选取特征的分类精度较基于特征重要性选取特征的分类精度更稳定。②基于单个特征分类准确率进行特征选择,不同分类器选取的特征有所差异,分类准确率也不同,利用多个分类器较单个分类器选取特征并分类的性能更好。③在中低维度时,RF分类器的分类准确率可能与特征输入顺序有关,对输入特征进行主成分分析有利于提高分类器的分类精度及稳定性。     

基于MLER的语音/音乐分类方法

音频分类是音频信号处理中一项重要的预处理工作.该文描述了一种基于能量的分类方法,将音频信号分为语音和音乐2种类型.分类的过程分为3个阶段,首先计算优化低能量率MLER(modifiedlow energy ratio)作为特征,然后利用初级分类器得到初步分类的结果,最后利用音频类别的前后相关性,使用上下文分类器修正初始分类得到最终分类的结果.该文重点对MLER中参数的合理选取范围进行了讨论,并对传统的初始分类器作了改进,用非参数分类器和参数分类器代替原有的Bayes硬判决的方法,避免了由于门限选择不当所带来的分类错误.实验表明,使用参数分类器时,对纯语音和纯音乐分类效果很好,正确率达99％以上.     

基于AdaBoost的弱分类器选择和整合算法

针对传统AdaBoost算法在人脸检测中训练耗时和误检率高的问题,提出一种改进的AdaBoost算法.新算法在基于PSO的AdaBoost算法基础上对弱分类器的选择和整合两个阶段进行改进.弱分类器选择阶段,在使用PSO迭代选择最佳弱分类器之前,剔除部分无用特征,缩小粒子搜索空间;弱分类器整合阶段,在采用基于核函数的非线性感知器算法优化调节弱分类器参数的过程中使用一种新的与正样本分类能力有关的弱分类器初始参数.采用基于MIT数据库的实验结果表明,本文算法比基于PSO的AdaBoost算法在检测性能上有明显提高.     

文本分类中基于综合度量的特征选择方法

针对传统特征选择算法的不足, 提出一种新的特征选择算法. 该算法能综合度量一个特征在类内和类间的重要性, 并在3个不同的数据集上利用2个分类器与5个现有的特征选择方法进行了对比实验. 实验结果表明, 该算法进一步降低了特征向量空间的维度, 并有效提高了分类器的分类性能.     

微博中个人与非个人用户分类方法研究

分别利用用户名和微博文本对个人与非个人两种用户类型进行判别,并对不同的特征(例如:字特征、词特征等)进行研究分析;其次,在针对用户名和微博文本的两个分类器的基础上,使用贝叶斯融合方法进行分类器融合,充分利用两种文本分类信息同时进行用户类型判断。实验结果表明此方法可以达到较高的识别准确率,并且分类器融合方法明显优于仅利用用户名或者微博文本的分类方法。     

利用特征子空间评价与多分类器融合的高光谱图像分类

为应对高光谱图像分类中的特征高维度问题,提出一种基于多分类器融合的高光谱图像分类方法.利用高光谱数据相邻波段的高相关性,通过自适应子空间分解产生多个特征子空间,进而训练生成子分类器;利用ReliefF-S算法,对各特征子空间进行评价并生成各子分类器的权重,最终通过加权表决融合实现分类决策.实验表明,所提方法可有效规避高维特征问题并提升分类性能.     

基于k-means++的多分类器选择分类研究

【目的】机器学习中不同算法适用于具有不同分布特征的数据集。在用整个训练集上训练得到的单个分类器预测新样本类别时,由于缺少对局部区域样本的针对性,可能导致分类器对某一区域数据的预测能力较差而产生错误分类。为了解决这个问题,提出基于k-means+ +的多分类器选择算法。【方法】首先用3种分类综合性能较好的算法———Ada-Boost、SVM、随机森林(RF)在训练集上分别训练得到3个分类器作为候选基分类器,然后利用k-means++算法将训练数据集分为k个簇,用3个候选分类器分别对每个簇进行分类测试,选择对这一簇中数据分类精度最高的分类器作为与它的数据相似数据的分类器。在对新样本进行类别预测时,首先判定样本属于哪个簇,然后用它的分类器进行分类预测。【结果】实验结果表明,新算法在9个UCI数据集上优于单个分类算法。【结论】基于局部区域动态选择最优分类器可以提高模型分类准确性。
     

基于非对称度量的分类器优化问题

研究在模式识别中可测分类器之间的非对称度量及优化问题。以分类器之间相对平均分类错误率建立分类器之间的非对称度量，进一步研究了子空间上的最优分类器及其估计。最后对模式识别中两个重要的例子在非对称度量空间上进行了讨论。     

基于语义神经网络的文本特征选择方法的研究

文本自动分类的一项关键技术是特征选择。本文针对信息过滤的特点,对特征选择方法进行了改进,提出了一种基于语义神经网络的文本特征选择方法。首先对原始特征集进行初始筛选,去除冗余特征及噪声后,对得到的特征子集采用语义神经网络进行智能的特征选择,其核心是关联度及激活变量的计算。从而得出代表问题空间的最优特征子集,实现降维并提高分类精度。实验证明,该方法可以极大地降低文本的维数,提高文本过滤的质量。     

一种新的支持向量机分类器的设计方法

提出了一种新的支持向量机分类器的设计方法.该方法利用主成分分析(PCA)及聚类技术在原问题空间中求解,减少了支持向量机分类器中支持向量的维数,且将原问题空间与特征空间中的问题归结为同一类的设计问题.     

基于不平衡情感分类的Lasso-Lars特征选择方法研究

基于Lasso回归和支持向量机分类器,首先利用Lasso回归具有变量筛选的特点,过滤部分不重要的特征,然后利用支持向量机分类器做情感提取.在某化妆品品牌的评论数据实验中,利用基础情感词典和领域情感词典构建待选择高维特征集,通过对比特征选择前后的G-means,精确度和召回率等,均取得显著效果.     

基于M-WDLS和PCA的转子故障诊断方法

针对不同故障特征属性交互重叠导致的故障类别辨识困难问题,提出一种基于Manhattan距离作为特征之间相似度信息测度的权值判别拉普拉斯分值特征选择方法.该方法采用Manhattan距离衡量高维特征矢量之间的相似度,并将数据样本标记信息融入权值计算中以增强权值的判别性,提升了LS算法的敏感特征筛选性能.将M-WDLS和主成分分析相结合,提出基于M-WDLS和PCA的转子故障诊断方法.首先提取原始振动信号的时域、频域、时频域特征构造混合域特征集;然后利用M-WDLS选择敏感特征组成敏感特征矩阵;最后对敏感特征矩阵进行PCA降维处理,并将结果输入到K-近邻分类器中进行模式识别.对比实验的结果表明,该方法能有效提取转子系统振动信号的状态特征,有助于提高故障辨识的准确率.     

基于核Fisher判别分析的粮虫特征压缩方法

针对粮仓害虫种类多、类别之间相似度比较高的特点,提出基于核Fisher判别分析的粮虫特征压缩方法.利用高斯径向基核函数,对特征选择后的10维原始数字特征进行核Fisher判别分析,即通过非线性变换将样本数据从输入空间映射到高维特征空间,然后在高维特征空间进行特征提取.从粮虫分类效果方面,将KFDA法与FDA法、PCA法和KPCA法3种方法进行了比较分析.应用KFDA法提取的前4个特征,由最近邻分类器对粮仓中常见的9类粮虫进行分类,验证集的识别率为93.33%.结果表明:KFDA法对粮虫特征的非线性比较敏感,在有效降低特征维数的同时,还提高了类别之间的可分性.     

基于随机Fourier有监督特征变换降维算法的人脸检测方法

针对传统人脸检测方法采用空间向量对复杂环境下的高维度人脸特征进行辨识时, 存在检测效率低、 检测精度差的问题, 提出一种基于随机Fourier有监督特征变换降维算法的人脸检测方法. 首先, 通过随机Fourier映射随机形成大规模多维候选集合, 采用特征选择算法获取特征集内的最佳子集; 其次, 基于l_2,1范数的极限学习机, 产生高斯核拟合效果的随机映射, 利用l_2,1正规则化过滤掉人脸随机特征中的无价值及冗余特征, 并对该过程进行优化, 提高人脸特征降维的精度; 最后, 采用基于降维特征与Adaboost算法的人脸检测方法获取的降维特征, 通过Boosted级联算法获取级联分类器, 实现人脸特征的准确检测. 实验结果表明, 该方法的漏检率和误检率均为8%, 平均检测时间为118 ms, 运行效率和检测精度均较高.     

基于特征增强的对抗哈希跨模态检索

在跨模态检索任务中，哈希方法由于其检索效率高效、储存成本低廉而被广泛应用。但是，这些方法很少关注如何去弥补主体网络将高维特征转换为哈希码的过程中所丢失的特征信息。为解决这些问题，本文提出了一种特征增强对抗跨模态哈希（Feature Boosting Adversarial Hashing for Cross-Modal，FBAH）方法。FBAH方法将子空间学习与对抗学习相结合，来减少不同模态数据的差异性。另外，构造一种类残差模块，它可以将筛选出具有区别性的特征绕过主体网络直接输入到哈希空间进行特征增强。这样，生成的哈希码能够具有更多的原始特征信息。最后，通过带有分支网络的线性分类器在标签空间进行两种方式的预测，并最小化与真实标签的差距来保证语义的不变性。本文选择两个跨模态检索任务中常用的大型数据集进行大量实验，结果表明FBAH方法的性能优于目前7种较为先进的跨模态哈希方法。     

人脸识别中基于互信息的特征优选

人脸识别领域中常用Gabor小波系数表示人脸特征.然而,提取的人脸Gabor特征是高维数据,不可避免存在冗余和随机噪声的干扰.为了有效利用Gabor特征进行人脸识别,提出一种新的Gabor特征选取方法.首先计算训练集上的任两张人脸图像的Gabor特征差,生成类内空阃和类外空间.用单个Gabor特征训练筒单两值分类器,以其在类内空间和类外空间的分类错误率作为判据评价该Gabor特征的分类能力.在选取分类错误低的特征的同时还要再评估候选特征与已选特征间的互信息,这样优选出具有无冗余、低误差率的特征.最后对这些优选的Gabor特征进行主成分分析和线性判别分析完成人脸识别.在CAS-PEAL大型人脸数据库上的实验结果表明,所提出的方法不但可大大降低Gabor特征的维数,而且还有效提高了识别精度.     

多特征筛选与支持向量机相融合的图像分类模型

针对图像分类中的特征选择问题,提出一种多特征筛选与支持向量机相融合的图像分类模型.首先提取图像的多种特征,并对特征进行归一化处理;然后根据平均影响值对特征进行筛选,选择一组最优的特征子集;最后采用支持向量机构建图像的多分类器.采用图像数据集SIMPLIcity进行仿真实验验证该模型的有效性.实验结果表明,该模型降低了图像分类的开销,提高了图像分类性能.