k子凸包分类方法

基于凸包的k局部超平面距离分类方法,通过改进k近邻算法在处理小样本问题时的决策边界而显著提高分类性能.但是,该方法对噪声和类的数目敏感,并且在一类样本"包围"另一类样本时,由于外围类凸包与内部样本的距离为零而导致分类错误.针对上述问题,提出了k子凸包分类方法,该方法融合了k近邻分类和凸包技术的优点,首先寻找测试样本的k近邻,然后在该邻域中计算测试样本到相应类的子凸包的距离,并根据距离大小来确定该测试样本的类别,有效克服了k局部超平面距离分类存在的不足.大量实验表明,文章提出的k子凸包分类方法在分类性能上具有显著的优势.     

基于支持向量机与k近邻相结合的网络入侵检测研究

针对基于支持向量机算法的网络入侵检测方法,对交错严重的大规模复杂样本集,分类面附近的样本被正确分类可信度低,基于k近邻算法的检测方法测试结果不稳定等问题,提出一种将k近邻与支持向量机相结合的网络入侵检测方法。在分类时,计算待识别的网络连接记录样本与最优分类超平面的距离,如果距离大于预设阀值,采用支持向量机算法对连接记录进行分类,否则采用k近邻法对连接记录进行分类,同时为减少检测方法受样本分布不均衡的影响,采用带权重因子的欧式距离来度量样本间的相似度。最后在KDD99数据集上进行仿真实验,结果表明,相对于单一的支持向量机或k近邻算法的网络入侵检测方法,k近邻与支持向量机相结合的入侵检测方法可以进一步提高网络入侵检测的正确率,是一种较好的网络入侵检测方法。     

基于维度约束的距离测度学习算法

为提高分类精度,通过距离测度学习可以得到样本在新的特征空间里新的表示.针对马氏距离未考虑不同类别样本维度间相关性存在差异这一缺陷,提出了一种新的有监督的距离测度学习算法,即独立-差别分量分析方法(Independent Discrimi-Native Component Analysis,I-DCA),并将其运用于基于k近邻分类器的运动神经与感觉神经分类中.作为对照,还详细分析了已有的相关分量分析方法(Relevant Component Analysis,RCA)和差别分量分析方法(Discrimi-Native Component Analysis,DCA)这两种距离测度学习算法.实验结果表明,改进算法的分类精度相较于马氏距离提高了近45%,相较于RCA与DCA也提高了15%左右,分类精度的提高说明了改进算法的有效性.     

基于代表的交叉验证分类

基于代表的邻域覆盖粗糙集分类算法,在某些数据集上表现良好,数据的类别不平衡问题严重影响算法的分类精度.为尽量消除类别不平衡问题的影响,在k折交叉验证方法的基础上,针对基于代表的邻域覆盖粗糙集分类算法,提出了3种集成策略.策略1依靠k折交叉验证,获得对应的k个基分类器,所有的基分类器组成委员会对未分类样本分类;在策略1的基础上,策略2选择分类精度相对较高的基分类器组成委员会,对未分类的样本进行分类;策略3在前2种策略的基础上,利用主动学习的思想,对训练集进行扩充,得到新的分类器再对未分类样本分类.实验所用数据集为UCI标准数据集,且对k的取值做了对比实验.结果显示,3种策略均有不同程度的提升,且k取5时总能取得较好的提升效果.对于不同数据集,应选择相适应的改进策略.     

一种基于度量距离学习的图像检索方法

CBIR系统由于受图像低层特征的限制,制约了它的检索效果。机器学习和统计方法是一种有效的提高检索性能的方法,但通常需要大量的训练样本才能达到满意的检索精度。提出一种理想的距离度量函数,在对图像进行简单分类并提供少量训练样本的基础上,通过类的距离度量矩阵M的学习来考虑分量之间的相关性。这个度量导入二次最佳化问题的解,将训练样本类结构的倾斜最小化。试验结果表明,该方法能在学习样本极少的情况下提高检索的性能。     

基于互邻信息的树型近邻分类方法

为了提升分布不均匀样本的分类性能，该文提出了一种基于互邻信息的树型近邻(Tree-based k近邻，kTree)分类方法，以此提高k近邻分类的准确率。首先，采用回归模型刻画样本之间的紧密程度，获取每个样本的最优k值，从而获得最优邻居，并采用kTree提升搜索效率。其次，对于每一个测试样本，基于互邻信息准则，确定其邻域空间，完成k近邻分类。最后，数据集的试验结果表明，该文提出的基于互邻信息的kTree分类准确率高于传统k近邻分类等其他分类算法。该文提出的方法也为k近邻分类的改进提供了新的方向。     

基于k近邻的混合数据分类方法

由于有序与无序特征之间的复杂关系，现有分类方法不能有效处理混合数据（同时包括有序和无序特征）上的分类问题。针对此问题，提出了基于k近邻的混合数据分类方法（a classification method for mixed data based on k-nearest neighbor,MDKNN）。首先通过区分有序和无序特征计算样本之间的距离，获取特征的序信息和统计信息；然后分别从优于和劣于预测样本的训练集中选出最近邻样本，并基于模糊关系计算其类隶属度，以确定预测样本的类标签范围，从而保证预测结果的单调性；最后在该范围内计算分类结果。在来自UCI和WEKA的12个公开数据集上进行实验，分别与基于k近邻模型的MKNN、FKNN、MFKNN算法和基于非k近邻模型的PMDT、OLM、OSDL算法比较，所提方法都获得了最高的平均准确率，且分别比两类模型中的最优算法MFKNN和PMDT提高了7.13%和9.84%，表明了所提方法的有效性。     

一种新的选择性支持向量机集成学习算法

针对支持向量机(SVM)在应用于集成学习中会失效的问题,提出一种选择性SVM集成学习算法(SE-SVM),利用ξα误差估计法估计个体SVM泛化性度量,并基于负相关学习理论引入差异性度量,通过递归删除法选择出一组泛化性能优良、相互间差异性大的SVM参与集成学习.基于UCI数据的仿真实验表明,SE-SVM能够平均提高SVM的分类正确率0.4%,比常规的Bag-ging集成学习方法和负相关集成学习方法的分类正确率分别提高了0.24%和0.16%.     

基于Grassmann流形距离的动作识别

利用时空兴趣点间的位置及局部特征相似度信息,提出一种局部邻域特征以描述局部数据结构,然后引入核主角度及Grassmann流形距离以度量2个邻域特征距离,通过构造随机流形森林学习数据样本在Grassman流形上的类条件概率密度函数,最后使用多核学习算法实现对随机流形树的剪辑及动作分类.在KTH及UCF-CIL动作数据库的实验证明:所提动作表示方法能有效描述人体运动信息,且该动作识别算法的识别率优于近年提出的典型动作识别系统.     

基于自组织特征映射神经网络的数字模式识别

在分析自组织特征映射(SOFM)神经网络基本学习算法的基础上．从提高算法收敛速度和性能出发．提出了一种改进算法：随机选择样本输入次序；根据实际应用并结合专家经验确定初始连接权值；采用高斯函数作为拓扑邻域函数；将算法分成排序和收敛两个阶段。并分别采用不同的学习率和邻域函数．采用改进后的SOFM算法对输入样本进行自组织聚类，再利用学习矢量量化(LVQ)算法解决样本分类中的交迭问题。提高了分类精度．仿真实验结果表明．该网络能够识别常用的数字(0～9)和英字母．特别是在有噪声污染的情况下．可以获得较好的效果。     

基于K-最近邻算法的话务智能预测技术

提出基于K-最近邻算法的话务智能预测技术,利用机器学习算法从电信话务信息的历史数据中提取规律,从而预测未来的电信话务信息情况。在算法中根据时间间隔对样例的距离度量进行了特征加权。针对互联互通来话数据的实验表明,该算法具有良好的性能。     

面向多类学习问题的核最近表面分类方法

虽然最邻近决策规则能很好地解决数据集的非线性和非平衡性问题,但其没有学习过程.在此基础上,提出了一种利用聚类方法来浓缩训练样本,再根据最近邻准则进行决策的方法——核最近表面分类方法.通过实验将其与几种常用的统计分类方法进行对比,结果表明,核最近表面分类方法具有决策速度快、存储空间需求小等优点,同时也能够很好地处理非平衡...     

基于半监督学习的SVM-KNN

提出一种新的基于半监督的SVM-KNN分类方法,当可用的训练样本较少时,使用SVM进行分类,不能得到准确的分类边界,本文采用半监督学习策略从大量未标记样本中提取边界向量来改善SVM.KNN分类器的引进不仅扩充了SVM的训练样本数目,而且优化了迭代过程中训练样本的标记质量,可不断修复SVM的分类边界.实验结果表明,所提出的方法能提高SVM算法的分类精度,通过调整参数能够获得更好的分类效果,同时也减小了标记大量未标记样本的代价.     

基于概率模型LVQ的改进KNN分类新方法

KNN是基于实例的算法,对于大规模样本算法分类性能不高.针对这一缺点,提出一种基于概率模型的学习矢量量化神经网络的改进KNN分类新方法.考虑到最优参考点训练的重要性,结合概率方法得到最佳参考点的判断准则函数,采用梯度下降最优化算法利用LVQ训练参考点的最佳位置.在对未知样本进行分类时选出样本x的K个近邻,采用"投票选举"机制最后判断样本x的所属类别.新方法减少KNN的计算复杂度和时间,弥补了KNN在处理大规模数据问题上的不足.在UCI中数据集上的仿真实验表明改进算法的可行性.     

基于ELM特征映射的kNN算法

研究了基于ELM特征映射的kNN算法,利用ELM特征映射,将原始数据映射到这种高维特征空间当中,使得数据间变得更加线性可分,即数据结构会变得简单,因此,在利用kNN算法进行分类时,利用ELM特征空间中对应的特征数据代替原始空间中的数据进行分类将会取得更好的分类效果.最后,来自MNIST和UCI中的几个数据集的仿真实验进一步验证了该算法的优良性能.     

基于残差邻域嵌入的超分辨率算法

通过对基于邻域嵌套的超分辨率算法研究,并受到多分辨率图像处理的启发,提出了一种改进的采用残差进行邻域嵌套的超分辨率算法。在灰度和彩色图像上的实验均表明该方法得到的结果具有更低的均方根误差,而且更好地保持了高频空间的细节,例如高对比度和锐利的边缘。     

范围最近邻查询方法研究

范围最近邻(RNN)查询检索到一个区域内每个点的最近邻(NN),它是点和连续最近邻查询的推广.本文将范围看作矩形,分析了二维空间中范围最近邻查询的性质,描述了算法处理过程,并对提出的算法进行了性能分析.     

带有全局交叉的修正和声搜索算法

为增强和声搜索算法的全局搜索能力,提出一种带有全局交叉的修正和声搜索(MHSgc)算法.MHSgc算法采用多和声记忆库协同创作,应用邻域学习策略进行调整,取代原有的基音调整,从而增加了种群多样性.同时,提出一种全局交叉操作,并融合到MHSgc算法中,防止算法陷入局部最小.针对几个标准函数进行了实验仿真,数值结果表明,上述算法优于文献报道的8种智能算法(HS,IHS,GHS,NGHS,EHS,ITHS,MPSO,RMDE),具有较好的优化潜力.     

一种新的基于伪最近邻算法的降水预报方法

分析北京地区日降雨量资料,相较于其他降雨事件,大雨或暴雨事件发生的次数较少,因此该地区的降水量预报属于样本不均衡问题。在样本不平衡的情况下,K最近邻(PNN)算法的分类误差率将会大大提高,这也就使传统的基于K最近邻算法的降水量预报方法的应用受到了限制。针对北京地区降水量预报这一样本不均衡问题,应用伪最近邻算法构建了北京市的降水量预报模型。该方法利用北京地区日降雨量资料和美国国家环境预报中心全球格点资料,将降雨量作为类,将美国国家环境预报中心全球格点资料的各种因子场作为天气样本特征,通过决策规则实现最优分类。利用提出的降水预报模型对北京地区2010年6~8月进行了24 h降水预报,实验结果表明,提出的预报方法对于降水等级预报的预报准确率以及晴雨预报的TS评分、正样本概括率和漏报率均优于传统的K最近邻预报方法,该方法具有较好的预报效果。     

一种新的相似度标准及其相关的聚类算法

分析了CHAMELEON聚类算法的不足,定义一种基于k最临近集和共享k最临近集的相似度函数,在此基础上提出了一种结合分类算法的新聚类算法,经过对模拟的复杂数据组和KDD Cup'99网络非法入侵数据的实验,证明该算法能有效的对由大量噪音和不同形状、大小及密度的类组成的高维数据进行聚类.