最近邻搜索用于分类问题的一种改进

最近邻搜索广泛应用于分类问题,其最显著的优点是分类准确率高、泛化性能好.但现有最近邻分类算法都存在着一个弱点——样本集增大分类计算量也显著增大.为了克服这一不足,本文基于一个新的思路,提出了最近邻分类方法的一种改进方法.该方法在进行最近邻分类时,不一定要找到待分类点的最近邻点,而只要知道最近邻点的类别即可,大大地减少了最近邻搜索时的计算量.用经典的分类问题双螺线问题(TSP)以及其他几个例子,就该改进方法的分类效果、分类速度和学习性能等3个方面进行了测试,并与经典的K维双叉树(KD树)最近邻搜索法以及压缩近邻法进行了比较.结果表明,就综合性能而言,本文改进方法是有竞争力的.     

最优判别平面法改进及其在癌症诊断中的应用

采用了一种最优判别平面法的改进方法,在该法中用判别矢量P_1和P_2的共轭约条件代替原来P_1和P_2的正交约条件,从而使投影矢量t_1与t_2正交,住模式判别分析中可得到更好的分类效果,用该方法对癌证论断问题进行了分析、结果表明有较好的分类效果。     

基于两级非负线性编码表示的人脸识别

针对大规模人脸识别问题,提出了一种基于两级非负线性编码表示的人脸识别方法.首先利用第一级的线性编码表示,通过在初始的大规模人脸库中寻找对应测试图像的M最近邻,以消除干扰训练样本并降低训练样本集的规模;然后以此M最近邻为训练样本集,通过第二级的线性编码表示实现对测试样本的分类判别.在线性编码表示中,通过进一步引入非负系数约束,更好地改善了分类识别性能.基于AR、ORL和Yale B人脸库的实验结果初步验证了文中所提方法的有效性.     

一种基于最短距离聚类的K最近邻分类算法

针对传统K最近邻（KNN）分类法执行效率低的问题,提出一种改进的K最近邻分类法。先采用最短距离聚类法分别对训练样本和测试样本进行聚类,生成一些小簇和孤立点,再对小簇或孤立点使用改进的K最近邻方法进行分类。改进后的方法能极大地缩小分类样本的规模,降低计算成本,提高分类效率。     

改进的距离判别分析法

在不对判别变量进行处理的条件下,对传统的距离判别方法进行改进,提出一种新的判别方法,试图解决复杂球形数据的判别问题,以提高判别的正确率。通过实例表明,该方法的判别效果良好,能较好地处理复杂球形数据的判别问题。     

BP网络在膨胀土判别和分类中的应用

结合膨胀土的影响指标和神经网络的特性,提出了一种针对膨胀土进行判别和分类的新方法-BP 网络方法。BP 网络是通过将网络输出误差反馈回传,来对网络参数进行修正,从而实现网络的映射能力。结果表明,用神经网络对膨胀土进行判别和分类的准确率很高,它无须在判别因子与预测目标之间建立基于某种理论的经验统计关系。     

基于像素类型的彩色图像混合矢量自适应滤波器

为了更好地去除彩色图像中各种类型的噪声污染,提出了一种基于像素类型的彩色图像混合矢量自适应滤波器.该滤波器首先使用Lee滤波器对YCbCr彩色空间的三通道进行加性噪声预处理;然后基于亮度分量图Y中每个像素8个方向上的基本梯度,以及其3×3邻域窗口像素的结构和连通特性,提出了9条像素类型判别规则,把彩色图像的像素划分为脉冲噪声污染像素、边缘或细节像素和平滑区像素;最后,对3类像素在YCbCr空间分别采用改进的自适应最近邻矢量滤波器(MANNMF)、自适应最近邻矢量滤波器(ANNMF)和加权平均矢量滤波器(WAF)进行滤波处理.实验表明,所提出的彩色图像滤波器不仅能去除图像中各种类型的噪声,而且具有良好的边缘细节保持能力,性能优良.     

基于局域判别基空间能量的特征提取

针对模式识别中如何提取信号有效特征的问题,对信号进行小波包分解,求取小波包局域判别基,提出求取局域判别基的各子空间的能量,形成特征矢量的特征提取方法。利用Fisher准则函数进行特征选择,得到识别特征矢量。在水声模式识别实例中应用此方法提取特征矢量进行分类实验,取得良好的分类效果,验证了该方法的有效性。     

基于K-近邻方法的网络信息文本分类

提出了一种网络信息文本分类模型的建立方法,根据网络报文的特点,抽取其中关键词作为分类特征词条,并以报文关键词进行词频统计分析建立文本分模型,分别进行了基于最近邻决策和K-近邻决策的分类效果试验研究,结果显示,K-近邻决策的分类效果要优于最近邻决策的分类效果。     

基于K-近邻方法的网络信息文本分类

提出了一种网络信息文本分类模型的建立方法。根据网络报文的特点,抽取其中关键词作为分类特征词条,并以报文关键词进行词频统计分析建立文本分模型。分别进行了基于最近邻决策和K-邻近决策的分类效果试验研究,结果显示：K-近邻决策的分类效果要优于最近邻决策的分类效果。     

基于投影寻踪的kNN文本分类算法的加速策略

传统的k近邻(k-nearest neighbors,kNN)文本分类中,由于文本被表示成向量空间模型后维数非常高,且训练文本的数目巨大,kNN分类算法通常被视为是一种虽然有效,但并非高效的文本分类算法。针对传统kNN分类算法效率低下的问题,提出了一种基于投影寻踪思想的kNN分类算法加速策略。基本思想是:通过投影的方法缩减训练集的规模,同时在寻找k近邻过程中对文本进行降维处理,从两方面着手降低算法的计算开销。实验数据表明,优化后的kNN算法比传统kNN算法在时间性能上有较大的提升,同时保证了分类的精度。     

基于M-WDLS和PCA的转子故障诊断方法

针对不同故障特征属性交互重叠导致的故障类别辨识困难问题,提出一种基于Manhattan距离作为特征之间相似度信息测度的权值判别拉普拉斯分值特征选择方法.该方法采用Manhattan距离衡量高维特征矢量之间的相似度,并将数据样本标记信息融入权值计算中以增强权值的判别性,提升了LS算法的敏感特征筛选性能.将M-WDLS和主成分分析相结合,提出基于M-WDLS和PCA的转子故障诊断方法.首先提取原始振动信号的时域、频域、时频域特征构造混合域特征集;然后利用M-WDLS选择敏感特征组成敏感特征矩阵;最后对敏感特征矩阵进行PCA降维处理,并将结果输入到K-近邻分类器中进行模式识别.对比实验的结果表明,该方法能有效提取转子系统振动信号的状态特征,有助于提高故障辨识的准确率.     

贝叶斯与k-近邻相结合的文本分类方法

为了提高分类器的精度,对分类器的结构进行了改进,提出了一种基于贝叶斯和k-近邻组合分类器的模型,该分类方法结合了贝叶斯方法分类速度较快和k-近邻方法分类准确率较高的优点.实验结果表明,该方法在保证分类速度的前提下,有效地提高了分类准确率.     

SVR—CKNN预测用于HIV-1蛋白酶抑制剂QSAR建模

为提高药物定量构效关系（QSAR）模型预测精度,发展了一种新的QSAR建模方法SVR—CKNN。该法基于支持向量机回归（SVR）自动筛选化合物结构描述符,以k-最近邻建立多个子模型实施组合预测（CKNN）。应用于49种HIV-1蛋白酶抑制剂QSAR研究,留一法预测结果表明SVR—CKNN预测精度明显优于多元线性回归（MLR）、逐步回归（SLR）、偏最小二乘回归（PLS）和神经网络（BP—ANN）等传统模型。SVR—CKNN基于结构风险最小,具非线性、适于小样本、泛化推广能力强、稳定性好、不依赖操作者经验等诸多优点,在药物设计等研究中应用前景广泛。     

基于多标签分类的高血压合并症预测模型

合并症预测是典型的多标签分类问题,有效利用标签之间的相关性是提高多标签分类模型精度的关键.针对该问题提出了高血压患者常见合并症的预测模型AR-MLKNN(multi-label k-nearest neighbor based on association rules),首先从不同语义空间的临床概念中构建了患者特征表示,然后通过疾病标签关联信息量化合并症并发关系,并基于样本k邻城内标签的概率分布以后验概率的方式计算样本对每个疾病标签的隶属概率.利用合并症并发关系和疾病标签隶属概率映射形成合并症风险矩阵,基于合并症风险值,根据最小化分类损失的原则动态调整分类阈值以获取最优分类结果.实验结果表明该模型可以对高血压合并症进行较为准确的预测,F1-score达到82％,相较于常规的ML-KNN(multi-label k-nearest neighbor)模型提高了8％,在临床辅助决策领域具有一定的应用价值.     

一种新的基于伪最近邻算法的降水预报方法

分析北京地区日降雨量资料,相较于其他降雨事件,大雨或暴雨事件发生的次数较少,因此该地区的降水量预报属于样本不均衡问题。在样本不平衡的情况下,K最近邻(PNN)算法的分类误差率将会大大提高,这也就使传统的基于K最近邻算法的降水量预报方法的应用受到了限制。针对北京地区降水量预报这一样本不均衡问题,应用伪最近邻算法构建了北京市的降水量预报模型。该方法利用北京地区日降雨量资料和美国国家环境预报中心全球格点资料,将降雨量作为类,将美国国家环境预报中心全球格点资料的各种因子场作为天气样本特征,通过决策规则实现最优分类。利用提出的降水预报模型对北京地区2010年6~8月进行了24 h降水预报,实验结果表明,提出的预报方法对于降水等级预报的预报准确率以及晴雨预报的TS评分、正样本概括率和漏报率均优于传统的K最近邻预报方法,该方法具有较好的预报效果。     

基于权重搜索树改进K近邻的高维分类算法

信息采集技术日益发展导致的高维、大规模数据,给数据挖掘带来了巨大挑战,针对K近邻分类算法在高维数据分类中存在效率低、时间成本高的问题,提出基于权重搜索树改进K近邻(K-nearest neighbor algorithm based on weight search tree,KNN-WST)的高维分类算法,该算法根据特征属性权重的大小,选取部分属性作为结点构建搜索树,通过搜索树将数据集划分为不同的矩阵区域,未知样本需查找搜索树获得最"相似"矩阵区域,仅与矩阵区域中的数据距离度量,从而降低数据规模,以减少时间复杂度.并研究和讨论最适合高维数据距离度量的闵式距离.6个标准高维数据仿真实验表明,KNN-WST算法对比K近邻分类算法、决策树和支持向量机(support vector machine,SVM)算法,分类时间显著减少,同时分类准确率也优于其他算法,具有更好的性能,有望为解决高维数据相关问题提供一定参考.     

Fisher判别法在综放回采巷道支护形式选择中的应用

 将Fisher判别分析法应用于综放回采巷道支护形式选择中,建立了综放回采巷道支护形式选择的Fisher判别分析模型,选取围岩强度、煤层强度、巷道埋深、围岩节理裂隙发育程度、采动影响系数、顶煤厚度、护巷煤柱宽度和断面面积8项指标作为Fisher判别分析模型的判别因子,以15组综采巷道围岩及支护实测数据作为学习样本进行训练,建立相应的判别函数对待判样本进行分类.研究结果表明,Fisher判别分析模型分类性能良好,预测精度高,回判估计的误判率很低,是一种综放回采巷道支护形式选择的有效方法.     

软聚类节点分裂层次模型

针对分类决策树算法存在的结构冗余及误差迁移问题，提出了软聚类节点分裂层次模型.通过叶子节点处决策模型构建以及软聚类节点分裂方法，实现对样本空间的高效划分，生成精简的层次结构模型.利用层次结构判别方法，从层次结构模型叶子节点到根节点对样本进行加权求和预测，降低模型结构对判定效果的影响，提高模型对判别误差的调节能力.对比了CART、ID3、C4.5共3种分类算法，该方法构建的模型结构简单，在两个数据集上均有最好的分类效果，F₁-measure分别为0.53和0.38.说明软聚类节点分裂层次模型能够避免冗余结构，缓解误差迁移问题.      

基于两类总体的边坡稳定性判别分析

针对边坡稳定性影响因素复杂、传统的稳定性分析方法计算工作量巨大、计算过程复杂的问题,提出了一种新的解决方法——判别分析方法.以在边坡稳定性分析中广泛采用的边坡重度、内聚力、摩擦角、边坡角、边坡高度、孔隙压力比共六项指标作为判别因子,建立了可进行边坡稳定性预测的判别分析模型.典型工程实例的分析结果表明,该方法简便可行,具有较强的分析可靠度,且排除了边坡稳定性判别分类中人为因素的影响,为解决边坡岩体稳定性判定和分类提供了一条新的途径,可以在实际工程中进行推广.