特征提取与多目标机器学习研究及应用

特征提取与多目标机器学习算法是基于多目标协同EA提出的,该算法通过对学习样本多属性进行特征提取找出其核属性,由核属性与其他非核属性组成属性组,从而提高了分类的精度。各属性组再按相似性和类标签进行有监督地聚成类簇,类簇个数和中心根据适应度矢量函数通过机器学习算法自动确定,这样类簇个数和中心就不受主观因素的影响并且保证了这两个关键要素的优化性质。待分类样本的类属是按离某个类簇中心距离最近邻法则和该类簇的类标签来判定。最后,将算法应用到UCI数据集中的Liver Disorders和Hepatitis两个数据集,以及浙江省北部地区夏天异常高温天气预测。通过实验表明,特征提取与机器学习算法优于著名的朴素贝叶斯、C4.5、SVM算法。     

基于知识图谱的k-modes文本聚类研究

为了提高文本聚类的性能,采用k-modes算法进行文本聚类,并采用知识图谱进行样本预分析,以提高k-modes的文本聚类适用度.采用知识图谱进行样本预处理,对待聚类的文本进行知识图谱三元分析,并生成对应概念、实体和关系的样本集合;接着建立k-modes文本聚类模型,设定簇内节点至簇中心的距离值之和为目标函数,通过轮流固...     

近邻密度分布优化样本分配的改进DPC聚类算法

DPC算法是一种能够自动确定类簇数和类簇中心的新型密度聚类算法,但在样本分配策略上存在聚类质量不稳定的缺陷.其改进算法KNN-DPC虽然具有较好的聚类效果,但效率不高而影响实用.针对以上问题,文中提出了一种近邻密度分布优化的DPC算法.该算法在DPC算法搜索和发现样本的初始类簇中心的基础上,基于样本的密度分布采用两种样本类簇分配策略,依次将各样本分配到相应的类簇.理论分析和在经典人工数据集以及UCI真实数据集上的实验结果表明:文中提出的聚类算法能快速确定任意形状数据的类簇中心和有效地进行样本类簇分配;与DPC算法和KNN-DPC算法相比,文中算法在聚类效果与时间性能上有更好的平衡,聚类稳定性高,可适用于大规模数据集的自适应聚类分析.     

基于相关性分析的多标签特征选择方法

针对现有大多数多标签特征选择算法未能有效去除特征空间冗余特征,同时也忽略了标签差异性的现状,提出一种基于相关性分析的多标签特征选择方法,利用特征之间的相关度对特征进行分组,解决了特征之间的相关性问题.根据样本所对应的标签属性对样本做一个正负类的聚类,对于正样本和负样本所构成的正类簇和负类簇单独确定其聚类个数,并计算原特征到正负类簇中各个类中心的距离,如此便产生了标签特定特征空间;将标签共享的特征空间和标签特定特征空间融合,考虑到多个标签之间的个性和关联性,解决了标签的差异性问题.实验测试表明,相较于现有的多标签特征选择算法,提出的基于相关性分析的多标签特征选择方法在各个分类指标上均有较优的表现,充分证明了该方法的有效性.     

基于多目标优化方法的一类k-Means自适应算法

【目的】针对k-Means聚类算法及MinMax k-Means聚类算法需要人为提前给定聚类数量而导致数据划分准确率偏低以及MinMax k-Means算法聚类效果受类簇边缘点影响较大等不足提出解决方案。【方法】将k-Means和MinMax k-Means算法的目标函数相结合,建立多目标优化模型,提出基于多目标优化方法的k-Means算法。分析簇数异常情况下最小中心方差与最大簇内方差之间的关系。【结果】发现当分类簇数大于最优簇数时,最小中心方差小于最大簇内方差,据此提出了基于多目标优化方法的k-Means自适应算法。【结论】数值实验表明：提出的自适应算法在人工数据集和UCI标准数据集均具有较好的自适应性且聚类效果较优。     

一种基于密度的模糊自适应聚类算法

针对密度聚类算法对邻域参数设置敏感的问题,提出一种基于密度的模糊自适应聚类算法.算法在无需预先设置聚类数以及邻域参数的情况下,可以自适应地根据样本间距离关系确定邻域半径得到样本密度,并根据样本密度逐渐增加聚类中心.为了保障聚类结果的正确性,同时提出一种新的模糊聚类有效性指标以判断最佳聚类数,消除了密度聚类算法对参数的敏感性.用UCI基准数据集进行实验,发现本文算法在对数据进行聚类时,聚类质量较原始密度聚类算法在准确性和自适应性方面均有显著提高.     

一种基于量子机制的分类属性数据层次聚类算法

受物理学中量子机制特性的启发,结合层次凝聚思想,通过引入新的相异性度量测度以及聚类度量尺度步长sβtep概念,重新定义以紧致性指标AIAD和离散性指标AIED为基础的聚类有效性函数CVF,提出一种针对分类属性数据的基于量子机制层次聚类算法CQHC.该算法首先在不同粒度水平上划分数据样本产生初始类(簇),然后以聚类有效性函数CVF为评价标准,动态地合并初始类(簇)完成聚类.仿真实验采用2个真实数据集,即:线性可分的大豆疾病样本数据集和线性不可分的动物园数据集.实验结果表明,该算法与已有的其他几个算法相比,不仅具有更高的聚类准确率,而且能够准确地检测出最佳类别数,是有效且可行的.     

基于孤立点自适应的K-means算法

孤立点的存在使聚类中心的计算产生较大误差,影响K-means算法的聚类效果.针对该问题,引入谢林模型,使孤立点能够自动移动到其邻居所在位置,消除孤立点,同时,对K-means算法过程中的距离计算、初始聚类中心选取环节进行改进,提出基于孤立点自适应的K-means算法.该算法首先对原始数据进行归一化处理,以提高距离计算的准确性;然后,根据谢林模型的基本思想,将孤立点移动到其最近的多邻邻居;接着,由类簇的数目确定邻居样本的搜索范围,确定初始聚类中心;最后,根据移动后的数据集和初始聚类中心,进行K-means聚类.在UCI机器学习数据库中经典聚类数据集上的实验结果表明,该算法可显著提升聚类的精度,同时,簇的内聚性也比较好.     

基于入侵性杂草克隆的图像聚类方法

针对原始谱聚类初始敏感的缺点,提出了一种新的基于入侵性杂草优化(IWO)的图像聚类方法(CIWO).该算法通过计算峰值信噪比(PSNR),动态确定图像聚类簇数的最优选择范围,采用最小量差、最小簇内距离、最大簇间距离重新构造了图像聚类质量的评价函数,通过模拟杂草克隆的自然行为对图像数据集的簇中心进行快速准确定位.将算法应用于几个基准测试图像,并通过聚类有效性准则与k-Means、FCM、PSO等方法进行比较,发现CIWO具有更稳定的图像聚类性能.实验结果也表明,所提出的算法可获得更优的图像聚类质量.     

基于菌群优化的K均值聚类算法研究

为了提高数据挖掘的聚类准确度,提出了一种基于菌群优化的K均值(K-means)聚类算法.采用K均值算法建立数据聚类模型.根据聚类类别数设定多个聚类中心坐标.设定所属类别距离阈值,然后计算待聚类点和所有中心点距离来划分该聚类点的类别.根据参与聚类各节点和各自中心点的距离值建立适应度函数.引入菌群优化算法对K均值聚类过程进...     

一种基于聚类的支持向量机增量学习算法

提出了一种基于聚类的支持向量机增量学习算法.先用最近邻聚类算法将训练集分成具有若干个聚类子集,每一子集用支持向量机进行训练得出支持向量集;对于新增数据首先聚类到相应的子集,然后计算其与聚类集内的支持向量之间的距离,给每个训练样本赋以适当的权重;而后再建立预估模型.此算法通过钢材力学性能预报建模的工业实例研究,结果表明:与标准的支持向量回归算法相比,此算法在建模过程中不仅支持向量个数明显减少,而且模型的精度也有所提高.     

ID-DC:基于分布式聚类的入侵检测方法

提出了基于分布式聚类的异常入侵检测方法ID-DC,通过对训练集进行分布式聚类产生聚簇模型,采用基于双参考点的标识算法Double-Reference标记异常簇,不需要具有类别标签的训练集且可自动确定聚簇模型的个数.实验中采用了网络入侵检测数据集KDD-CUP-99来训练模型.实验结果表明:通过采用分布式聚类算法建立的分布式入侵检测模型可有效地检测攻击,检测率高,误警率低.     

基于粒子群优化聚类算法的点模型简化

为了有效地简化稠密采样点模型,提出了一种基于粒子群优化聚类算法的点模型简化方法.引入了具有强大全局寻优能力的粒子群优化算法,对传统的k-均值聚类算法进行改进,基于改进的聚类算法对点模型进行简化,选取具有最优个体适应度函数的粒子作为原始采样点集的最终简化模型.算法聚类依据采样点的空间位置、法向和曲率的邻近性,实现了点模型表面区域几何特征保持的简化.同时在聚类区域的划分中考虑了曲率阈值和区域半径,使得算法在有效地保持特征边界和曲面细节的同时,能够生成高质量的简化曲面.实验结果表明,粒子群优化的k-均值聚类算法克服了传统聚类算法容易陷入局部极小的缺点,具有更好的全局收敛性和较快的收敛速度.该简化方法在有效简化点模型的同时,很好地保持了原始模型的几何形状,且在相同简化效率下能够生成更高质量的简化曲面.     

基于约束三角剖分的k-means聚类

提出基于约束三角剖分的k-means聚类算法.笔者首先按照约束三角剖分规则对数据点集进行三角网格化,删除大于给定阈值的长边形成k个连通子图,每个连通子图作为一个子类;然后对删除长边的孤立数据点在其邻域内进行局部划分,将其归到最接近的子类中.实验结果表明本文算法无需事先输入聚类数目,可以发现任意非凸形状簇.     

基于测度的网格聚类算法

基于测度的网格聚类方法在数据空间上定义计数测度,并以计数测度构造目标函数．通过调整划分数据空间的分辨率,使目标函数值最大,从而实现分辨率的自动确定．在此分辨率下,某些数据细节被忽略,但是数据的主要属性和关系更为明显．距离较近的数据将被聚类到属性相同的同一簇中,使簇间的数据相似性最小,簇内的数据相似性最大．算法中没有对参数值进行人为设定,可以实现提高准确性的目的．     

一种改进的数据流聚类方法

针对传统K-均值方法不能有效处理动态变化的数据聚类的问题,本文提出了一种改进的数据流聚类技术——流式K-均值聚类(Streaming K-means Clustering,SKC).该方法首先对数据流中已经产生的初始数据块进行K-均值聚类,当数据流的新数据块到来时,通过衡量已经得到的聚类结果与新进入样本块的距离,对样本进行初步简单归类,并计算聚类结果的性能,若聚类结果性能在可接受范围内,则该数据块聚类结束,否则采用K-均值方法对新类进行深层次聚类.采用SKC的流式数据聚类方法处理数据流的聚类问题,对于整个数据流中的多数数据块都进行简单归类,只有少数数据块进行K-均值聚类,有效提高了数据流聚类的效率.实验结果表明,流式K-均值聚类方法能够有效处理数据流的聚类问题.     

基于过采样支持向量机的煤与瓦斯突出预测

基于机器学习的煤与瓦斯分类预测方法中,各突出案例的数量不平衡会导致预测准确率降低。为了提升煤与瓦斯突出预测模型的准确率及稳定性,构建了过采样算法和支持向量机(support vector machine, SVM)组合的分类预测模型。首先,通过聚类分析将突出样本分成多个簇,在每个簇中对可能的噪声点按概率去除;然后通过过采样算法合成新样本,以减少样本数量不均衡对模型训练的影响;最后,用支持向量机模型结合粒子群算法对新数据集进行训练调优。实验结果表明:提出的模型在G-mean、曲线下面积(area under curve, AUC)值上均高于传统的分类模型,具有更强的算法鲁棒性,并且随着突出样本数量的减少,其优势更加明显。     

和声搜索算法在聚类分析中的应用

提出了一种改进的和声搜索算法并应用到聚类分析中.首先,将状态反馈机制引入到和声搜索算法中,通过判断和声记忆库中"最优"和声和"最差"和声之间的差异,来动态调整和声记忆库考虑概率和移动步长,使算法能够快速地收敛到全局最优解.通过更新和声向量中精度变量对应的聚类中心来最小化目标函数值,获得数据样本的最优划分.其次,提出了一种数据样本真实聚类中心数的确定方法,当输入样本数大于真实聚类中心数时,通过计算能够自动地确定数据样本真实聚类中心数目.最后,应用4种性能指标来比较所提算法与蚁群聚类算法和原始和声搜索聚类算法的性能.结果表明,所提算法的性能优于另两种算法.     

基于概念分组的Web搜索结果聚类算法

为了便于用户浏览搜索引擎返回的搜索结果,快速有效地定位有价值的Web文档,提出了基于概念分组的Web搜索结果聚类算法.首先,建立特征词同现网络,利用概念分组技术挖掘特征词之间的语义关联,形成主题概念类;然后,计算文档与各概念类之间的距离,据此实现Web搜索结果的聚类;最后,综合考虑特征词在类内和文档集中的重要性进行类别标签的选择.实验结果表明本算法具有较好的聚类性能,明显优于k-均值算法,且产生的类别标签容易理解.     

一种基于名词短语的检索结果多层聚类方法

为了对检索结果获取高质量的聚类效果,提取名词短语作为候选类别标签,根据候选类别标签分布情况生成基础类,再使用具有线性时间复杂度的一趟聚类算法对基础类进行多层聚类。与NEC,STC和Lingo算法的对比实验表明:该方法在类别标签的可读性、有效性以及聚类性能上都优于以上3种方法。