Parzen窗核密度估计的大规模数据模式分类隐私保护方法

 针对大规模数据集上的模式分类任务, 提出基于Parzen 窗核密度估计的模式分类隐私保护算法。利用Parzen 窗算法对原始大规模训练集服从的概率密度进行估计, 根据估计的概率密度函数构造la 个替换训练样本, 其中l 为原始样本的数目, a 通过10 折交叉验证方式确定。最后发布替换训练样本进行模式分类, 以实现原始数据上的隐私保护。在Adult 数据集上的仿真实验充分验证了算法的有效性。     

极限学习机的快速留一交叉验证算法

针对回归和分类问题,提出一种极限学习机(Extreme Learning Machine, ELM)的快速留一交叉验证算法,并从理论和数值仿真两方面说明其有效性.结果表明,该算法避免了以训练样本数量N次的ELM模型的显式训练,其计算复杂度与N仅呈线性趋势增长,即O(N).即使在处理大型数据集建模问题时,该算法仍然可以快速地进行ELM模型的选择和评价.通过人工和实际数据集上的仿真实验,验证了该快速留一交叉验证算法的有效性.     

基于PCA-PSO-ELM的瓦斯涌出量预测

为了更加准确有效地预测瓦斯涌出量,提出采用主成分分析结合粒子群算法、极限学习机的瓦斯涌出量预测方法,其中极限学习机中隐含层节点数量及激活函数的类型由粒子群算法进行组合优化.实验综合考虑影响回采工作面瓦斯涌出量的13个因素对沈阳某煤矿历史数据进行分析,首先采用主成分分析对数据进行降维,消除指标数据之间的相关性,将降维后的数据划分为训练集和测试集2部分,设计了粒子群算法的惯性权重,并由粒子群算法结合十折交叉验证对极限学习机的2个参数进行优化,选择最优参数组合建立预测模型,通过对测试集瓦斯涌出量进行预测,其均方误差为0.108 3,优于采用极限学习机及随机森林的预测结果.     

彩色图像分割的FCM预分类核极限学习机方法

在研究聚类算法与极限学习机的基础上实现了一种具有模糊C均值聚类算法(FCM)预分类的核极限学习机(KELM)及其在彩色图像分割中的应用.该算法采用模糊C均值聚类算法预分类训练样本,再提取其图像特征作为特征属性对核极限学习机进行训练产生分类器,进而对彩色图像进行分割.经实验验证,该算法分割彩色图像在分割速度和精度上优于FCM预分类的BP人工神经网络以及FCM预分类的支持向量机,是一种高效的彩色图像分割算方法.     

改进的核极限学习机定位算法

针对神经网络无线定位方法,存在训练耗时长,定位结果易受噪声干扰的问题,提出了一种改进的核极限学习机无线定位算法。采取在同一位置进行多次测量的方法得到训练数据;把同一位置测得的数据划分为一个样本子空间并提取样本子空间的特征,以样本子空间的特征代替原来的训练数据;利用矩阵近似及矩阵扩展的相关理论改进核极限学习机算法;将处理过的训练数据利用改进的核极限学习机进行训练,得到定位预测模型。仿真结果表明,在相同数据集下,改进的核极限学习机训练用时短、定位速度快;在相同噪声干扰情况下,此算法定位预测误差小。经验证,该算法不但能提高网络的训练速度、定位速度,还能有效地降低噪声的干扰,提高定位精度。     

基于差分进化极限学习机的电力系统暂态稳定评估方法

电力系统暂态稳定性的破坏可以对电力系统的安全稳定运行产生严重冲击,准确、快速地暂稳评估方法能够提高电力系统的安全防御能力。极限学习机由于其速度快、泛化性能好被应用到电力系统暂态稳定评估中。为了提高极限学习机的评估性能,利用基于差分进化算法的优化方法和序列浮动后向特征选择算法对极限学习机暂态稳定评估性能进行提升。首先对输入特征通过主元分析降维并利用序列浮动后向算法进行特征选择,再将最优特征集输入差分进化极限学习机进行暂态稳定评估,最后在新英格兰10机39节点系统中进行验证分析,结果表明,所提模型与其他极限学习机模型相比,大大提升了其在暂态稳定分类评估中的性能。     

一种基于粒子群优化和核极限学习机的入侵检测算法

针对网络入侵检测准确率低、误报率高的问题,本文提出了一种基于粒子群优化和极限学习机的入侵检测算法。粒子群优化算法(PSO)是一种群智能算法,核极限学习机(KELM)是一种学习速度快、泛化能力强的经典核机器学习的方法,但是极限学习机对核函数及参数的选择直接影响它的分类性能。本文算法中利用粒子群算法优化核极限学习机的核参数,采用学习能力强且线性组合泛化能力强的全局性核函数,形成了多核极限学习机,可以有效提高单核极限学习机（ELM）分类器的性能。最后通过实验对算法性能做了对比分析,实验结果验证了本文算法的有效性。     

多阶段的微阵列数据特征基因集选取

为解决微阵列数据中因样本量少且每个样本的维度高而带有大量干扰信息和冗余信息的问题, 通过分阶段的步骤对特征基因集进行全方位的选取和优化。考虑到单个基因在不同环境中的差异性, 从中选择出只在特定条件下差异较大的基因构成候选特征集; 剔除候选特征集中相关性较小的基因; 采用遗传算法对所得特征集的任意子集的整体分类性能进行考查, 选出较优的子集。实验结果表明, 该算法对逐步选取特征基因具有可行性和有效性, 而特征基因集在分类适应度（分类能力度量）和分类准确率均比原始数据更好。     

基于筛选机制的L1核学习机分布式训练方法

为降低无线传感器网络中核学习机训练时的数据通信代价和节点计算代价,研究了基于筛选机制的L1正则化核学习机分布式训练方法。提出了一种节点局部训练样本筛选机制,各节点利用筛选出的训练样本,在节点模型对本地训练样本的预测值与邻居节点间局部最优模型对本地训练样本预测值相一致的约束下,利用增广拉格朗日乘子法求解L1正则化核学习机分布式优化问题,利用交替方向乘子法求解节点本地的L1正则化核学习机的稀疏模型;仅依靠相邻节点间传输稀疏模型的协作方式,进一步优化节点局部模型,直至各节点模型收敛。基于此方法,提出了基于筛选机制的L1正则化核最小平方误差学习机的分布式训练算法。仿真实验验证了该算法在模型预测正确率、模型稀疏率、数据传输量和参与模型训练样本量上的有效性和优势。     

基于贝叶斯模型组合的随机森林预测方法

为了能够精准可靠地估计太阳能辐照度,本文提出一种基于贝叶斯模型组合的随机森林算法用于太阳能辐照度预测.首先,引入K-means聚类和K折交叉验证将气象数据训练集生成多个训练子集,以增加训练子集的多样性并保证均匀采样.其次,将随机森林作为基学习器建立集成学习预测模型,导入训练子集并训练各个随机森林.之后,依据各个随机森林在验证集上的预测性能,采用贝叶斯模型组合算法制定组合策略.个体随机森林在测试集上的预测值经过模型组合策略得到最终输出.最后,基于气象实测数据建立仿真实验,并引入其他四种预测方法进行对比仿真研究,通过实验结果验证了文中所提出预测方法在太阳能辐照度预测问题中的准确性和可靠性.     

利用粒子群优化的极限学习机入侵检测算法

针对网络入侵检测准确率低、误报率高的状况,通过理论分析与仿真实验,提出一种利用粒子群优化的极限学习机入侵检测算法.该算法利用粒子群算法优化核极限学习机的核参数,采用学习能力和线性组合泛化能力强的全局性核函数,形成多核极限学习机,可以有效提高单核极限学习机分类器的性能.通过仿真实验对其性能进行了对比分析,结果验证了该算法的有效性.     

调和平均优化选择划分属性的决策树改进算法

针对信息增益和信息增益率对属性取值数的偏好,提出了一种调和平均优化选择划分属性的决策树改进算法.首先计算候选划分属性的信息增益,找出信息增益高于平均水平的属性,然后分别计算这些属性的信息增益率和信息增益的调和平均值,从中筛选调和平均值最大的属性,建立分支决策,并用递归方法建立决策树.通过4份不同规模数据实验,利用信息增益、信息增益率、GINI指数以及该文提出的方法作为属性划分的标准,分别考察其准确性在训练集、测试集、10次10折交叉验证(或5次5折交叉验证),以及其平均值.实验结果表明:该方法准确性较好、运行时间较短,具有一定程度的优越性.     

基于支持向量机和遗传算法的变压器故障诊断

为了提高变压器故障诊断准确率,该文提出了一种基于支持向量机(support vector machine,SVM)和遗传算法(genetic algorithm,GA)的电力变压器故障诊断方法。基于5种常用油中溶解气体分析方法的20种不同输入建立初始特征集合,采用二进制方式将支持向量机惩罚因子、核参数及特征子集编码至遗传算法染色体,建立基于5折交叉验证正确率的适应度函数,联合优化最优特征子集和支持向量机参数组合。然后依据最优特征子集和参数组合训练诊断模型,并利用测试集和故障实例验证诊断性能。实例分析结果表明:该方法能准确、有效地诊断变压器故障,比基于传统特征子集的支持向量机-遗传算法模型、IEC三比值法、反向传播神经网络和朴素Bayes等方法具有更高的诊断准确率。     

基于布谷鸟搜索算法参数优化的组合核极限学习机

针对单核极限学习机在泛化性能上存在一定局限性的问题, 提出将再生核函数与多项式核函数相结合, 建立一种新的组合核极限学习机模型, 使其具有全局核与局部核的优点, 并选择布谷鸟搜索算法对其参数进行优化选择. 仿真实验结果表明, 采用基于再生核的组合核函数作为极限学习机的核函数可行, 在实验数据集的多值分类和回归问题上, 与传统支持向量机及单核极限学习机相比, 该模型具有更好的泛化性能.     

基于核均值漂移聚类的改进局部协同训练算法

【目的】针对协同训练算法不能直接应用于单视图数据，且在迭代过程中加入的无标记样本隐含有用信息不够的问题，提出基于核均值漂移聚类的改进局部协同训练算法。【方法】该算法先在有标记样本集中利用改进局部协同训练算法训练一个完整视图分类器h1，同时挑选出价值高的特征子集来训练局部视图分类器h2，然后在无标记样本集中采用核均值漂移算法选择聚类过程中指定带宽范围内的样本，交由分类器h2标记类别后再加入分类器h1的训练中，以此来优化分类模型。【结果】在UCI数据集上的3组对比实验证明了该算法的有效性，实验结果表明该算法具有更高的模型评价能力。【结论】改进局部协同训练算法将数据集划分为局部视图和完整视图，解决了单视图数据的视图划分问题。利用核均值漂移算法选出较好表现数据空间结构的无标记样本，降低了无标记样本带来的误差。     

基于布谷鸟搜索算法参数优化的组合核极限学习机

针对单核极限学习机在泛化性能上存在一定局限性的问题, 提出将再生核函数与多项式核函数相结合, 建立一种新的组合核极限学习机模型, 使其具有全局核与局部核的优点, 并选择布谷鸟搜索算法对其参数进行优化选择. 仿真实验结果表明, 采用基于再生核的组合核函数作为极限学习机的核函数可行, 在实验数据集的多值分类和回归问题上, 与传统支持向量机及单核极限学习机相比, 该模型具有更好的泛化性能.     

小波核极限学习机及其在醋酸精馏软测量建模中的应用

传统的机器学习算法一般通过迭代进行参数寻优,导致学习速度慢,且容易陷入局部最小值。针对这个问题,提出了一种基于小波核函数的极限学习机(KEML)的软测量建模方法,将支持向量机(SVM)中核函数的思想运用到极限学习机(EML)中,避免了SVM训练速度慢以及ELM算法不稳定的缺点。将KEML算法运用于醋酸精馏的软测量建模问题中,仿真实验结果验证了该算法的学习速度是SVM的92倍,且算法的精度以及模型的泛化能力都有所提高。     

分布式环境中基于核函数的极限学习机

针对海量数据规模下的集中式核函数极限学习机的性能问题,将基于核函数的极限学习机扩展到云计算技术框架下,提出了基于MapReduce的分布式核函数极限学习机MR-KELM.该算法将分布式径向基核函数计算出的核函数矩阵进行分布式矩阵分解,并通过分布式矩阵向量乘法得到分类器输出权重,减小了网络通讯和数据交换代价.实验结果表明,MR-KELM算法能够在不影响基于核函数的极限学习机的计算理论的前提下,具有较好的可扩展性和分类训练性能.     

基于基因表达谱的肿瘤样本分类规则提取

样本分类规则提取是基因表达谱数据挖掘工作中的重要内容,提取肿瘤病理组织与正常组织的样本分类规则具有重要的生物学意义与临床诊断价值.针对该问题,基于机器学习与数据挖掘技术,研究了用于区分肿瘤与正常组织样本的分类规则提取问题.首先,利用改进的Relief算法生成候选特征子集,并以支持向量机作为样本分类模型,利用交叉验证方法在训练集上评估候选特征子集的样本分类能力,确定分类特征基因集合;然后,利用CART(classification and regression trees)学习算法构建决策树获得样本分类规则;最后,对所得规则进行了分析和解释.     

融合子集特征级联预学习的封装方法研究

机器学习领域中的特征选择算法可简化模型输入，提高可解释性并帮助避免维度灾难及过拟合现象的发生.针对基于封装法进行特征选择时，评价模型通常将搜索出的特征子集直接作为输入，导致算法对特征利用和评估效果受限于评价模型的特征学习能力，限制了对更适特征子集的发现能力等问题，提出一种基于级联森林结构的子集特征预学习封装法.该方法在搜索算法与评价模型之间添加多层级联森林，重构待评价特征子集为高级特征集，降低评价模型模式识别难度，提高对子集性能的评价效果.实验对比了多种搜索算法及评价模型组合，本方法可在保证分类性能的前提下，进一步降低所选特征数量，同时维持了封装法的低耦合性.