PCA支持向量机回归集成股市预测应用

利用主成分分析（PCA）方法优选神经网络集成个体,利用支持向量机回归集成生成输出结论,建立一个PCA支持向量机回归集成股市预测模型。试验表明,该模型能有效提高神经网络集成系统的泛化能力,预测精度高,稳定性好。     

量子粒子群优化神经网络集成股市预测模型研究

利用量子粒子群优化神经网络集成个体的网络结构和连接权值,对集成个体进行支持向量机回归集成,建立一个新的量子粒子群优化神经网络集成股市预测模型。新模型能有效提高神经网络集成系统的泛化能力,易操作,稳定性好,预测精度高,具有良好的应用前景。     

一种新的支持向量机混合集成算法

针对基于Boosting和Bagging的集成算法不能有效提高"强学习器"泛化性能的问题,融合Boosting的样本扰动和快速核独立分量分析的特征扰动以生成若干个体支持向量分类器,使生成的训练样本集具有较大的差异性。然后基于模糊核聚类算法根据各个体支持向量机在验证集上的泛化误差选择最优个体进行集成。实验结果表明该算法能进一步提高支持向量机分类器的泛化性能,而且具有较强的稳定性。     

鲁棒最小二乘支持向量机及其在软测量中的应用

针对最小二乘支持向量机在利用产生于工业现场的非理想数据集进行建模预测时,稀疏化模型鲁棒性差的问题,提出了一种基于模糊C均值聚类和密度加权的稀疏化方法.首先通过模糊C均值聚类将训练样本划分为若干个子类;然后计算每个子类中各样本的可能贡献度,依次从每个子类中选取具有最大可能贡献度的样本作为支持向量;最后更新每个样本的可能贡献度,继续从各个子集中增选支持向量,直至稀疏化后的模型性能满足要求.仿真结果和磨机负荷实际应用表明,该方法能够兼顾模型在整体样本集和各工况子集上的性能,在实现模型稀疏化的同时,能够显著改善最小二乘支持向量机模型的鲁棒性.     

基于量子粒子群的神经网络集成股市预测模型研究

利用量子粒子群改进神经网络集成个体的网络结构和连接权值,利用主成分分析法提高集成个体差异度,形成一组优良的神经网络集成个体,利用支持向量机回归集成生成输出结论,求出非线性时序函数的全局最优解,随即建立一个基于量子粒子群的神经网络集成股市预测模型。试验表明,该模型能有效提高神经网络集成系统的泛化能力,预测精度高,稳定性好。     

一种改进的神经网络集成法预测PMV指标

为解决大样本的PMV指标预测问题,采用基于模糊聚类的神经网络集成方法,将原始样本集模糊划分为多个相交子集,通过这些模糊子集训练神经网络得到预测个体,再对个体输出加权结合获得预测结果.在进行神经网络集成过程中,采用微粒群算法有效克服了聚类和常规神经网络训练容易陷入局部最优的缺点,总结出一种更加有效的神经网络集成方法.实验结果表明:基于微粒群的神经网络集成算法有较好的全局优化性能,其集成的神经网络系统能更准确地预测PMV指标.     

Boosting集成支持向量回归机的滑坡位移预测

支持向量回归机(SVR)在实际的学习应用中,由于数据时空的复杂性和算法本身的参数选择,学习模型难以达到预期的效果.针对这个问题,提出了基于Boosting集成的支持向量回归机方法.通过在原始数据集加权采样的基础上,进行多次迭代子SVR机器学习,不断调整样本权值再采样,优化机器学习模型,然后对迭代所得的每级支持向量回归结果按某种组合方法进行集成,得到最终的回归函数形式.应用该方法进行了仿真试验和滑坡变形时序预测研究.结果表明:使用集成的SVR进行回归预测较之单一的SVR具有更高的准确性和更好的泛化性.对Boosting与Bagging 2种不同的集成SVR,进行了比较研究,试验结果表明,2种算法性能相差不大,总体上前者强于后者.     

选择性集成学习模型在岩性-孔隙度预测中的应用

储层是油藏地质建模的主要对象,储层属性参数的预测是建模的重要基础和主要难点之一。利用机器学习方法建立预测模型是目前研究的一个热点。针对单一机器学习方法在孔隙度预测方面存在的容错率低、过拟合等缺点,提出了融合岩性分类进行选择性集成学习建立预测模型的方法。该方法首先使用支持向量机进行岩性分类,并将岩性分类结果作为孔隙度选择性集成预测模型的输入。然后在研究分析典型机器学习方法的基础上,通过主成分方法分析法从支持向量回归、径向基(radial basis function,RBF)神经网络、随机森林、岭回归和K近邻回归等经典模型中选择出一组表现优异的个体学习模型组成集成学习模型,个体在集成模型中的权重由"主成分权重平均"法获得,最终采用加权平均法得到集成学习模型的输出。该方法考虑了岩性对孔隙度的影响,克服了单一模型存在的不足,模型的泛化能力强。研究结果表明,该方法的预测精度明显优于其他单一机器学习方法,适应性好。     

一种免疫优化的LS-SVR集成算法及其故障预报应用

针对支持向量机集成问题,将最小二乘支持向量回归机作为子回归机,定义子回归机的结构差异度概念,提出一种基于免疫算法优化的多回归机集成方法.该方法首先对各子回归机参数免疫优化,从而减小训练误差;在此基础上选择满足固定差异度的子回归机进行集成,并对集成权值再次优化选择,提高最小二乘支持向量回归机集成的泛化性能.将该方法应用于噪声污染的非线性时间序列的故障预报,利用预测误差反映的故障信息可以实现微小未知故障的快速预报.仿真结果证明了方法的有效性.     

基于模糊遗传优化支持向量机的系统辨识研究

在实际应用中支持向量机的参数选取问题一直没有得到很好地解决,限制了其应用。为了能够自动获取最优的支持向量机参数,提出了基于模糊遗传算法的SVM参数选择方法,用模糊逻辑在线调整遗传算法的交叉概率pc和变异概率pm,并采用基于模糊遗传优化的支持向量机回归和BP神经网络对非线性系统辨识问题进行了研究。仿真结果表明,在小样本情况下,支持向量机比神经网络具有更高的系统辨识精度和更好的泛化能力。     

基于覆盖的神经网络集成在语音识别中的应用

神经网络集成通过训练多个神经网络并将各网络的结论进行合成,从而得到最终结果.集成可以显著的提高学习系统的泛化能力.讨论了基于覆盖思想而设计的神经网络集成方法,并将其应用于汉语孤立数码语音识别系统中,通过在集成过程中加入基于覆盖思想的控制算法降低系统的泛化误差,从而使系统的识别效果有了进一步的提高.     

一种快速选择性神经网络集成方法

选择性集成通过选择部分个体能够获得比传统全部集成更好的泛化性能．已有的一些选择性集成方法实现的时间复杂性较高，或没有充分利用个体的先验信息．提出了一种新的选择性集成方法FASEN（fast approach to selective ENsemble）．该方法在独立训练出一批神经网络后，采用一种近似搜索策略，只选择与其他个体差异较大且估计泛化误差较小的网络参加集成，把个体选择的搜索空间从2^N降到N．理论分析与实验结果表明，该方法简单高效，泛化性能与已有的几种选择性集成方法相当甚至占优．     

神经网络分类器动态集成方法

提出一种神经网络分类器的动态集成方法.基于bootstrapping构建不同的个体神经网络,针对混合属性,通过不同的加权最近邻设计评估单个网络的分类精度,在此基础上动态选择误差率较小的神经网络,经过投票形成集成分类结果.将该方法与其它几种集成方法在10个UCI数据集上进行了分类性能比较.实验结果表明,该方法在上述所有数据集上的平均分类精度最佳,同时发现,Bagging比隐层神经元数法能更好地生成个体网络,而将两者结合起来训练个体神经网络,并不能明显提高集成性能.     

增量构造负相关异构神经网络集成的方法

基于负相关异构网络,提出了一种增量构造异构神经网络集成(NNE)的方法.该方法在训练成员网络时,不仅调整网络的连接权值,而且动态调整网络的结构,从而在提高单个网络精度的同时增加各成员网络之间的差异度,减小网络集成的泛化误差.该方法包括构造最佳异构网络(BHNN)和构造异构网络集成(HNNE)两个部分,BHNN基于负相关学习动态构造多个最佳网络,HNNE利用训练好的最佳网络增量地构造异构NNE.使用网络泛化误差和集成泛化误差,整个集成过程可自动完成,无需预先确定成员网络的结构.分别对回归和分类问题进行了实验,相对于单个网络,该方法在测试数据集上的错误率降低了17%～85%,与已有的Boosting、Bagging等网络集成方法相比,错误率也有不同程度的改善.     

ELM-RBF神经网络的智能优化策略

提出了ELM-RBF(extreme learning machine-radial basis function)神经网络的智能优化方法,采用差分进化算法和粒子群优化算法来确定ELM-RBF神经网络中隐层神经元的中心和宽度。仿真结果表明,在具有相同的网络结构前提下,基于智能优化策略的ELM-RBF神经网络学习算法具有更好的泛化能力和较好的鲁棒性。     

基于主成份分析的Bagging集成学习方法

机器学习中数据集的冗余特征会影响学习器的泛化能力，一些流行方法如支持向量机和集成学习也难免于此．研究了利用主成份分析进行特征变换对Bagging集成学习算法的影响，提出一种称为PCA—Bagging的算法，并与其它算法比如单个支持向量机、支持向量机Bagging集成、带有特征变换的单个支持向量机等进行了性能比较．在多个UCI标准数据集上的实验表明PCA—Bagging算法具有更好的性能，这说明即使是泛化能力很强的集成学习方法其学习的数据也需要进行适当的特征变换。     

基于DCT的PCA及神经网络的人脸识别研究

PCA(Principal Component Analysis,也称为K-L变换)方法在许多人脸库的识别中取得了很好的效果,但运算量大;DCT(Discrete Cosine Transform)有较高的压缩性能并可通过快速算法来完成;集成的BP神经网络比单一BP网具有更好的泛化能力.针对上述特点,提出了一种新算法,首先用DCT处理原始人脸图像,然后用包含了原始图像大部分信息的少量DCT系数作PCA,最后用集成的BP神经网络进行识别.在ORL人脸库上的仿真试验结果表明,该方法是一种更为高效的识别方法.     

基于模糊划分的神经网络集成

基于模糊聚类思想,提出了一种神经网络集成方法.由训练数据的模糊聚类结果,把训练数据划分成相交子集,基于各子集生成集成的个体神经网络.由于各子集所包含的数据和数据的类别各不相同,因而个体神经网络性能和结构存在差异.子集个数确定集成中个体神经网络个数.另外,基于隶属度函数计算公式,提出了个体神经网络输出结论结合方法.理论分析和实验结果表明,此方法对模式分类能取得较好的效果.     

神经网络紧凑集成模式

在分析现有神经网络集成构造过程的基础上，提出了一种神经网络紧凑集成模式，集成中成员网络的训练和网络组合权重的优化在同一个学习过程中进行，各参数的调整以提高集成泛化性能为目的．与现有神经网络集成模式相比，集成构造过程更加紧凑，它将个体网络生成阶段与结论合成阶段合二为一，并且网络之间的信息交互建立在实时动态的集成结构基础上，保证了成员网络训练与结论合成之间信息传递的始终一致性．为验证该模式的有效性及优越性，采用4种典型的分类数据集对神经网络紧凑集成模式与CNNE、Bagging、Boosting等现有的集成模式在泛化性能上进行了比较，结果表明神经网络集成模式在测试数据集上的错误率降低了8％～16％．