基于分级偏最小二乘回归的径向基函数神经网络

为提高径向基函数神经网络的泛化性能,提出一种利用分级偏最小二乘回归方法构造径向基函数神经网络的方法,逐步增加网络中的隐节点数直至达到合适的网络规模,消除了训练数据中存在的多重共线性对网络泛化能力的不利影响.所得径向基函数神经网络的泛化能力比偏最小二乘回归构造的径向基函数神经网络提高了约30%.船舶航向跟踪预测控制仿真验证了该算法的可行性和有效性.     

基于PSO优化LSSVR的三维WSN节点定位方法

提出了一种基于粒子群优化最小二乘支持向量回归机的三维无线传感器网络节点定位方法。该方法首先运用最小二乘支持向量回归机构建三维节点定位模型,再利用粒子群优化算法对最小二乘支持向量回归机核函数参数和规则化参数寻优。然后,根据若干虚拟节点定位的预测位置与实际位置的均方差构造粒子群算法适应度函数,通过有限次建模参数迭代寻优获得最小二乘支持向量回归机全局最优参数。最后,返回回归模型中进行定位计算,实现节点定位。仿真结果表明,所提出的方法与最小二乘和最小二乘支持向量回归机定位方法相比,可以提高节点定位精度。     

基于PSO优化LSSVR的三维WSN节点定位方法简

提出了一种基于粒子群优化最小二乘支持向量回归机的三维无线传感器网络节点定位方法。该方法首先运用最小二乘支持向量回归机构建三维节点定位模型,再利用粒子群优化算法对最小二乘支持向量回归机核函数参数和规则化参数寻优。然后,根据若干虚拟节点定位的预测位置与实际位置的均方差构造粒子群算法适应度函数,通过有限次建模参数迭代寻优获得最小二乘支持向量回归机全局最优参数。最后,返回回归模型中进行定位计算,实现节点定位。仿真结果表明,所提出的方法与最小二乘和最小二乘支持向量回归机定位方法相比,可以提高节点定位精度。     

无线传感器网络中传感器节点定位的递归加权最小二乘优化方法

采用最小二乘优化算法,研究了基于接收信号强度测量的信号源定位问题.首先,建立了路径损耗的线性化模型;然后,介绍了加权最小二乘法,并提出了无线传感器网络中传感器节点定位的递归加权最小二乘优化方法.最后将本文提出的迭代加权最小二乘法与基于接收信号强度（RSS）的2种算法进行比较,仿真结果表明提出的算法在定位精度方面有更好的表现.      

偏最小二乘法与人工神经网络耦合的小流域产沙模型

针对小流域侵蚀产沙的复杂性,将偏最小二乘回归与人工神经网络耦合,建立了小流域降雨侵蚀产沙检验模型,并应用于小流域降雨侵蚀产沙预报.采用偏最小二乘法对多维自变量中的信息进行组合和提取,从而得到对因变量解释能力最强并可很好概括自变量信息的主成分,有效克服了变量之间的多重相关问题,实现了对高维数据的降维处理.把提取的主成分作为神经网络的输入,提高了网络的学习效率和稳健性.应用结果表明,偏最小二乘神经网络耦合模型的拟合和检验精度均优于偏最小二乘回归模型和人工神经网络模型精度.     

基于克隆优化的船舶号灯神经网络识别模型

针对复杂光环境下船舶号灯识别模型的高维、强非线性及影响因素复杂等特性,提出一种基于克隆选择优化算法的BP神经网络识别模型.通过对影响因素的筛选确定BP神经网络的输入,将号灯识别码作为网络的输出确定BP神经网络模型.采用免疫克隆选择优化算法,确定网络层数和各层节点数目,结合灵敏度分析法选择非线性寻优的方向和尺度,以减少BP神经网络的迭代次数,提高搜索效率.通过对海上夜航时拍摄的一些实景照片进行学习和识别的仿真,验证了所建立的船舶号灯识别模型的有效性.     

基于鲁棒主元分析的故障诊断方法

针对工业过程的建模数据中含有离群点的情况,提出了一种基于鲁棒主元分析(PCA)的故障诊断方法.该方法使用广义极大似然估计(M估计)代替最小二乘估计,将传统的主元分析问题转化为一个加权的重构误差优化问题,然后通过改进的非线性迭代部分最小二乘(NIPALS)算法来求得问题的最优解,在此基础上建立主元模型并构造监控统计量检测过程故障.在连续搅拌反应器(CSTR)仿真系统上的应用结果表明,鲁棒PCA方法能够消除离群点对主元模型的影响,比PCA方法分析过程数据更为准确,能更有效地诊断过程故障.     

基于鲁棒主元分析的故障诊断方法

针对工业过程的建模数据中含有离群点的情况,提出了一种基于鲁棒主元分析(PCA)的故障诊断方法.该方法使用广义极大似然估计(M估计)代替最小二乘估计,将传统的主元分析问题转化为一个加权的重构误差优化问题,然后通过改进的非线性迭代部分最小二乘(NIPALS)算法来求得问题的最优解,在此基础上建立主元模型并构造监控统计量检测过程故障.在连续搅拌反应器(CSTR)仿真系统上的应用结果表明,鲁棒PCA方法能够消除离群点对主元模型的影响,比PCA方法分析过程数据更为准确,能更有效地诊断过程故障.     

基于多变量相空间重构的地下水动态神经网络预测模型

从多元变量时间序列出发,以相空间重构理论为基础,结合偏最小二乘回归与神经网络方法,提出了基于多变量相空间重构地下水动态预测的神经网络模型.通过分别确定各个时间序列的时间延迟和嵌入维数的方法对地下水动态的多变量时间序列进行相空间重构,采用偏最小二乘回归法提取对系统解释最强的成分作为网络输入,利用神经网络模型进行各成分之间的非线性拟合.将基于多变量相空间重构地下水动态预测的神经网络模型应用于黑龙洞泉域地下水位预测,并通过分析与比较验证了该方法的有效性.     

非线性半参数模型最小二乘核估计的迭代算法

基于非线性半参数模型最小二乘核估计,给出了核估计参数分量和非参数分量估计的构造式.导出了利用高斯一牛顿迭代法的计算公式.实测数据的模拟表示该算法具有较好的拟合精度.     

基于模糊基函数变换的PLS及其在软测量中的应用

针对以往非线性偏最小二乘法(PLS)的局限性,提出了一种基于模糊基函数变换的PLS算法,用以解决非线性系统的建模问题.该方法首先通过模糊基函数变换将自变量与因变量之间的非线性关系转化为线性关系,再利用PLS算法进行回归求参,从而有效克服由于模糊基函数变换所引发的维数增加以及多重共线性,使得模型在具有较高拟合精度的同时还能有效地抑制噪声.通过仿真实验进一步验证了该方法的有效性,并将其应用于湿法冶金萃取过程组分含量软测量建模问题,得到了满意的效果.     

改进型遗传神经网络在模式分类中的应用

为研究图像和语音的模式分类,提出一种采用可变长度串遗传算法(VGA)的进化神经网络.该算法可以全局搜索优化神经网络的结构,找到神经网络接近最优的连接权,再通过反向传播算法(BP),在该优化结构中找到最优连接权.对语音数据和SPOT图像数据的验证结果表明,在模式分类中,采用该算法的分类器(VGA-BP)的分类性能较贝叶斯(Bayes)分类器、最近邻规则(k-NN)分类器具有更高的分类精度.     

基于MEA的粗糙集神经网络研究及应用

将思维进化算法、粗糙集和神经网络相结合,提出一种基于MEA的粗糙集神经网络,用于变压器故障诊断。此模型采用思维进化算法全局寻优的特点,搜索粗糙集属性约简离散断点的位置以及神经网络的连接权值和阈值,避免了常规粗糙集属性约简时复杂的手工试凑以及BP神经网络收敛速度慢、精度不高等缺点,有利于更快地收敛于全局最优解,提高系统的诊断速度和准确率。仿真结果表明了方法的有效性。     

基于偏最小二乘法回归的工序质量建模

针对制造工序质量控制问题,应用多元统计分析中的偏最小二乘回归法建立了质量模型.利用该模型可以定量分析加工工序与最终成品率之间的关系,进而通过将大量的工序影响因子约简得到主要影响因子子集.根据在线生产的相关质量数据,采用非线性迭代偏最小二乘法获得影响因子的权重.得到偏最小二乘因子权重可以在线预测成品质量变化,避免离线测试.在半导体制造实例研究中,以工序质量水平为自变量,成品质量水平为因变量,建立了质量水平传递模型,应用该方法可实现多工序质量异常的在线诊断和预测,为质量控制提供了定量依据.     

OSC-PLS方法用于渣油裂解装置的软测量建模

渣油裂解反应中,影响沥青产率的因素多,反应机理十分复杂,难以建立准确的机理模型。采用基于正交投影的正交信号校正(OSC)算法对输入变量测量数据进行预处理,剔除数据中所含的与待测变量如浓度、收率等无关的噪声信息;再实施OSC与偏最小二乘(PLS)回归相结合的OSC-PLS方法,建立渣油裂解装置沥青产率的软测量校正模型。结果显示:模型精度和稳定性较非线性方法均有显著提高,而且模型所需PLS成分数减少,模型更简洁。     

一种改进的Jacobi正交多项式的BP神经网络算法

 根据多项式理论,构造一种以Jacobi正交多项式作为隐层神经元激励函数的BP(back-propagation)神经网络模型.针对该网络,提出一种改进算法即隐层神经元数可快速确定的权值直接确定算法.首先介绍正交基函数和Jacobi多项式的定义,以及BP神经网络的基本原理.然后进行网络隐层数设计及其隐神经元数的确定,且设置各层连接权值、给出改进算法的步骤.最后,将其与传统矩阵迭代法和Levenberg-Marquardt训练算法进行比较.计算机实验结果表明,该算法具有比传统的BP迭代法更快的计算速度,并且能够达到更高的工作精度.     

结构方程模型的偏最小二乘算法及其几何意义

对含两个潜变量结构方程模型的偏最小二乘（PLS）建模技术进行了研究,给出了相应的路径图、模型设定步骤和求解算法,指出该方法本质上是一种迭代收敛算法.通过引入一种新的算符,给出了PLS算法命令图.并且基于命令图详细讨论了该算法在多维向量空间中的几何意义,在此基础上分析了不同权重关系（A型与B型）对算法的影响,得到了与其对应的各种几何图形.最后指出在算法已收敛与尚未收敛两种情况下,潜变量估计值的投影位置是不同的.     

一种新的手写体字符识别算法

研究模式识别的核心问题——特征抽取．基于偏最小二乘（Partial Least Squares,简称PLS）回归和特征融合的思想,提出了一种组合特征抽取的新方法并将之用于手写体字符识别中．在PLS建模阶段,为了提高PLS成分（特征）的抽取速度,提出了一种非迭代PLS算法．在特征融合阶段,用所抽取的PLS成分特征组成模式的相关特征矩阵,并依此相关特征矩阵进行分类．在Concordia University CENPARMI手写体阿拉伯数字数据库上的试验结果证实了该方法的有效性和鲁棒性,其分类结果优于基于单一特征的FSLDA方法的分类结果．另外,与已有的迭代PLS算法相比,所提出的非迭代PLS算法的复杂度和特征抽取的速度均占有优势．     

Nonlinear Spline Kernel-based Partial Least Squares Regression Method and Its Application

Inspired by the traditional Wold＇s nonlinear PLS algorithm comprises of NIPALS approach and a spline inner function model, a novel nonlinear partial least squares algorithm based on spline kernel （named SK-PLS ） is proposed for nonlinear modeling in the presence of multicollinearity. Based on the inner-product kernel spanned by the spline basis functions with infinite number of nodes, this method firstly maps the input data into a highdimensional feature space, and then calculates a linear PLS model with reformed NIPALS procedure in the feature space and gives a unified framework of traditional PLS ＂kernel＂ algorithms in consequence. The linear PLS in the feature Space corresponds to a nonlinear PLS in the original input （primal） space. The good approximating property of spline kernel function enhances the generalization ability of the novel model, and two numerical experiments are given to illustrate the feasibility of the proposed method.