一种优化的自适应总体最小二乘系统辨识算法

对于监督信号和训练信号都含有噪声的系统辨识问题,如果采用经典的最小均方和迭代最小二乘算法进行估计,会带来较大的误差,而直接求解又会有较大的计算量,不利于在线计算.将权向量的求解转化为增广输入向量自相关矩阵瑞利商的受限最佳化问题,对增广输入向量进行遮代估计,同时建立了步长因子和误差信号问的函数关系,这个函数关系是建立在代价函数相对于步长梯度的基础上,而不是基于经验公式.所提算法结构简单,具有更好的稳健性,仿真表明这种算法相对于同类总体最小二乘算法和其他自适应算法有更快的收敛速度和更高的收敛精度.     

基于正交最小二乘的非线性系统模糊辨识

提出了一种新的基于T-S模糊模型的建模方法．该方法是基于输入空间的模糊划分计算给定样本在各模糊子空间的隶属度，并利用正交最小二乘辨识模糊模型的结论参数．最后通过Box-Jenkins煤气炉数据和Mackey-Glass混沌时间序列的仿真结果验证了该方法的有效性与实用性．     

一种用于参数估计的几何距离最小二乘方法

本文从解析几何中几何距离角度出发,对系统辨识或参数估计提出一种全新的几何距离最小二乘方法。理论分析和应用实例表明,几何距离最小二乘方法同样也是一种比较有效的参数估计方法。     

多新息最小二乘法辨识水下机器人动力学模型

水下机器人动力学模型辨识是水下机器人运动控制、状态监测和系统设计开发的基础.把6自由度动力学模型适当简化,给出Falcon水下机器人的动力学模型,在最小二乘算法(LS)和递推最小二乘算法(RLS)的基础上,提出基于多新总最小二乘算法(MILS)的水下机器人动力学模型辨识方法,最后给出MILS辨识算法、RLS算法和LS辨识算法仿真实验结果,证明所提算法的可行性与优越性.利用多新息最小二乘算法得到的水下机器人动力学模型参数更接近于理想参数,能够更好的描述水下机器人的动态特性,对于水下机器人的操纵与自适应控制的研究有较大的实际意义.     

基于最小二乘算子的混合计算智能辨识算法

基于非线性最小二乘（ＮＬＬＳ）法和遗传算法（ＧＡ）思想，通过定义ＮＬＬＳ算子、适应度以及混合数据结构，得到非线性回归模型非线性参数的混合计算智能辨识算法，该算法结合ＧＡ和ＮＬＬＳ法两者长处，即有较快收敛性，又能以较大概率求得全局（一致收敛）估计。计算结果表明该方法显著优于ＧＡ和ＮＬＬＳ法。     

偏最小二乘相关算法在系统建模中的两类典型应用

讨论了偏最小二乘回归（PLSR）的相关算法对两类典型实际系统建模的有效应用。分析了传统的偏最小二乘回归批处理算法及由此产生的一种简化算法的基本原理和技术特点，在此基础上，对原有的递推算法进行了一定程度的改进，直接采用自变量主元t的回归系数矩阵P和R来取代旧的数据信息，从而进一步简化了计算过程，针对上述两种算法的特点，分别对无人机费用模型（少样本，多变量）和切削力峰值模型（多样本，少变量）参数进行了估计计算，说明了各自算法的应用优势。     

利用高阶累积量的盲多输入多输出系统辨识

针对多输入多输出线性系统(FIR MIMO)的盲辨识问题,提出了一个线性的基于方程误差的高阶累积量(HOS)算法的改进算法。该算法利用一组输出信号的四阶累积量矩阵的零空间,把一个未知多输入多输出(MIMO)信道的冲激响应辨识成一个常的单项矩阵。对于信道长度一致的不同用户的MIMO系统来说,算法只需要很弱的辨识条件。和原算法相比,改进算法充分利用了输出信号的累积量矩阵固有结构,从而提高了算法的估计性能。计算机仿真验证了算法的有效性。     

有色噪声系统的迭代辨识与递推辨识方法仿真比较研究

针对ARARX模型(即动态调节模型),提出了分别辨识系统模型参数向量和噪声模型参数向量的新型最小二乘迭代辨识方法.其基本思想是:通过极小化一个信息矩阵中含噪声项的准则函数,导出两个参数向量的最小二乘估计式,进一步将估计式中信息矩阵所含的未知噪声项用其迭代估计代替,而其迭代估计又用前一次迭代的参数估计进行计算.在每步迭代计算中,二者执行了一个递阶计算过程.与滤波式递推广义最小二乘算法相比,提出的迭代算法也可用于在线辨识,而且在每一步迭代计算中,反复利用了系统可测数据信息,因而能够获得高精度参数估计.仿真例子证实了理论研究结果.     

基于复杂度追踪的递归最小二乘盲源分离算法

对于具有时序结构有色信号的盲提取,线性预测盲源分离算法仅仅利用了信号的时序特性,而未用到信号的非高斯性.A.Hyv(a)rinen的复杂度追踪算法采用联合信号的非高斯性和时序结构的特点,能够很好地实现信号的分离,但其收敛速度较慢.为了更快的实现信号的分离,提出了基于复杂度追踪的递归最小二乘盲源分离算法.计算机仿真表明提出的算法与线性预测算法和A.Hyv(a)rinen的复杂度追踪算法相比具有更快的收敛速度,语音分离试验也验证了该算法的有效性.     

一类非均匀采样系统最小二乘迭代辨识

阐述了非均匀多率采样方案,利用提升技术推导出非均匀多率采样系统的提升状态空间模型,进一步获得了对应的输入输出表达.针对辨识模型信息向量中存在未知中间变量的困难,基于交互估计理论与迭代搜索原理,提出了非均匀多率系统的最小二乘迭代辨识方法.最后进了仿真比较研究,以说明提出算法的优点.     

SIMO信道的卷积盲分离新算法

提出了一种"逐次替代"卷积混叠盲信号分离方法。针对观测信号数目多于源信号数目的混叠情形,基于最小均方误差准则,将问题转化为求解一个关于信道参数和源信号的优化问题。通过代价函数对未知参数求导数,分别得到关于信道参数和源信号的两个表达式,通过对两个表达式的相互逐次替代来寻求源信号。由此给出了"逐次替代"卷积混叠盲分离方法。逐次替代盲解卷算法无需设置迭代步长,容易编程实现。仿真表明,该算法对于FIR SIMO情形能得到较好的效果。     

最小二乘支持向量机的预优共轭梯度法

针对Suyken等人提出的最小二乘支持向量机的共轭梯度法在输入样本的个数较大时,需要求解高阶线性方程组这一缺陷,提出了一种新算法。该算法利用分块矩阵的思想将该高阶线性方程组系数矩阵降阶,为了提高收敛速度,克服数值的不稳定性,采用条件预优共轭梯度法求解低阶的线性方程组。通过仿真试验证明用本文方法训练最小二乘支持向量机比共轭梯度法的训练速度提高了将近一倍。     

Improved adaptive pruning algorithm for least squares support vector regression

As the solutions of the least squares support vector regression machine(LS-SVRM) are not sparse,it leads to slow prediction speed and limits its applications.The defects of the existing adaptive pruning algorithm for LS-SVRM are that the training speed is slow,and the generalization performance is not satisfactory,especially for large scale problems.Hence an improved algorithm is proposed.In order to accelerate the training speed,the pruned data point and fast leave-one-out error are employed to validate the temporary model obtained after decremental learning.The novel objective function in the termination condition which involves the whole constraints generated by all training data points and three pruning strategies are employed to improve the generalization performance.The effectiveness of the proposed algorithm is tested on six benchmark datasets.The sparse LS-SVRM model has a faster training speed and better generalization performance.     

具有内生性的随机变系数模型的PLS估计

在随机变系数模型中,自变量很可能与系数方程中的随机斜率相关,从而引起内生性问题.这样的内生性同样会导致标准的OLS (ordinary least squares)估计量有偏且非一致.本文通过非参方法来解决这种内生性问题.首先设定此种相关性为一个未知方程,将其直接加入模型,再利用PLS (profile least squares)方法进行估计.在给出确定性参数的渐近性质后,本文比较了PLS和OLS估计量的有限样本性质.Monte Carlo结果显示,一般而言,PLS方法都优于OLS方法.最后,本文以社会经济地位对学生成绩的影响为例,考察了PLS和OLS估计值的区别.     

原空间中最小二乘支持向量机的新算法

为了解决原空间中最小二乘支持向量机的解缺乏稀疏性的缺点,提出了Pruning法、MFCV法和IMFCV法并对BDFS法进行了修改和运用。对一个不含有奇异点的系统而言,Pruning法、BDFS法和MFCV法在一定程度上都能实现原空间中最小二乘支持向量机解的稀疏性。BDFS法无论是训练时间还是预测时间都比Pruning法短;和MFCV法比起来,虽然BDFS法的训练时间短,但比MFCV的预测时间长。对一个含有奇异点的系统而言,Pruning法几乎失去了效用;虽然BDFS和MFCV法的训练时间都比IMFCV法的训练时间短,但IMFCV法能成功抑制奇异点从而缩短预测时间。     

Some properties of LSQR for large sparse linear least squares problems

<正> It is well-known that many Krylov solvers for linear systems,eigenvalue problems,andsingular value decomposition problems have very simple and elegant formulas for residual norms.Theseformulas not only allow us to further understand the methods theoretically but also can be usedas cheap stopping criteria without forming approximate solutions and residuals at each step beforeconvergence takes place.LSQR for large sparse linear least squares problems is based on the Lanczosbidiagonalization process and is a Krylov solver.However,there has not yet been an analogouslyelegant formula for residual norms.This paper derives such kind of formula.In addition,the authorgets some other properties of LSQR and its mathematically equivalent CGLS.     

偏最小二乘法在公共部门绩效多元评估中的应用

将偏最小二乘法（PLS）应用于公共部门绩效的多元评估研究, 首先,回顾总结了PLS建模的特点及建模步骤,并就公共部门绩效评估与普通最小二乘法（OLS）进行了对比;其次,以上海市为例, 建构了上海市公共部门绩效评估PLS方程模型;最后,对模型展开讨论认为：1. PLS建模方法是公共部门绩效多元评估的有效的、可行的方法;2. 对于上海市公共部门绩效多元评估实践来看,评价指标的重要性次序,由大到小依次是：政务公开、办事效率、执法公正、履行职责、清正廉洁和服务态度;而综合来看,评价指标体系对各评价主体评价结果贡献的大小有所不同,影响程度由大到小依次是：上级评价、同级评价、专业评价和公众评价.这些结论, 对于开展公共部门绩效评估的方法论研究,对于公共部门绩效多元评估的理论与实践都具有一定的参考价值.     

基于约束加权最小二乘的无源定位闭式解算方法

针对无源定位问题中可进行伪线性处理的观测方程,提出一种基于约束加权最小二乘的无源定位闭式解算的理论框架。首先,在不限定定位观测量情况下,建立基于约束加权最小二乘的定位模型,推导其无约束最优化形式;然后,只需通过广义特征值分解即可实现辐射源状态估计并给出其解析表达式,并在此基础上证明了该闭式解的全局最优性和减小定位偏差的特性;最后,将该理论框架应用于到达角(angle of arrival, AOA)/到达时间差(time difference of arrival, TDOA)联合定位场景,验证了其有效性。仿真结果表明,所提算法定位精度能够逼近克拉美-罗下限(Cramer-Rao low bound, CRLB),定位偏差明显小于加权最小二乘算法,尤其在连续定位时间较短,噪声强度较大等情况下,验证了所提理论框架的优越性。     

最小二乘支持向量机分类器的高稀疏化及应用

为减少训练完毕之后的最小二乘支持向量机的分类计算量,借鉴神经网络的快速剪枝策略,提出了一种新的稀疏化算法:HS-LSSVM。它在主成分分析基础上,筛选出样本子集作为支持向量,它们既包含较多核函数矩阵信息,又相互独立性强,具有较好的代表性。算法将其余个体的信息转移至支持向量上,在实现高度稀疏化的同时,良好地保持了LSSVM的分类性能,并能适用于多类问题。对多个分类问题的测试表明,HS-LSS-VM具有稀疏率高,分类性能强,且稀疏化速度较快等优点。     

关于稀疏最小二乘支持向量回归机的改进剪枝算法

对于含有奇异点的系统而言,由于一般的剪枝算法不能成功抑制系统中的奇异点,在借鉴支持向量分类机选择支持向量方法的基础上,提出了改进的剪枝算法. 改进的剪枝算法能成功抑制系统中的奇异点,减少支持向量的数目, 增强最小二乘支持向量回归机的泛化能力.另外,仿真实例也验证了改进剪枝算法的有效性. 在 不含有奇异点系统中,改进的剪枝算法退化成了一般的剪枝算法,也就是说一般的剪枝算法是改进剪枝算法的一个特例.