基于最小一乘准则的非线性回归模型研究

给出基于最小一乘准则的非线性回归模型的参数估计算法.该算法利用泰勒级数和最小一乘准则的性质,得到模型的参数估计值.文中用实例验证了该算法的正确性和有效性,同时也证实了最小一乘的稳健性.     

几类最小一乘估计模型的求解

本文探讨了应用最小一乘准则的多种线性和非线性回归模型,推导了各种模型中未知参数的最小一乘估计形式,并给出最小一乘准则求解的基本过程,实现了未知参数最小一乘估计求解的统一.     

一种优化GM(1,1)模型及其应用

在优化背景值的基础上,针对传统灰色GM(1,1)模型参数估计的最小二乘算法稳健性较差的情况,提出基于全最小一乘准则的灰色GM(1,1)模型参数估计算法,同时将初始条件进行优化,从而得到了一个背景值、初始条件和模型参数同时优化的灰色GM(1,1)模型.最后,应用实例说明了优化灰色GM(1,1)模型的可行性与有效性.     

GM(1,1)模型的改进

由于最小二乘法的稳健性有一定的局限性,使得GM(1,1)模型的拟合精度有时并不理想.为提高预测精度,在分析比较最小一乘法和最小二乘法优缺点的基础上,改变了GM(1,1)模型的参数估计方法,用普通最小一乘法和折扣最小一乘法代替了原来的最小二乘法.最后通过实例验证了该改进方法的有效性.结果表明,改进的GM(1,1)模型准确度有较大提高.     

基于非线性最小一乘GM(1,1)模型研究

针对灰色GM(1,1)模型参数估计采用的最小二乘法的抗差能力不强,以及原始数据含少量粗差时影响到累加生成的数据进而可能导致参数估计偏差很大,提出对原始数据直接应用具有较强稳健性的最小一乘来估计参数,对非线性的还原函数进行线性化再利用最小一乘来估计参数。实验结果表明对于严格满足纯指数序列的数据,文章提出的算法要优于传统模型和文献提出的FGM(1,1)模型,几乎达到无偏的效果,并且在含少量粗差时不受粗差干扰。     

基于Matlab的最小一乘回归的线性规划实现

对基于最小二乘准则的回归方法进行了分析,指出该方法容易受到野点信号的干扰.最小一乘准则虽然克服了最小二乘准则的不足,但如何在其基础上建立与实现回归算法一直是一个难题.论文中提出利用线性规划的方法建立该算法,并采用Matlab语言予以实现.     

灰色预测模型参数估计的优化方法

基于拟合误差绝对值和最小及折扣系数建立了GM(1，1)模型参数估计的折扣最小一乘法，给出了求解折扣最小一乘法的小生境遗传算法，它克服了用线性规划方法求解时，折扣系数靠经验确定而易导致偏差的问题。     

基于遗传算法的最小一乘回归新算法

最小一乘在稳健性上比最小二乘好,使得最小一乘在工程中得到广泛的应用,但求解最小一乘的算法并不理想;本文根据最小一乘的性质,把最小一乘问题变为组合优化问题.将遗传算法用在最小一乘模型的求解上,在后面的仿真实验中得到了较好的效果.     

最小一乘估计性质的讨论

解决某些问题时,最小一乘准则在很大程度上优于最小二乘准则.通过对最小一乘准则与最小二乘准则的比较分析,给出了最小一乘估计的一些优良性质,如无偏性、渐近正态性、有效性等,并做了相应的理论证明.     

非线性随机系统具有遗忘因子的递推最小二乘法

针对NARMAX模型,结合线性滤波、谱分解定理及成型滤波器原理构成非线性随机系统模型,并将参数模型转化为脉冲响应非参数模型.依据Hankel矩阵法,在参数估计准则函数中加入待估参数的增量约束项和遗忘因子,并结合增广最小二乘递推算法,提出一种具有遗忘因子的非线性参数估计的递推最小二乘法.该算法收敛速度快,且能克服病态,适用于时变参数情形.将其应用于一种非线性自适应预测控制算法仿真中,验证了算法的有效性.     

基于L_p范数的加权几何平均组合预测

组合预测模型的参数估计方法大都是在预测误差平方和最小准则之下建立的.针对误差平方和最小准则存在的不足,提出一种基于L_p范数的加权几何平均组合预测模型,并给出寻找最优L_p范数的蚁群算法.实例分析表明,该模型给出的组合预测方法为优性组合预测,从而证明了该模型的有效性.     

多重时滞非线性系统的自适应预测控制

针对NARX模型中一步时滞控制算法不完全适用于多重时滞的情形,提出一种在工作点处用线性的动态切平面逼近一般的非线性系统的方法,结合一种准则函数和预测器算法,提出一种自适应预测控制算法,给出了该模型下具有遗忘因子的递推最小二乘非线性参数估计算法.仿真结果表明:该控制算法品质好,参数估计算法几乎无偏,验证了自适应预测控制算法和递推参数估计算法的有效性.     

正交最小二乘算法及其应用

介绍了正交最小二乘法的算法原理，同经典的最小二乘法相比，其数值稳定性好、计算量小，能节省大量存贮空间。应用了Ｈｏｕｓｅｈｏｌｄｅｒ变换、Ｇｉｖｅｎｓ变换和它的逆变换３种算法。根据残差矢量最小准则，将该法用于ＡＲＭＡ模型结构辨识和时变ＡＲ模型参数估计，取得了满意的仿真结果。     

模糊最小一乘线性回归

针对输入和输出的模糊数据, 根据最小一乘准则,提出了基于对称三角模糊数的模糊最小一乘线性回归模型, 并将它转化成线性规划问题,应用Matlab进行求解,通过实例, 并与Tanaka, Diamond, Kim-Bishu, Kao-Chyu, Nasrabadi, Chang等模型相比较,验证了我们的模型具有更优的拟合性和良好的稳定性.     

回归分析中的目标函数极小化准则

指出了最小二乘回归分析中存在稳健性不好的问题,讨论了用线性规划法计算回归系数的最小一乘准则和极小极大化准则,通过实例计算得出最小一乘准则误差绝对值小,最大误差最大和极小极大化准则误差绝对值之和最大,最大误差最小的结果,指出在实际应用中可以把三种准则下的计算结果进行比较,从中选出最优回归方程。     

最小一乘估计的几个性质

定义了最优极点和稳定极点2个概念,在非退化模型下讨论了它们与最小一乘估计间的等价关系,得出了稳定极点就是最优极点的结论,有利于找到求解最小一乘估计更简单的算法.     

基于输入预测误差的Wiener系统结构和参数辨识

为了辨识Wiener系统的结构和参数,提出了一种结构等效逆变换,将两个子模型的参数乘积项转化为两个子模型的参数求和.该变换不仅避免了参数乘积项的出现,而且减小了算法计算量;针对变换后系统的特点,提出了一种输入预测误差准则用于参数估计;基于输入预测误差准则,提出了一种最小二乘算法来辨识Wiener系统的参数.数值仿真验证了算法的有效性.     

正弦余弦算法求解含有异常值的非线性数据拟合

针对非线性数据拟合问题，建立以残差的平方和与绝对值和为目标的最小二乘与最小一乘模型，采用正弦余弦算法计算模型参数.计算结果表明：如果数据的分布是对称且无异常值，则最小二乘得到的结果与最小一乘得到的结果基本一致；如果数据存在异常值，则异常值对最小二乘有着较大的影响，而对最小一乘的影响较小.     

离散GM(1,1)参数估计的三种方法比较

针对离散灰色模型GM(1,1)中参数估计方法及模型稳定性问题,选取3种估计参数的方法进行讨论——最小二乘法、最小一乘法和累积法;为了更好地比较不同估计方法的差异,统一赋以相同的初值,并以拟合误差、关联度和条件数作为评价指标,借助MATLAB软件对两类实例数据进行分析——递增序列和递减序列;实验结果表明:在误差方面,累积法优于最小一乘和最小二乘,在模型稳定性方面,累积法优于最小二乘法,总之,对于递增和递减序列数据,累积法估计GM(1,1)中参数最优。     

离散GM(1,1)参数估计的3种方法比较

针对离散灰色模型GM(1,1)中参数估计方法及模型稳定性问题,选取3种估计参数的方法进行讨论——最小二乘法、最小一乘法和累积法;为了更好地比较不同估计方法的差异,统一赋以相同的初值,并以拟合误差、关联度和条件数作为评价指标,借助MATLAB软件对两类实例数据进行分析——递增序列和递减序列;实验结果表明:在误差方面,累积法优于最小一乘和最小二乘,在模型稳定性方面,累积法优于最小二乘法,总之,对于递增和递减序列数据,累积法估计GM(1,1)中参数最优。