最小二乘法的研究型教学

在通常的大学数学教材中,最小二乘法被作为二元函数极值应用的例子来讲授.本文展示了最小二乘法的研究型教学过程。首先,从机器学习理论的基本问题开始,逐步将某一简化的学习问题归结为最小二乘问题,并最终归结为二元函数的极值问题.一方面,该讲授方法融入了现代机器学习理论的思想;另一方面,问题的提出、转化与解决,完整地体现了科学研究的一般步骤,因而在教学同时强化了学生的科研基础训练.课堂教学实践表明该讲授方法较传统方法更易于学生理解与接受,更能激发学生的学习兴趣,并且可以提高学生运用数学工具解决实际问题的能力.此外,研究型教学还有助于教师提升专业发展能力.     

整体最小二乘法与最小二乘法的差异性分析

加权整体最小二乘法(WTLS)估计变量误差模型(EIV)参数需要进行大量的矩阵运算,为了提升估计EIV模型参数的计算效率.本文以WTLS的平差准则为出发点,运用矩阵运算定理,研究了WLS与WTLS平差准则之间的联系,从理论上证明了最小二乘法(不加权)与整体最小二乘法(不加权)估计EIV模型参数的等价性;同时分析了在EIV模型参数是微小量的条件下,用加权最小二乘法(WLS)直接代替WTLS估计EIV模型参数的可行性.模拟结果表明,在坐标转换参数是微小量的情况下WLS和WTLS的解算结果基本一致,验证了理论分析的正确性.     

中国首部最小二乘法译著《最小二乘法》探析

1910年,顾澄翻译出版的《最小二乘法》,是中国最早系统介绍最小二乘法的译著。该书底本为美国土木工程师曼斯菲尔德·梅里曼（Mansfield Merriman,1848-1925）所著的《最小二乘法教科书》第7版（1897）。顾澄翻译此书时以意译为主,既未完全照搬底本内容,又进一步规范了中文术语的命名,并采用了当时西方通用的数学符号。继《决疑数学》之后,《最小二乘法》重新将西方概率论与数理统计学引入中国,这在中国概率论与数理统计学史上的作用不容忽略。但由于社会环境所限、学科发展滞后和同类型著作的涌现,使得《最小二乘法》的影响十分有限。     

整体最小二乘法直线拟合

针对在直线拟合中,因变量选取不同拟合的结果有差异现象,提出采用整体最小二乘法进行直线拟合。文章在分析直线方程特点的基础上,采用EIV模型描述直线方程,在解算中根据系数矩阵的特点应用QR分解分为将方程两部分,采用了混合最小二乘法求解。理论分析和实际计算结果表明,整体最小二乘法顾及了因变量和自变量的误差。拟合精度高于普通最小二乘法,采用整体最小二乘拟合直线,整体上优于普通最小二乘法。     

最小二乘法应用探讨

探讨了最小二乘法的基本原理及其各种变形的拟合方法,其中包括：一元线性最小二乘法拟合、曲线化直、多元线性拟合、多项式拟合、非线性拟合,并且讨论了用镜像映射和切比雪夫多项式解“病态”矛盾方程组的基本原理和方法,在此基础此上编写、调试了几种最小二乘法程序。     

确定隐函数中参数的最小二乘法

将最小二乘法推广到了隐函数情形，简化了一些实际问题的处理。文中给出了插值和非线性回归两种情况下的最小二乘法原理，并讨论了具体的算例。     

基于最小二乘法的长期趋势变动研究

长期趋势是时间数列分析中一种重要的变动模式,研究长期趋势的变动模型对揭示社会经济现象的规律具有重要意义。本文利用最小二乘法来确定长期趋势的变动方程,由此方程外推长期趋势在下一时期的状态值,从而实现对社会经济现象的跟踪预测,最终为决策分析提供数据支持。     

关于最小二乘法的参数估计问题探讨

数学建模中经常要用最小二乘法进行参数估计,本文介绍了用最小二乘法进行参数估计的原理,以及在计算机上如何估计参数.     

基于最小二乘法的递推回归

推导出基于最小二乘法的回归系数、总离差平方和、残差平方和、回归平方和的递推计算公式,在此基础上可计算决定系数和复相关系数,并进行回归方程的显著性检验和回归系数的显著性检验.在整个递推计算过程中,只有在第一步计算回归系数时需要求逆矩阵,其余步骤均不需要求逆矩阵,可大大减少计算量.