一类约束最小二乘估计的神经网络算法

提出一种求解最小二乘问题的新算法,该算法通过特定函数的饱和工作方式,保证最小二乘问题对约束条件的满足,同时实现方差最小化,克服罚函数法难以得到精确解的缺陷。给出了双边约束最小二乘问题存在最优解的充分必要条件,同时证明最优解的唯一性。该算法容易用连续型神经网络实现,网络中神经元状态轨迹收敛到最小二乘问题最优解相对应的平衡点。该算法具有指数收敛速率。     

奇异线性模型下最小范数二次无偏估计关于误差分布的稳健性

讨论奇异线性模型下方差σ2的最小范数二次无偏估计关于误差分布的稳健性问题,得到方差的最小范数二次无偏估计保持最优的误差项的最大分布类.进一步考虑可估计函数Xβ的最佳线性无偏估计的稳健性,得到了Xβ的最佳线性无偏估计与方差σ2的最小范数二次无偏估计同时最优的误差项的最大类.     

两点边值问题二尺度小波核LS-SVM解法

针对两点边值问题难以得到解析解,提出了利用二尺度小波核最小二乘支持向量机方法求两点边值问题的近似解;首先将两点边值问题转换为带有两个约束条件的目标优化问题,再利用二尺度小波核函数的组合构造满足边界条件的近似解;其中第一个约束条件用第一尺度小波核函数逼近,第二个约束条件是对第一次逼近的误差函数用第二尺度小波核函数再次逼近,可提高近似解逼近精度;最后将目标优化问题转化为回归问题,进而利用最小二乘支持向量机方法求解回归系数,系数求解过程中核心是将参数回归问题转化为二次规划问题,可避免复杂的微分运算;数值实验表明:方法求解两点边值问题有较高的精度,计算量小,并且具有较好的稳定性,因此二尺度小波核最小二乘支持向量机方法求解两点边值问题的近似解是有效的,并且具有精度高、可微、表达式简单且形式固定等特点。     

最小范数在秩亏自由网平差中的应用

为了比较经典自由网平差与秩亏自由网平差解法的特点,本文在分析秩亏自由网平差方法的基础上应用最小二乘法和最小范数法对同一水准网进行了解算,结果表明最小二乘解不唯一,权逆阵也不唯一,但改正数唯一;最小范数解与最小二乘解的改正数相同且结果唯一。     

线性最小二乘问题解法的理论分析

线性最小二乘问题的解法在数据拟合、测量平差、控制理论等方面均得到广泛的应用。针对复矩阵和酉空间这种最一般的情形，证明了线性最小二乘解的存在性，给出了线性最小二乘解的一般表示式和极小范数最小二乘解。另外还对正则化方程组的条件数进行了论证。许多结论与Euclid空间情况相近。     

闭环系统的虚拟参考反馈校正控制设计

在线性框架下,研究基于输入-输出观测数据对未知系统模型中反馈控制器的设计问题.采用虚拟参考反馈校正控制方法,通过最小化由一簇采集数据组成的L2范数控制代价函数,直接对控制器进行设计,而无需对系统模型建模辨识.针对控制设计中的优化问题,借助分离性原理,推导了一个迭代的可分离的非线性最小二乘辨识方法.该辨识方法可以降低收敛于局部最小的可能性,得到设计准则中参数矢量估计的全局最优解.给出在应用前利用概率统计对控制器进行检验的方法,以保证闭环系统的稳定性.仿真算例验证了方法的有效性.     

线性方程组几种解结构

本文对线性方程组的一般解,最小二乘解、极小范数解和极小范数最小二乘解分别进行了讨论,并得出它们的表出形式。     

部分线性模型的LASSO估计及其渐近性

结合截面最小二乘估计思想,构造了LASSO惩罚截面最小二乘估计,并研究了惩罚参数和窗宽的选择问题。由于部分线性模型LASSO解仍为线性优化问题,因此容易实现。在一定条件下,本文还研究了参数估计量的相合性和渐近正态性。最后通过蒙特卡洛模拟研究了变量选择方法的小样本性质。     

矩阵方程AXB+CYD=E的双中心最小二乘问题

利用矩阵的Kronecker积、列拉直算子和Moore-Penrose广义逆,讨论矩阵方程AXB+CYD=E的双中心最小二乘问题,得到双中心极小范数最小二乘解和对称双中心极小范数最小二乘解的表达式,给出求双中心极小范数最小二乘解的数值解法和数值例子.     

四元数体上线性方程组的加正定权极小范数最小二乘解

讨论了四元数体上右线性方程组的加正定权的极小范数解、最小二乘解和极小范数最小二乘解.得到类似于复数域上同类问题的若干结果.     

加权最小二乘支持向量机与最小二乘问题的关系

研究了加权最小二乘支持向量机与最小二乘法的关系．证明了用加权最小二乘支持向量机作函数估计与在特征空间中用最小二乘法得到的解是一致的．加权最小二乘支持向量机选择核相当于最小二乘法选择基函数组．由此提出了采用加权最小二乘支持向量机解决最小二乘法问题的思想,保证解具有良好的推广性、鲁棒性与稀疏性．     

反特征值问题的最小二乘解的Cramer法则

利用拉直算子将反特征值问题最小二乘解化为线性方程组极小范数最小二乘解,给出反特征值问题最小二乘解的Cramer法则。     

基于LS-SVM的TBM掘进参数预测模型

针对目前TBM数据挖掘能力和掘进参数优化预测分析的不足以及对未来TBM实现无人驾驶的展望,将最小二乘支持向量机（LS SVM）机器学习应用到TBM掘进参数预测中,从吉林引松工程TBM掘进数据中提取掘进上升段的刀盘扭矩、刀盘推力、总推力、推进速度这4个重要参数建立LS SVM预测模型,预测4个参数在稳定段的均值,并讨论了模型训练集大小、参数选取等对预测性能的影响。结果表明,以原始数据中均匀提取的样本、RBF核函数和10折交叉验证建立的LS SVM模型可以较为准确地预测稳定段中上述4个参数,验证了LS SVM机器学习预测TBM掘进参数的可行性。     

最大差值极小化的响应面函数拟合方法

 为了满足实际工程问题中响应函数与样本值最大距离极小化的需求,本文提出一种新的响应面函数的拟合方法。该方法将样本点的响应面函数拟合问题转换为求解一类线性规划问题。建立数学模型,采用数值方法拟合出一次和二次响应面函数的表达式。通过多个数值算例,与K-S函数法实现最大差值极小化拟合的响应面函数结果以及最小二乘法拟合响应面结果进行比较,本文方法均得到较小的最大离差值,结果表明该方法的可行性和有效性,丰富了响应面的构造方法。     

岩石抗剪强度计算的稳健回归模型及其应用

 针对岩石抗剪强度确定中图解法和最小二乘法存在的问题：① 只适用于实验数据相关性较高的情况,不适用于数据离散并有异常值存在的情况;② 在处理由试验法获得的试验数据时,最小二乘法由于采用残差平方和,容易夸大试验数据中异常值的影响,提出了岩石抗剪强度参数的稳健回归分析方法。该方法在实验数据相关性差、数据离散并有异常值存在的情况下,具备削弱数据离散和对异常值进行定位的能力,提高了估计参数的稳健性和可靠性。该方法以残差的绝对值之和代替残差平方和,并通过复形法求得力学参数,避免了异常值的二次项,可有效地减少异常值的影响。通过工程实例表明,在试验数据的相关性较好时,两种方法的计算结果相差不大,但当试验数据的相关性较差,存在异常值时,稳健回归方法的计算结果要优于最小二乘法。     

在解决多重共线性问题上岭回归法比LS法的优越性

由于回归模型中解释变量之间多重共线性的存在，常常给许多问题的解决带来不便之处。因此，给出了一个岭估计优于LS的充分条件，其目的在于说明在解决多重共线性问题上，岭回归法比LS法优越。     

一种基于支持向量机的PCA分析方法

提出一种更简洁的用于主要成分分析 (PCA)及其非线性分析的公式 .给出一个含有规则化项的原始权空间的约束最大优化问题 ,应用核技巧来解决其对偶问题 .该公式同最小二乘支持向量机 (LS SVM )分类器相似 .遵循常规的SVM方法 ,将输入空间的数据映射到高维特征空间 ,然后使用核技巧 ,利用主对偶约束最大优化来解释线性和非线性PCA分析问题 .其优点在于对偶问题适用于高维输入空间 ,而原始问题在N很大时能被更好地解决 .     

基于改进支持向量机的作物叶水势软测量建模

在标准最小二乘支持向量机(least square supportvector machine,LS-SVM)的基础上,利用改进的粒子群算法(i mproved particle swarmopti mization,IPSO)来优化LS-SVM模型参数,提出了基于IPSO-LS-SVM的软测量建模方法,建立了作物叶水势软测量模型.仿真结果表明,该方法比基本LS-SVM和PSO-LS-SVM模型具有更高的精度,能够很好地预测作物叶水势信息.     

约束优化问题的一个最小二乘求解方法

本文叙述了一个用序列非线性最小二乘解法求解约束最优化问题的方法,该方法采用的控制参数迭代公式具有二次收敛性及数值计算上的稳定性.非线性最小二乘问题的求解采用具有超线性收敛的修正 BFGS 方法.为验正方法的有效性,文末给出了有关数值计算的结果.