缺失数据的估计方法及应用

应用EM算法的思想在双参数逻辑斯蒂克模型下对存在缺失数据的参数估计方法和恢复缺失数据的统计插补方法进行研究.蒙特卡洛模拟和实证研究结果表明,在进行统计插补恢复缺失数据时,该方法使得估计结果比较理想:联合极大似然估计与EM算法相结合,先估计参数,再填补缺失值,再估计,再填补,直到似然函数值稳定.     

缺失数据下等级反应模型参数MCMC估计

项目反应理论(IRT)是教育测量中的重要模型.在被试的项目反应存在缺失的情况下,曾莉等给出了0、1评分的IRT模型参数估计的2种MCMC算法.本文将这2种算法推广到等级反应模型(GRM),并将估计结果与传统的Multilog软件(将缺失统一替换为0)的估计结果进行比较.通过模拟研究,比较了在不同缺失机制、不同参数先验分布、不同被试人数和不同缺失比例下2种MCMC参数估计的结果,为实际应用中GRM的参数估计方法的选择提供参考.     

IRT框架下不可忽略缺失数据的Bayes估计

项目反应理论主要研究被试在测验项目上的反应和成绩与潜在特质间的关系,能否有效的估计模型中的参数是项目反应理论能否得以应用的前提。数据的完整性对参数估计有一定的影响。而项目反应过程中,数据的缺失是常见的。缺失数据的机制影响了处理方法。因此,针对不可忽略缺失数据,利用潜变量建模法,采用等级评分模型拟合观测指标,Rasch模型拟合缺失指标。同时用Gibbs抽样法抽取参数,给出估计。通过模拟研究,验证了所用方法有效的减小了由于忽略缺失数据估计参数时产生的偏差。     

缺失数据下非参数模型均值估计的两个结果

在缺失数据的情形下,用两种不同的方法讨论了非参数回归模型中,反映变量Y的均值θ的估计及其渐近性质,得出了关于θ的基于正态逼近的渐近置信区间以及θ的基于经验似然的渐近置信区间.     

缺失数据下滑动平均模型的估计方法

针对含有多个连续缺失数据的滑动平均MA(q)序列,基于EM算法得到其模型的参数估计,并给出了序列缺失值估计及其协方差矩阵的表达式.通过数值模拟验证了该算法的有效性,同时得到如下结论:参数估计整体均方误差随着模型阶数的增加而增加,随着模型特征根模长的增加而增加,随着样本缺失比例的增加而增加,随着序列长度的增加而减少.对于缺失值估计整体均方误差而言,随着模型阶数的增加而增加,随着模型特征根模长的增加而增加,但对于序列长度与样本缺失比例并不敏感.通过实例计算,在缺失数据下该算法能够较好地给出MA模型的参数估计.     

缺失数据下MGINAR(p)模型的参数估计

首先, 用条件最小二乘方法讨论缺失数据下MGINAR(p)模型的参数估计问题, 得到了参数的条件最小二乘估计. 其次, 模拟验证4种处理缺失数据方法的可行性并比较估计效果, 模拟结果表明: 当缺失概率较小时, 可使用个案剔除法或均值插补法; 当缺失概率较大时, 可使用桥插补法, 以降低估计偏差.     

带有缺失数据的估计方程

给出了一种解决估计方程中的缺失数据问题的新方法：用一种观测数据的函数来调整缺失数据的函数.当我们对于缺失机制的信息知道的越多,由此种方法得到的估计的效越高.     

缺失数据下多元正态模型Monte Carlo EM算法

研究含有缺失数据的多元正态模型参数的极大似然估计问题,利用Monte Carlo EM算法求得多元正态模型参数的迭代解,并证明了此迭代解收敛到最优解,且其收敛速度是二阶的.     

缺失数据下区间自回归模型的参数估计

研究了当数据存在缺失时区间值自回归模型的参数估计问题.利用均值补充法、条件均值补充法对缺失数据进行补充,在此基础上进一步利用条件最小二乘估计方法对模型参数进行了估计,并通过随机模拟说明了上述估计方法的合理性.     

带缺失数据的半参数非线性模型基于经验似然的统计诊断

研究了用经验似然的方法来研究带有缺失数据的半参数非线性模型的统计诊断问题。首先,在响应变量完全随机缺失下,利用修正借补的方法处理缺失数据,从而得到完全样本;然后用核估计方法对未知函数进行估计。其次,基于数据删除模型给出了参数的一步近似估计,提出了经验Cook距离以及标准化残差分析,进而找出异常点和强影响点。最后,通过实例对带有缺失数据的非线性半参数模型进行统计分析来验证以上方法的可行性和有效性。     

基于协作过滤的传感器数据补全方法

如何对缺失的传感器监测数据进行补全是物联网信息感知过程中的一个关键问题.针对这一问题,提出了一种基于协作过滤的传感器数据补全方法.该方法利用传感器之间的时空相关特性,考虑到同一区域的传感器或同一传感器的不同监测周期中相应的监测数据具有很大的相似性这一特点,通过对缺失数据的传感器进行分类,分别使用不同的相似评价方法选取相似传感器,以保证估计值的准确性.结果表明,该方法对环境变化幅度较大时段的缺失数据进行估值的效果要优于其他方法.     

随机试验设计中缺失值插补方法研究

随机化区组设计中经常会碰到缺失数据,处理此类缺失数据目前有4种方法：删除缺失数据法、均值插补法、公式插补法和Yate’s插补法。4种方法的优劣是值得研究的一个问题,拟用模拟研究的方法对此4种方法进行比较。首先随机产生一个4x5的随机区组设计,令缺失值的个数m=l,…,6;其次对每个n遍历所有缺失值位置可能的组合,在每一个缺失值位置的组合下,分别研究4种方法线性回归的标准误差、可决系数和复可决系数。最后模拟研究的结果证实Yate’s插补方法是这4种方法中表现最好的一个,实例研究的结果也证实了模拟研究的结论。     

综合岭回归和SARIMA方法在桥梁健康监测数据分析中的应用

桥梁健康监测系统的实测数据普遍存在缺失问题,为了保证桥梁监测数据的完整性,更好地预测桥梁未来的健康状况,提出了一种具有样本内和样本外预测能力的组合模型。样本外预测可以基于现在数据预测未来的桥梁健康状态,样本内回归用于填补传感器数据中的缺失值,确保桥梁监测数据的完整性。由于不同位置处相同类型传感器的相关性较强,首先利用岭回归（Ridge Regression,RR）解决共线性问题,建立各传感器数据之间的关联,并预测缺失数据。接着引入季节性差分自回归滑动平均(Seasonal Autoregressive Integrated Moving Average,SARIMA) 方法,利用其样本外预测能力并结合岭回归方法预测桥梁未来运行数据。然后,通过设立预警值实现健康状况预警,以保证桥梁健康运行。最后,将该方法应用于实桥中,验证了其有效性,为传感器数据填补以及预测桥梁未来状态提供了一个有效的预测模型。     

不同类别非完整大数据中缺失数据填充算法研究

针对目前缺失数据填充算法精度低、运行效率低、内存占用率大的特点,提出一种新的不同类别非完整大数据中缺失数据填充算法。通过2个定理阐述了缺失数据填充算法的原理,给出信息熵的计算过程。输入根据数据集构建的决策表和不同类别非完整大数据中缺失数据的最大值、最小值、填充步长。求出其他类指标和某类指标的相关性,得到数据集,求出权重系数;计算初始数据库的信息熵,通过相关理论或经验对缺失数据区间下限进行设定;用一个很小的区间数据取代缺失数据,根据给出的步长不断扩大区间范围,绘制出每一步信息熵状况,将其与初始数据库信息熵相比,实现缺失数据填充。实验结果表明,所提算法精度高、运行效率高、内存占用率低。     

基于修正Sigmoid核的成分数据缺失值填补法

大多数统计分析方法基于完整的数据集,这些方法不能直接用于包括缺失值的数据集.此外,由于成分数据的特殊属性,传统的缺失值插补方法直接用于这种类型的数据可能得到不良的结果.因此,对成分数据而言,缺失值的填补具有十分重要的意义.为了解决这个问题,根据核函数的性质,提出了一种基于修正Sigmoid核的成分数据缺失值非参数插补方法.该方法使用模拟和真实的数据集与k近邻插补法和最小二乘迭代回归插补法进行比较.实验结果表明,新的插补方法可以得到更准确的估计.     

一种可扩展的遗失值填充算法

针对数据预处理中的遗失值填充问题,运用策略模式设计了一种可扩展的遗失值填充算法;构造了SimpleImputation,KNNImputation和DTBImputation 3个具体的策略类,分别封装了简单遗失值填充算法、KNN遗失值填充算法以及DTB遗失值填充算法.实验结果表明:简单填充算法执行速度最快但精度最低,DTB算法执行速度较慢但精度较高,KNN算法执行速度最慢但精度最高.该算法允许用户根据自身对速度和精度的需求来选取相应的填充算法,并通过添加新策略类的方式来扩展其遗失值填充功能,从而解决了遗失值造成的数据质量问题,提高了数据预处理程序的通用性和可扩展性.     

利用logit模型判定数据缺失机制

利用logit模型刻画了缺失指示变量R的分布,由其分布的参数估计来判定数据的缺失机制类型.在四个假定的基础上,用五个步骤具体操作缺失数据的机制检验.并用两个例子说明了检验的具体步骤.     

一种效能评估中缺失数据的填充方法

针对评估数据缺失的问题,提出了一种新的缺失数据填充方法.从信息熵的角度对评估系统进行描述,并提出一种建立在区间值信息系统上的加权广义信息熵,对这种信息熵的非负性、单调性和极值性进行证明.在此基础上,通过研究评估系统数据缺失前后信息熵的变化情况,建立一种基于加权广义信息熵的缺失数据填充方法,并从知识粒度的角度论述加权广义信息熵的机制.通过实例分析与现有的部分算法进行比较,进一步证明文中算法对评估系统缺失数据填充的有效性.