缺失数据下线性模型中缺失值处理方法的比较

在响应变量随机缺失的线性模型中,利用R统计软件模拟比较完全样本法、固定填补法和分数线性回归填补法得到的回归系数、响应变量均值、响应变量的分布函数、响应变量的分位数估计,并用标准误差（SE）评判其优劣.结果表明,除固定填补法外,无论采用其余哪种方法,随着样本容量的增大,评判值SE减小,样本容量越大,估计也就越精确 缺失概率的大小也影响估计的精度,缺失概率越大,相应的评判值SE越大,估计的精度也就越差 另外,在分数线性回归填补法中,J=5的结果总是比J=1的结果好,这说明随着J的增大,其估计精度也随着提高.     

响应变量缺失情形下非线性EV模型的估计

考虑了响应变量随机缺失情形下的非线性EV模型.通过利用核实数据,构造了响应变量均值θ的调整的经验对数似然比统计量.证明了所构造的经验对数似然比统计量渐近于标准χ2分布,所得结果可以用来构造未知参数的大样本置信区间.     

缺失数据下等级反应模型参数MCMC估计

项目反应理论(IRT)是教育测量中的重要模型.在被试的项目反应存在缺失的情况下,曾莉等给出了0、1评分的IRT模型参数估计的2种MCMC算法.本文将这2种算法推广到等级反应模型(GRM),并将估计结果与传统的Multilog软件(将缺失统一替换为0)的估计结果进行比较.通过模拟研究,比较了在不同缺失机制、不同参数先验分布、不同被试人数和不同缺失比例下2种MCMC参数估计的结果,为实际应用中GRM的参数估计方法的选择提供参考.     

基于隐马尔可夫模型的网络动态风险评估

网络信息的广泛传播导致在传播的过程中出现大量的隐患,对网路安全构成很大的威胁,实时有效的对网络进行动态风险评估变得十分必要。在隐马尔可夫模型的基础上借助于攻击威胁度及遗传算法,并借鉴风险量化的概念对风险评估算法进行了改进,实时有效地提高了评估的可靠性。此外,通过理论分析加以试验检验了此改进方法的时效性。     

缺失数据下滑动平均模型的估计方法

针对含有多个连续缺失数据的滑动平均 MA($q$) 序列,基于 EM 算法得到其模型的参数估计, 并给出了序列缺失值估计及其协方差矩阵的表达式. 通过数值模拟验证了该算法的有效性, 同时得 到如下结论: 参数估计整体均方误差随着模型阶数的增加而增加, 随着模型特征根模长的增加而增加, 随着样本缺失比例的增加而增加, 随着序列长度的增加而减少. 对于缺失值估计整体均方误差而言, 随着 模型阶数的增加而增加, 随着模型特征根模长的增加而增加, 但对于序列长度与样本缺失比例并不敏感. 通过实例计算, 在缺失数据下该算法能够较好地给出 MA 模型的参数估计.     

因变量缺失下线性回归模型的估计与检验

文章研究因变量缺失下的线性回归模型,借助单点插补方法,首先给出模型的估计,研究参数估计量的渐近正态性,其次,对于模型系数的线性约束检验问题,基于Wald方法构造检验统计量并给出其渐近分布.最后,通过数值模拟验证所提方法的有效性.     

带有缺失数据的估计方程

给出了一种解决估计方程中的缺失数据问题的新方法：用一种观测数据的函数来调整缺失数据的函数.当我们对于缺失机制的信息知道的越多,由此种方法得到的估计的效越高.     

一种杂合的缺失值填充方法

在数据挖掘和机器学习领域,缺失数据经常出现。本文杂合了kNN算法和基于核函数的非参填充方法,实验显示,在处理离散型缺失数据时,我们的这种杂合方法在分类准确率的实验中好于kNN算法以及常用的一些方法(例如C5.0填充方法,最大类方法和不填充的方法),在处理连续型的缺失属性时,我们的方法在预测准确率的实验结果中也好于kNN算法和基于核函数的非参填充方法,以及一些常见方法,(例如均值填充方法)。     

基于自回归隐半马尔可夫模型的设备故障诊断

提出了一种新的隐马尔可夫模型(HMM)拓展模型自回归隐半马尔可夫过程(Auto-Regressive Hidden Semi-Markov Model,AR-HSMM),并给出了模型参数的推导和相应的"前向-后向"算法.与传统的HMM相比,AR-HSMM有以下两个优点:①把传统HMM所假设的隐藏状态分布改进为显式高斯分布;②改进了传统HMM假设各观测变量相互独立的问题,通过在各观测变量之间建立联系,从而使之更加符合实际情况.在液压泵故障诊断中的应用实例表明,AR-HSMM在故障诊断中是非常有效的.     

基于马尔可夫链模型的测试用例优化技术研究

为了缩短软件测试周期,测试用例的生成是关键.基于马尔可夫链模型,提出了一种测试用例优化技术,该理论采用适应度比例的概率方法进行优化.通过例子证明,该方法在产生均匀、优化的测试用例方面是有效的.     

随机试验设计中缺失值插补方法研究

随机化区组设计中经常会碰到缺失数据,处理此类缺失数据目前有4种方法：删除缺失数据法、均值插补法、公式插补法和Yate’s插补法。4种方法的优劣是值得研究的一个问题,拟用模拟研究的方法对此4种方法进行比较。首先随机产生一个4x5的随机区组设计,令缺失值的个数m=l,…,6;其次对每个n遍历所有缺失值位置可能的组合,在每一个缺失值位置的组合下,分别研究4种方法线性回归的标准误差、可决系数和复可决系数。最后模拟研究的结果证实Yate’s插补方法是这4种方法中表现最好的一个,实例研究的结果也证实了模拟研究的结论。     

面向多维特性数据的缺失值检测及填补方法对比

针对传统缺失值检测方法缺少对多维特性数据全面立体的分析及难以从众多缺失值填补算法中选择合适方法的问题,通过设计缺失值检测方法,在目前常见的数据点缺失度基础上,首次提出数据总体缺失度和加权数据总体缺失度的概念,实现对数据集缺失程度的全面检测,进而通过实验对比分析不同缺失值填补方法性能。实验结果表明,在不同缺失度的情况下,不同缺失值填补算法的性能不同,所提出的方法可为缺失值填补算法的选择提供有效依据。     

缺失数据情形下的回归插补及其方差分析

利用无回答所提供的信息采用最小二乘估计给出了缺失数据情形下的目标变量的一种回归插补及其方差估计.在仅目标变量缺失数据情形,得A2中单元关于y对应的回归插补公式(y)i=(b)0+(b)1x12i+…+(b)pxp2i,i=1,…,r3.及其回归插补的协方差阵Cov((Y))=σ2X1(XTX)-1XT1.在辅助变量部分缺失且目标变量缺失的情形,得A2中单元关于y对应的回归插补公式(y)i=(b)0+(b)1x12i+…+(b)p1xp12i,i=1,…,r3.及其回归插补的协方差阵Cov((Y))=σ2X1(X*TX*)-1XT1.     

综合岭回归和SARIMA方法在桥梁健康监测数据分析中的应用

桥梁健康监测系统的实测数据普遍存在缺失问题,为了保证桥梁监测数据的完整性,更好地预测桥梁未来的健康状况,提出了一种具有样本内和样本外预测能力的组合模型。样本外预测可以基于现在数据预测未来的桥梁健康状态,样本内回归用于填补传感器数据中的缺失值,确保桥梁监测数据的完整性。由于不同位置处相同类型传感器的相关性较强,首先利用岭回归（Ridge Regression,RR）解决共线性问题,建立各传感器数据之间的关联,并预测缺失数据。接着引入季节性差分自回归滑动平均(Seasonal Autoregressive Integrated Moving Average,SARIMA) 方法,利用其样本外预测能力并结合岭回归方法预测桥梁未来运行数据。然后,通过设立预警值实现健康状况预警,以保证桥梁健康运行。最后,将该方法应用于实桥中,验证了其有效性,为传感器数据填补以及预测桥梁未来状态提供了一个有效的预测模型。     

基于半监督学习的多源异构数据治理

为实现不同数据管理系统之间的互通,提出一种基于半监督学习算法的多源异构数据治理框架,并由此设计、实现和测试了一套非结构化数据与结构化数据的自动化对齐方法。利用命名实体识别（NER）技术,将非结构化数据转化为结构化数据,再分别利用基于字符串相似度的方法和基于监督学习的方法,对结构化数据进行模式匹配;通过半监督学习方法,在结构化数据与数据库记录实体之间进行实体匹配与融合;利用自然语言处理（NLP）技术及深度学习方法,对融合后的数据集进行缺失值填补。结果表明：在论文数据集和视频元数据集上进行对齐处理后,两者的F1值分别达到89.70%及96.50%;在不同属性上进行缺失值填补后,整体填补准确率达到78%以上,大大优于基线方法的准确率。     

基于数据自组织挖掘的机械设备状态退化预警方法

在设备状态监测过程中引入数据自组织挖掘思想,建立一种设备状态退化预警方法。采用隐马尔科夫模型(HMM)对设备的早期退化状态进行准确辨识和评估,并进一步建立设备退化过程的自组织预测模型。案例分析中将该方法应用到旋转机械轴承运行状态退化的预警过程中。结果表明,基于自组织数据挖掘的设备状态退化趋势预测方法预测效果准确、客观性强,预测值与实际值的拟合程度高,相对误差仅为3.1%。新方法能够预测设备未来时间段的退化状态及其发展趋势,提前给出预警信息,有效地制定预知维修计划,及时采取预防措施,防止因设备突发失效引起非计划停机造成生产和经济损失。     

基于修正Sigmoid核的成分数据缺失值填补法

大多数统计分析方法基于完整的数据集,这些方法不能直接用于包括缺失值的数据集.此外,由于成分数据的特殊属性,传统的缺失值插补方法直接用于这种类型的数据可能得到不良的结果.因此,对成分数据而言,缺失值的填补具有十分重要的意义.为了解决这个问题,根据核函数的性质,提出了一种基于修正Sigmoid核的成分数据缺失值非参数插补方法.该方法使用模拟和真实的数据集与k近邻插补法和最小二乘迭代回归插补法进行比较.实验结果表明,新的插补方法可以得到更准确的估计.     

分数填补下线性模型响应变量差异的经验似然置信区间

在一定条件下证明了缺失数据情形基于分数填补方法得到的线性模型响应变量一般差异指标的经验似然比统计量的渐近分布为加权χ2(1),由此可构造差异指标的经验似然置信区间.