截断删失数据下泊松分布参数的点估计

利用EM算法和MCMC方法对截断删失数据下泊松分布寿命参数的点估计进行了研究.利用逆变换法和舍选法对缺损数据进行了填充,获得了产品的完全数据,得到了参数的EM迭代公式.对满条件分布进行了抽样,把Gibbs样本的算术平均值作为参数的MCMC估计.随机模拟的估计效果较好,估计值比较稳定,且精度较高.     

缺失数据下等级反应模型参数MCMC估计

项目反应理论(IRT)是教育测量中的重要模型.在被试的项目反应存在缺失的情况下,曾莉等给出了0、1评分的IRT模型参数估计的2种MCMC算法.本文将这2种算法推广到等级反应模型(GRM),并将估计结果与传统的Multilog软件(将缺失统一替换为0)的估计结果进行比较.通过模拟研究,比较了在不同缺失机制、不同参数先验分布、不同被试人数和不同缺失比例下2种MCMC参数估计的结果,为实际应用中GRM的参数估计方法的选择提供参考.     

项目反应理论与认知诊断模型的参数估计:模型整合视角

将极大似然期望最大化(maximum likelihood estimation via the expectation maximization,MLE-EM)算法拓展到了广义诊断模型估计中,并详细描述了如何使用期望最大化算法计算模型参数的极大似然估计值.从理论上明确指出,在认知诊断模型中存在的2类参数,即项目参数和结构参数,都是从观察数据中自由估计获得的.据此对项目反应理论和认知诊断模型中所用的边际极大似然估计期望最大化(marginal maximum likelihood estimation via the expectation maximization,MMLE-EM)算法理论进行了澄清,指出以往一些研究出现错误结论的原因.最后从模型整合的视角上为后续的研究提出了4条建议.     

基于灰色关联分析的类中心缺失值填补方法

真实数据集中含有缺失值,许多数据分析技术不能直接应用到不完整数据上,且缺失值的存在会明显地降低算法的有效性,缺失数据处理是一个不可缺少的数据预处理过程,因此提出了一个基于统计度量的缺失值填补算法,名为灰色类中心缺失值填补(GCCMVI)方法,利用数据点的类中心和标准差来填补缺失值,此外,通过比较阈值和实例与类中心间相关性的大小关系,决定是否加上(减去)标准差,灰色关联分析用来计算相关性,在缺失值被填补后,得到的完整的数据集用来训练支持向量机(SVM)分类器.在三种类型不同的数据集上进行比较,以分类精度,填补效果,填补时间作为评估准则来衡量算法的有效性.实验结果表明,所提出的算法显著地提高了分类精度和填补效果.     

基于期望最大化的K-Means聚类算法

针对高维数据下的聚类效果需要提高,提出一种基于期望最大化的k-means聚类改进算法.该算法在没有降维和破坏原有数据结构的情况下,把期望最大化算法和k-means算法相结合,用期望最大化算法选取k-means的算法的初始聚类中心.并针对高维数据提出一种新的距离算法,代替传统的距离算法.实验结果表明提出的算法的可行性,并且在处理高维数据时的有效性.     

单细胞RNA-seq数据缺失元素补全算法

基于非负矩阵分解模型, 提出一种新的数据补全算法. 该算法通过循环遍历确定最佳构造矩阵和rank值, 解决了单细胞转录组测序(RNA-seq)数据中存在缺失值的问题,  避免了由于单细胞测序深度不足对细胞分型分析的影响. 在慢性粒细胞白血病单细胞测序数据上的实验结果表明, 由补全算法恢复缺失值后的细胞分型更清晰, 验证了该算法的有效性.     

单细胞RNA-seq数据缺失元素补全算法

基于非负矩阵分解模型, 提出一种新的数据补全算法. 该算法通过循环遍历确定最佳构造矩阵和rank值, 解决了单细胞转录组测序(RNA-seq)数据中存在缺失值的问题,  避免了由于单细胞测序深度不足对细胞分型分析的影响. 在慢性粒细胞白血病单细胞测序数据上的实验结果表明, 由补全算法恢复缺失值后的细胞分型更清晰, 验证了该算法的有效性.     

MCMC方法在估计二元随机波动率模型中的应用

金融数据的波动性一直是经济学研究的热点问题之一,随机波动率模型(SV)在波动率建模中有着重要的应用.马尔科夫链蒙特卡罗(MCMC)方法是估计参数的一种有效方法,给出估计一类二元SV模型参数的MCMC算法,并通过WinBUGS软件编程实现了该算法.文章最后给出了模型和程序的一个实际应用.     

响应变量随机缺失下线性回归模型的自适应期望递归最小二乘算法

在响应变量随机缺失MAR机制的前提条件下, 针对线性回归模型, 提出了一个新的期望递归最小二乘算法(Expectation Recursive Least Square, ERLS), ERLS方法巧妙的结合了EM算法和RLS的优点, 自适应的递归估计回归系数, 从而避免了高维数据的相关矩阵的求逆困难. ERLS算法是实时自适应处理算法, 无需存储全部数据集, 在观测数据存在野值时, ERLS算法优于LS方法.     

基于改进EM算法的分布式MIMO系统联合参数估计

鉴于采用最大似然算法估计分布式多天线系统的信道增益与频偏存在多维优化使计算复杂度高的缺陷,以及采用期望最大化（EM）算法存在收敛速度慢、对初值依赖性大的不足,而期望条件最大化（ECM）算法用一系列计算简单的CM步来代替一个复杂的M步,弱化了初值对收敛性的影响.综合考虑ECM算法与最大似然（ML）估计算法来优化EM的收敛过程,提出了一种高效稳定的EM算法.该算法在CM步取得频偏的更新值后,通过ML的结果来更新信道增益.仿真结果表明：该算法对初值的依赖性较低、计算简单且稳定性高,结合空间选择期望最大化（SAGE）方法后能大幅提高收敛速度,且所得估计值的均方误差（MSE）能够逼近Cramer-Rao界（CRB）.     

面向多维特性数据的缺失值检测及填补方法对比

针对传统缺失值检测方法缺少对多维特性数据全面立体的分析及难以从众多缺失值填补算法中选择合适方法的问题，通过设计缺失值检测方法，在目前常见的数据点缺失度基础上，首次提出数据总体缺失度和加权数据总体缺失度的概念，实现对数据集缺失程度的全面检测，进而通过实验对比分析不同缺失值填补方法性能。实验结果表明，在不同缺失度的情况下，不同缺失值填补算法的性能不同，所提出的方法可为缺失值填补算法的选择提供有效依据。     

基于缺失森林的医疗大数据缺失值插补

为解决医疗数据集中数据缺失对分类器的性能以及下游任务产生的不利影响,提出使用缺失森林插补法对医疗数据集中缺失值进行插补。该方法首先采用数据集中完整数据的观测值训练一个随机森林模型;利用训练好的随机森林模型预测缺失数据;不断重复迭代上述过程,从而完成数据缺失值补全。在两个医学数据集上进行测试,结果表明,根据NRMSE(Normalized Root Mean Squared Error)和PFC(the Proportion of Falsely Classified)评估指标,缺失森林插补法误差较低,插补效果优于K最近邻插补法、多重插补法和GAIN(Generative Adversarial Imputation Nets)插补法。同时,使用糖尿病数据集通过分析谷丙转氨酶(ALT:ALanine aminoTransferase)与糖尿病剂量反应关系证明了缺失森林插补法的稳定性。     

基于最近邻区间的不完整基因表达数据多目标聚类算法

针对不完整基因表达数据的聚类问题,提出了一种多目标NSGA-Ⅱ框架下缺失值填补与聚类协同优化的算法.算法根据欧式距离确定不完整基因的近邻基因,以缺失值的最近邻区间为约束,采用混合编码将缺失值填补与聚类中心优化融入NSGA-Ⅱ进化过程,通过将数据集的统计信息与聚类结果共同作为缺失值填补因素,提升不完整基因表达数据的填补准...     

IIRCT下负二项分布参数多变点的贝叶斯估计

通过添加缺损的寿命变量数据得到了带有不完全信息随机截尾试验下负二项分布的完全数据似然函数.给出了变点位置和其他参数的满条件分布.利用Gibbs抽样与Metropolis-Hastings算法相结合的MCMC方法对各参数的满条件分布分别进行了抽样.详细介绍了MCMC方法的实施步骤,得到了参数的Gibbs样本,把Gibbs样本的均值作为各参数的贝叶斯估计.随机模拟试验的结果表明各参数贝叶斯估计的精度都较高.     

左截断右删失数据下泊松分布参数多变点的贝叶斯估计

通过添加缺损的寿命变量数据得到左截断右删失数据下泊松分布的完全数据似然函数.给出变点位置和其它参数的满条件分布.利用Gibbs抽样与Metropolis-Hastings算法相结合的MCMC方法对各参数的满条件分布分别进行抽样,介绍MCMC方法的实施步骤.把Gibbs样本的均值作为各参数的贝叶斯估计.随机模拟试验的结果表明各参数贝叶斯估计的精度都较高.     

带有不完全信息随机截尾试验下伽玛分布尺度参数的点估计

首先通过添加数据得到了带有不完全信息随机截尾试验下伽玛分布的完全数据似然函数,然后分别利用EM算法和MCMC方法对尺度参数进行了估计,最后进行了随机模拟试验,结果表明尺度参数点估计的精度比较高.     

缺失数据下滑动平均模型的估计方法

针对含有多个连续缺失数据的滑动平均MA(q)序列,基于EM算法得到其模型的参数估计,并给出了序列缺失值估计及其协方差矩阵的表达式.通过数值模拟验证了该算法的有效性,同时得到如下结论:参数估计整体均方误差随着模型阶数的增加而增加,随着模型特征根模长的增加而增加,随着样本缺失比例的增加而增加,随着序列长度的增加而减少.对于缺失值估计整体均方误差而言,随着模型阶数的增加而增加,随着模型特征根模长的增加而增加,但对于序列长度与样本缺失比例并不敏感.通过实例计算,在缺失数据下该算法能够较好地给出MA模型的参数估计.     

基于金融随机波动模型的快速MCMC算法研究

为了更快更准确地使用MCMC算法估计SV模型的未知参数,结合现有的MMP算法以及有限正态混合近似算法,提出了一种快速的MCMC算法(FMCMC),通过随机模拟实验,验证表明FMCMC比其他的MCMC方法更优更快.最后选取我国沪深股市收益率数据进行了应用研究,发现了沪深300股市具有较强的波动持续性以及波动幅度较小等现象,也证实了FMCMC算法的有效性以及准确性.     

一种改进的随机选择算法

在一组数据中寻找第k小元素是一个常见的问题.确定性算法可以在Θ(n)的时间内完成,但是却有一个很大的常数使得算法不太实用.源于Hoare的随机选择算法可以使得算法执行比较的期望次数小于4n.改进算法中随机选择分组元素的方法,将使新算法在数据为均匀分布时执行比较的期望次数小于3n.     

不同类别非完整大数据中缺失数据填充算法研究

针对目前缺失数据填充算法精度低、运行效率低、内存占用率大的特点,提出一种新的不同类别非完整大数据中缺失数据填充算法。通过2个定理阐述了缺失数据填充算法的原理,给出信息熵的计算过程。输入根据数据集构建的决策表和不同类别非完整大数据中缺失数据的最大值、最小值、填充步长。求出其他类指标和某类指标的相关性,得到数据集,求出权重系数;计算初始数据库的信息熵,通过相关理论或经验对缺失数据区间下限进行设定;用一个很小的区间数据取代缺失数据,根据给出的步长不断扩大区间范围,绘制出每一步信息熵状况,将其与初始数据库信息熵相比,实现缺失数据填充。实验结果表明,所提算法精度高、运行效率高、内存占用率低。