基于因果反馈的缺失数据集因果关系发现

因果关系发现是因果推断的重要部分,其目标是揭示数据内在的生成机制,并以有向无环图的形式表示.然而关于因果关系发现,现有方法很少考虑到观察数据存在缺失值的情况.在实际场景中,大量数据集存在缺失值,因此估计缺失数据集中的因果关系成为一个亟需解决的问题.本文提出了一种新的基于因果反馈的算法实现关于缺失数据集的因果关系发现,其中生成对抗网络被用于估计缺失数据集的分布,并利用基于Actor-Critic的因果关系发现模块搜索最优因果图,设计了一个基于扩展贝叶斯信息准则的自定义奖励函数,引入分类误差引导模型加速探索过程,提升模型稳定性.在模拟数据和真实数据上进行的大量实验结果表明,本文提出的方法在不同数据缺失率下优于现有方法 .     

响应缺失的部分函数型EV回归模型的统计推断

针对响应变量随机缺失且解释变量带有测量误差的部分函数型线性回归模型,讨论了模型中未知参数和未知系数函数的估计问题及其渐近性质;先通过一定方法对缺失数据和带有测量误差的数据进行处理,然后将模型转化为一般的函数型线性回归模型,再利用Karhumen-Loevez展开和主成分分析法给出模型的经验形式,最后运用经典的多元统计分析极小化目标函数得到相应未知量的最小二乘估计,并在一定的条件下给出了参数估计量的渐近正态性和斜率函数估计量的收敛速度;从而说明给出的估计量是有效估计,完全观测下的函数型数据统计推断方法可以被推广到不完全观测的情形。     

具有不可忽略退出的面板数据混合半参数变系数模型

由于面板数据经常出现由信息性退出而引起的缺失数据,故其统计分析比较复杂。本文假定响应变量服从部分线性半参变系数混合效应模型,其中非参数系数函数依赖于相应的退出时间。利用二步估计方法的思想求得参数与非参数部分的相合估计,减少了同时估计的参数的个数,避免了估计方程中由较多参数引起的多重共线性问题。     

响应变量缺失下基于协变量平衡下的变系数模型的经验似然推断

在实际问题中时常会遇到缺失数据的问题,这时已有的处理完全观测数据的统计方法将不再适用.本文研究在响应变量随机缺失下的变系数模型的统计推断问题.主要分为以下几个方面:首先基于协变量平衡倾向得分下的广义矩方法得到了选择概率的估计并且给出了估计量的渐近性质;然后研究变系数模型的未知系数函数的经验似然推断,借助选择概率的估计和扩张的逆概率加权方法构造了系数函数的经验对数似然比统计量;最后证明在适当的条件下似然比统计量服从卡方分布,从而得到系数函数的逐点置信区间.     

一类面板模型中部分结构变点的检测和估计

给出了解决面板回归模型中存在未知部分结构变点时的检测、估计和推断问题的新方法,得到了结构变点的相合估计及渐近分布。基于最小二乘方法构造全局最小残差平方和,并用于检测结构变点。该方法适用于纯结构变点模型和部分结构变点模型,并且即使面板数据只有很少的个体,估计的相合性也可保证。Monte Carlo模拟结果验证了理论的正确性。基于中国股票市场上参与股改的404家工业企业的实证研究表明:应首先检测结构变点是否存在,然后才能分析解释数据;忽略检测结构变点会产生有偏估计,甚至出现伪回归。     

缺失数据的估计方法及应用

应用EM算法的思想在双参数逻辑斯蒂克模型下对存在缺失数据的参数估计方法和恢复缺失数据的统计插补方法进行研究.蒙特卡洛模拟和实证研究结果表明,在进行统计插补恢复缺失数据时,该方法使得估计结果比较理想:联合极大似然估计与EM算法相结合,先估计参数,再填补缺失值,再估计,再填补,直到似然函数值稳定.     

基于Pair Copula函数的空间预测模型及其应用

对于空间数据的插值预测,大多采用传统的空间插值方法如反距离加权插值法和克里金插值法,这2种方法在边缘分布或存在异常值的情况下会导致预测精度相对较低;采用基于Copula理论的方法克服了这一问题。通过Pair-Copula函数描述了空间相依结构并利用MCMC方法(贝叶斯估计法)估计参数,讨论基于空间数据对未观测位置相关数据进行了空间插值预测;结合重庆市雾霾数据对该方法与反距离加权插值法、普通克里金和泛克里金插值法进行比较,结果发现基于Pair-Copula函数的空间预测模型具有更高的精度。     

缺失数据下的线性泛函的半参数降维推断

针对缺失数据下线性泛函估计中存在的非参数高维问题和模型参数化后的稳健性问题,提出了线性泛函估计的半参数降维推断方法,通过非参数函数估计来插补线性泛函,井用参数工作函数来降维.所得半参数降维估计具有双稳健的特点,即只要选择概率函数正确参数化或者降维插补指标可以修复线性函数的条件期望,所得估计就是相合的,而且二者都满足时,估计达到最优.     

采用并行遗传算法的文本分割研究

针对短篇幅文本数据稀疏的特性,提出了一种利用外部语料库知识提高短篇幅文本分割准确率的方法.该方法分2个步骤完成:①利用Gibbs采样方法估计语料库对应的潜在狄利克雷分配(LDA)模型,并利用该模型推断目标文本的潜在语义结构信息;②通过定义语义段落内凝聚性和语义段落间发散性2个目标函数,将文本分割问题转化为多目标优化问题.采用一种针对文本分割的并行遗传算法,获得全局最优解.通过实验,在文本数据稀疏的情况下,该算法在准确率方面优于多元判别分析(MDA)方法和基于LDA的文本分割方法,对于提高文本分割的准确率是可行和有效的.     

新冠肺炎疫情传播模型及防控干预措施的因果分析评估

 利用修正后的单一群体传染病SEIR模型,对新型冠状病毒肺炎疫情在国内的传播趋势进行建模,模型较好地拟合了已发生情况并预测了疫情发展;基于修正后的SEIR模型,开展反事实推理,定量评估了武汉推后采取防控干预措施对国内疫情带来的影响。结果表明：基于建模仿真和因果推断方法,可以对重大突发公共卫生事件的决策和执行进行模拟与反演,提高各级政府应对重大突发公共卫生事件的社会治理能力。     

多维二参数Logistic项目反应模型的Gibbs抽样法

项目反应理论主要有3个基本假设：单维性,局部独立性和单调性。但是这3个假设存在一些弊端亟待解决。一些科学研究表明,用单维模型来模拟多维测量数据往往会增大测量误差,导致对学生的能力做出不正确的推论。因此,研究者基于各种不同的测验背景,将单维项目反应模型推广到多维项目反应模型。多维项目反应模型涉及到的参数较多,如果采用传统的估计方法,如边际最大似然法和贝叶斯众数估计法处理起来比较困难。然而,在项目反应理论中,Gibbs抽样法可以作为一种高效灵活的估计方法加以应用。基于Gibbs抽样的增加数据的技巧,给出了多维二参数Logistic项目反应模型的Bayes估计方法。随着潜在变量的引入,每个参数的满条件分布都很容易得到,并且不受先验分布选取的限制,这样Gibbs抽样的方法就很容易实施。     

基于多基因遗传规划的矿石品位估计

由于矿床形成过程复杂、控制因素多,导致估计矿石品位相对困难.尽量降低矿床预测中的估计误差对矿产资源的开发和利用是至关重要的.克立格法被认为是最佳的品位估计方法,其必须满足对于品位空间分布的平稳性和内蕴假设.但实践上,大部分的品位数据具有稀疏、不规则而复杂的空间分布,这有时会导致克立格法违反平稳性和内蕴假设.本文提出基于多基因遗传规划的矿石品位估计方法,并将其与克立格法进行对比.结果显示,基于多基因遗传规划的方法不需要关于空间分布的假设.这样,简化了实施矿体品位预测的条件,并能取得较好的预测结果,可应用于复杂矿体品位的预测.     

基于矩阵填充的肿瘤基因表达谱数据缺失点估计

为解决肿瘤基因表达谱数据后续研究需要完整数据矩阵的问题,针对包含缺失点的数据集。提出基于矩阵填充(matrix completion)与模糊C均值(fuzzy c-means algorithm,FCM)相结合的缺失点估计方法(FCM_MC)。该方法充分利用肿瘤基因表达谱数据的冗余信息,通过模糊C均值聚类得到具有良好的低秩特性的基因语义片段,再利用矩阵填充方法分别对每个语义片段进行缺失点的重建。在不同数据集上进行实验,与传统缺失点估计算法比较。实验表明FCM_MC算法在缺失数据估计准确度和类结构保持度上效果得到有效提升,同时运行效率较高。     

基于模糊逻辑推理的多响应稳健参数优化

研究一种基于模糊逻辑推理的多响应稳健参数优化方法。利用满意度函数计算含噪声干扰过程的各个响应的满意度值,然后经过模糊逻辑推理,将多个响应的满意度值转化为模糊推理等级;进而根据主效应法选取最优参数组合。构建包含可控因素和噪声因素的神经网络预测模型,对最优参数组合处的噪声实验进行预测,得到优化参数的响应质量指标值;并且计算出优化参数的信噪比。将该方法运用于铣切削工艺过程多响应参数稳健优化。结果表明:基于模糊逻辑推理的多响应稳健参数优化方法得到的最优参数组合,不仅有效地降低了铣切削表面的粗糙程度和粗糙高度,而且对噪声因素的影响具有较好的稳健性。     

基于机器学习的汽油加氢裂化辛烷值损失预测和脱硫优化

辛烷值损失的准确预测有助于汽油炼制过程的优化与控制,以达到更好的脱硫效果.原油的加氢脱硫是一个十分复杂的物化反应过程,对于该过程中的参数控制多依赖于工人的经验,因此基于大数据建立辛烷值损失预测模型可以用于优化脱硫效果,从而提高产品质量,减轻工人的劳动强度,具有十分重大的实际意义.采用单因素分析、方差过滤、随机森林等方法...     

基于机器学习的汽油精制工艺操作方法优化

降低辛烷值损失是石化企业催化裂化汽油脱硫精制工艺过程中的重要目标之一。针对该工艺过程中控制变量维度高且存在非线性和强耦联性等问题,研究利用皮尔森、斯皮尔曼、最大信息系数三种方法,对操作变量进行相关性分析及特征降维,选取与辛烷值损失强相关的21个主要变量,建立了基于XGBoost辛烷值损失预测模型,交叉验证平均准确率达96.54%;然后,提出以硫含量不大于5 ug/g 为约束的工艺操作方法优化模型实现辛烷值损失最小,并通过遗传算法-聚类递归的方法进行求解,确定主要变量取值。以133号样本为例的模型可视化结果表明,所提出的优化模型可以在主要变量逐步调整过程中实现硫含量降至最低点,辛烷值损失接近最小。这既验证了模型的有效性和可移植性,也为汽油精制工艺提供了量化科学优化支撑。     

区域洪涝灾害风险估算模型及其应用

为了减轻洪涝灾害造成的损失,针对系统存在的风险指标,研制区域洪涝灾害风险估算模型.应用马尔科夫链进行某种趋势外推型的风险预测,并估算洪涝灾害无实测值的状态;采用贝叶斯统计理论和方法,通过先验分布结合样本信息来推求后验分布,以最大概率原则判别风险估算的趋势,按照估算结果及当地的实际情况,适度调整针对洪涝灾害的策略,尽可能...     

多元响应线性回归模型的马氏Mallows模型平均方法改进

针对多元响应线性回归模型,提出了修改的马氏Mallows模型平均(MMMAc)方法。为了更充分地利用多元响应变量之间的相关性信息从而更好地提高预测精度,组合权重选择准则的构造同样考虑了马氏距离预测风险,并通过构造Wishart分布,推导出预测损失的无偏估计作为权重的选择准则,最终得到的MMMAc准则相比马氏Mallows模型平均(MMMA)准则增加了一个偏差矫正项,减小了对预测损失估计的偏差,因此通过最小化该准则得到的权重估计能更接近不可得的理论最优组合权重;最后,模拟对比实验验证了MMMAc方法的优势：MMMAc估计具有与MMMA估计同样的渐进最优性,因此两者的表现在大样本情形下没有太大差异,然而,由于修改后的权重选择准则为预测损失的无偏估计,因此在样本量不足的情形下,MMMAc方法的预测表现更佳。     

基于NPP/VIIRS夜间灯光数据的GDP智能预测模型研究

针对现今传统统计方法难以准确及时的揭示经济参量时空信息且估算GDP精度不足的问题,本文利用国家极轨卫星携带的可见光和近红外成像辐射计（NPP/VIIRS）获取的2012-2018年夜间灯光影像为数据源,对数据产生的误差进行处理得到了可以用来定量分析的长时间序列数据;首先采用随机森林算法对数据集进行预测研究,在此基础上提出一种基于袋外数据估计的回归误差,采用改进的网格搜索算法（Grid Search）对随机森林模型进行参数调优。同时也使用贝叶斯优化（Bayesian Optimization）对随机森林(RF)模型进行参数调优。运用嵌套5F-CV,并通过外部5F-CV循环估算模型的泛化能力,内部5F-CV循环用于确定最佳参数找出最优参数模型,建立自动预测系统,根据输入的研究区数据,使算法模型自动进行精准预测。结果表明基于贝叶斯优化改进的随机森林算法在预测GDP时最好,预测精度达到97%,具有较高的准确率和鲁棒性。研究结果展示了机器学习算法和夜间光照指数用于在县级尺度上预测GDP表现出显著的能力。     

强可忽略处理分配下因果推断的结构回归模型

建立强可忽略处理分配条件下因果推断的结构回归模型,估计平均处理效应,在正态分布假设下,总体参数的极大似然估计是渐近正态无偏估计,提出的方法可推广到具有误差的一般情形。