二值数据下模型和异常点的同时识别

讨论了基于贝叶斯方法进行模型选择与异常点识别时两者之间的相互影响,建议模型与异常点应结合起来同时识别.针对二值数据,采用引入隐变量的数据扩增方法进行异常点识别,并且给出了基于MCMC方法计算后验概率来进行模型和异常点同时识别的具体过程.     

一种基于贝叶斯后验的异常值在线检测及置信度评估算法

为识别一类更新速度快、变化趋势平缓、缺少人工类标的大数据量工业时间序列中所存在的异常值,提出了一种以贝叶斯后验为基础的异常值在线检测及置信度评估算法.算法将预测检测和假设检验相结合,首先建立时间序列自回归模型,然后对预测残差作基于贝叶斯原理的后验检验,用后验概率对数比确定序列中的异常值.为减少识别过程中的误判,在检测完成后,利用自组织映射神经网络计算状态转移概率,进一步对已标记的异常值进行置信度评估.通过定期更新模型,算法各参数能动态保持与数据变化规律同步,提高了检测的准确率.实验结果表明,该算法能够对时间序列异常值准确快速地进行在线检测,同时给出可靠的置信度评估,具有较高的实用价值.     

一种新的基于回归分析的异常值检测

异常值检测是当前数据分析中的一个重要研究领域.模型中的异常值会直接影响建模、参数的估计、预测等问题.回归分析是应用极其广泛的数据分析方法之一,本文针对回归分析中的异常值检测进行了研究.该方法基于均值转移模型,根据异常值对残差平方和的影响关系构造一个新的异常值判断准则的统计量,并给出了估计异常值大小的公式.本文进行了大量的模拟实验和实例分析,与传统方法相比,结果表明该方法是有效的.     

基于均值漂移模型的异常值检测方法

由于异常值的存在对统计推断有很大影响,因此异常值检测是数据分析中的一个重要步骤。对于横截面数据的线性模型,改写模型的设计矩阵后,基于均值漂移模型,利用系数压缩估计方法来进行异常值检测。由于系数压缩估计中调节参数的选择对检测效果有很大影响,基于两种调节方法的加权,提出了一种新的调节方法。数值模拟结果表明,使用这种基于均值漂移模型的异常值检测调节方法,可以显著降低犯两种错误的概率。     

一类线性混合效应模型分位数估计的影响分析

当回归模型误差服从非对称或非正态分布时,尤其是在重尾分布或分布受污染的情况下,如何检测纵向数据中的异常值是数据分析中的一个重要问题。为了克服非正态分布模型误差的影响,采用稳健的分位数方法对一类线性混合效应模型进行参数估计,并分别基于数据删除模型和均值漂移模型构造强影响点的诊断度量和异常值的检验统计量,以有效地检测强影响点和异常值点。在识别强影响点时,为了减轻计算负担,利用光滑逼近的方法给出了数据删除模型参数的一步近似估计,并据此构造出基于损失函数的距离和Cook距离。为了能够识别异常值点,首先构造出检验异常值点的Wald统计量,然后基于数据删除模型和均值漂移模型的系数估计的等价性,利用Bootstrap抽样得到检验的拒绝域。数值模拟结果表明,本文所提的诊断度量和检验统计量都能够很好地判断出强影响点和异常值点。最后应用本文方法针对化学实验纵向数据进行了影响分析。     

基于最小距离法的稳健群组变量选择

在研究存在异常值的logistic回归模型时,发现如果使用极大似然估计(MLE)方法进行参数估计,那么异常值引起的偏差不是造成参数估计过大而是导致参数向量内爆即参数向量收缩为零向量,此时如果进行群组变量选择很可能会忽略一些重要变量.因此针对具有组结构的logistic回归模型,为处理解释变量存在异常值时的群组变量选择问题,将基于最小距离法的稳健估计(L₂E)方法与已有的3种群组变量选择方法和3种双层变量选择方法结合,在此基础上利用Majorization-Minimization(MM)算法对目标函数进行求解.通过数值模拟比较了基于L₂E方法和MLE方法在模型具有组稀疏和双层稀疏的情况下,6种变量选择方法在不同维数下的有限样本表现,结果不仅验证了L₂E方法在存在异常值的logistic回归模型参数估计中的稳健性,而且指出了在这6种变量选择方法中使用Group Bridge方法进行变量选择的准确度更高.     

鉴别性最大后验概率线性回归说话人自适应研究

为增强自适应后的声学模型的鉴别能力,提出了一种基于最大互信息(MMI)的鉴别性最大后验概率线性回归(MMI-DMAPLR)说话人自适应方法. 将最大互信息准则和最大后验概率(MAP)准则相结合,设计了一个新的目标函数来估计基于线性变换的自适应方法中的变换参数,在最大后验概率估计中加入了鉴别性. 大词汇量连续语音识别的实验结果表明,新方法在增强声学模型与测试数据的匹配性的同时,可以有效提高声学模型的鉴别能力,在少量自适应数据的情况下,其性能比最大后验概率线性回归(MAPLR)相对提高4.8%.      

基于动态设计变量优化算法的非线性模型参数估计

为消除在传统非线性模型参数估计中由于线性化引起的模型误差,提出了一种基于动态设计变量优化的非线性模型参数估计算法·该算法以每个待估计的参数为设计变量,以与设计变量相关的误差函数为目标函数,并将参数约束条件构造在目标函数中,建立参数估计的最优化问题·针对圆形轨道倒立摆动力学模型进行参数估计,证明该算法具有很高的计算精度和较快的收敛速度,是解决非线性模型参数估计的有效方法之一·     

Nash模型参数不确定性分析及概率洪水预报

针对通常水文预报过程参数的不确定性问题,利用贝叶斯理论,结合自适应采样的马尔可夫链蒙特卡罗方法来研究Nash模型参数的不确定性,并进行概率洪水预报。实例研究表明,该方法能充分利用已知的后验信息获取Nash模型参数的不确定性,得到其后验分布。根据获得的参数后验分布可实现概率洪水预报,同时给出各时刻洪水流量的均值和方差的预报值,为估计各种防洪决策的风险提供了依据。     

基于一般速率模型的面板计数数据统计分析

在复发事件数据存在删失的情况下,对基准速率函数进行一般化调整之后建立了一般速率模型。同时,给出该模型中未知参数的极大似然估计,并且证明了这些参数估计的大样本性质,即相合性和渐近正态性。利用大量数值模拟验证了文中所提出的模型及参数估计方法的合理性。最后,通过对一组膀胱癌治疗的临床试验数据进行实例分析,刻画协变量对膀胱癌复发率的影响。     

基于小波变换的飞行数据清洗

飞行数据因为野点和噪声的存在给其进一步处理和利用造成了困难。提出了一种基于小波变换残差直方图分析的野点识别方法,能在时间域内精确定位野点,并具有识别少量成片野点的能力。根据飞行数据噪声的特点及去噪要求,在去噪的过程中引入边缘检测,提出了分二进小波尺度乘积和小波阈值收缩两个步骤进行去噪的方法,从而在去噪的同时很好地保留了序列极值点的特性。实验结果表明本文所提方法对飞行数据中存在的质量问题具有较好的清洗效果,野点识别准确,去噪效果良好,并且对类似其它数据的处理也有一定的应用参考价值。     

稳健的变量选择方法及其应用

在已有的变量选择方法和稳健估计方法的基础上,提出了一种针对纵向数据的稳健的变量选择方法,通过模拟衡量其稳健性,并将其应用到一组实际的纵向数据分析中.模拟和实例分析结果表明,提出的稳健的变量选择方法在选择变量、估计变量系数的同时,对数据中可能存在的异常值有明显的抵抗作用.     

基于角点匹配的鲁棒图像镶嵌方法

为了获取场景的宽视场表示,提出了一种鲁棒的图像镶嵌方法.该方法对图像序列中的各个图像进行角点提取,再利用归一化相关方法进行角点的初始匹配.由于初始匹配中包含有大量的出格点,直接采用最小二乘法得不到正确的图像平面间的变换模型参数,为此,采用了鲁棒随机采样算法来估计图像平面间的变换模型参数.该算法能够有效地剔除初始匹配中的出格点,获得精确的匹配点子集.然后利用这些精确匹配的点集来计算变换模型参数,从而实现了图像的正确镶嵌.整个过程无需人工干预,均由计算机自动完成.对真实图像的试验结果表明了该方法的有效性.     

基于局部最大距离的孤立点检测算法的研究

孤立点检测是数据挖掘研究中的一项重要内容,其目标是发现数据集中行为异常的数据对象．本文在局部稀疏系数算法的基础上提出了基于局部最大距离的局部孤立点检测算法,该算法提出检测孤立点只需计算它的最近邻居对象的最大距离．实验结果表明,该算法发现局部孤立点是高效的。     

基于无偏估计的装甲装备器材需求灰色预测

针对装甲装备器材需求数据采集过程中存在的数据采集偏差,建立了存在数据采集误差的装备器材需求灰色预测模型;分析了装备器材需求灰色预测模型中,最小二乘估计为无偏估计的条件是数据采集误差的期望为0,否则,最小二乘估计为有偏估计;最后针对数据采集偏差期望不为0的条件,给出一种基于辅助变量的无偏参数估计方法.通过实际案例仿真分析验证了方法的合理性和可行性.     

Robust function-on-function regression model with nonparametric random effects

Extended t-process is robust to outliers and inherits many attractive properties from the Gaussian process. In this paper, we provide a function-on-function nonparametric random-effects model using extended t-process priors in which we consider heterogeneity of individual effect, flexible mean function, nonparametric covariance function and robustness. A likelihood-based estimation procedure is constructed to estimate parameters involved in the model. Information consistency for the parameter estimation is provided. Simulation studies and a real data example are further investigated to evaluate the performance of the developed procedures.     

AR模型参数的抗差估计研究

实时校正一般以实测洪水流量为校正依据.研究实测洪水流量过程出现异常值时,采用抗差递推最小二乘法代替传统递推最小二乘法估计AR模型参数,能获得更稳健的参数结果.将闽江七里街流域的洪水资料人工生成异常值,对采用抗差递推最小二乘法和传统递推最小二乘法所得的校正结果进行比较,结果表明抗差递推最小二乘法具有更强的容差能力,是一种稳健的参数估计方法.     

随机模型对GPS网平差结果的影响

指出根据观测数据对随机模型验后估计的意义，介绍随机模型验后估计的理论和方法及GPS基线网平差的数学模型，研究用方差分量估计与非负估计方法对不同时段不同分区的方差协方差矩阵进行估计，以评定基线观测值的质量，同时研究它对参数估计的影响，算例的计算结果表明，方差分量估计正确与否对GPS网平差结果的影响可达6mm。因此，在GPS网平差中，合理估计方差分量并定权对改善平差结果具有积极意义。