基于Bayesian方法的参数估计和异常值检测

异常值检测是当前数据分析研究中的一个重要研究领域。模型中的异常值会直接影响建模、参数的估计、预测等问题。基于模型的异常值检测,传统的做法是先对模型参数进行估计,再进行异常值检测。而异常值的存在会影响参数估计,从而导致下一步异常值检测的不可靠;反之异常值检测也会影响参数估计。针对这些不足之处,提出了基于 Bayesian 方法的参数估计和异常值检测,此方法可以将参数估计和异常值检测同时实现,具体做法是在线性回归模型中引入识别变量,基于 Gibbs 抽样算法,给出识别变量后验概率的计算方法,通过比较这些识别变量的后验概率进行异常值定位,同时给出参数的估算方法。通过大量的模拟实验,结果表明,与传统方法相比,提出的方法对异常值更灵敏。     

动态贝叶斯网络在战争身份识别中的应用

在战争身份识别中运用贝叶斯网络时,系统参数不能做到及时调整,动态贝叶斯网络可以解决这一问题,通过建立网络模型,引入时间因素,对系统参数进行分析与后验概率推理,利用隐马尔科夫模型对推理进行仿真实验.通过动态贝叶斯网络在战争身份识别中的使用为指挥员在有限的时间内作出有效的评估识别提供了依据,具有重要的实战意义.     

二值数据下模型和异常点的同时识别

讨论了基于贝叶斯方法进行模型选择与异常点识别时两者之间的相互影响,建议模型与异常点应结合起来同时识别.针对二值数据,采用引入隐变量的数据扩增方法进行异常点识别,并且给出了基于MCMC方法计算后验概率来进行模型和异常点同时识别的具体过程.     

基于BIRCH-LKD的在站车辆中时异常检测算法

针对铁路车辆在站中转作业异常较多的情况,提出基于BIRCH-LKD的在站车辆中时异常检测算法.该算法以车辆中时序列为研究对象,不考虑异常值的具体形式,对序列分组,引入中时序列特征向量,做类球形簇转化;采用基于划分的显性异常检测方法得到中时序列特征向量的聚类特征树,查找序列显性异常,缩小异常检测范围;利用隐性异常检测算法计算剩余数据对象的K距离,根据距离差值变化规律,筛选序列隐性异常;最后,利用中时序列中位数异常判定条件,排除下界异常,实现中时序列的异常检测.实验结果表明,该算法检出率高,能够快速识别中时序列异常值,有效率达85%以上,去除异常值后的中时序列符合实际情况的趋势且更加平稳.      

应用交互式多模型算法的设备剩余寿命预测

针对目前异常检测与剩余寿命预测联合研究中存在的问题,基于交互式多模型算法,提出了一种考虑退化模式动态转移的设备剩余寿命预测模型。首先根据模式动态转移的状态空间模型对设备进行退化建模,然后使用IMM算法对设备的隐含退化状态与退化模式后验概率进行联合估计,根据后验概率判别异常点,并采用期望最大化(Expectation Maximum,EM)算法对模型参数进行在线估计与更新,最终实现设备的实时剩余寿命预测。数值分析结果表明:该模型能够准确地检测异常点、降低剩余寿命概率分布的不确定性与提高剩余寿命的预测精度,为实现设备的视情维修提供决策依据。     

基于数据扩展的动态贝叶斯网络预测方法

将数据扩展方法应用于动态贝叶斯网络的参数学习中,利用随机抽样算法对小样本数据进行数据扩展,并采用贝叶斯后验概率公式对扩展数据进行修正,同时计算观测数据的后验概率,然后在扩展数据的基础上,完成动态贝叶斯网络的学习和推理.仿真实验表明这种方法可以降低预测模型中节点的联合效应所造成的误差积累,提高模型的预测精度.     

干涉仪解模糊异常值检测及纠错方法

针对多基线相位干涉仪测角雷达在通道相位误差较大时解模糊结果存在异常的问题,提出了一种基于有限记忆算法的干涉仪解模糊异常值检测与纠错方法.该方法利用逐次测角算法的初次解模糊结果估计角度和整周模糊值的初始值,在此基础上进行角度和整周模糊值的有限记忆递推,识别原始测角数据中存在的数据异常值,对其进行异常值剔除或重新解模糊纠错处理.仿真结果表明,该方法原理正确,对于干涉仪解模糊数据中出现的孤立型及连续型异常值都能够进行有效的检测并予以纠正,显著降低了解模糊的出错概率.     

基于贝叶斯支持向量机模型选择算法改进

通过对贝叶斯方法的分析,探讨了SVM的模型选择问题,提出SVM模型的选择可以看作等价于求解概率模型下置信度最大化的观点.首先,通过使用相关后验概率上的数学期望近似计算置信度梯度,然后用拟牛顿法求解置信度最大化问题.在数据集训练过程中引入阶梯度的SMO算法以提高训练效率.实验证明:此算法与网格法和Span估计法相比,改善了SVM的多参数选择问题,提高了执行效率.     

一种基于属性贝叶斯网络的行为识别模型

针对传统行为识别方法仅利用底层特征识别的不足,提出了一种将动作属性与贝叶斯网络相结合的行为识别方法.首先,提取视频中的时空兴趣点及其3D-SIFT特征描述符,用词袋的方法建立时空词典对视频序列进行表示;然后,利用底层特征训练属性分类器,构造由底层特征到高层特征的映射,将底层特征样本经过属性分类器后得到行为—属性的样本信息,并采用MAP(最大后验概率)准则学习贝叶斯网络结构,从而建立一种基于属性贝叶斯网络的行为识别模型.实验结果表明该模型能有效地进行行为识别.     

基于稳健回归的激光视觉异常值识别

针对激光视觉系统在棒材轮廓测量过程中出现的异常值,提出一种基于稳健局部加权回归与3σ准则的异常值识别法。该方法利用稳健局部加权回归进行数据平滑,通过计算被测数据与平滑数据的残差值,依据3σ准则识别出轮廓异常值。利用该方法对激光视觉测量过程中出现的轮廓孤立异常值进行了判别,并与移动均值识别法进行了对比。实验讨论了不同窗宽下,该方法的异常值识别效果,以其识别多孤立异常值的能力。随后对异常值处理前、后的轮廓数据进行了拟合,并对拟合效果和拟合精度进行了对比分析,分析结果表明,异常值处理后的拟合椭圆更为准确,拟合精度大幅提高。实验证明基于稳健局部加权回归的异常值识别法能有效识别轮廓数据中的异常值,与现有异常值识别法相比,是一种高效、稳健的异常值识别算法,对提高激光轮廓测量精度,实现轮廓尺寸的准确测量具有重要意义。     

基于改进贝叶斯网络的网络安全态势评估

针对现有网络安全态势难以被精确和自主的评估,提出了一种基于改进贝叶斯网络的网络态势评估方法。首先,定义了网络安全态势评估的指标,即网络基础可行性、网络脆弱性和网络威胁性,然后提出了一种改进的贝叶斯网络模型,即动态的贝叶斯网络模型,对网络的结构和推理方法进行了重新定义;在此基础上,通过历史数据来初始化先验概率,通过在线获取的数据来计算后验概率,通过历史数据和监测数据结合来不断修正后验概率。在Matlab环境下进行仿真试验,将所提模型用于对网络安全态势进行预测,并与其他方法进行比较,结果表明所提模型能有效地对网络安全态势进行预测,具有预测精度高的优点,较其他方法具有较大的优越性。     

无信息先验下平稳AR(1)模型的贝叶斯推断

研究AR(1)时间序列模型在平稳条件下的贝叶斯推断理论,构造了模型自回归系数和尺度参数的无信息先验分布,推导得到了其后验分布、后验均值、众数、中位数、分位数和最大后验区间估计,最后对几组仿真数据进行了贝叶斯分析.     

用灰色GM（1,1）模型作异常降水预测

应用灰色系统理论,建立了异常降水的预报模型GM(1,1).该模型首先选定某个异常值λ作为阈值,在原始数列λ(0)中选取对应于阈值λ的子集X_λ(0),重新构造一个对应异常值的时刻序列。将GM(1,1)模型与随机数据的累加生成相结合,对未来异常降水发生时刻作预测.实例预测结果与实况相吻合.     

机场道面使用性能的动态自回归预测模型

针对我国机场道面性能观测时间短,观测数据少,使用现有模型预测精度低,不能根据观测值动态更新预测模型等现状,提出了将卡尔曼滤波应用于时间序列预测的方法,建立了动态自回归预测模型,进行机场道面使用性能的预估.选取我国华东某机场的实测道面状况指数为基础数据,进行时间序列建模,应用卡尔曼滤波算法实现时间序列模型参数的实时更新,分析模型的预测效果.时间序列数据较少时,难以建立高精度的自回归模型,通过卡尔曼滤波处理建立的动态自回归预测模型精度明显提高.     

基于隐马尔可夫模型的协作频谱检测策略

频谱检测是认知无线电的基础和关键技术,将其建模为隐马尔可夫模型(hidden Markov model,HMM),并由此提出基于隐马尔可夫模型的协作频谱检测策略.该策略首先使用Baum-Welch法对HMM的系统参数进行最大似然估计;然后基于HMM模型,利用各次用户的检测信息以及过去信道状态的后验概率信息进行贝叶斯推理,更新当前时隙信道状态的后验概率;最后根据最大后验概率准则对当前时隙的信道状态进行最终判决.使用后验概率,该策略可进一步估计系统协作检测的性能,在满足系统协作检测性能要求的前提下,选择尽可能少的、检测性能较优的次用户来参与协作,以节约开销和降低复杂度.仿真实验表明,所提出的策略的系统检测性能优于基于大数判决、似然比和Chair-Varshney准则的协作频谱检测策略.     

基于柯西分布的水文序列异常值检测方法

针对基于正态分布的检测算法在窗口中出现偏差较大的极端异常值时,检测模型出现不稳定的现象,提出一种基于柯西分布的异常检测算法。通过试验发现,用滑动窗口内的中位数以及中位数绝对偏差来代替均值以及标准差,可以较好地消除滑动窗口内极端异常值对检测算法的影响。探讨了算法中滑动窗口以及置信度的设置,并通过实例对算法进行验证。结果表明,所提算法的检出率在窗口以及置信度设置恰当的情况下保持较高水平。与其他算法对比表明,所提算法对于处理局部波动剧烈的流量时间序列展现出较好的适用性以及鲁棒性。     

ARFIMA模型参数贝叶斯估计的渐近性质

首先根据贝叶斯定理得到ARFIMA模型参数的后验边缘分布,并选择后验边缘分布的众数作为参数的估计值.参照季节性ARFIMA模型的极大似然估计的渐近性质的证明思路,证明了模型参数的贝叶斯估计具有相合性、有效性和渐近正态性.最后,对参数的贝叶斯估计方法的大样本性质进行仿真模拟,结果表明当时间序列样本足够大时,参数的估计值越来越接近于真实值.     

桥梁监测数据的动态线性建模与可靠性预测

引入贝叶斯动态线性模型(BDLM),建立桥梁监测应力的状态方程和观测方程,并利用贝叶斯因子监控监测应力.通过监测应力和应力状态的先验信息,对监测应力的状态参数进行贝叶斯后验概率推断,并不断进行"概率预测-修正"递推运算,获得最优监测应力的状态概率估计来预测桥梁的应力.基于贝叶斯动态修正的应力概率模型,建立桥梁结构可靠性的预测公式.最后,通过实例验证了本文所建模型的合理性和适用性.     

基于稳健S估计的长江流域气象异常值检测

高维数据如气象数据中不可避免地存在异常值,应用最广泛的最小二乘法在识别异常值上不具有稳健性和灵敏度.稳健估计方法可使求出的估计量不受异常数据的强烈影响,从而能更好地识别异常点.这里给出了基于稳健S估计的主成分分析模型,其中加入Tukey的双权型函数约束条件.该模型无须对数据分布函数的具体形式做假设,算法的收敛速度较快.之后再结合B样条函数对数据作平滑处理,以平均残差平方和为检验统计量,使用同样具有稳健性的调优箱型图作为判别异常值的界限.实证分析采用了我国长江流域5个城市60多年共约58 000条气象数据,分别运用PCA方法和基于稳健S估计的异常值判别方法对该数据集进行了对比分析.可以明显地看出,相比传统方法,基于稳健S估计的异常值判别方法更突出地给出关于异常值的信息,能更好地识别异常值.     

利用自识别的供水管网监测数据质量控制

复杂庞大的供水管网系统拥有众多监测点,在人工判断的情况下,各个监测点采集的海量数据无法被及时有效地处理,数据准确性无从保障,这对供水管网异常情况的判断造成极大阻碍。针对此情况,将北京市某供水管网监测站56个月的在线监测数据进行时段上和季节上的切分,构建自回归滑动平均(autoregressive moving average,ARMA)模型,并通过该模型建立的置信区间识别人工模拟序列中的异常值,从而实现独立节点自身数据的自识别。结果表明:经过数据反馈矫正,该自识别过程能够准确提取人工模拟监测数据中的异常值。ARMA模型的建立极大限度压缩了需人工处理的数据量,以便在异常数据中人工甄选无效数据,实现数据质量控制。