基于变点理论的统计方法

变点是在模式中某个或某几个点突然发生较大的变化,这种具有突然变化的变点有可能在该模型中起到特殊的作用。变点问题在医学肿瘤分析、金融、气候分析等诸多领域都有着许多应用,通常用来检测在数据生成过程中的结构突变,成为统计推断的中心问题之一。变点理论知识应用到基因表达谱数据分析中,对变点理论的实践应用及差异表达基因检测的研究都提出了新的挑战。     

一类面板模型中部分结构变点的检测和估计

给出了解决面板回归模型中存在未知部分结构变点时的检测、估计和推断问题的新方法,得到了结构变点的相合估计及渐近分布。基于最小二乘方法构造全局最小残差平方和,并用于检测结构变点。该方法适用于纯结构变点模型和部分结构变点模型,并且即使面板数据只有很少的个体,估计的相合性也可保证。Monte Carlo模拟结果验证了理论的正确性。基于中国股票市场上参与股改的404家工业企业的实证研究表明:应首先检测结构变点是否存在,然后才能分析解释数据;忽略检测结构变点会产生有偏估计,甚至出现伪回归。     

股指时间序列突变点小波检测研究

预测股指时间序列突变点是在股票市场上进行投资的一个关键问题,而检测突变点是预测的基础.在检测深沪两市股指时间序列月度收益率突变点位置和个数时采用了非参数方法,该方法基于小波数据依赖门限技术.研究显示了运用Lipschitz指数解释的突变点的数学特征.使用的模型证明了小波变换模的极大值能够检测出突变点的位置,实证结果也显示出突变点的位置和个数是精确的.     

基于Generalized LASSO模型的长江寸滩站年均径流突变研究

为了区分水文时间序列的趋势和跳跃变异,将基于L_1范数正则化技术的generalized LASSO模型应用于水文序列变异识别。经过识别,发现长江寸滩水文站年平均流量序列在1969年发生了向下的均值跃变。此外,趋势分析表明无论是跃变前后的子序列还是剔除跳跃成分的整个序列,均未检出显著的趋势,这说明对寸滩水文站年平均流量序列的跳跃变异假设是合理的。基于generalized LASSO模型的结果与其他突变检测方法结果进行比较,所得结论是一致的。     

基于混合模型adaptive LASSO方法的气象数据实时变点检测

气象数据的实时变点检测是一个重要的问题,正确的预测能够对民生有着积极的影响。以桂林市降雨量的数据为例,建立混合模型,采用adaptive LASSO进行变量选择,基于CUSUM建立检验统计量,最后估计出桂林市降雨量的变点。     

变点检测问题最新进展综述

变点检测问题研究是统计学与数学、计算机科学、数据挖掘等众多学科交叉的新兴研究领域。论文详细回顾与述评了2001-2011年的最新国内外变点问题研究状况,并从不同的角度对变点检测问题进行合理分类,同时展望了变点检测问题研究的未来发展方向。     

变点理论统计分析方法应用试例

变点是模型中突然发生变化的某个或某一些量变化的点.研究突变点,通常能够发现事物的某种质的变化,差异基因表达检测就是寻找基因表达谱数据中样本数据相对于正常组样本数据有过表达的有变化的现象.该文探讨变点理论的统计方法在差异基因表达检测中的应用.     

基于灰度突变特征结构的快速人脸检测

基于面向人脸的分析，按照将复杂背景中的人脸检测转化为对五官检测的思想，建立了以五官结构为检测特征的人脸检测模型。在进行了灰度突变点、灰度突变块，组件特征块等一系列特征标识的基础上，设计了以双眼结构为主索引特征的多步快速快速检测算法，实验结果显示，该算法具有良好的检测性能。     

一种新的基于回归分析的异常值检测

异常值检测是当前数据分析中的一个重要研究领域.模型中的异常值会直接影响建模、参数的估计、预测等问题.回归分析是应用极其广泛的数据分析方法之一,本文针对回归分析中的异常值检测进行了研究.该方法基于均值转移模型,根据异常值对残差平方和的影响关系构造一个新的异常值判断准则的统计量,并给出了估计异常值大小的公式.本文进行了大量的模拟实验和实例分析,与传统方法相比,结果表明该方法是有效的.     

基于突变级数的网络流量异常检测

针对网络流量发生异常时产生的突变特征,提出了一种基于突变级数的网络流量的异常检测方法.该方法首先计算网络流量的特征量,选择其中能显著性反映网络流量自相似性、非线性、非平稳性及复杂的动力学结构特性的特征量;然后将其作为突变理论的控制变量,利用蝴蝶突变模型的突变级数对网络流量异常进行检测.实验结果表明该方法具有较高的检测率和较低的误检率.     

基于融合分割和LASSO回归的实时车道偏离预警

在有路面污染、标识干扰等复杂高速道路环境下,车道偏离预警系统的鲁棒性和实时性会变差。为此提出一种利用两种算法融合分割和LASSO回归模型进行车道线检测和偏离预警的新方法。首先,分别采用TopHat算法和OTSU算法分割出车道线背景并进行"与"运算融合,据此准确提取出车道信息;其次,分两步检测车道线,第一步基于概率Hough变换进行直线检测,将检测出的车道线位置设为动态ROI区域并进行卡尔曼滤波跟踪处理,第二步是基于LASSO多项式回归模型对车道线再次进行参数估计和拟合,以改善使用最小二乘法时的过拟合问题;最后,根据设置的虚拟车道线和角度模型进行车道偏离预警决策。实验结果表明,所提出的方法在复杂道路环境下的平均正检率为96.07%,检测速率可达到32 ms/帧,即具有良好的鲁棒性和实时性。     

基于结构动力特性安全性检测的发展及应用现状

工程上,关于结构动力可靠性的研究方法有多种。其中,利用模态分析的结构损伤检测方法证明结构的频率变化可以用来进行结构损伤定位。损伤的判定方法主要有预测模型的方法、基于柔度变化的损伤定位方法、基于结构动力特性的损伤检测可视化方法、基于损伤柔度曲率的新指标的方法、相邻差分曲率差值方法等。目前安全性鉴定标准大多是建立在单个构件的检测基础上的,主要检测构件的变形、损伤、材料性能等参数,直接确定结构的安全性,着重于分析构件的动力特性检测的发展现状及应用。     

基于全息扫描的大型复杂钢结构变形监测与受力评估新技术

以重庆来福士高空连廊结构为项目依托,阐述了大型复杂钢结构变形监测的新方法和具体技术路线。针对变形监测中点云数据难以拼接的问题,通过空间特征点实现坐标系配准;针对变形监测点选取困难、数量多、工作量大的问题,提出一种基于算法提取结构的挠度变形曲线的方法,实现无监测点的变形监测;同时将有限元仿真模拟与三维激光扫描技术的变形监测相融合,根据三维扫描变形监测结果反向修正有限元计算,通过应力变化评估结构受力状态。结果表明:该方法有效解决了变形监测中的难题,保证了工作的效率和有限元计算的准确性,对于结构的健康监测具有重要意义。     

基于分形理论的网络流量异常检测技术

传统网络流量异常检测技术不能适应网络流量的复杂性,异常检测精度低,不能保证实时性,为此,提出一种新的基于分形理论的网络流量异常检测技术。通过FIR滤波方法对流量的时间序列进行预处理。采用Schwarz信息准则对网络流量异常检测问题进行处理,估测网络流量异常点数量与位置。采用R/S分析法求出自相似指数Hurst值,依据Hurst值对网络流量时间序列的分形特征进行分析。引入滑动窗口完成多网络流量异常点的检测,在检测异常点处对流量进行分形处理,依据自相似指数计算过程获取异常点间的流量自相似指数值,保存异常点之后的流量,为下一个流量异常点的检测提供依据。实验结果表明,所提技术实现过程简单,网络流量异常检测精度高,保证了实时性。     

分层索引模型的NC程序碰撞检测新方法

以加工设备最大加工空间分层索引模型为基础，提出数控加工程序碰撞 检测新方法。该方法将三维物体间的碰撞问题，转化为判断平面内一点与一封闭轮廓曲线位置关系的问题。由此，降低了碰撞检查的复杂程度，因而提高了碰撞检测的效率。文中同时给出以微机为硬件基础的算法实例。     

音频跳变点的分割熵检测算法

为了克服基于贝叶斯信息准则(BIC)的音频跳变点检测方法存在的缺陷,提出了音频跳变点的分割熵检测算法.该方法通过检测音频信号内部信息熵的变化趋势来检测跳变点的声学特征.结果表明:该方法可避免因设定固定门限而导致的漏检和数据积累带来的累积误差,能够准确地切分各种声学特性的音频数据,是一种更为直观和有效的跳变点检测方法,具有很高的灵敏度和鲁棒性.     

相依误差下非参数回归模型的方差变点Ratio检验

运用Ratio检验方法研究相依误差下非参数回归模型的方差变点检验.首先利用核估计方法估计模型中的回归函数得到残差序列,其次利用残差序列构造Ratio检验统计量,并推导检验统计量的极限分布,最后通过数值模拟验证检验方法的有效性.     

基于文档对象模型结构聚类的钓鱼网页检测方法

为了解决现有的钓鱼网页分析方法,往往基于页面的文本特征,而忽略了页面的结构特征的问题,提出基于文档对象模型(document object model,DOM)结构聚类的钓鱼检测方法,其关键在于如何快速有效地计算网页的相似度。首先对获取的页面进行DOM结构解析,构建DOM树层次标签向量以刻画网页的结构特征;然后重新定义DOM树距离的概念,通过不同DOM树之间的距离来度量网页间的相似度;最后采用划分聚类思想实现网页的聚类。一系列的仿真实验表明,方法具有较高的召回率与精确率,运行时间也较短。