基于缺失数据的入境旅游人数时间序列分析

本文将时间序列分析方法用于1989年至2000年中国的外国人入境旅游人数的数据处理,结合Eiews软件给出了用此法进行外国人入境旅游人数的数据处理时模型的识别、定阶、参数的估计以及模型的检验和预报方法。另外,基于1991全年数据的缺失,本文采用了回归法和潜周期法对1991的数据进行了补充。     

基于时序关系的RFID不确定数据清洗算法

RFID原始数据具有海量性和不确定性的特点.通过对不确定数据时序关系的分析,提出了针对不同清洗节点的清洗算法.该类算法打破了传统的基于标签回应次数的方法,在综合考虑RFID数据时间特性的基础上,将RFID数据看成一系列时间序列数据,挖掘数据间的潜在规律.实验表明,该类算法具有很好的可扩展性,有效地提高了数据清洗的准确率.     

指数分布区间型删失数据的可靠度最优置信下限

由于测量仪器的精度,测量方法等原因,往往不能得到产品精确的失效时间,得到的是区间型删失数据.本文讨论了指数分布区间型删失数据下的可靠度最优置信下限的估计问题.首先采用极大似然估计方法对指数分布区间型失效数据的失效率进行了估计,然后对每个区间型失效数据采用期望值对其失效时间进行估计,通过估计出的失效时间估计出了可靠度的最优置信下限,并给出了计算机模拟结果.     

非合作直扩信号伪码及信息序列联合盲估计

研究了短码直接序列扩频信号扩频序列及信息序列联合盲估计问题。在已知码片速率和扩频码周期的前提下,对接收信号以2倍伪码周期进行分段构造信号矩阵,然后对其进行奇异值分解,对最大和次大左奇异向量进行线性变换,得到信息序列;利用自相关函数从最大和次大右奇异向量中得到扩频码序列。该算法在失步时间未知的情况下能够同时估计出伪码序列及信息码序列,避免了传统特征值分解盲估计算法利用2个矢量空间组合扩频序列时存在的相位模糊问题。同时,在引入了矩阵的线性变换后,避免了不同时延估计结果存在模糊的问题,提高了盲估计性能。通过理论分析和计算机仿真结果表明：该算法能够有效估计扩频序列,并且具有精确度高、性能不受时延大小影响等优点。     

概率神经网络的边界预报

在概率神经网络用于时间序列预测的基础上，结合数理统计理论，提出在一定置信度情况下，对时间序列的边界预报问题．在时间序列预报时，不仅给出预报值，同时也给出预测值的变化范围．通过模拟数据和齿轮箱实际数据，对边界预报进行了应用分析，得出预报具有滞后性的结论并分析了其原因；同时讨论了平滑因子等参数对边界预报的影响．     

均匀分布的四舍五入数据对参数估计的影响

被测量的量是连续随机变量时,所得到的测量数据就带有一定程度的误差.当用这些有误差的数据进行经典参数估计时,误差就会传递到参数估计中,从而对估计的有效性产生一定程度的影响.研究这些影响,对如何达到有效估计起到指导性的作用.本文主要研究了在均匀分布下,通过理论计算以及模拟研究了四舍五入数据对期望、方差估计的影响,给出了X*为期望μ的无偏估计的条件;利用同样的方法研究出了X～U(0,θ)时,X*(n)是θ的相合估计的条件.     

多元岭估计下数据联合影响的分解及数据的交叉影响

本文讨论了多重线性回归中数据对多元岭估计的影响。首先给出了度量数据对多元岭估计影响大小的Ｃｏｏｋ距离及其简化形式，提示了强影响点、高杠杆点、异常点间的内在联系；其次讨论了多组数据对多元岭估计的联合影响与其中每组数据对多元岭估计的影响之间的关系，最后探讨了多元岭估计中数据的交叉影响问题，得到了许多有意义的结果。     

数据清洗技术研究

概括介绍了各种文献中对数据清洗技术-的描述和定义，并简要介绍了几种能自动识别数据集中潜在错误的异常检测的方法，给出了在现实数据集中进行实验的结果，讨论了数据清洗问题未来的研究方向。     

面板数据均值渐变变点的Ratio检验

为解决时间序列因观测时间较短而难以确定变点的问题，通过分析独立同分布序列面板数据，对其均值的渐变变点进行检验.假设面板数据中每条时间序列的均值在同一时刻发生变化，提出Ratio检验统计量，并分别在原假设与备择假设下给出检验统计量的极限性质.数值模拟结果表明，面板数据的检验效果优于单条时间序列，实例分析也验证了该方法的有效性与实用性.     

热力系统性能监测中的数据调和及不良数据检测

基于数据调和技术提出了一种不良数据检测方法，利用测量数据时间序列间的联系进行参数的预估计，按照所定义的测量数据可信度，能够正确估计参出突变情况。     

独立成分分析应用于fMRI数据研究

运用独立成分分析对fMRI数据进行分析,得到了一组有代表性的脑激活区,包括时间序列与实验设计一致的脑激活区和心跳、眼动、头动引起的激活区,给出了与它们相对应的时间序列,结果表明独立成分分析是进行fMRI数据分析的一种有效手段。     

屏蔽数据并联系统的可靠性分析

在逐步Ⅱ型截尾模型下,研究含屏蔽数据三部件并联系统的可靠性分析。假设组成系统的部件相互独立且服从补充指数分布,利用屏蔽系统寿命数据给出了部件参数与可靠度函数的极大似然估计。鉴于极大似然法在完全屏蔽情形的局限性,通过引入潜在变量并运用Metropolis-Hastings抽样算法获得了部件参数及可靠度函数的贝叶斯估计、参数的最大后验密度置信区间。最后利用Monte-Carlo方法给出数值例子,分析了屏蔽水平对两种估计精度的影响,并验证了文中结果的正确性。     

基于语义的XML数据清洗框架

在XML数据清洗中,模式约束语言提供的信息不能满足准确数据清洗过程对于领域知识的需要;同时,传统的树编辑算法在对XML实例数据进行清洗时,由于缺乏对XML结构信息的语义描述,造成了大量的数据匹配错误.基于此,引入参考本体和领域本体分别对上述问题进行解决,给出了模式约束的度量指标和一个XML结构感知算法,并构建了一个基于语义的XML数据清洗框架.     

长白山生态数据爬取及清洗研究

在开展长白山生态数据智能分析时,需要爬取大量的网络数据,这些数据大概率会出现缺失、重复、异常、噪声等情况,因此需要对爬取到的数据进行必要的清洗的功能.设计了一种爬虫,并实现了数据清洗的功能,实验证明,100万条数据的爬取用时<30 min.     

数据迁移与清洗的策略研究及其在政务基础数据的应用

为了实现数据的共享及数据价值发现,需要对数据进行迁移和清洗.数据迁移的效率和数据质量的好坏,直接影响到数据挖掘的效果和价值.本文对数据迁移与清洗的策略进行了研究,设计了数据迁移与数据清洗的流程和策略,通过寻求最优线程数,并行处理数据迁移与清洗,并将其应用到政务服务基础数据的处理上.在处理速度和数据质量上都有明显提升,同时自动生成清洗报告.本文构造的数据迁移与数据清洗的策略可应用于数据量大、数据类型复杂的数据上,能提高数据质量,满足数据共享和数据分析的要求.     

科技创新大数据清洗框架研究

河北省科技创新大数据公共平台是以海量数据资源为基础,基于数据仓库与数据挖掘技术构建,面向管理部门开展决策服务,面向社会公众开展信息服务的网络信息平台。但是,在构建数据仓库的过程中,存在各种各样的数据质量问题,最终产生各种错误的分析结果,所以,在进入数据仓库前,必须对数据进行清洗,从而保证进入数据仓库的数据质量。根据河北省科技攻关项目科技大数据标准化处理与应用系统,提出科技创新大数据清洗框架,在框架的基础上,定义清洗规则,改进清洗算法,在真实数据集上进行实验,解决了进入数据仓库的数据质量问题,从而保证了数据在数据仓库中的一致性和正确性,为后期的分析和处理提供了坚实的数据基础。     

数据序列稳健分析方法的研究

根据稳健统计学的思想，提出了数据序列稳健分析与处理的目标，分析了ＬＳ估计、ＹｕｌｅＷａｌｋｅｒ估计和Ｍ估计的构造特点，提出了通过稳健自相关函数的分析方法．     

基于实车数据和BP-AdaBoost算法的电动汽车动力电池健康状态估计

动力电池健康状态(State of Health, SOH)估计是电动汽车领域关注的一个热点,目前的大部分方法都是基于实验室测试数据进行估计,忽略了实际车辆运行情况。本文使用国家大数据联盟平台采集的实际车辆运行数据进行电池SOH的估计。数据预处理方面,在清洗异常数据时,保留了实车数据中合理的强噪声数据,保证了数据的真实性。特征选择方面,选择容量增量曲线峰值和对应的电压以及基于安时积分得到的小片段充电容量数据。算法方面,针对真实数据的弱时序性问题,利用BP-Adaboost算法进行电池SOH估计的研究。最后,利用同一类型三辆车的数据进行了模型训练、测试和验证,预测结果与LSTM-RNN算法对比,BP-Adaboost算法估计误差更小,平均绝对误差MAE达到0.96%,因此,本文提出的方法可以应用于实车电池SOH的高精度估计。     

实时交通数据的噪声识别和消噪方法

以常用的交通数据———交通量时间序列的实测数据为例,给出多个噪声识别及消噪预处理的实验结果.为提高建模的准确度,采用模糊减法聚类对交叉口实测交通量进行噪声识别.对实测交通量采用奇异值分解的滤波方法进行除噪预处理,并通过训练径向基函数网络进行预测.与数据未经滤波直接训练网络相比,预测结果的平均绝对相对误差降低了3.31%.用小波变换对交通量数据进行消噪处理,即通过多分辨率的小波分解和重构来实现消噪.实验表明,若对原始交通量时间序列消噪后再建立预测模型,将获得更好的预测结果,这说明研究的噪声识别和消噪方法的可行性和有效性.     

一种有效的多阅读器RFID冗余数据清洗算法

原始RFID阅读数据通常质量不高,可能包含许多异常。提出一种多阅读器RFID冗余数据的清洗方法,设计了3-态识别模型,并证明了该模型下系统的性能最佳。通过贝叶斯原理从观测的条件似然以及未知参数的先验分布获取待估计参数的后验概率分布,设计了带有位置约束的Metropolis-Hastings抽样器(MH-LC);该抽样器通过合并相关约束参数进行高效和精确地清洗RFID原始数据。各种典型干扰条件下的仿真试验表明了方法的有效性。