民用建筑“四节一环保”数据的清洗与修复方法研究

针对民用建筑“四节一环保”原始数据中存在的数据质量问题, 使用多种方法实现数据清洗与数据修复。数据清洗方面, 重点关注单栋建筑能耗数据中存在的相似重复记录及异常记录。其中, 识别异常记录采用3σ准则、DBSCAN聚类算法及箱线图内限3种方法。数据修复方面, 重点关注缺失值的填补及基于模型的数据修正。其中, 缺失值的填充使用简单填充、线性回归模型和基于用户的协同过滤推荐算法, 并以平均绝对误差为评估指标进行对比。基于多元线性回归、主成分回归、偏最小二乘回归、岭回归及Lasso回归5种模型, 拟合建筑运行能耗与各解释变量间的关系, 对上海市建筑运行能耗相关数据进行数据修复。结果显示, 单栋建筑能耗数据适合采用箱线图内限来识别异常记录, 并使用中位数填补缺失数据; 上海市建筑运行能耗相关数据中, 岭回归模型的拟合情况最好。     

采场覆岩光纤监测数据LSSVM填补方法

完备的光纤监测数据是智能开采中矿压显现前兆信息识别、上覆岩层变形预测的基础,而实际得到的监测数据大多是不完整的。为有效填补光纤监测数据的缺失值,文中以采场覆岩光纤监测物理模拟实验中光纤传感器采集的数据为基础,分析了缺失数据的特征,建立了多测点单属性小样本缺失数据的最小二乘支持向量机(LSSVM)缺失数据填补方法。并将LSSVM与BP神经网络、3次样条插值等方法,在Fv11,Fv12光纤的6个不同数据集上,按照离散型、连续型、混合型3种数据缺失类型并产生不同缺失率,进行对比实验。针对离散型随机产生20%缺失数据,LSSVM,BP神经网络、3次样条插补方法的均方根误差(RMSE)平均值分别为0.003 2,0.005 6,0.006 9,最大偏离量(MDE)平均值分别为0.012,0.022,0.028;针对连续型随机产生36%缺失数据,3种不同方法的RMSE平均值分别为0.006 1,0.007 7,0.009 0,MDE平均值分别为0.021,0.028,0.041;前2类实验结果表明LSSVM方法均优于其他2种缺失值插补方法。当随机产生兼具离散和连续型缺失且缺失比例不同时,缺失比例小于30%时LSSVM方法略优于其他2种方法,当缺失率大于36%时LSSVM明显优于其他2种方法。综合所有实验结果表明,LSSVM插补方法对单属性小样本缺失数据填补是一种简单有效的填补方法。     

基于本福特定律的桥梁健康监测数据审计方法

结构检监测数据是确保结构运营状态良好、提供维护决策的基础。结构数据通常以人工检测、传感器采集为主,核实难度大、获取成本高。由于缺少有效数据审计方法,健康监测数据精度、可靠性无法检验,影响基础设施管养与结构运营。提出了基于本福特定律的桥梁健康监测数据审计方法,以人工检测裂纹长度、桥梁加速度数据为例开展实例分析,分析结果表明本福特定律对于结构检监测场景中自然形成数据具有较好适应性,可有效识别数据特征、反映数据异常。     

基于协作过滤的传感器数据补全方法

如何对缺失的传感器监测数据进行补全是物联网信息感知过程中的一个关键问题.针对这一问题,提出了一种基于协作过滤的传感器数据补全方法.该方法利用传感器之间的时空相关特性,考虑到同一区域的传感器或同一传感器的不同监测周期中相应的监测数据具有很大的相似性这一特点,通过对缺失数据的传感器进行分类,分别使用不同的相似评价方法选取相似传感器,以保证估计值的准确性.结果表明,该方法对环境变化幅度较大时段的缺失数据进行估值的效果要优于其他方法.     

相位差变化率定位法中缺失值精确填补研究

采用目标信号相位差和载频为观测量,利用相位差变化率定位算法对目标进行定位时,由于条件限制和外界干扰,侦察系统会丢失某些观测数据,导致定位精度迅速下降。为此,提出利用最小二乘多项式曲线拟合法填补观测数据的缺失值,再进行定位解算。该方法不仅具有较精确的填补能力,而且不受缺失值分布情况的限制,保证了测量值的完整性和准确性,实现了相位差变化率定位法的快速高精度定位。仿真结果表明,该方法在5 s内的相对定位误差为2.14％。     

无线传感器网络节点故障诊断算法研究

针对无线传感器网络(WSN)中传感数据缺失或偏离真实值从而降低网络运行可靠性的问题,开展了关于WSN中各种节点故障的检测和诊断算法的研究,提出了基于SVDD的无线传感器网络Outlier检测、多尺度主元分析的WSN节点故障诊断算法,并进行了实验验证.实验结果表明本文方法能够有效实现对节点运行状态的监视和诊断,确保感知数据的准确性和完整性,提高网络运行的可靠性.     

一种不完备决策表的数据补齐方法

针对不完备信息系统，提出缺失比概念．用缺失比表示待填充样本中缺失数据和剩余数据对决策结果的影响能力的大小，进而根据缺失比选择使用的约简，然后通过填充矩阵寻找缺失数据的最大可能值．采用对Rough集进行扩充和数据填补相结合的决策表数据补齐方法．试验结果表明该方法有较好效果．     

缺失数据下线性模型中缺失值处理方法的比较

在响应变量随机缺失的线性模型中,利用R统计软件模拟比较完全样本法、固定填补法和分数线性回归填补法得到的回归系数、响应变量均值、响应变量的分布函数、响应变量的分位数估计,并用标准误差（SE）评判其优劣.结果表明,除固定填补法外,无论采用其余哪种方法,随着样本容量的增大,评判值SE减小,样本容量越大,估计也就越精确 缺失概率的大小也影响估计的精度,缺失概率越大,相应的评判值SE越大,估计的精度也就越差 另外,在分数线性回归填补法中,J=5的结果总是比J=1的结果好,这说明随着J的增大,其估计精度也随着提高.     

煤与瓦斯突出missForest-EGWO-SVM预测模型

针对煤与瓦斯突出预测的数据不完整或缺失问题,提出一种基于miss Forest-EGWO-SVM的煤与瓦斯突出预测模型.以淮南地区的实测数据作为研究样本,采用missForest算法对样本数据进行缺失值填补;为解决SVM算法性能受参数影响大的问题,利用高效灰狼算法(EGWO)对SVM进行参数寻优;完善后的数据集作为EGWO-SVM模型的输入进行实验,与其他模型对比.研究结果表明:采用missForest填补缺失数据,提高了模型的突出事故预测率,EGWO-SVM模型能够有效避免GWO在后期搜索中陷入局部最优,进一步提高了SVM的预测精度.研究结论为缺失数据情况下煤与瓦斯突出预测提供了一种途径.     

基于数据自组织挖掘的机械设备状态退化预警方法

在设备状态监测过程中引入数据自组织挖掘思想,建立一种设备状态退化预警方法。采用隐马尔科夫模型(HMM)对设备的早期退化状态进行准确辨识和评估,并进一步建立设备退化过程的自组织预测模型。案例分析中将该方法应用到旋转机械轴承运行状态退化的预警过程中。结果表明,基于自组织数据挖掘的设备状态退化趋势预测方法预测效果准确、客观性强,预测值与实际值的拟合程度高,相对误差仅为3.1%。新方法能够预测设备未来时间段的退化状态及其发展趋势,提前给出预警信息,有效地制定预知维修计划,及时采取预防措施,防止因设备突发失效引起非计划停机造成生产和经济损失。     

基于SVM的核电站环境辐射监测网络中传感器节点缺失值估计算法

传感器节点监测数据缺失会影响核电站外围环境辐射监测的有效性,需要对缺失数据进行准确估计.提出一种基于支持向量机的监测数据缺失值估计算法,对传感器节点缺失监测数据进行估计.用实际监测数据对算法进行了验证,用均方误差和相关系数评价实验结果.并与现有的基于神经网络的估计算法进行了性能比较.实验结果表明,本文所提出的算法具有较高的估计精度.     

常用跨度铁路桥梁运行状态分布式监测与预警技术

针对铁路活载作用下冲击剧烈、环境恶劣、量大面广等特性,研究面向常用跨度铁路桥梁监测的分布式无线监测系统,开发了嵌入式双核数字信号处理器(DSP)智能采集处理终端,构建了以智能终端为基础的铁路桥梁运行状态实时监测系统,并基于单体梁跨监测数据统计分析和既有规范形成参量的多级束界,实现实时分级预警预报,在大秦线桥梁实时监测中应用效果良好.     

随机试验设计中缺失值插补方法研究

随机化区组设计中经常会碰到缺失数据,处理此类缺失数据目前有4种方法：删除缺失数据法、均值插补法、公式插补法和Yate’s插补法。4种方法的优劣是值得研究的一个问题,拟用模拟研究的方法对此4种方法进行比较。首先随机产生一个4x5的随机区组设计,令缺失值的个数m=l,…,6;其次对每个n遍历所有缺失值位置可能的组合,在每一个缺失值位置的组合下,分别研究4种方法线性回归的标准误差、可决系数和复可决系数。最后模拟研究的结果证实Yate’s插补方法是这4种方法中表现最好的一个,实例研究的结果也证实了模拟研究的结论。     

基于数字孪生的航班保障预警系统

为了提高航班和保障车辆的安全性,本文提出了一种基于数字孪生的新型航班保障预警系统架构。数字孪生系统中包括实际机场、赛博空间的仿真模型以及实时数据。系统可以根据当前作业状况,预测保障活动未来会出现的风险情况。文章中详细介绍了航班保障的规则,仿真模型的设计开发,如何实现保障车辆和航班数据的实时采集,以及潜在碰撞风险的预测。为了验证预警逻辑和算法的有效性,在Anylogic平台进行系统开发和仿真实验,实验结果表明本文提出的架构可以对车辆和航班进行提前预警,保障运营安全。     

桥梁极值应力的改进高斯混合粒子滤波器动态预测

为合理地动态预测在役桥梁的极值应力信息,应用桥梁健康监测(BHM)系统的长期日常监测极值应力数据,建立非线性动态模型,引入扩展卡尔曼滤波器(EKF)与高斯混合粒子滤波器(GMPF)相结合的改进高斯混合粒子滤波器(IGMPF)预测算法,对监测极值应力的一步向前预测分布参数及其状态变量的后验分布参数进行预测分析,并进行了实例验证.IGMPF不仅可以得到实测极值应力状态的合理重要性函数,还可以解决传统预测方法的短期性和精度不高的问题,为实际BHM系统的动力响应预测提供了理论基础.     

基于折扣高斯粒子滤波器的桥梁可靠性动态预测

桥梁健康监测(BHM)系统在长期运营中积累了大量信息,如何利用这些信息动态预测结构可靠性已成为BHM领域的关键科学问题之一.为合理预测桥梁的动态可靠性,应用BHM系统日常监测的极值应力数据,建立带有最优折扣因子的动态线性模型,结合高斯粒子滤波器给出折扣高斯粒子滤波器预测算法,分别对日常监测极值应力的一步向前预测分布参数和状态变量后验分布参数进行修正预测,并基于此,采用一次二阶矩(FOSM)方法预测桥梁的动态可靠性,结合桥梁实测数据对所提方法进行了验证分析,为桥梁预防性养护维修决策提供理论基础.     

服役结构超前载荷实时预测方法的研究

为保证关键结构疲劳寿命的实时监测,以动态随机载荷为监测条件,准确预测超前载荷谱对实际工程分析十分重要.针对服役设备难以实时监测并准确反应载荷真实规律等问题,提出一种基于数值分析的概率密度预测方法,结合机器学习BP神经网络智能算法建立预测模型.应变传感器采集随机载荷进行预处理得到随机载荷谱,利用蒙特卡洛法分析模型载荷波形走势及波动范围的预测精度.结果表明:超前预测载荷谱的核密度拟合曲线与真实数值相似性较大,为大型复杂服役结构件的超前载荷监测提供了理论支持与实际工程应用.     

基于自监督学习的交通数据补全算法

区域高速公路网收费站数量众多,每日产生海量收费数据,但由于设备、网络等因素,部分站点数据传输存在延迟现象,在此情况下已传输的数据往往不能满足实时流量预测的要求。为了实现实时交通数据补全和动态交通流量预测,文中首先提出了一种基于自监督学习的用于高速公路交通流量数据缺失补全的方法,该方法采用了基于注意力机制的时间序列模型（Seq2Seq-Att）;然后使用自监督学习方式对模型进行训练;最后,以广东省高速公路网的80个收费站为例,验证方法的可靠性。结果表明：文中的数据补全方法能够灵活捕捉交通数据中的缺失情况,并根据数据自身的内在关联性,给出合理的补全值;该方法总体优于其他方法,且在不同缺失率下都有较好表现,总体MAPE约为17.7%、WMAPE为12.8%;在高缺失率情况下,该方法相比于其他补全方法有明显的优势。交通量预测结果表明,使用该方法补全的数据进行交通流预测的预测精度接近使用完整数据的情况。     

煤层开采地表沉陷监测及预测技术现状及发展趋势

煤矿开采地表沉陷监测及预测对于煤矿地表治理及环境保护具有重要意义。详细阐述了煤矿地表沉陷监测及预测方法,并对其监测及预测过程进行了较为详细的论述与分析。指出地表沉陷监测及预测存在的问题,针对存在的问题,提出了未来基于互联网+技术以及CCD和GPS组合传感器技术,对矿区监测数据进行实时监测并进行数据处理,对处理后的数据实时传送到数据中心,数据中心根据监测结果实时调整监测区域达到最优监测效果;未来地表沉陷预测发展应考虑开采地质条件、开采工艺、开采深度、开采厚度等因素对于地表沉陷的影响,在预测的过程中确定因素的影响程度,合理选择预测方法,提高预测精度。     

基于主成分分析和长短期记忆网络的滑坡地表位移监测数据缺失插补算法

在滑坡地表位移监测过程中,由于设备工作异常或恶劣气候的干扰,原始数据会随机出现长时间序列的缺失,这类数据对滑坡的预警和预测有很大的影响。针对上述问题,提出了一种基于主成分分析(principal component analysis, PCA)和长短期记忆网络(long-short term memory, LSTM)的数据插补方法。首先利用PCA实现滑坡监测数据的降维和特征提取,消除数据间的相关性,然后建立基于LSTM的地表位移监测数据插补模型,对缺失数据进行插补。实验结果表明：该模型与BP(back propagation)神经网络等其他几种机器学习插补模型相比,平均绝对误差、均方根误差和平均绝对百分比误差分别为0.523、1.233和0.009,均优于其他几种模型;该模型能够较好地解决地表位移长时间序列数据缺失的问题。