基于自监督学习的交通数据补全算法

区域高速公路网收费站数量众多,每日产生海量收费数据,但由于设备、网络等因素,部分站点数据传输存在延迟现象,在此情况下已传输的数据往往不能满足实时流量预测的要求。为了实现实时交通数据补全和动态交通流量预测,文中首先提出了一种基于自监督学习的用于高速公路交通流量数据缺失补全的方法,该方法采用了基于注意力机制的时间序列模型（Seq2Seq-Att）;然后使用自监督学习方式对模型进行训练;最后,以广东省高速公路网的80个收费站为例,验证方法的可靠性。结果表明：文中的数据补全方法能够灵活捕捉交通数据中的缺失情况,并根据数据自身的内在关联性,给出合理的补全值;该方法总体优于其他方法,且在不同缺失率下都有较好表现,总体MAPE约为17.7%、WMAPE为12.8%;在高缺失率情况下,该方法相比于其他补全方法有明显的优势。交通量预测结果表明,使用该方法补全的数据进行交通流预测的预测精度接近使用完整数据的情况。     

综合岭回归和SARIMA方法在桥梁健康监测数据分析中的应用

桥梁健康监测系统的实测数据普遍存在缺失问题,为了保证桥梁监测数据的完整性,更好地预测桥梁未来的健康状况,提出了一种具有样本内和样本外预测能力的组合模型。样本外预测可以基于现在数据预测未来的桥梁健康状态,样本内回归用于填补传感器数据中的缺失值,确保桥梁监测数据的完整性。由于不同位置处相同类型传感器的相关性较强,首先利用岭回归（Ridge Regression,RR）解决共线性问题,建立各传感器数据之间的关联,并预测缺失数据。接着引入季节性差分自回归滑动平均(Seasonal Autoregressive Integrated Moving Average,SARIMA) 方法,利用其样本外预测能力并结合岭回归方法预测桥梁未来运行数据。然后,通过设立预警值实现健康状况预警,以保证桥梁健康运行。最后,将该方法应用于实桥中,验证了其有效性,为传感器数据填补以及预测桥梁未来状态提供了一个有效的预测模型。     

对称加权算法对数据矩阵补全的优化研究

数据分析中存在数据集矩阵缺失,可用数据矩阵补全缺失数据元素,高效的补全数据矩阵算法可从算法精度等方面优化提升.为此提出对称加权(SW)算法,首先,根据通用的矩阵补全模型,用正则化方法进行低秩矩阵分解补全;其次,对分解后的矩阵因子用共同的对称矩阵加权,得到新的矩阵补全模型和正则化加权函数;最后,结合块坐标下降和交替最小二乘法优化算法,迭代得到目标函数最优解,获得数据补全的最优补全矩阵.仿真结果表明,与APALM,IRSVF和IRNN算法相比,对称加权算法在数据矩阵补全的精度和算法收敛速度方面均有较好提升.     

单细胞RNA-seq数据缺失元素补全算法

基于非负矩阵分解模型, 提出一种新的数据补全算法. 该算法通过循环遍历确定最佳构造矩阵和rank值, 解决了单细胞转录组测序(RNA-seq)数据中存在缺失值的问题,  避免了由于单细胞测序深度不足对细胞分型分析的影响. 在慢性粒细胞白血病单细胞测序数据上的实验结果表明, 由补全算法恢复缺失值后的细胞分型更清晰, 验证了该算法的有效性.     

基于SVM的核电站环境辐射监测网络中传感器节点缺失值估计算法

传感器节点监测数据缺失会影响核电站外围环境辐射监测的有效性,需要对缺失数据进行准确估计.提出一种基于支持向量机的监测数据缺失值估计算法,对传感器节点缺失监测数据进行估计.用实际监测数据对算法进行了验证,用均方误差和相关系数评价实验结果.并与现有的基于神经网络的估计算法进行了性能比较.实验结果表明,本文所提出的算法具有较高的估计精度.     

单细胞RNA-seq数据缺失元素补全算法

基于非负矩阵分解模型, 提出一种新的数据补全算法. 该算法通过循环遍历确定最佳构造矩阵和rank值, 解决了单细胞转录组测序(RNA-seq)数据中存在缺失值的问题,  避免了由于单细胞测序深度不足对细胞分型分析的影响. 在慢性粒细胞白血病单细胞测序数据上的实验结果表明, 由补全算法恢复缺失值后的细胞分型更清晰, 验证了该算法的有效性.     

钢结构施工过程监测数据缺失机理与处理方法

分析并总结了钢结构施工过程监测中缺失数据的成因及特征,依据缺失数据形成机制将缺失数据分为三类.根据不同类型和特征的缺失数据,提出了基于最小二乘原理以回归分析理论为基础的数据补偿方法.通过对大同美术馆屋盖钢结构和"生命之环"钢结构施工过程监测数据的分析处理与比较,验证了该方法的有效性,说明了该方法的实用价值.     

考虑网联汽车信息安全的交通流短时预测方法

针对智能网联汽车因网络攻击或干扰造成的信息安全及数据缺失问题,提出一种基于数据补全的交通流状态短时预测方法。首先,基于边缘计算任务卸载模型,对智能网联汽车V2X通信过程的异常数据动态辨识;其次,提出一种具有数据补全机制的图嵌入长短期神经网络模型,实现网联汽车缺失数据补全;再次,通过补全后的完整数据集构建神经网络模型,完成短时交通流状态预测;最后,选取北京市典型路段进行实验验证。结果表明,该模型应用后交通流状态短时预测效果显著提高,与其他方法相比预测误差最大降低87.4%,预测效果与实际交通流状态相比准确率达到95％,为智能网联环境下车辆信息安全与交通资源动态优化提供理论支持和技术方案。     

基于BP神经网络与BOLL通道的结构监测数据识别修复

通过BOLL通道法巧妙地引入第三方数据，与原始数据互相验证分析，以此构建上下轨线，求取偏离值得到改进型BOLL通道法进行相关的非均匀温度场异常温度识别过滤，再结合IDW算法验证对非均匀温度场缺失温度数据的补全效果，并且基于BP神经网络模型提出两种应力修复方法，对应力监测数据进行修复，然后对修复效果进行研究，验证方法的实用价值.研究结果表明：改进型BOLL通道法在处理非均匀温度场方面具有独特的区域自适应性，在去除异常温度数据的同时较好保留了非均匀温度场研究的突变温度细节；IDW算法综合考虑了测点温度的非均匀性，对于温度场缺失温度数据的补全具有较好效果；同时基于BP神经网络构建温度相关性、多测点相关性的应力修复方法，对非均匀温度场监测中的应力数据进行修复，其结果具有相当的可靠度.     

基于多源数据融合的突发水污染事故可靠预警方法

在突发水污染事故自动监测领域中,传感器节点监测数据的异常是影响自动监测系统预警可靠性的重要原因.考虑到多传感器信息之间的互补性和相关性,该文提出了一种基于多源数据融合的突发水污染事故可靠预警方法.基于改进的D-S证据理论,利用综合权重对节点证据进行加权修正,并用D-S融合规则对多源数据进行两两融合,最终根据融合结果对突发水污染事故进行预警决策.案例分析及实验结果表明:与传统方法相比,该方法能得到可靠度更高、聚焦性更好的预警结论.     

采用内点法的基追踪算法测井数据恢复

实际测井数据由于数据规模大、维数高等特点,在采集、传输、存储中很有可能会发生数据的缺失或损坏。为了提高数据质量,采用压缩感知中的基追踪算法对测井中的缺失数据进行恢复。先使用过完备字典对原始数据进行稀疏分解,采用基追踪算法将L0范数优化问题转化为L1范数问题;然后采用线性规划算法——内点法求解,从而实现数据恢复。通过实验与对比分析,结果表明基于基追踪的测井数据恢复方法精度高;且优于基于正交匹配追踪的数据恢复方法。     

基于关系马尔可夫模型的枚举型缺失值估计

针对数据质量中数据缺失问题,提出了基于关系马尔可夫模型(RMM)的枚举型缺失值估计方法.该方法充分考虑属性间的关联性,将动态属性选择(DAS)方法与RMM结合,最大限度地利用完整数据的信息,提高了该方法的估计能力;利用RMM计算源状态到目的状态的转移概率,采用MaxPost和ProProp 2种缺失值填充方法,对缺失值进行填充.采用公认数据集,进行了对比实验,验证了该方法的有效性和优越性.     

键值数据库中弱数据一致性改进技术研究

当前数据库中弱数据一致性维护方法存在读写性能低、集群性能差的问题,为此,提出一种键值数据库中弱数据一致性改进方法。采用数学归纳法建立hash值空间的上下限,利用哈希函数对数据库中的冗余数据进行优化;在此基础之上,通过建立未知弱数据和己知弱数据之间的回归预测模型,同时利用BP网络算法对数据迁移中的缺失数据进行采集,以保证数据的一致性。实验结果显示,与传统方法相比,采用本文方法读写性能更好,且对数据块越大,吞吐量成倍提升。     

基于张量分解的多声道音频恢复方法

为恢复多声道音频在采集过程中丢失的数据,提出基于加权优化的张量分解方法.首先用张量对音频建模,并且根据其尺寸定义一个标识数据丢失位置的加权张量,然后使用加权最小二乘问题描述CANDECOMP/PARAFAC(CP)模型并通过一阶优化算法求解,最终通过获得的因子矩阵恢复音频.通过不同数目通道数据丢失的隐藏参考和基准的多激励测试,说明针对丢失数据采用CP分解方法是有效的,即张量分解能够得到较好的音频恢复效果.      

非下采样Contourlet自适应的地震信号插值方法

为了提高地震数据的重构效果,提出了一种基于非下采样Contourlet变换(NSCT)自适应阈值的插值方法。该算法对缺失地震数据进行变换,并利用NSCT变换系数计算N次迭代对应的阈值。每次迭代时自适应选取阈值对各方向各尺度的NSCT系数进行处理,利用未缺失地震数据填充到反变换后的缺失地震数据中,完成缺失地震数据的重构。实验结果表明,利用NSCT变换的平移不变性和自适应阈值处理,对均匀丢失和随机丢失的地震数据进行插值重构,能得到更好的插值效果。     

一种效能评估中缺失数据的填充方法

针对评估数据缺失的问题,提出了一种新的缺失数据填充方法.从信息熵的角度对评估系统进行描述,并提出一种建立在区间值信息系统上的加权广义信息熵,对这种信息熵的非负性、单调性和极值性进行证明.在此基础上,通过研究评估系统数据缺失前后信息熵的变化情况,建立一种基于加权广义信息熵的缺失数据填充方法,并从知识粒度的角度论述加权广义信息熵的机制.通过实例分析与现有的部分算法进行比较,进一步证明文中算法对评估系统缺失数据填充的有效性.     

基于L1范数重建的稳健独立成分分析

独立成分分析（independent component analysis,ICA）是一种混合信号处理与分离方法,能够从多维混合观测数据中分离出各个独立成分。目前,ICA已成功应用于特征提取、信号处理、模式识别等诸多领域。然而,由于实际问题的复杂性,可观测到的混合观测中往往含有噪声、异常点与缺失点,而标准ICA算法对这类数据往往不能有效处理。针对该问题,提出了一种基于L,范数重建的新思路。基本思路是将传统ICA模型中加入L1范数项重新建模,利用L,范数误差对噪声与缺失点的本质稳健性,提高模型应用普适性;进一步设计了针对该模型的有效求解算法。在混合人工信号分离、混合图像分离以及混合音频信号分离的实验证明中,所提算法能够显著提升瑚．有ICA方法对干会噪声、异常点与融央占耕棍的计篮稳健性.     

基于多传感器融合的抓取控制研究

针对现有抓取系统中双目视觉定位精度较差,易受环境影响,使得抓取的成功率较低,鲁棒性不强的现象,本文提出采用视觉、红外测距传感器、触觉传感器和编码器等多传感器数据融合的方法,设计并实现了一种可靠的、鲁棒性强的、能自动调整抓取力的抓取系统.通过双目视觉辅以单目相机和红外测距传感器来精确定位,改善抓空情况;通过集成触觉传感器和编码器,对抓取过程中的力-位进行实时监测,减少目标物体破碎和滑落的现象,并通过实验证明了相对于单传感器,多传感器数据融合能大大改善抓取的成功率,提高系统的性能.     

SST data assimilation experiments using an adaptive variational method

An adaptive variational data assimilation method is proposed by Zhu and Kamachi^[1]. This method can adaptively adjust the model state without knowing explicitly the model error covariance matrix. The method enables very flexible ways to form some reduced order problems. A proper reduced order problem not only reduces computational burden but also leads to corrections that are more consistent with the model dynamics that trends to produce better forecast. These features make the adaptive variational method a good candidate for SST data assimilation because the model error of an ocean model is usually difficult to estimate. We applied this method to an SST data assimilation problem using the LOTUS data sets and an ocean mixed layer model (Mellor-Yamada level 2.5). Results of assimilation experiments showed good skill of improvement subsurface temperatures by assimilating surface observation alone.