基于缺失森林的医疗大数据缺失值插补

为解决医疗数据集中数据缺失对分类器的性能以及下游任务产生的不利影响,提出使用缺失森林插补法对医疗数据集中缺失值进行插补。该方法首先采用数据集中完整数据的观测值训练一个随机森林模型;利用训练好的随机森林模型预测缺失数据;不断重复迭代上述过程,从而完成数据缺失值补全。在两个医学数据集上进行测试,结果表明,根据NRMSE(Normalized Root Mean Squared Error)和PFC(the Proportion of Falsely Classified)评估指标,缺失森林插补法误差较低,插补效果优于K最近邻插补法、多重插补法和GAIN(Generative Adversarial Imputation Nets)插补法。同时,使用糖尿病数据集通过分析谷丙转氨酶(ALT:ALanine aminoTransferase)与糖尿病剂量反应关系证明了缺失森林插补法的稳定性。     

基于溶解氡数据和长短期记忆网络的地震预报

溶解气氡浓度异常为可靠地震前兆,通过对历史观测数据进行建模,预测溶解气氡未来趋势,是快速检测溶解气氡浓度异常、研究震-氡机制的前提。溶解气氡浓度数据为典型的时间序列数据,传统的时间序列预测技术主要为自回归(AR)方法和自回归滑动平均(ARMA)方法。这些方法以线性方法为主,其拟合精度有限。采用目前最流行的深度学习技术长短期记忆(LSTM)模型对姑咱地震台、西昌地震台和雅安地震台一段时间内连续观测的溶解气氡日观测数据集溶解气氡浓度数据进行建模,采用90%的数据作为训练数据训练LSTM网络,10%的数据作为预测数据,采用均方根误差评价指标来评价模型的效果。在三种数据集上,LSTM的预测误差均方根误差均明显低于AR和ARMA方法。该结果表明,LSTM的预测精度高于传统的AR、ARMA方法。     

缺失数据情形下的回归插补及其方差分析

利用无回答所提供的信息采用最小二乘估计给出了缺失数据情形下的目标变量的一种回归插补及其方差估计.在仅目标变量缺失数据情形,得A2中单元关于y对应的回归插补公式(y)i=(b)0+(b)1x12i+…+(b)pxp2i,i=1,…,r3.及其回归插补的协方差阵Cov((Y))=σ2X1(XTX)-1XT1.在辅助变量部分缺失且目标变量缺失的情形,得A2中单元关于y对应的回归插补公式(y)i=(b)0+(b)1x12i+…+(b)p1xp12i,i=1,…,r3.及其回归插补的协方差阵Cov((Y))=σ2X1(X*TX*)-1XT1.     

基于改进的长短期记忆网络的调制识别算法

自动调制分类技术是无线通信技术中的一个重要研究领域,卷积神经网络以及长短期记忆网络(Long Short-Term Memory,LSTM)两种深度学习模型在基于特征的自动调制分类技术中得到了广泛的应用.然而在实际应用中这两种模型都存在着一些问题,卷积神经网络模型在处理长时间依赖序列的分类任务时的准确率不佳,LSTM模...     

统计调查表缺失数据插补效果的实证分析

针对统计调查表的实际数据,对其缺失数据进行了常用插补方法的实证分析.首先,实证分析了一维模型的局限性及缺点;其次,分别对决策树模型、神经网络模型、关联规则模型算法,在对输入(预测)变量进行系统优化基础上,统计插补的准确率,比较优劣;最后,提出了提高插补准确率的一个值得进一步研究的方向.     

两个辅助变量下目标变量缺失数据的回归插补

对于抽样调查中经常出现的无回答数据,在均匀回答机制下,给出了两个辅助变量下目标变量缺失数据的回归插补模型。对于多个辅助变量的情形,可按上述方法进行目标变量的回归插补。     

基于双向长短期记忆网络的流体高精度识别新方法

碳酸盐岩储层的储集空间类型多样、储层性质复杂,导致流体的测井响应受到强非均质性的影响,给流体识别工作带来极大困难.针对该问题,提出基于测井序列信息的双向长短期记忆网络(Bi-LSTM)流体识别模型,从测井响应特征差异性分析及相似性分析两方面出发,确定敏感曲线,结合Bi-LSTM网络的输入要求,建立流体识别样本库,并获得...     

针对大规模数据的分布一致缺失值插补算法

缺失值插补(missing value imputation,MVI)作为数据挖掘领域的重要研究分支,旨在为机器学习算法的训练提供高质量的数据支持。不同于现有的以算法性能提升为导向的MVI算法,为对大规模数据的缺失值进行有效插补,该文提出一种以数据结构还原为导向的数据分布一致MVI(distribution consistency-based MVI, DC-MVI)算法。首先,DC-MVI算法基于概率分布一致性原则构建了用于确定最优插补值的目标函数;其次,利用推导出的可行缺失值优化规则获取与原始完整值保持最大分布一致性且方差最为接近的插补值;最后,在分布式环境下,针对大数据的随机样本划分(random sample partition, RSP)数据块并行训练DC-MVI算法,获得大规模数据缺失值对应的插补值。实验结果表明：DC-MVI算法不仅能生成与原始完整值保持给定显著性水平下概率分布一致的插补值,还具有比另外5种经典的和3种最新的MVI算法更快的插补速度和更好的插补效果,进而证实DC-MVI算法是一种可行的大规模数据MVI算法。     

基于PSO--BP网络的数控系统插补控制研究

插补控制是数控机床加工控制的核心技术,将智能优化算法和神经网络技术相结合,建立了PSOBP网络的插补控制模型。以坐标位置和速度为输入,下一点坐标位置、切线角、曲率半径为输出,搭建了BP网络模型,采用PSO优化算法对网络权值和阈值进行优化处理,最终获得PSO-BP插补控制模型。通过复杂加工曲线仿真试验分析,验证了PSO-BP网络数控系统插补控制的有效性。提出的数控系统插补控制能够提高复杂零件插补的精度和速度,对超精密零件加工的插补控制提供了一定的参考。     

基于模糊点数据的核主成分分析

在核主成分分析中,给每个训练数据赋予一个置信权重,将训练数据视为样本空间的模糊点,研究了基于模糊点数据的核主成分分析.数值模拟表明,该方法能够有效控制异常点对主成分的影响.同时,该方法也为数据先验信息的利用提供了一个可行的途径.     

基于模糊点数据的主成分分析

主成分分析是数据压缩和特征提取的非常有效的统计方法.在经典的主成分分析中,每个训练数据在构建主成分时的作用是相同的.然而,在许多实际问题中,每个训练数据的意义和作用是不同的,对于重要的数据我们应给予充分的重视,而对于不可信数据(可能是异常数据)应限制其作用.文中给每个训练数据赋予一个置信权重,将训练数据视为样本空间的模糊点,研究了基于模糊点数据的主成分分析.数值实验表明,该方法能够有效控制异常点对主成分的影响,同时,该方法也为数据先验信息的利用提供了一个可行的途径.     

主元分析及数据重构在过程监控中的应用

利用主元分析方法，通过矩阵运算、降低维数以提取过程变量的主要特征，实现对工艺数据的压缩，既可解决过程变量间的相关问题，同时还有清除测量噪声的效果．化工吸附分离过程监控的应用实例表明，主要过程变量可由15个缩减为6个，累积解释程度为98%．     

基于函数型主成分分析方法的用水量数据分析

以全国用水量的离散数据为例,根据分析目的把它构造成函数化数据,然后对函数化的数据进行函数型主成分分析,即对全国不同用水量区域进行分析研究,从而得到不同区域的主成分得分,找到用水量不平衡因素所在,为制订政策的决策者提供相应的参考。     

基于主成分分析的粒子滤波器目标跟踪方法

提出一种基于主成分分析的粒子滤波器目标跟踪新方法． 该方法将主成分分析法和传统的粒子滤波方法相结合, 避免了传统粒子滤波器的过度重采样, 提高了目标跟踪精度． 实验结果表明, 该方法对单个目标跟踪精度高, 且对多障碍物下的目标跟踪精度也较高, 适用于复杂背景下的人脸跟踪． 与传统粒子滤波方法相比, 该方法提高了目标跟踪的精度和鲁棒性, 避免了粒子退化和粒子贫化．     

基于核函数PCA的非线性过程实时监控方法

为了克服基于主元分析的过程监控方法非线性处理能力弱的缺点和降低基于非线性主元分析的过程监控方法的计算复杂度,提出了将核函数PCA监控方法用于复杂工业过程实时监控系统的开发研究,并讨论了核函数参数选择对系统性能的影响。核函数PCA能有效地提取过程变量的非线性关系,而且计算复杂度低,便于在线实施。仿真结果表明该方法是一种有前途的复杂过程非线性实时监控技术。     

神经网络短期负荷预测中的数据分析

在运用神经网络进行短期电力负荷预测中，输入数据的复杂性和冗余性给网络训练的效率和预测精度造成了显著的负面影响。文中提出了一种复全的数据分析方法，先采用输入变量贡献分析方法，根据输入变量对输出贡献的大小划分为主要变量和次要变量，在保留主要变量的基础 ，再采用多元统计分析中的主成分分析法，消除变量间的线性相关性，在此达到压缩变量维数的目的。将此分析方法用于处理神经网络的输入变量，提取其主要成分，使结构大为简化。结果表明，经该方法处理后的数据输入神经网络，训练时间大幅度缩短，负荷预测精度亦有一定程度的提高。     

基于高分影像和ASIFT算法的滑坡位移场监测方法

针对利用高分遥感影像和SIFT算法进行大变形滑坡位移场监测时存在的不足,引入了一种具备完全仿射不变性的图像特征匹配算法(ASIFT),对不同时相高分遥感影像进行特征点提取与匹配,并在抚顺西露天矿特大型滑坡的位移场监测中进行了应用.结果表明,与SIFT算法相比,ASIFT算法弥补了特征提取算法在仿射不变性上的不足,增加了特征匹配点,提高了滑坡空间位移矢量场标定精度,且自动化程度高、成本低,非常适合于特大型滑坡的大变形位移场监测.     

基于三元泛函主成分分析和聚类分析的MRI图像分类研究

一元泛函主成分分析(FPCA)已经在fMRI上成功进行了应用,但是目前很少有研究运用多元FPCA对MRI进行探索.本研究将一元FPCA推广到三元并应用于MRI的图像特征提取,并对提取的特征进行了后续研究,提出了一整套MRI病理及正常图像的分析方法.该方法的主要流程是先对MRI图像进行预处理(图像配准和图像分割),得到脑脊液图像,然后运用三元FPCA对脑脊液进行特征提取,再对提取的特征进行选择,随后利用k-means聚类算法对特征进行聚类,来判断图像所属的类别(正常或异常),从而达到颅脑MRI图像病变筛查的目的.将该方法应用于颅脑MRI快速自旋回波T2加权像中,结果发现,相比于传统PCA,三元FPCA展现出更好的特征提取能力,可以有效提高图像分类的准确率.