基于JESS的智能数据清洗平台技术研究

介绍了开发基于JESS的智能数据清洗平台所涉及的解决了大庆某采油厂数据清洗问题.     

结构化数据清洗技术综述

数据清洗是对脏数据进行检测和纠正的过程,是进行数据分析和管理的基础。该文对经典和新兴的数据清洗技术进行分类和总结,为进一步的研究工作提供方向。形式化定义了数据清洗问题,对数据缺失、数据冗余、数据冲突和数据错误这4种数据噪声的检测技术进行详细阐述。按照数据清洗方式对数据噪声的消除技术进行分类概述,包括基于完整性约束的数据清洗算法、基于规则的数据清洗算法、基于统计的数据清洗算法和人机结合的数据清洗算法。介绍了常用的测评数据集和噪声注入工具,并对未来重点的研究方向进行了探讨和展望。     

Azszp: 一种基于规则的数据清洗方案

数据清洗是提高数据集成质量的一个重要手段. 提出了一种基于动态规则的数据清洗方案AzszpClean，这种方法对各种清洗规则进行动态编译，将数据转换和数据清洗两者结合起来，强化清洗的描述能力. 实际应用表明，AzszpClean方法可以完成硬编码的功能，具有更高的实现效率.     

一种ODS环境下的混合数据清洗策略

DB-ODS-DW三层体系结构满足了信息处理的多层次需求，ODS在其中承担了重要的角色，为了提高ODS中的数据质量，进入到ODS环境中的数据必须经过清洗．在给出ETL过程中数据清洗模型的基础上，针对已知和未知的错误类型，以及语义上的错误，提出了一种自动清洗和人为清洗相混合的数据清洗策略，具有较好的现实意义。     

基于广域网的集中式票证管理系统的设计与实现

介绍了基于广域网数据集中模式下票证管理系统的设计方案，分析了主要数据结构和算法，系统实现了数据集中存储和分级业务处理；通过对多层体系结构系统优化技术进行探讨，有效解决了广域网模式下系统响应速度慢等问题。     

壁面清洗机器人发展趋势浅析

本文综述了国内外壁面清洗机器人的研究概况，重点介绍了几种典型的壁面清洗机器人，据此对壁面清洗机器人向实用化方向发展进行了论述，指出了利用风扇使清洗机构吸附于壁面，并将行走与清洗机构相分离，这种设计思路的优越性。     

精密金属零件非ODS清洗技术研究

由于精密金属零件表面洁净度要求很高，目前一般采用ODS溶剂清洗．介绍了一种非ODS清洗技术，并利用X射线光电子谱等测试方法，分别比较用两种清洗技术清洗过的金属零件表面，结果表明新型清洗技术优于传统ODS清洗技术．     

数据迁移与清洗的策略研究及其在政务基础数据的应用

为了实现数据的共享及数据价值发现,需要对数据进行迁移和清洗.数据迁移的效率和数据质量的好坏,直接影响到数据挖掘的效果和价值.本文对数据迁移与清洗的策略进行了研究,设计了数据迁移与数据清洗的流程和策略,通过寻求最优线程数,并行处理数据迁移与清洗,并将其应用到政务服务基础数据的处理上.在处理速度和数据质量上都有明显提升,同时自动生成清洗报告.本文构造的数据迁移与数据清洗的策略可应用于数据量大、数据类型复杂的数据上,能提高数据质量,满足数据共享和数据分析的要求.     

清洗技术在锅炉及压力容器和化工设备中的应用

本文介绍了化学清洗的基本原理，并着重阐述清洗技术用于工业锅炉启动前、典型化工容器与设备运行一段时间后的清洗工艺，并对相应的清洗效果及专用清洗剂作出了较客观实际的评价，旨在阐明化学清洗对确保工业生产过程正常运行的重要性及其应用开发的价值。     

基于孤立森林和标准差检测法的风电功率异常数据清洗

在风电功率预测中，风速到风电功率的转换是关键步骤，风功率曲线建模和机器学习等技术都需要高质量的风电功率数据，而风电机组实际运行过程中由于多种因素会导致风功率曲线中出现大量的异常数据.首先分析了河南省洛阳市虎头山风电场风电机组历史运行异常数据分布特征，提出了结合孤立森林（iForest）算法与标准差（σ）检测法的技术对异常数据进行识别，并对比了iForest-σ和σ-iForest两种次序组合方式在异常数据识别过程中的异常数据清洗时间、删除率、准确率.结果表明，iForest-σ和σ-iForest方法都能够有效识别异常数据，iForest-σ方法相对数据删除率低且精度高.上述方法清洗效果好，效率高且不依赖于正常数据进行非监督训练，同时适用于其他研究场景的异常数据清洗工作，具有较强的通用性.     

嵌入式实时系统中劣质数据动态清理方法研究

当前常用的劣质数据动态清理方法规模大,需对其进行剪枝处理后才可应用于劣质数据动态清理中,不仅效率低,且清理结果不准确。因此,提出一种新的嵌入式实时系统中劣质数据动态清理方法,劣质数据主要包括错误数据、重复数据和不完整数据,利用统计学求期望方法对错误进行清理,计算得到一个可信区间的基准范围,依据该基准范围对错误数据进行清理。利用编辑距离获取两个字符串之间的相似度,通过得到的相似度对重复数据进行动态清理。对嵌入式实时系统数据库中所有记录的不完整性进行评估,依据评估结果决定是否清除相应数据。实验结果表明,所提方法针对劣质数据有很高的清理准确性。     

数据清洗前的预处理方法

为提高数据清洗的质量,提出消除脏数据域、使用统一的缩写、数据的转换等预处理方法,基于这3种方法和链表存储复制记录算法,设计一个数据清洗的系统,与其他方法的效率与准确程度比较可知,该系统的数据准确程度要高于现有的数据清洗系统．     

金表面的清洗方法与电化学表征

金被广泛应用于自组装膜的基底，金表面的清洗是完美自组装膜形成的关键技术．分别利用硫酸一过氧化氢(Piranha)洗液法和电化学清洗法对金表面进行了清洁处理，并利用循环伏安法对其进行了表征．结果表明：2种清洗方法可以达到相同的清洗效果，但前具有强氧化性，不能用于环氧树脂封装的电极的清洗，而后可以很好地解决这一问题，是一种电极表面清洗的有效方法．最后讨论了电解液中含有氯离子时对电极的腐蚀作用，进而给出了进行电化学清洗的条件．     

数据挖掘中的数据预处理技术

阐述了数据集成的预处理技术及必要性，讨论了不完整数据、含噪声数据、不一致数据的清理方法。     

膜生物法处理工业废水

对膜生物反应器(MBR)处理工业废水的膜组件布置方式进行了讨论，并重点讨论了膜的清洗方法、清洗剂的选择和使用中可能出现的问题。分析了MBR运行的进水要求和污泥特征，阐述了不同膜组件布置方式下的沉积层控制方法。认为MBR处理工业废水的主要特征是废水成分的多样性可能对膜产生影响，以及污泥浓度、粘稠度及粘稠度增高导致流变学特征变化所引发的运行控制问题，并就清洗剂的选择和使用给出了建议。     

基于时序关系的RFID不确定数据清洗算法

RFID原始数据具有海量性和不确定性的特点.通过对不确定数据时序关系的分析,提出了针对不同清洗节点的清洗算法.该类算法打破了传统的基于标签回应次数的方法,在综合考虑RFID数据时间特性的基础上,将RFID数据看成一系列时间序列数据,挖掘数据间的潜在规律.实验表明,该类算法具有很好的可扩展性,有效地提高了数据清洗的准确率.     

民用建筑“四节一环保”数据的清洗与修复方法研究

针对民用建筑“四节一环保”原始数据中存在的数据质量问题, 使用多种方法实现数据清洗与数据修复。数据清洗方面, 重点关注单栋建筑能耗数据中存在的相似重复记录及异常记录。其中, 识别异常记录采用3σ准则、DBSCAN聚类算法及箱线图内限3种方法。数据修复方面, 重点关注缺失值的填补及基于模型的数据修正。其中, 缺失值的填充使用简单填充、线性回归模型和基于用户的协同过滤推荐算法, 并以平均绝对误差为评估指标进行对比。基于多元线性回归、主成分回归、偏最小二乘回归、岭回归及Lasso回归5种模型, 拟合建筑运行能耗与各解释变量间的关系, 对上海市建筑运行能耗相关数据进行数据修复。结果显示, 单栋建筑能耗数据适合采用箱线图内限来识别异常记录, 并使用中位数填补缺失数据; 上海市建筑运行能耗相关数据中, 岭回归模型的拟合情况最好。     

芳香高效洁瓷液的研制

对瓷面上污垢成分和形成过程进行了分析,对除垢和阻垢方法重点阐述,并确定了配方的主成分,对辅助成分的作用也略有介绍,由此定出了芳香高效瓷液的配方比例与配制方法,最后简介了该产品的性能实验方法.     

具有数据清理功能的交互式数据迁移及应用

针对众多论文对数据迁移的研究多是泛泛地介绍数据迁移的方法,而没有考虑数据迁移过程中的数据清理问题,提出了一种具有数据清理功能的交互式数据迁移技术.该技术把数据迁移和数据清理紧密地结合在一起,具有开放的规则库和算法库.通过在规则库中定义规则以及从算法库中选择合适的清理算法,不仅能灵活、准确地完成数据的迁移,还能保证数据迁移后新系统的数据质量.该技术被应用于医疗保险信息系统再工程项目,取得很好的效果,从而说明这种数据迁移技术在实践中是可行的.