教学管理数据仓库中ETL的实现

ETL 工具从异构数据泺抽取数据,并将数据清洗,规范化后装载到数据仓库.文章从前期的数据理解阶段入手,分别讨论了数据的抽取、清洗转换、装载等不同阶段需要考虑的设计问题及相应的解决方案.提出了以数据理解为根基,以清洗转换为中心的设计思想,并给出成绩管理模块的具体实施步骤.     

数据迁移与清洗的策略研究及其在政务基础数据的应用

为了实现数据的共享及数据价值发现,需要对数据进行迁移和清洗.数据迁移的效率和数据质量的好坏,直接影响到数据挖掘的效果和价值.本文对数据迁移与清洗的策略进行了研究,设计了数据迁移与数据清洗的流程和策略,通过寻求最优线程数,并行处理数据迁移与清洗,并将其应用到政务服务基础数据的处理上.在处理速度和数据质量上都有明显提升,同...     

基于语义的XML数据清洗框架

在XML数据清洗中,模式约束语言提供的信息不能满足准确数据清洗过程对于领域知识的需要;同时,传统的树编辑算法在对XML实例数据进行清洗时,由于缺乏对XML结构信息的语义描述,造成了大量的数据匹配错误.基于此,引入参考本体和领域本体分别对上述问题进行解决,给出了模式约束的度量指标和一个XML结构感知算法,并构建了一个基于语义的XML数据清洗框架.     

Azszp: 一种基于规则的数据清洗方案

数据清洗是提高数据集成质量的一个重要手段. 提出了一种基于动态规则的数据清洗方案AzszpClean，这种方法对各种清洗规则进行动态编译，将数据转换和数据清洗两者结合起来，强化清洗的描述能力. 实际应用表明，AzszpClean方法可以完成硬编码的功能，具有更高的实现效率.     

数据仓库清洗技术讨论

数据仓库建设过程中最关键的环节是数据集成,本文重点分析了数据清洗需要解决的问题及涉及的主要技术,针对数据库的数据模型与数据仓库模型的区别讨论了利用元数据的映射规则的数据清洗方法.     

基于JESS的智能数据清洗平台技术研究

介绍了开发基于JESS的智能数据清洗平台所涉及的解决了大庆某采油厂数据清洗问题.     

基于数据驱动和知识图谱的电影分类推荐方法

提出基于知识图谱和数据驱动的电影分类推荐方法；首先基于数据驱动爬取互联网中的电影数据并进行去重及清洗，然后采用知识图谱将电影数据与用户情感偏好数据进行关联，对海量的数据信息进行中心聚类，并在数据聚类的过程中计算投影向量得到相似度矩阵，最后查询相似度值并计算分类推荐指标权重得到最终的电影推荐清单.     

基于孤立森林和标准差检测法的风电功率异常数据清洗

在风电功率预测中，风速到风电功率的转换是关键步骤，风功率曲线建模和机器学习等技术都需要高质量的风电功率数据，而风电机组实际运行过程中由于多种因素会导致风功率曲线中出现大量的异常数据.首先分析了河南省洛阳市虎头山风电场风电机组历史运行异常数据分布特征，提出了结合孤立森林（iForest）算法与标准差（σ）检测法的技术对异常数据进行识别，并对比了iForest-σ和σ-iForest两种次序组合方式在异常数据识别过程中的异常数据清洗时间、删除率、准确率.结果表明，iForest-σ和σ-iForest方法都能够有效识别异常数据，iForest-σ方法相对数据删除率低且精度高.上述方法清洗效果好，效率高且不依赖于正常数据进行非监督训练，同时适用于其他研究场景的异常数据清洗工作，具有较强的通用性.     

基于无监督学习的数据清洗算法

为了解决数据仓库中相似重复记录的数据问题,提出了基于无监督学习的数据清洗算法.该算法采用基于Hebbian假设的自适应学习方法,并通过相似度确定奖励和惩罚等级.在学习过程中根据需要增加新的聚类,在学习结束后,通过分析聚类情况删除错误的聚类,从而避免了死神经元问题并使聚类更加准确.实验表明,该算法能准确地完成实体识别.     

如何实现从Lotus Domino/Notes数据库向关系型数据库的数据迁移

数据迁移，就是将这些历史数据进行清洗、转换，并装载到新系统中的过程。数据迁移主要适用于一套旧系统切换到另一套新系统，或多套旧系统切换到同一套新系统时，需要将旧系统中的历史数据转换到新系统中的情况。银行、电信、税务、工商、保险以及销售等领域发生系统切换时，一般都需要进行数据迁移。