科技创新大数据清洗框架研究

河北省科技创新大数据公共平台是以海量数据资源为基础,基于数据仓库与数据挖掘技术构建,面向管理部门开展决策服务,面向社会公众开展信息服务的网络信息平台。但是,在构建数据仓库的过程中,存在各种各样的数据质量问题,最终产生各种错误的分析结果,所以,在进入数据仓库前,必须对数据进行清洗,从而保证进入数据仓库的数据质量。根据河北省科技攻关项目科技大数据标准化处理与应用系统,提出科技创新大数据清洗框架,在框架的基础上,定义清洗规则,改进清洗算法,在真实数据集上进行实验,解决了进入数据仓库的数据质量问题,从而保证了数据在数据仓库中的一致性和正确性,为后期的分析和处理提供了坚实的数据基础。     

高校就业数据仓库的研究

针对目前高校就业领域所存在的问题,在阐述数据仓库概念和功能的基础上,介绍了建立高校就业数据仓库的总体过程,并且建立了高校就业信息的数据仓库维度模型。阐述了高校就业数据仓库的物理设计和数据清洗（ETL）系统开发的步骤,完成了高校就业信息的关系数据仓库数据库的设计。     

教学管理数据仓库中ETL的实现

ETL 工具从异构数据泺抽取数据,并将数据清洗,规范化后装载到数据仓库.文章从前期的数据理解阶段入手,分别讨论了数据的抽取、清洗转换、装载等不同阶段需要考虑的设计问题及相应的解决方案.提出了以数据理解为根基,以清洗转换为中心的设计思想,并给出成绩管理模块的具体实施步骤.     

数据仓库中ETL技术的研究与改进

ETL是数据仓库构建中的核心环节,通过对传统的ETL架构体系的介绍,从数据抽取、数据转换等方面对ETL过程进行了改进,让数据转换环节在数据抽取和数据清洗加载的过程中同时进行,并增加了一个临时存储区,以此来缓解在数据抽取和转换过程中由于数据量太大或过于复杂而引起的数据拥堵和冗余的现象。通过改进后的ETL系统,可以提高整个数据仓库运行的效率,大大改善运行速度,提高了数据仓库的数据质量。     

线性回归模型在Web开发软件的应用

利用可视化的前端快速开发工具,获取大量用户亲自制作的页面,经过数据清洗后,将多种数据集成进而搭建数据仓库,并且从数据仓库中提取数据样本,建立多元线性回归模型,结合数据挖掘技术预测出符合主流审美的页面数据,分析用户页面设计的数据,得到分析值与预测的数据进行对比,向用户反馈页面参考建议。     

基于数据仓库和作业的高效改进Apriori算法

数据挖掘需要有"纯净"的数据和良好的数据组织,数据的质量直接影响到数据挖掘的效果,数据仓库从各类数据源中抽取数据,经过清洗、集成、选择、转换处理,为数据挖掘所需要的高质量数据提供了保证.本文提出以数据仓库为数据源,采用作业定时预先生成简化的频繁2.项集,应用存储过程执行效率高的特点,在压缩数据库大小的同时也压缩频繁i项集的大小,实现高效改进Apriori算法.     

浅谈烟草企业实用型数据仓库构建

数据仓库是数据挖掘过程中的一个非常重要的环节,它涉及到数据的整合和清洗。在许多行业中已被广泛应用。本文介绍了DW的基本概念、特征、体系结构,并着重阐述了其在烟草企业中的应用。     

数据仓库与数据挖掘在成人高校教学管理系统中的应用

成人高等教育是高等教育的重要组成部分,当今社会各成人高校面临的竞争日益激烈,为了增强竞争力,管理者需要将海量数据转换成有价值的信息和知识来辅助教育决策。基于这种需求,本文针对性地提出了将数据仓库和数据挖掘技术应用于成人高校管理系统中的设想。通过对历史数据的抽取、转换、清洗和加载等工作,将各个信息系统中的不同数据整合到同一数据库中,在整合数据库的基础上形成数据仓库,能够对各个信息管理系统历史数据进行全面性的查询、分析、统计,为管理人员的决策提供支持。     

数据仓库及元数据管理

数据仓库技术是基于数据管理和利用的综合性技术,为支持管理决策而设计。元数据是数据的数据,描述了数据仓库中的各个对象,遍及数据仓库的所有方面,是整个数据仓库系统的核心部件。在对数据仓库系统中的元数据管理及其现状进行了全面分析的基础上,介绍了基于元数据的数据仓库体系结构、元数据管理的实现和元数据的维护。     

面向对象技术在构建数据仓库中的应用研究

为了利用数据仓库技术实现对经济指标数据的有效管理,提出了基于面向对象技术构建数据仓库的一种解决方案。在构建过程中,根据经济指标数据管理需求和数据仓库特点,确定了系统所面对的各种对象以及它们之间的关系,设计了数据仓库结构模型,应用Visual C .NET实现了数据仓库管理系统,并通过ADO(Active Data Object)和OLE(Object Link Embedded)等面向对象技术完成了数据仓库访问和异构系统数据集成,从而使经济指标数据仓库(EIDW:Economic Indicators Data Warehouse)可作为后台数据环境应用于经济动态分析、预测和监测的决策支持系统中。     

装备维修性数据收集与分析系统

维修性数据收集与分析系统是装备信息化管理的重要组成部分。介绍了装备使用阶段维修性数据收集与分析系统的任务、功能和体系结构设计,重点阐述了数据收集与数据分析评估模块的功能设计,并采用Access数据库管理系统,运用Visual Basic程序开发语言进行了维修性数据收集与分析原型系统开发。     

远程数据自动录取系统数据采集终端设计

为实现对远程数据的自动录取设计数据采集终端。终端由数据采集子系统、数据预处理子系统和后备电源子系统构成,实现对现场数据的实时采集、处理、存储及保护。后备电源子系统中的电网供电模块为终端提供所需各种电源,当电网供电监测模块检测到电源电压的异常时,后备电源供电模块为系统进行应急供电,并控制数据预处理子系统将采集数据存储、保护到冗余存储电路     

基于数据驱动的司法公开信息化监管系统

为了解决司法公开信息化监管的4个突出问题,站在数据驱动的角度,以形成价值数据为目标,将司法公开数据进行分类,进而给出数据处理的系统功能架构、技术架构和业务架构,涵盖数据采集、数据整理、数据分析、数据应用、数据安全等模块。以该架构为基础推进系统建设,能够有效降低司法公开信息监管的工作强度,分析工作状态,发现工作中的问题,促进司法公开水平的不断提高。     

利用元数据确定封闭模块的数据结构

提出一种通过数据库管理系统中的元数据来确定封闭模块中未知的数据结构的技术。通过利用数据库中的元数据确定封闭模块中用户建立的数据表，并在模块的应用程序运行时动态跟踪数据表的记录条数的变化来确定封闭模块中的部分数据结构。并以SQL Server2000为例，详细描述如何利用数据目录中的sysobjects系统表来确定封闭模块的数据结构，该研究结果在实际信息系统开发中有利于信息系统的集成。     

一种无线植入式神经控制信号传输的数据编码方法

文中提出了一种新的数据编码传送方法.在外部模块用脉宽调制的方法将需要传送的数据进行编码,通过BPSK调制和解调方式传送到体内模块后使用时钟检测器、时钟分频器、脉冲宽度计数器以及脉冲逻辑判决器进行解码.这样体内模块和体外模块可以工作在不同时钟,使得电路的设计和验证大为简化.该方法已经成功应用于植入式无线神经信号获取系统的板级电路中,波形测试的结果显示了该方法的可行性.     

采用数据驱动机制的多核处理器

摘要：
针对当前工艺条件下多核处理器存在程序并行性不足的问题,设计了一种采用数据驱动机制、支持函数语言风格编程的多核处理器,包括通用处理器核、数据驱动模块和片内路由器.其中：通用处理器核用于执行常规程序;数据驱动模块用于检测数据的完备性;片内路由器则可提供处理器核之间及簇之间的通信.实验结果表明,所设计的多核处理器能够支持C语言“函数式语言”风格的编程模板.每个C代码段执行纯函数的操作,消除了函数间的共享变量,使得并行编程的复杂度有所降低.同时,所采用的数据驱动机制没有执行顺序的严格限制,充分挖掘了算法潜在的并行性.经测试,数据驱动多核处理器的加速比随着计算资源的增加而增大,从而验证了数据流计算机的加速倍数随处理器数目增加而线性增长的结论.
关键词：
数据驱动; 并行编程模型; 数据流机; 多核处理器
中图分类号： TP 338
文献标志码： A     

基于流水线构架的多通道全并行数据采集系统

本文介绍了一种多通道全并行实时数据采集系统的设计原理。该系统中的每个采集通道由信号调理、A/D转换器和异步双口RAM组成,采用USB作为数据上传接口,使用复杂可编程逻辑阵列CPLD作为控制核心,将数据采集、缓冲及上传模块组织成流水线的构架。各个模块并行同步执行,从而保证采样数据的连续性,并使整个系统高速运行。实际测试显示该系统具有很好的稳定性和可靠性。     

数据挖掘技术在电气设备在线监测系统中的应用

介绍了电气设备在线监测系统和数据仓库与数据挖掘技术,分析了数据挖掘技术在三里变电站电气设备在线监测系统中的应用,探讨了数据挖掘步骤中两个最重要的模块——数据处理模块和预测模块,对扭转当前在线监测系统中“信息丰富、知识匮乏”的局面做了一个非常有益的尝试,并取得了较好的效果。     

数据仓库系统中索引法压缩基量数据技术

本文通过对数据仓库系统模块总体结构进行分析,阐明了基量数据在数据仓库系统中的性能。根据仓库系统中的基量数据不断海量化,提出了通过索引法压缩基量数据,提高数据仓库处理数据的能力。     

基于PKCS的数据安全框架及支持库设计

提出了一个基于ＰＫＣＳ的数据完全框架,该框架的最底层是输入,输出与编码模块,它主要实现了ＢＥＲ／ＤＥＲ、Ｂａｓｅ６４等编码与解码,以及与多种存储点之间的输入与输出。