数据虚拟化研究综述

大数据系统中数据源多,数据规模大,且数据具有异构异质的特点,为满足各种数据集成需求,如何快速高效地整合数据就显得越来越重要且具有挑战性。数据虚拟化能够灵活地实现各种数据集成需求,介绍数据虚拟化的概念、优势及应用需求,给出一种数据虚拟化系统架构,并对其中的数据虚拟化平面与管理平面以及各层的功能进行了阐述。重点针对数据虚拟化系统中存在的一些关键问题与挑战进行了详细分析,给出了需要进一步研究的课题与方向。     

体育数据流转的法律问题及其解决路径

体育数据流转的法律问题主要发生于脱敏的体育商业数据与体育个人数据中。就脱敏数据而言,最为突出的问题是不正当竞争;就个人数据而言,侵犯个人隐私问题最为典型。体育商业数据中的不正当竞争问题究其原因是由于实践中对体育商业数据的不正当竞争执法力度薄弱,而在个人数据当中,由于法律法规中关于体育个人数据使用的限制范围模糊,进而导致隐私侵犯问题频发。基于上述原因,应加大体育商业数据的竞争执法力度以维护正当竞争程序,通过明确体育个人数据使用的限制范围以更好地保护个人隐私。     

基于数据拆分的数据集成技术研究

分析了数据集成过程中需要将集中存放的数据进行拆分实际问题,提出了基于字段的纵向拆分、基于记录的横向拆分和基于表的双向拆分等3种数据集成方法,实现了数据集成和资源共享,其思想对于数据集成的过程中需要将各自分布的数据合并起来的实际问题也有很大意义。     

基于元数据属性的数据价值分级及加密机制

针对云存储中对所有数据采用统一的加密算法造成数据加密高复杂度的问题,提出了一种基于元数据属性的数据价值分级及加密机制。首先,利用数据对象元数据的属性评定数据对象的数据价值,并对数据进行分级,而后,根据数据的价值级别选择相应的加密算法,给出数据加密的解决方案。通过对实验数据的分析与比较,验证了该机制能够获得更好的加密效果,大大减少了数据加密的时间复杂度。     

数据挖掘中的数据预处理技术

阐述了数据集成的预处理技术及必要性，讨论了不完整数据、含噪声数据、不一致数据的清理方法。     

数据质量维度与框架研究综述

为了对数据质量维度有一个全面、清析而准确的定义,便于在领域层面达成一致,也为从现存的数据质量管控技术架构中选择出合适的框架提供依据,对数据质量的发展历程和维度以及其管控框架进行了全面的研究。通过研究明确了复杂的数据质量维度指标,按其名称和定义提供一套比较全面的数据质量规范,并对其质量管控技术框架进行了综合研究与对比。该研究能科学地指导具体应用需求选择合适的数据质量框架和比较全面的数据质量维度实现对数据的评估,同时可节省大量的时间,减少人力和物力支出。     

数据翻译及应用

本文主要叙述了作者在多年从事CAD研究工作的基础上,提出的一种新型计算机编程理论——数据翻译的思想理论。文章中介绍了数据翻译思想由来、数据翻译的类型,以及数据翻译的具体实现方法——数据翻译器的设计与开发。最后,作者还介绍了两例应用数据翻译思想解决实际问题的例子。     

2020年地球数据科学与共享热点回眸

 地球数据科学是地球科学与数据科学的结合，是地球科学研究与数据驱动科学发现范式转变的前沿交叉领域。在地球大数据研究快速兴起的背景下，从地球数据大科学计划、科学数据治理和地球科学数据共享等方面回顾了2020年的进展。介绍了深时数字地球大科学计划、地球大数据科学工程，以及全球数据汇聚、数据认证、数据仓储、数据政策、数据标准、数据标识等方面的进展和地球科学数据中心、数据库、数据模型、数据集成和数据出版等实践。展望未来，充分重视科学数据治理的规则，推动地球科学大数据计划发展，加强建立地球科学数据生态，促进地球科学数据领域的各方面合作，仍然是当前的紧迫需求。     

基于统一数据平台的公安综合指挥中心关键技术研究

公安综合指挥中心建设是公安信息化建设的重要内容,通过统一数据平台技术,可以实现各子系统在数据层面的松耦合,达到最大限度的数据共享。统一数据平台奠基于数据库技术基础之上,涉及数据库建模、数据同步、数据清洗等关键技术,是公安综合指挥中心建设新的发展方向。     

在VF6.0中实现数据的交互

本文主要介绍VF环境中数据与其它软件数据的交互。如何将各种类型的数据转换成VF应用程序中数据,以及将VF中表文件内的数据转换成其它形式的数据。     

全国林业资源数据集群存储技术研究

为解决全国大规模一体化林业资源管理, 设计了适用于全国林业资源数据的分布式空间数据存储系统。通过数据分块、 索引分级、 集群合并, 将各省和国家的林业资源数据集群在逻辑上合并成一个大数据集群。分布式空间数据存储系统的应用和全国数据集群的合并加快了数据处理速度, 统一了数据管理过程, 建立了全向的并发数据通道。为实现林业资源数据的全国一体化应用做了积极探索。     

实验动物资源数据库数据质量建设的探讨*

摘要: 数据质量是数据资源共享的生命,是实现数据资源价值的必要保证。在实验动物资源数据库的建设中,数据 质量的保证,着重在数据测定和采集规范的制定及数据入库流程的规范化建设上。本文探讨实验动物资源数据库 数据质量的建设,介绍数据采集的制度建设和数据入库的审核流程设计,也提出了一些在数据库的后期运行中对 提升数据质量有帮助的思考,给正在从事或将要开展数据信息化建设的人员提供一些借鉴。     

基于数据元的交换数据标准维护

针对直接通过XML(extensible Makeup Language)Schema维护交换数据标准有不易维护、对已有数据的利用率低等自身的缺点,在分析数据元概念的基础上,提出了用数据元自底向上维护数据标准的方法;结合数据元在专利电子申请中的具体应用,设计了数据元的元数据属性;给出一套对数据元进行描述和维护以及基于其上信息抽取的方法;定义了数据元到XML Schema的映射规则;设计了XML Schema辅助生成的算法.结果表明:与传统的对数据交换标准进行构建和维护的方法相比,直接方法对已有数据的利用率提高了60%,减少数据冗余,方便数据标准的创建和更新,减少了维护成本.     

陇东油田V区Y9储层参数解释模型的建立及应用

在大量文献调研基础上,基于收集到的岩心资料、地质资料、测井资料和生产动态资料等,遵循地质约束测井、岩心刻度测井的建模原则,开展了陇东油田V区Y9储层四性关系研究,建立了储层参数测井解释模型,并将建立的泥质含量、孔隙度、渗透率和含油饱和度测井解释模型加载到专门的测井解释平台上,开展了研究区的测井资料二次解释.研究表明,经过岩心深度归位后的岩心资料和标准化后的测井资料相关性分析可靠,本研究建立的储层参数解释模型实际应用取得了良好的效果.     

两类数据挖掘工具评估分析的定量化

针对企业是否采用数据挖掘工具以及采用何种数据挖掘工具的问题,提出了评估数据挖掘工具价值的定量化分析方法;利用马尔可夫转移概率矩阵与数学规划模型对分类型数据挖掘工具进行价值评估,确定分类型数据挖掘工具带来的价值;利用分布密度函数和信息熵对预测型数据挖掘工具进行价值评估,确定预测型数据挖掘带来的价值;再通过采用数据挖掘工具需要的成本,最终建立了评估两类数据挖掘工具(分类与预测)的效益模型,为企业成功实施数据挖掘提供保证.     

环境影响评价数据仓库模型的构建研究

随着环境影响评价基础数据库数据中心数据量的逐年指数增长,数据库服务器对客户端的响应时间也随之延长,对数据高效管理的要求也日益明显.结合环评基础数据库项目建设过程中数据分析和挖掘预测的需求,提出基于ODS的环评数据仓库的总体架构,构建基于OLAP技术的面向多主题的数据仓库模型,研究遗漏值、数据异常等不同问题的数据清理和填充方案,构建基于DS-ODS-DW的数据加载模型.研究实现基于基础数据库的统计分析和数据挖掘功能,为数据管理者提供数据预测与决策支持功能.通过模型在数据分析和数据挖掘方面的应用案例,验证了该模型和方法的合理性和有效性.     

数据仓库数据加载技术

数据仓库中的数据不是传统数据库中数据的简单堆积，其数据的组织必须方便基于数据仓库基础之上的数据挖掘和商业智能工作，为决策者提供访问、分析及共享信息的能力，从而发挥数据仓库的真正功效。成功构造一个数据仓库的关键在于自始至终理解用户需要，紧紧围绕用户目标这一主题进行数据的搜集和存储。首先分析数据仓库的特点及拥有的数据类别及组成，重点介绍如何从现有数据库中有效地将数据引导至数据仓库的方法和策略，具体给出了数据仓库中5种不同类别数据的加载方法。     

动态数据距离与动态数据几何辨识-恢复

应用P-集合,提出动态数据偏离度概念与动态数据距离的概念。动态数据偏离度包括内-动态数据偏离度、外-动态数据偏离度与内-外动态数据偏离度;动态数据距离包括内-动态数据距离、外-动态数据距离与内-外动态数据距离。应用动态数据偏离度与动态数据距离,得到动态数据的辨识与恢复定理,给出信息系统动态稳定数据的几何辨识准则,并给出应用。动态数据距离使得信息系统动态数据辨识与恢复直观化,是研究信息系统数据变化的一个几何工具。     

保险业数据仓库的设计

本文通过深入了解保险行业的领域知识以及对数据仓库技术的学习研究,详细阐述了数据挖掘技术以及数据仓库技术在保险业客户分析中的应用;其次从保险业的基本流程入手,详细阐述了客户细分、客户风险等领域的背景知识,介绍数据仓库技术在该领域分析中的应用,然后从数据仓库概念入手,分别介绍了数据仓库概念模型和逻辑模型的设计与实现。