基于数据拆分的数据集成技术研究

分析了数据集成过程中需要将集中存放的数据进行拆分实际问题,提出了基于字段的纵向拆分、基于记录的横向拆分和基于表的双向拆分等3种数据集成方法,实现了数据集成和资源共享,其思想对于数据集成的过程中需要将各自分布的数据合并起来的实际问题也有很大意义。     

数据融合中的概率数据关联算法

阐述了多传感器数据融合中的概率数据关联算法,并采用ＭＡＴＬＡＢ高级语言进行模拟,最后得到了满意的目标跟踪曲线和跟踪误差。     

浅谈大数据时代数据信息现状及发展

大数据开启了一个时代的转型,给人们带来一场生活、工作与思维的大变革。时代的变革需要以大数据为视角理解数据与信息。本文介绍了大数据时代出现的必然性,分析大数据时代数据的特点,从而阐述大数据时代背景下信息的特点。     

统一数据接口

随着信息时代的不断发展,不同部门、不同地区间的信息交流逐步增加。当大量的空间数据出现在网络上,面对多种多样的数据格式,我们怎样才能有效地利用它们呢？这其实就是数据共享与数据转换的问题。本论文旨在设计一套用于在概率统计科研工作中实现数据共享和流动的数据格式转换的工具——统一数据接口（UDI--Unified DataInterface）：该软件制定了一种能够统一表达统计数据的存储格式为UDI格式,通过数据导入功能模块能够将多种外部数据转化成UDI格式,接着通过数据处理功能模块对导入的数据进行处理,包括相关的矩阵数据的操作变换;最后通过数据导出功能模块将UDI格式类型的数据导出成其它各种格式,提供于后续使用。该软件充当数据格式转化的中间介质,提供多种存储格式的数据文件的相互顺利转换。提高数据在各部门和各软件系统中的流动与共享程度,而且软件的设计将为数学科研人员在工作中的采集数据,以及共享数据提供莫大的方便。从而提高科研工作效率,推动数据共享的发展。     

数据虚拟化研究综述

大数据系统中数据源多,数据规模大,且数据具有异构异质的特点,为满足各种数据集成需求,如何快速高效地整合数据就显得越来越重要且具有挑战性。数据虚拟化能够灵活地实现各种数据集成需求,介绍数据虚拟化的概念、优势及应用需求,给出一种数据虚拟化系统架构,并对其中的数据虚拟化平面与管理平面以及各层的功能进行了阐述。重点针对数据虚拟化系统中存在的一些关键问题与挑战进行了详细分析,给出了需要进一步研究的课题与方向。     

面向数据体系结构的数据性能与价值研究

大数据背景下,应用系统架构模式由以功能为中心转变为以数据为核心,其主要问题是海量数据应用中系统内部数据之间的一致性与数据传输效率之间的矛盾,同时还有缺少有效的方式去评价系统内数据的价值.为解决上述问题,采用面向数据体系结构的思路,提出了数据分片中心与数据价值评价中心,同时将"两中心模式"用于具体的应用系统内,通过分析采用"两中心模式"前后的处理数据的性能,论证了"两中心模式"的可行性.     

数据可视化研究综述

数据可视化对于从海量数据中发现规律、增强数据表现、提升交互效率具有重要作用。目前,数据可视化的概念及相关研究领域不断扩展,就数据类型而言,可视化研究逐渐聚焦于多维数据、时序数据、网络数据和层次化数据等领域。通过对中国知网（CNKI）中外文文献进行分析可知：2014年、2015年是数据可视化领域研究热度升级、理论成果大量产出的“里程碑”式年份;中国大数据领域研究热潮形成后,数据可视化是迅速发展的一个重要支撑领域;国内外数据可视化领域的研究,在时间上基本同步,而武汉大学、浙江大学、北京邮电大学、国防科技大学、电子科技大学等都是在该领域研究活跃度较高的国内高校。要获得良好的视觉效果,帮助用户降低理解难度,高效分析数据和洞悉价值,通常还需要注意色彩与语义、突出核心数据、防止数据过载、防止思维过度发散等技术要点。现有的数据可视化技术主要分为基于几何技术、基于图标技术、基于降维技术、面向像素技术、基于时间序列技术、基于网络数据技术的数据可视化方法,以及层次可视化技术和分布技术等。基于几何技术的可视化方法,包括平行坐标、散点图矩阵、Andrews曲线等。基于坐标的可视化方法,可以清晰展示变量间的关系,但受限于屏幕尺寸,当数据维度超过3个时,难以直观显示全部维度,需要结合人机交互技术进行展示,适用于表达不同维度之间的相关关系,比如学生学习行为之间的关联关系等。基于图标的可视化方法,主要包括星绘法和Chernoff面法,以几何图形作为图标刻画多维数据,直观反映出图标各个维度所表示的意义,适用于工作完成情况、激励工作进度概览等。基于降维技术的可视化方法,根据维度属性确定点的坐标,在保持数据关系不变的前提下映射到低维可视空间中,主要涉及主成分分析、自组织映射、等距映射等。基于时间序列的可视化方法,是一种显示数据间相互关系和影响程度的可视化方法,主要包含线形图、堆积图、地平线图等,随着时间发展采集相应数据,并利用上述3类可视化方法进行呈现,适用于表示信息数据流动和变化状态,如不同时间段成绩流向趋势分布、主题概念的变迁等。基于网络数据的可视化方法,核心是自动布局算法,通过自动布局与计算绘制成网状结构图形,主要有力导向布局、圆形布局、网格布局等,常用来表示大规模社交网络结构,适用于活跃度分析、引文关系展现等。层次可视化技术,主要包括节点链接、空间填充、混合方法等,通过绘制不同形状的节点和包围框来表示层次结构的数据,适用于表示群组成员间交互关系的发现和挖掘,如在线协作员工之间的交互。基于CNKI,通过对数据可视化研究情况的分析,提出数据可视化研究过程中的注意点,指出数据可视化需要重点考虑色彩的匹配,在色彩与数据内容的重要度之间建立关联;可视化方案应在满足业务需求的基础上以业务逻辑为依据,合理组合与应用相关可视化技术;统一的可视化风格有助于提升人们理解数据的连贯性、一致性和效率,兼顾用户的审美要求,在风格与色彩之间建立合理的匹配关系;数据可视化应以实用、合理、高效地表现关键过程、关键目标、关键结果为主要面向。此外,对可视化应用实例Echarts展开综述,包括Echarts 交互组件（markPoint和markLine标注点组件、dataZoom区域组件、图例交互组件）在可视化中的应用,以及动态数据绘制等。最后,对可视化存在的挑战以及未来研究方向进行了分析和展望,指出虚拟现实、可视化系统和数据分析是可视化未来的研究方向,其应用热点领域还包括统计可视化、新闻可视化、思维可视化、社交网络可视化和搜索日志可视化等。     

数据分级存储系统中数据分级算法研究

随着数据存储规模的海量增长,降低存储系统的总拥有成本,提高数据访问效率是海量数据分级存储系统的关键.在分析了两种典型的数据分级算法后,结合两种算法的优点对算法进行了改良,提出了基于数据访问频率和数据设备依赖度的自动分级算法,实验结果验证了算法的有效性和数据分级算法具有较高的准确率.     

CAD数据到GIS数据自动转换方法探讨

分析了现有CAD数据与GIS数据转换的研究成果,在分析AutoCAD与ArcGIS数据特点的基础上,提出并设计了基于规则库的CAD数据到GIS数据转换方法,并基于该方法开发应用程序,通过在实际数据生产中的应用分析,该方法的优点是可避免数据转换过程的信息丢失和建立完整要素关系,并可通过规则库实现转换过程及质量的可控制性。     

具有数据清理功能的交互式数据迁移及应用

针对众多论文对数据迁移的研究多是泛泛地介绍数据迁移的方法,而没有考虑数据迁移过程中的数据清理问题,提出了一种具有数据清理功能的交互式数据迁移技术.该技术把数据迁移和数据清理紧密地结合在一起,具有开放的规则库和算法库.通过在规则库中定义规则以及从算法库中选择合适的清理算法,不仅能灵活、准确地完成数据的迁移,还能保证数据迁移后新系统的数据质量.该技术被应用于医疗保险信息系统再工程项目,取得很好的效果,从而说明这种数据迁移技术在实践中是可行的.     

数据垄断及其治理

数字经济时代,数据资源关乎市场竞争力,数据应用带来市场壁垒,数据流通制度不完善等诸多因素导致数据垄断。数据垄断损害公平竞争、数据安全、技术创新与消费者权益,进而影响市场经济运行效率。数据垄断的治理,需要树立数据有序流动、保障数据安全、促进创新发展的治理理念,需要构建公共数据共享、互联网平台之间数据互联互通、企业数据向政府开放的多层次数据流通体系和“自我监管+行业监管+政府监管”的多元主体治理体系。     

利用PB数据管道实现数据库之间数据同步

介绍了PowerBuilder数据管道(Ddts Pipeline)对象的主要特点.结合实际应用中遇到的数据传输问题,提出在数据库之间通过使用数据管道技术实现数据同步,并给出一个应用实例做出说明.     

数据翻译及应用

本文主要叙述了作者在多年从事CAD研究工作的基础上,提出的一种新型计算机编程理论——数据翻译的思想理论。文章中介绍了数据翻译思想由来、数据翻译的类型,以及数据翻译的具体实现方法——数据翻译器的设计与开发。最后,作者还介绍了两例应用数据翻译思想解决实际问题的例子。     

电力行业的数据规划和数据资源整合研究

随着经济的发展，国家对电力的需求越来越高。同时，电力行业也遇到了诸多应用系统方面的问题，本文是作者在近几年的工作工程中，就电力行业的数据规划和数据资源整合进行了简要的阐述和分析。以供参考。     

测量数据中异常数据的检验比较

文中在简要介绍和分析一般的测量数据检验处理的基础上,通过实例对几种数据检验方法作一比较;并介绍一种具有抗差能力的样本分位数统计检验方法。     

一种Excel数据到结构化数据的转换方法

Excel作为Microsoft Office的一部分,已经被广泛应用于各行各业的数据统计,办公电子表格文档处理等,如何将这些数据与关系数据进行统一管理,Excel半结构化数据与结构化数据的集成是前提.本文采用把XML做为中间转换模型的方法,实现Excel数据与结构化数据之间的转换.     

基于XML数据岛的客户端数据操作的实现

XML数据岛是网页设计中处理XML数据的新技术．介绍了XML数据岛的概念，讨论了Web页中XML数据绑定的原理和实现，并给出了基于XML数据岛和XML数据绑定技术在客户端实现各种数据操作的方法和代码．     

对等数据管理系统中数据映射的研究

对等数据管理系统是一种用于结构化数据共享的系统结构,数据映射表是系统中完成数据交换和共享的基础工具之一.本文概述了该领域的相关工作,简单介绍了对等数据管理系统,分析了数据映射表的概念特征和优点.在深入研究数据映射的推导问题之后,提出一个映射关系模型,在此基础上对未来映射推导问题的解决作了探讨和展望.     

云计算和大数据环境下工作流数据感知调度

为了解决具有数据约束的工作流多标优化调度问题,提出了一种在保证业务逻辑前提下并考虑数据约束的数据感知调度算法.首先通过将工作流调度建模为一个多目标优化问题,开发了一种数据感知蚁群算法(DACO)来搜索最优调度方式,其次在该算法中将判断每个任务所需的数据量和任务之间的数据约束,感知每个业务之间的数据流,最后分治策略来搜索最优调度.实验结果表明,该算法在效率和成本效益方面优于现有的求解方法.     

浅谈大数据时代的数据挖掘和数据可视化

大数据时代下数据量的爆炸式增长,使得分析和解读大数据显得尤为重要. 阐述了解析数据工具——数据挖掘和数据可视化技术,重点探讨了两者创新性结合的重要意义和实际效果.