基于RDF的海量语义数据管理研究

随着Web信息呈指数级增加,目前存储模式已难以适应大规模RDF数据高效存储的需求。本文通过对语义万维网结构以及RDF语义文件存储和查询技术的研究,分析了海量语义数据管理的研究领域和现状,提出了基于RDF的海量数据管理框架。该框架旨在实现对海量数据的管理,以解决RDF数据管理中存在存储设计难度大,查询处理复杂且效率低,查询结果排序困难的问题。     

基于ILM的数字图书馆分层存储架构研究

为了管理和保存海量信息,本文提出基于信息生命周期管理的数字图书馆分层存储架构模型,在考虑到数字图书馆肩负着长期保存海量信息的责任,首先,对此模型中各功能模块,分块阐述其工作内容;第二,详细介绍在数字图书馆中此模型的使用流程;最后,对此模型的研究方向进行展望。     

大数据云存储下海量数据传输完整度控制技术

为确保大数据云存储下海量数据传输的完整度,提出了一种基于属性特征匹配和关联规则的海量数据传 输完整度控制方法。构建海量数据的属性特征高维重组模型,得到关键信息的特征分布状况,据此设计海量数 据的关键信息存储分布结构模型,采用关联规则方法进行海量数据的关键信息特征挖掘提取,利用关键信息进 行海量数据的特征分析和数据聚类处理,采用属性特征匹配方法设计海量数据关键信息存储节点后,利用模糊 减法聚类对关键信息存储节点进行聚类处理,在海量数据传输中,以数据关键信息存储节点传输的完整度实现 海量数据的传输完整度控制。仿真结果表明,采用该方法进行海量数据传输完整度控制,能提高云存储下的空 间利用效率,数据传输完整度高。     

基于NoSQL的电力系统大数据管理

在大数据时代,针对大数据管理的需求,根据大数据的特点和支持大数据管理系统的特定性,电力系统也要在数据存储、数据访问、数据分析等方面进行相适应地管理,针对海量数据,采用NoSQL存储系统支持海量电力信息数据的存储和柔性管理.其中,介绍相关前沿研究和研究挑战,支持电力信息数据的体系结构,基于NoSQL的大数据管理,进而为电力系统未来发展趋势提供分析与预测.     

一种流程工业的分布式海量报警管理系统

提出了一种应用于流程工业的分布式海量报警管理系统,利用Hadoop平台的分布式可扩展特性实现了海量报警数据的可靠存储和高效处理.在数据存储层,通过合理的列式存储结构设计,实现了海量报警数据的分布式集群存储;在信息查询层,实现了类MapReduce过程的报警管理系统分布式并行查询模型;在功能应用层,根据业务需求实现了基本的报警管理功能模块.测试结果表明,面对海量报警数据的应用场景,基于Hadoop平台的分布式海量报警管理系统比传统报警管理系统具有更为出色的性能.     

数据网格信息服务研究

在中间件Globus的MDS基础上,构建数据网格信息服务的分布式体系结构,提出了构成数据网格信息服务基本框架的模块和协议,使数据网格能高效地对海量数据进行存储、信息发现、访问和管理。     

数据网格信息服务研究

在中间件Globus的MDS基础上,构建数据网格信息服务的分布式体系结构,提出了构成数据网格信息服务基本框架的模块和协议,使数据网格能高效地对海量数据进行存储、信息发现、访问和管理.     

数据网格信息服务研究

在中间件Globus的MDS基础上，构建数据网格信息服务的分布式体系结构，提出了构成数据网格信息服务基本框架的模块和协议，使数据网格能高效地对海量数据进行存储、信息发现、访问和管理。     

航天产品可靠性信息云数据库平台构建技术与方法

为了解决航天产品可靠性设计与评估工作中数据备份和恢复操作效率低,无法快速有效地获得准确数据,整个数据的监控和安全机制无法统一调度等方面的缺陷,文中以关系型云数据库为着眼点,分析可靠性信息云数据库平台的系统架构,设计该模型下的数据访问策略,进行了海量数据存储、访问、分析和管理方面的研究。最后构建一种适应航天产品可靠性信息复杂性、海量性和多源性特点的数据库体系架构。为未来可靠性信息云数据库平台支持系统扩展、信息安全管理、海量数据存储和恢复备份研究提供思路。     

海量数据管理技术在桥梁结构监测中的应用

介绍了桥梁结构监测中海量数据管理的现状,提出大型数据存储技术在桥梁结构监测中的应用,着重论述了海量数据存储与管理系统的总体方案,提出了数据管理平台的总体架构,构建了一套架构先进、性能高效的海量数据存储与管理平台。基于数据库集群技术,通过ORACLE数据库平台,有效地实现了大数据的管理使用,为大型桥梁的状态评估和日后的状态预测、溯源提供数据依据。     

可快速响应的虚拟三级存储系统RAT

利用SCST中间驱动层,将磁盘阵列与磁带虚拟为一种有别于虚拟磁带库的新型三级虚拟存储系统,将用户文件分割存放在阵列和磁带库上,在服务用户请求时,首先由阵列快速响应用户请求的前一部分数据,同时磁带库执行机械操作准备剩余数据,以屏蔽磁带库响应等待时间,并利用磁盘阵列数据冗余特性确保数据可靠保存,形成海量、快速、可靠的第三级存储子系统.经对比测试该系统用于备份应用时,其备份恢复操作的初始响应时间显著小于传统磁带库系统.     

基于云计算的数据存储技术研究

以云计算环境下大数据存储技术为研究对象,首先介绍了云计算环境下主要的两种典型的分布式存储系统,即Googk的GFS和Hadoop的HDFS;对其中的数据存储技术进行了专门分析,从可扩展性和延迟性（如何支持海量小文件的存储）、容错性（在数据丢失时进行数据恢复）和海量数据存储的实时性这3个方面对现有技术进行了评价.在此基础上,提出了分布式文件系统的系统架构.最后给出了研究展望.     

论海量存储在数字图书馆中的地位及模式选择

论述了海量存储在数字图书馆发展中的必然性,通过对目前流行的3种海量存储方式的比较,指出了各馆在进行海量存储方式选择时的一些建议。     

大数据存储中的容错关键技术综述

不断增长的海量数据需要被可靠存储,而分布式存储系统庞大的节点规模和数据规模,大大提升了发生节点失效的概率,容错技术成为大数据存储中不可忽视的关键技术.文中介绍了数据容错的两种基本策略：复制和纠删码,并分别总结了将这两种容错策略具体应用于大数据存储时所面对的问题和相关解决技术,如与基于复制的容错技术相关的副本系数设置、副本放置策略、副本一致性策略、副本修复策略和纠删码领域的再生码技术等.     

基于三方通信构架的可信任网络存储安全系统的研究

采用三方通信模式和权能标识机制构建系统级的存储安全系统,分析结果表明该方案能同时满足海量存储系统及其安全性要求;为了折衷系统性能和安全性,引入可信任模式的访问机制,并给出了相应的信任框架,在提供安全性的同时,减少了权能标识的验证数量,保证了系统的性能.     

云存储数据缩减技术研究

基于云计算应用中的云存储技术,使数据存储变得安全可靠和易管理。在云存储技术数据存储的过程中,不仅考虑数据读写的速度,还得处理数据存储效率,以便满足当前海量信息存储的需求。云存储中的数据缩减技术可以缩减数据信息量,提高存储的效率,满足数据存储急剧的要求。通过对几种数据缩减技术进行比较研究分析,探讨了对数据处理后存储的效率以及每项技术发展状况,为用户选择云存储数据缩减技术提供有力的参考。     

基于交叉开关的近线存贮系统

针对多媒体数据的爆炸式增长急需高性价比的存贮解决方案,提出了一种基于交叉开关的近线存贮系统.该系统利用大容量的SATA硬盘阵列取代机械手控制的磁带库,通过交叉开关矩阵切换实现与主机按需连接.给出了存贮系统的模型,对交叉开关矩阵的硬件和固件设计、主机调度策略的设计思想、系统端口编址、硬盘端口编址、内部开关编址分别进行了阐述.原型系统验证本系统可以很好地满足多媒体业务的需求.     

VISA存储网络系统元数据管理的研究

为了提高虚拟接口存储结构(VISA)存储网络系统的性能,设计实现了基于块级的元数据管理子系统.该系统的元数据管理子系统实现了物理设备和逻辑设备的块地址空间之间的映射,支持动态地址映射、动态块重分配和热块冗余技术,可以对I/O请求的路径和数据传输的路径完全控制,从而有效地改善了VISA存储网络系统的I/O性能,使数据布局更加合理,提高了存储管理的灵活性,初步实现了负载均衡,并且使VISA存储网络系统具备了容错能力和节点的动态增加能力.测试结果表明:在加入了基于块级的元数据管理功能带来相应开销的情况下,VISA存储网络系统原型与传统存储网络系统iSCSI Linux MD相比,传输延迟减少了8.2%～21.0%,传输吞吐率提高了8.7%～11.9%.     

云环境中基于金字塔模型的影像数据存储方法

随着卫星遥感获取技术的发展,影像数据量呈几何式增长,传统数据存储技术已经无法适应海量影像数据的处理要求.结合金字塔模型和MapReduce架构提出了一种适用于云计算环境的分布式并行存储方法—BMLStorage(storage based on MapReduce and local file system),该方法基于金字塔模型对影像数据进行分层分块处理,并对所得瓦片重新编码.定义了一种新的存储规则,使得所有瓦片可以按照此规则利用Hadoop中的MapReduce框架实现并行存储.实验表明,该方法与现有方法相比,在海量影像数据存储性能方面有一定的提高.