异构Redis集群大规模评论数据存储负载均衡设计

大规模评论数据的存储与查询性能对构建于其上的各类应用的快速响应具有重要影响.同时,异构计算环境中各计算节点性能呈现差异,如何充分开采各节点的计算和存储性能,优化大规模评论数据的存储与查询性能,是一个关键挑战.基于Redis集群的数据管理优势,首先提出了一种同构环境下基于卡槽存储平衡的大规模评论数据存储模型;然后论证了卡槽数目与节点查询效率的关系,以"负载与访问性能相平衡"的原则分配卡槽,进一步设计了异构环境下的集群节点负载计算和存储分配方法,充分开采了异构Redis集群中不同节点的性能.实验结果表明,提出的存储模型具有很好的存储平衡效果,提升了集群的整体查询效率.     

无线传感器网络的HBase数据存储模型性能分析

基于HBase数据存储结构的特点,设计了一个有效的实时存储模型,实时的数据流在集群数据库中存储速度更快,满足了用户对数据存储性能的多种需求.使用可拓学原语整合存储在HBase数据库中的异构数据集,存储管理目录研究双层分布式存储架构,提高了存储和访问的效率.研究了在存储空间不够或者集群文本系统的存储空间太大的情况下,HBase数据库集群如何动态地更新或优化数据库空间.仿真结果表明,简单的动态更新HBase数据库集群有助于优化数据库空间使用.     

基于B+树的数据索引存储

针对传统索引算法在数字数据索引应用中存在的索引建立时间开销较大问题, 提出一种将B+树理论和算法应用于索引的设计方案. 在对B+树索引基础上, 建立了索引存储模型, 结合位图存储方式将B+树节点存储在存储介质上, 实现索引存储. 实验结果表明, 使用B+树, 可按路径读取, 节省了建立索引时间, 同时提高了B+树的稳定性, 在B+树节点存储的情况下访问键值信息, 索引速度得到较大提升.     

重复数据删除系统元数据存储布局研究

根据重复数据删除的特点,针对连续数据访问为主的应用,设计基于B+树的元数据索引结构;将元数据分为冷热两种,分别设计不同的元数据布局策略。研究结果表明,低能耗磁盘能够保持更长时间的待机状态以便节能,同时可以有效地减少重复数据删除时的随机磁盘访问次数。并且没有额外的硬件开销,实现仅在磁盘上存储索引,而不是之前研究中的在磁盘和内存中存储索引。      

深腾2600新型网络服务器系统

“深腾2600新型网络服务器系统”面向国家信息化建设的应用需求，以集群架构组织计算资源，以存储区域网络进行数据存储，实现了统一管理、高性能存储、负载均衡、服务容错、存储容灾、并行数据访问及智能电源管理等功能，     

非字符数据在档案管理系统中的存储和访问

针对档案管理系统对非字符型数据进行存储和访问的一些技术难题,本文首先讨论了对现有的纸质档案扫描采集,以及对电子格式文件直接入库,在数据库中对存储这些非字符文件数据的表和索引进行分区存储管理,以提高查询和操作大量非字符数据的系统性能.最后,采用基于Autovue的组件技术进行预览查看,保证了系统风格整体一致.     

云存储及云文档服务在电子政务中的应用

云存储既是一种存储技术,又是一种存储服务。书生公司的SurCloud采用第二代云存储技术,构建基于最新硬件技术的新型体系,能够省掉存储服务器和昂贵的光纤网络,进一步大幅度降低成本,提高数据访问性能。SurCloud云存储技术SurCloud云存储技术以大容量DAS(100T以上)作为主存储设备,使用NAS备份在线数据,辅之以离线灾备数据,使用SSD固态盘和内存盘作为缓冲,用虚拟机集群代替传统服务器集群,以SAS通道代替光纤网络,按用户而不是访问量做负载均衡,双机     

文件格式存储大数据的SQL访问架构设计与实现

本文介绍通过移植和修改SQLite数据库引擎来实现File SQL架构,支持对以文件格式存储数据的SQL访问方法,用以快速、准确访问大数据量文件,解决了各种数据管理系统中对于大数据量文件的查询,修改等一系列的访问难题。     

基于Oracle的实时数据存储访问

面对快速发展的数据分析需求,流程工业实时数据库单纯的数据存储和回溯功能已不能满足实际的应用要求.以关系数据库为介质,研究了基于Oracle的实时数据获取、处理、存储和访问技术.重点探讨了实时数据的压缩存储,并给出采用Oracle数据库内部语言PL/SQL实现数据压缩算法,由于数据的存储和访问中引进了数据压缩技术,在低频率和点数较少时,该技术可作实时数据库的替代方案.给出的方法在Oracle10g企业版中测试通过,并成功应用在某大型石化企业的丁二烯分离装置上,取得了良好的效果.     

基于决策调度的Cache集群存储架构

阐述了一个应用于网络存储的新集群架构,该架构的构建是将网络Cache技术与集群技术结合,其核心是节点服务器的缓存机制以及后台的集群决策.架构均衡了系统的负载,并充分利用资源,向用户提供稳定、快速的存储服务.架构节点使用普通PC计算机作为服务器,对于企业级的存储应用能达到最优性价比.讨论了集群架构、集群后台决策机制以及Cache调度算法.     

全国林业资源数据集群存储技术研究

为解决全国大规模一体化林业资源管理, 设计了适用于全国林业资源数据的分布式空间数据存储系统。通过数据分块、 索引分级、 集群合并, 将各省和国家的林业资源数据集群在逻辑上合并成一个大数据集群。分布式空间数据存储系统的应用和全国数据集群的合并加快了数据处理速度, 统一了数据管理过程, 建立了全向的并发数据通道。为实现林业资源数据的全国一体化应用做了积极探索。     

面向分布式存储的空间数据放置方法研究

目前,互联网中海量空间数据采用分布式存储,空间数据放置直接关系到数据访问效率.为了提高分布式存储中空间数据访问效率,提出了一种DHT-R数据放置策略,该策略将分布式哈希表（DHT）和R树相结合,按照分布式哈希表存储空间数据基本信息和索引地址,同时以R树型结构组织和存放空间数据,R树存储使得快速访问空间数据成为可能.实验发现,数据存取的可靠性较高,数据的吞吐时延也明显低于业界的阀值,DHT-R放置方法在大量访问压力下依然能良好的平衡和并发.     

物联网环境下负载均衡的低代价云存储数据副本分布

为满足物联网终端结点移动性和数据访问实时性要求,根据云存储中副本分布与访问的模式,提出结合数据访问点位置和访问频率,具有低访问代价的存储服务器选取方法.考虑负载对访问代价的影响,通过动态更新代价矩阵,提出负载均衡机制.研究结果表明:该方法在最少副本数目的前提下,将副本分配到与访问情况相适应的具有较低访问代价的存储服务器上,可有效减少数据访问开销,并避免副本集中分布,保证各存储服务器的负载均衡,更适合于物联网环境中云存储数据管理.     

The Reliability Design and Availability Analysis of a Distributed Storage System

Current distributed parallel file systems and database systems can not satisfy the demands of data-intensive applications, such as storage capacity, access performance, reliability, scalability, and so on. Cluster-based storage sys tems have some shortcomings, too. To solve this kind of problems, a novel PC storage cluster solution is proposed, a distributed storage system based on 3-tiered agent architecture is designed, the system reliability model based on the masterslave backup mode is built, and the system availability is analyzed with the Markov model. According to the system availability formula and the values of the system parameters, the novel system can provide higher reliability and availability to satisfy users＇ requirements,     

云存储结构模型及云存储架构的比较研究

云存储的概念是一个新的概念,它所利用的技术包括集群计算、分布式文件系统以及网格计算技术等。这些异构的存储系统通过彼此的协调、配合,构成一个虚拟的、巨大的存储系统,作为一个整体共同对外提供数据存储和业务访问功能。文章阐述了云存储结构模型,并对几种典型云存储的架构进行了比较研究。     

基于HDFS的分布式文件系统

在现有的开源分布式文件存储系统HDFS上,构建一个智能大数据存储系统IHDFS.该系统提出了大数据去重模块、大数据放置模块、大数据智能迁移模块和大数据编码模块,构造了智能分布式文件存储系统,可以提高用户访问效率,节省集群的存储空间.实验结果表明,数据去重模块很好地节省了存储空间;数据放置模块合理地分配文件上传的存储层,使数据上传速度提高一倍;数据智能迁移模块提高了用户在高等存储层上文件的命中率,提高了用户获取数据的效率;数据编码模块节省了集群的储存空间,节省了大约原来存储空间的三分之一.     

广域存储虚拟化的数据访问控制模型研究

分析了传统的单域分布式存储服务中几种常用的访问控制模型．针对广域存储虚拟化的需求，指出传统模型的不足之处．进而引出了存储服务点的概念．提出通过使用存储服务点结合基于票据的访问控制的形式来实现广域范围类的单一用户身份认证并提高存储服务的效率．在此基础上，进一步提出将基于票据的访问控制与扩展的访问控制列表相结合的方法来实现存储服务的服务质量．     

基于数据网格的PACS存储管理

利用GLOBUS TOOLKITS 4.0(GT4)来构建ACS(医产像归档和传输系统)的分布式图像归档管理系统,实现了对医学影像数据的虚拟化管理.GT4包含了用来构建数据网格的许多组件,如网格传输协议Grid-FTP、辅助存储全局访问GASS、副本定位服务RLS等.系统的设计思路是利用这些网格工具组件来构造一种可伸缩开放的,虚拟化的存储系统框架.为PACS应用提供一个高效、稳定和安全的存储管理平台,满足现在和未来医院对大容量医学图像数据的存储需求.     

支持大规模地震探测数据快速可视化的云端数据缓存技术

首先, 基于云计算应用模式, 提出一种能有效利用云存储架构的双层缓存技术. 通过在客户端和服务器端建立分布式缓存, 能有效避免用户频繁访问远端数据, 为用户构建轻量级的客户端, 解决了目前地学数据可视化软件大量占用用户本地存储容量的问题. 同时服务器端也避免了多次访问云存储文件系统, 减少了大量的数据检索与加载时间. 其次, 提出一种ARLS(association rule last successor)访问预测算法, 根据用户的历史访问记录, 利用关联规则挖掘用户的访问模式, 对其访问行为进行预测, 进而提前加载数据, 提高缓存命中率, 解决了用户在可视化过程中不断移动兴趣区域, 频繁更换渲染数据的问题, 能有效应对用户具有多种访问模式的情况, 提高了预测准确率. 实验结果表明, 该云存储架构显著减少了本地资源消耗, 访问预测算法的准确率在最差情形下可达47.59%, 平均准确率达91.3%, 分布式缓存的平均缓存命中率达95.61%, 可有效支持云端大规模地震数据的快速可视化.     

分布式信息搜集系统中URL存储检索的设计与分析

URL的存储检索效率是构建大规模分布式信息搜集系统的关键，其决定了系统搜集Web文档的效率，对URL存储检索性能做定量分析，分别得出MRL存储及检索所需要达到的速度指标，在此基础上，提出了两种URL存储检索原型，即集中URL服务器存储检索和分布URL存储检索，并对这两种原型系统的检索速度，性能价格比，可扩展性以及可靠性进行了分析比较。实际应用中，可以根据优化目标选择相应的URL存储检索实现方式。