树型数据网格环境下副本放置算法研究

副本广泛地用于数据网格环境下以减少数据访问代价,降低网络带宽需求,增强容错能力等,但是副本数目受到节点存储能力等因素的限制,副本放置成为副本管理中一个值得研究的问题.文中针对网络带宽受到限制的树型数据网格,在考虑负载均衡的基础上,提出了一种利用动态规划方法求解最优最小可行副本集,然后在此基础上利用折半查找进行k个副本放...     

面向分布式存储的空间数据放置方法研究

目前,互联网中海量空间数据采用分布式存储,空间数据放置直接关系到数据访问效率.为了提高分布式存储中空间数据访问效率,提出了一种DHT-R数据放置策略,该策略将分布式哈希表（DHT）和R树相结合,按照分布式哈希表存储空间数据基本信息和索引地址,同时以R树型结构组织和存放空间数据,R树存储使得快速访问空间数据成为可能.实验发现,数据存取的可靠性较高,数据的吞吐时延也明显低于业界的阀值,DHT-R放置方法在大量访问压力下依然能良好的平衡和并发.     

分布式存储系统中混合数据布局算法

数据布局算法是分布式存储系统的基础性算法,也是提高数据处理效率的关键。针对节点负载和通信延迟等存储节点状态,提出了一种衡量存储节点可用性的通用方法,并在分析了已有算法的基础上,综合各种算法的优点,提出了一种混合数据布局算法。该算法根据存储节点可用性不同而采取不同的数据冗余策略。通过对比分析,证实该算法在存储量与通信量方面具有较大的优越性。     

Data Location Mechanism in Agent-Based Autonomic Storage Systems

This paper introduces agent-based methodology to build a distributed autonomic storage system infrastructure, and an effectively negotiation mechanism based on agent is applied for data location. We present Availability-based Data Allocation （ADA） algorithm as a data placement strategy to achieve high efficient utilization of storage resources by employing multiple distributed storage resources. We use Bloom filter in each storage device to track the location of data. We present the data lookup strategy that small size of read request is handled directly, and large size of read request is handled by cooperation with storage devices.The performance evaluation shows that the data location mechanism is high available and can work well for heterogeneous autonomic storage systems.     

数据分级存储系统中数据分级算法研究

随着数据存储规模的海量增长,降低存储系统的总拥有成本,提高数据访问效率是海量数据分级存储系统的关键.在分析了两种典型的数据分级算法后,结合两种算法的优点对算法进行了改良,提出了基于数据访问频率和数据设备依赖度的自动分级算法,实验结果验证了算法的有效性和数据分级算法具有较高的准确率.     

林业资源数据集群的快速索引设计

设计一种快速索引以管理分布存储的林业资源数据, 通过大量独立数据节点共同负载数据请求, 减少数据访问过程的互斥, 实现了空间与属性数据的分布式存储并行访问. 实验结果表明, 基于目前的应用服务器集群, 应用该快速索引方法, 能以较低的改进成本提高整个数据集群的快速统计和更新能力.     

一种不依赖访问热度信息的分布式文件放置算法

文件放置问题一直是分布式存储领域的研究热点。分布式文件存储系统HDFS随机选择节点完成文件放置,存在访问负载分布不均衡的缺点。研究人员提出大量基于文件访问热度信息的放置算法;但是,文件的访问热度信息是动态变化的,难以准确预测。提出一种不依赖访问热度信息的分布式文件放置算法;该算法仅使用文件的创建时间信息,利用文件已创建时间与访问热度之间的相关性,首先将时间进行区间划分,然后统计出各节点在不同时间区间内所创建文件的数据量,放置过程中保持同一时间区间的数据量在不同节点间大致相同。实验结果表明,该算法不仅可以使各节点的存储负载达到均衡,还能够提升访问负载的均衡,消除因文件访问热度不均而导致的性能瓶颈。     

一种分布式冗余的实时数据存储检索机制

为解决传统集中式实时数据库吞吐量、容错性、可扩展性不足的难题,提出一种基于分布式架构、具备多重副本管理功能的实时数据存储检索机制.该机制结合一致性哈希算法与基于多版本控制的数据组织方案,从实时数据的存储、管理、查询三方面进行设计和优化,在保证数据存取实时性的基础上实现了备份同步、一致性修复等核心功能,从而有效提高了实时数据库的海量数据存储与处理能力,为实时数据库向分布式存储、多重冗余备份、系统规模动态调整等方向的转变奠定了基础.通过在原型系统中测试验证,结果表明该机制能够达到设计预期目标和性能要求.     

A Multi-Objective Optimization Method of Initial Virtual Machine Fault-Tolerant Placement for Star Topological Data Centers of Cloud Systems

Virtualization is the most important technology in the unified resource layer of cloud computing systems.Static placement and dynamic management are two types of Virtual Machine(VM) management methods.VM dynamic management is based on the structure of the initial VM placement,and this initial structure will affect the efficiency of VM dynamic management.When a VM fails,cloud applications deployed on the faulty VM will crash if fault tolerance is not considered.In this study,a model of initial VM fault-tolerant placement for star topological data centers of cloud systems is built on the basis of multiple factors,including the service-level agreement violation rate,resource remaining rate,power consumption rate,failure rate,and fault tolerance cost.Then,a heuristic ant colony algorithm is proposed to solve the model.The service-providing VMs are placed by the ant colony algorithms,and the redundant VMs are placed by the conventional heuristic algorithms.The experimental results obtained from the simulation,real cluster,and fault injection experiments show that the proposed method can achieve better VM fault-tolerant placement solution than that of the traditional first fit or best fit descending method.     

VirtCO:Joint Coflow Scheduling and Virtual Machine Placement in Cloud Data Centers

Cloud data centers, such as Amazon EC2, host myriad big data applications using Virtual Machines(VMs). As these applications are communication-intensive, optimizing network transfer between VMs is critical to the performance of these applications and network utilization of data centers. Previous studies have addressed this issue by scheduling network flows with coflow semantics or optimizing VM placement with traffic considerations.However, coflow scheduling and VM placement have been conducted orthogonally. In fact, these two mechanisms are mutually dependent, and optimizing these two complementary degrees of freedom independently turns out to be suboptimal. In this paper, we present VirtCO, a practical framework that jointly schedules coflows and places VMs ahead of VM launch to optimize the overall performance of data center applications. We model the joint coflow scheduling and VM placement optimization problem, and propose effective heuristics for solving it. We further implement VirtCO with OpenStack and deploy it in a testbed environment. Extensive evaluation of real-world traces shows that compared with state-of-the-art solutions, VirtCO greatly reduces the average coflow completion time by up to 36.5%. This new framework is also compatible with and readily deployable within existing data center architectures.     

基于分布式FTP的二进制大对象存取算法

为提升二进制大对象(BLOB)存储系统的可靠性和存储效率,设计了一种新的BLOB存取算法.通过建立分布式BLOB存储模型,设计了基于多列等候队列的存储结构,证明了适当增加等候队列数量,可改善存储系统性能.系统采用混合型数据放置策略,分布地存储BLOB数据于FTP群集中各个结点,并将其属性存储于元数据服务器.结果表明,随着系统容量的不断增长,各结点存储性能稳定,数据完整性良好.     

Approximate Data Aggregation in Sensor Equipped IoT Networks

As Internet-of-Things(IoT) networks provide efficient ways to transfer data, they are used widely in data sensing applications. These applications can further include wireless sensor networks. One of the critical problems in sensor-equipped IoT networks is to design energy efficient data aggregation algorithms that address the issues of maximum value and distinct set query. In this paper, we propose an algorithm based on uniform sampling and Bernoulli sampling to address these issues. We have provided logical proofs to show that the proposed algorithms return accurate results with a given probability. Simulation results show that these algorithms have high performance compared with a simple distributed algorithm in terms of energy consumption.     

基于区块链的非结构化大数据动态安全存储

当前大数据交互的不透明性以及数据文件访问形式的不合理性, 导致大数据存储存在存储延时长、 安全性较差的问题, 为此提出基于区块链的非结构化大数据动态安全存储技术。 构建多用户规则调度模型, 利用存储数据包生成独立的行向量与 n 阶矩阵, 基于列不满秩概率完成存储算法设计; 采用区块链非对称加密技术的公私钥, 实现透明与完整的数据交互, 对次要信息与数据访问形式实施记录。 引入分布式文件系统, 将其与Mongo DB 非关系型数据库有效结合, 从而使非结构化大数据得到安全存储。 仿真实验结果表明, 该方法不仅具有理想的存储速率, 而且使大数据的完整性得到了保证, 具有理想的有效性与实践性。     

支持大规模地震探测数据快速可视化的云端数据缓存技术

首先, 基于云计算应用模式, 提出一种能有效利用云存储架构的双层缓存技术. 通过在客户端和服务器端建立分布式缓存, 能有效避免用户频繁访问远端数据, 为用户构建轻量级的客户端, 解决了目前地学数据可视化软件大量占用用户本地存储容量的问题. 同时服务器端也避免了多次访问云存储文件系统, 减少了大量的数据检索与加载时间. 其次, 提出一种ARLS(association rule last successor)访问预测算法, 根据用户的历史访问记录, 利用关联规则挖掘用户的访问模式, 对其访问行为进行预测, 进而提前加载数据, 提高缓存命中率, 解决了用户在可视化过程中不断移动兴趣区域, 频繁更换渲染数据的问题, 能有效应对用户具有多种访问模式的情况, 提高了预测准确率. 实验结果表明, 该云存储架构显著减少了本地资源消耗, 访问预测算法的准确率在最差情形下可达47.59%, 平均准确率达91.3%, 分布式缓存的平均缓存命中率达95.61%, 可有效支持云端大规模地震数据的快速可视化.     

分布式空间数据库中有效数据频繁项实时检测研究

当前数据频繁项检测方法往往具有数据存储结构复杂、维护困难和复杂度高的弊端;针对这种情况,提出一种新的分布式空间数据库中有效数据频繁项实时检测方法。对事物数据进行分配,建立全局VFP树,将最近窗口中全部项集添加至全局VFP树,通过临时表对项集信息进行保存,利用遍历全局树实时检测有效数据的频繁项。通过滑动窗口的初始化阶段与滑动阶段对最旧一批项集临时表进行处理,实现维护。实验结果表明,所提方法能够有效实现分布式空间数据库中有效数据频繁项的实时检测;和其他方法相比,复杂度低、检测可靠性高。     

基于隐含QOS-簇映射的分布式自适应副本分布算法

研究了数据网格中数据副本分布与存取的关键问题.基于对动态副本访问模式预测机制的分析,同时考虑QoS,提出“读-复制”和“测试-删除”机制,实现了一种基于隐含QoS-簇映射的分布式自适应副本分布算法(QCMR-DG).模拟试验表明,QCMR-DG算法能够以相当低的代价为数据网格应用提供至少满足各自QoS要求的较高数据存取速率.     

物联网环境下负载均衡的低代价云存储数据副本分布

为满足物联网终端结点移动性和数据访问实时性要求,根据云存储中副本分布与访问的模式,提出结合数据访问点位置和访问频率,具有低访问代价的存储服务器选取方法.考虑负载对访问代价的影响,通过动态更新代价矩阵,提出负载均衡机制.研究结果表明:该方法在最少副本数目的前提下,将副本分配到与访问情况相适应的具有较低访问代价的存储服务器上,可有效减少数据访问开销,并避免副本集中分布,保证各存储服务器的负载均衡,更适合于物联网环境中云存储数据管理.     

File assignment policy in network storage system

0　IntroductionStorageareanetworks(SAN)andNetworkattachedstorage(NAS)aretwoprovenapproachestonetworkingstorage.Ingeneral,bothofSANandNASemploytheswitchtechnologyforinterconnectthatcanefficientlyreducedelayandcompetitionofnetwork[1 3] .Inthissystem ,anaccesstoonedeviceisinde pendentofotherdevices.Fromviewofabstract,eachnetworkstoragedeviceisviewedasnetwork attacheddisk .SAN (FibreChannel attacheddisks)andNAS (Ethernet \|attacheddisks)areexamplesofsuchanapproach .Sointhispaper,thenetw…     

采用区块链的物联网数据共享方案

针对物联网(IoT)数据共享过程中存在的安全漏洞和隐私泄露风险,提出一种基于区块链的物联网数据共享方案.采用数据的不可篡改、分布式存储、隐私保护、可追溯及访问控制,将消息队列遥测传输(MQTT)作为通信协议和中间件,并为其提供身份认证和主题权限管理.结合国产加密算法实现密钥交换、数据摘要和加密传输,通过区块链记录设备的行为,在提高可信度的同时提供追溯的能力,采用智能合约对数据和主题进行共享和管理,实现链上链下数据协同保障数据的一致性.通过系统原型实现与测试,结果表明：该方案能够确保物联网设备之间共享数据时的安全性和隐私性,满足物联网应用性能需求,具有可行性.     

Power cost minimization in data centers Via Lyapunov optimization①

With the advent of big data , the demand for computing has been increasing in a very large scale for the past decade , so geographically distributed data centers are erected in the direction of cloud computing development .A Lyapunov optimization approach is considered for the problem of minimi-zing energy cost for distributed Internet data centers (IDCs).By capturing the power cost of servers and cooling systems , the Lyapunov optimization technique is formulated to design a decisive strategy that offers provable power cost minimization and QoS guarantees .The algorithm performance and ef-fectiveness are validated via simulations driven by real world traces .