一种基于访问趋势的数据网格动态副本创建策略

当前的副本创建策略在选取热点数据时往往没有对访问突变做出反应, 造成副本频繁创建和删除的网格动荡. 针对上述情况, 本文引入文件访问趋势的概念, 提出一种基于访问趋势的数据网格动态副本创建策略(ADRS), ADRS根据历史数据访问情况计算出文件的访问趋势, 然后根据文件的访问趋势决定数据副本的创建和删除. 仿真结果表明, 在随机访问模式下, 对比最近访问最大权重算法(LALW), ADRS能有效地降低数据副本的创建次数, 提高网格副本利用率并且在节点空间有限的情况下不会影响网格的效率     

数据网格中基于效益函数的副本管理策略

通过分析数据网格中几种经典的副本管理策略的特点,针对网格这样一个协作计算的环境,提出了基于效益函数的副本管理策略,构建具有协作涵义的效益函数作为网格节点替换本地数据副本的依据.在网格模拟器OptorSim上进行的模拟实验结果表明:提出的基于效益函数的策略相比于基于经济模型的副本管理策略,在降低网络的利用率、减少带宽和存储资源消耗的同时缩短了系统的响应时间,达到了提高系统性能的目的.论证了该策略对于副本的管理是行之有效的.     

网格中多副本数据的后向预测调度算法

针对网格环境下追求最快响应时间的多副本数据检索应用,提出了一种调度算法,该算法考虑了数据副本分布状况对负载均衡的影响.在被检索数据的多个子集分布在网格中多个节点,并且以数据子集为单位存在不定数目的副本情况下,给出了一种估算存放副本的网格节点动态负载和延时的方法.基于估算出的这些参数,算法根据对响应时间的计算和对后向任务的预测将任务分配到网格节点.后向预测考虑了网格节点被选中访问其上各个副本的可能性.最后通过仿真程序分析了该算法的性能.     

网格存储中的自适应负载平衡策略

为了优化网格存储的系统性能,针对网格环境中不同存储单元的性能差异,基于文件的访问特点提出一种自适应的负载平衡策略. 通过建立能量模型体现文件访问对存储单元的负载压力;通过与用户访问复合减少负载调整开销;通过创建和回收副本实现数据访问优化. 实验证明,提出的负载平衡策略与传统的磁盘冷却算法相比,请求处理时间和系统吞吐量均有20%左右的提高.     

一种新型的数据网格动态副本策略

许多科学实验和工程应用会产生TB或PB级的数据.这样庞大的数据体需要分布在世界不同地点的众多计算资源协同处理,高性能网格为使这些数据高效传送到地理上不同的位置提供了理想的手段.当用户频繁的访问大量远程数据时,动态副本可以有效地减少网格中的带宽消耗和访问延迟.在多层数据网格架构基础上提出了一种新型的动态副本策略:快速瀑布模型算法.Op-torSi m仿真器也被修改用以适应这种新型的策略.仿真结果表明,在随机访问模式下,对比FastSpread,LRU和Economy-Zipf ,快速瀑布策略能有效地减少平均数据访问时间,并且其优势随着用户提交作业数量的增加而增大.     

树型数据网格环境下副本放置算法研究

副本广泛地用于数据网格环境下以减少数据访问代价,降低网络带宽需求,增强容错能力等,但是副本数目受到节点存储能力等因素的限制,副本放置成为副本管理中一个值得研究的问题.文中针对网络带宽受到限制的树型数据网格,在考虑负载均衡的基础上,提出了一种利用动态规划方法求解最优最小可行副本集,然后在此基础上利用折半查找进行k个副本放...     

GDSS系统中文件缓存副本策略及其性能研究

首先针对GDSS系统中引入文件缓存副本模型的必要性进行了相关探讨,接着针对域内情况提出了一种基于访问综合评价值的文件缓存副本创建管理策略,并结合Java编写的模拟器测试工具,得到了缓存命中率和数据访问集中度,缓存时间临界值等之间的关系,然后针对该模型,详细说明了其在GDSS系统中的实现方法.     

数据网格中基于预测访问代价的作业调度算法

为解决数据网格中数据密集型作业的有效调度问题,提出了一种考虑等待队列中的作业潜在行为的基于访问代价的作业调度算法.分析了等待队列中的作业潜在行为的特点和作业访问代价的影响因素,给出了一个基于预测访问代价的作业调度算法.在OptorSim中的实验结果表明,该方法在作业平均处理时间和副本复制次数方面优于传统基于访问代价算法.     

广域存储虚拟化的一种基于最小代价副本管理模型

提出了一种基于最小代价的广域网存储虚拟化的动态副本管理模型.包括副本创建、副本选择和副本一致性更新三种策略.其中副本创建策略用排队论来分析副本创建代价和副本访问代价,动态创建副本;副本选择策略通过计算副本的最小访问代价,获得满足用户需求的副本;副本一致性更新策略采用软状态服务和对主副本、副本更新代价小的存储代理优先访问的原则进行副本的松散一致性更新.最后将本模型的实现与无副本存储系统和基于请求轮询的存储系统进行性能比较测试,测试结果表明基于最小访问代价的副本管理模型将客户端请求按照存储节点服务能力进行调度,实现了更有效的负载平衡调度.     

基于开销分摊的数据网格副本创建策略

针对数据网格中自治节点创建副本时,缺乏全局信息只能考虑本地利益最大化而增大全局网络开销的问题,构建了一种开销分摊的副本创建激励机制,通过创建副本节点与受益节点共同分摊副本创建开销来获得本地与全局利益之间的均衡.然后基于这种思想提出副本创建算法,并证明了该算法的正确性和有效性,最后模拟实验表明在满足自治的前提下该策略能较好地取得全局优化.     

Dynamic replication strategies in data grid

Dynamic data replication is a technique used in data grid environments that helps to reduce access latency and network bandwidth utilization. Replication also increases data availability thereby enhancing system reliability. In this paper we discuss the issues with single-location strategies in large-scale data integration applications, and examine potential multiple-location schemes. Dynamic multiple-location replication is NP-complete in nature. We therefore transform the multiple-location problem into several classical mathematical problems with different parameter settings, to which efficient approximation algorithms apply experimental results indicate that unlike single-location strategies our multiple-location schemes are efficient with respect to access latency and bandwidth consumption, especially when the requesters of a data set are distributed over a large scale of locations.     

基于三方演化博弈的微网接入公共配电网服务输配电价调整监管机制

在电力市场环境下,由于"吸脂效应"的存在,电网企业利润减少,微网接入公共配电网服务的微利性使得服务质量存在大幅下降的风险,迫切需要制定相应的价格激励及监管机制.从实际监管场景出发,运用演化博弈理论构建了监管机构、电网公司和微网三方博弈模型,通过支付函数建立了三方复制动态方程和雅各比矩阵,研究了各博弈主体博弈策略的关联性以及渐进稳定性结论,最后通过对渐进稳定性判据对应的各参数进行赋值,使用MATLAB软件对博弈模型进行仿真分析.仿真结果表明,准许收益、罚款、微网主动参与监管成本与电网公司运营费用是影响服务质量演化博弈渐进稳定状态的主要影响因素,适当提高准许收益与罚款,电网企业加大创新管理水平,有助于减少监管成本,促进接入服务质量提高,实现社会福利最大化.最后,提出3个建议,为政府决策和电力监管提供参考.     

网格环境下基于XML的文件数据仓库的传输策略

针对具有服务质量(QoS)的XML文件数据仓库传输策略进行分析.通过引入并行传输机制,对网格环境下的数据仓库并行传输的体系结构进行了研究,提出一种新的XML文件传输策略,利用解析减小数据传输量,提高传输效率.最后通过模拟测试对数据传输质量控制进行性能测评,证明新策略在大多数情况下可以有效、正确地提高文件传输效率,同时分析了这种传输策略不能提高效率的情况.测试结果证明通过这种策略可以明显改善在网格环境下的数据仓库模型.     

基于数据网格的教育资源服务系统的实现

研究应用网格技术来构建一个分布式网络教学资源服务系统,以便更好地共享和利用上海教育资源库,即实现了基于数据网格的教育资源服务系统（ERSDG）.首先介绍了Globus Toolkit工具包,阐述了ERSDG系统的架构和功能,提出了资源文件命名规范和资源节点分类,再分别从数据同步、资源访问服务和监控管理等方面论述了该系统的实现,最后从同步数据性能测试、用户访问和系统监控情况等方面分析了该系统性能.     

A prediction mechanism of file access popularity and optimal strategy of replicas deployment in cloud computing

In cloud computing,the number of replicas and deployment strategy have extensive impacts on user's requirement and storage efficiency.Therefore,in this paper,a new definition of file access popularity according to users' preferences,and its prediction algorithm are provided to predict file access trend with historical data.Files are sorted by priority depending on their popularity.A mathematical model between file access popularity and the number of replicas is built so that the reliability is increased efficiently.Most importantly,we present an optimal strategy of dynamic replicas deployment based on the file access popularity strategy with the overall concern of nodes' performance and load condition.By this strategy,files with high priority will be deployed on nodes with better performance therefore higher quality of service is guaranteed.The strategy is realized in the Hadoop platform.Performance is compared with that of default strategy in Hadoop and CDRM strategy.The result shows that the proposed strategy can not only maintain the system load balance,but also supply better service performance,which is consistent with the theoretical analysis.     

云计算环境中数据分布式强制访问控制算法研究

在云计算环境中,用户把敏感数据外包在云端,所以数据强制访问控制成为目前云计算研究中亟需解决的问题。当前常用的解决算法是加密数据密钥,但这种算法因密钥分发及数据管理导致计算开销大。因此,提出一种新的云计算环境中数据分布式强制访问控制算法,介绍了云计算环境中数据访问流程,分析基于密文策略和属性的加密算法,利用属性集合对云计算环境中的用户身份进行描述,通过访问控制树表示数据分布式强制访问控制结构,在用户属性集符合既定访问控制结构的情况下,用户才能够完成对数据的解密。通过属性私钥申请、文件上传和文件下载三个过程实现数据分布式强制访问控制。实验结果表明,所提算法在效率、安全性、内存消耗和控制精度四个方面均显示出了很大的优势。     

基于数据网格的PACS存储管理

利用GLOBUS TOOLKITS 4.0(GT4)来构建ACS(医产像归档和传输系统)的分布式图像归档管理系统,实现了对医学影像数据的虚拟化管理.GT4包含了用来构建数据网格的许多组件,如网格传输协议Grid-FTP、辅助存储全局访问GASS、副本定位服务RLS等.系统的设计思路是利用这些网格工具组件来构造一种可伸缩开放的,虚拟化的存储系统框架.为PACS应用提供一个高效、稳定和安全的存储管理平台,满足现在和未来医院对大容量医学图像数据的存储需求.