树型数据网格环境下副本放置算法研究

副本广泛地用于数据网格环境下以减少数据访问代价,降低网络带宽需求,增强容错能力等,但是副本数目受到节点存储能力等因素的限制,副本放置成为副本管理中一个值得研究的问题.文中针对网络带宽受到限制的树型数据网格,在考虑负载均衡的基础上,提出了一种利用动态规划方法求解最优最小可行副本集,然后在此基础上利用折半查找进行k个副本放...     

基于小世界的物联网中副本定位算法

物联网具有数据量大,节点异构且分布广泛等特点。采用副本存储可以提高数据访问性能。针对物联网中对副本定位快速高效要求的问题,提出一种基于小世界的类-域层次的物联网中副本定位方法。从物联网中数据访问的局部聚类性考虑,将节点划分为类层次和域层次,分别采用根据类-域数据访问特点的双向环形消息扩散机制,实现副本的局部和全局定位,从而提高副本定位的效率。     

基于对象存储系统中的热点数据平衡策略

针对基于对象存储系统(OBS)中的热点数据问题,提出了一种基于预测和数据副本迁移的均衡策略.对基于对象存储结点(OSD)的热度进行预测,元数据服务器(MDS)据此对存储结点进行均衡协调,存储结点则响应协调规则并采用贪心法选出尽量小而且访问客户多的对象进行副本迁移.此外,采用增量备份的方法解决副本迁移可能造成的数据不一致问题.实验结果表明策略的预测误差在8%以内.     

异构Hadoop集群中数据副本放置策略优化

针对默认的Hadoop数据副本策略未考虑集群节点硬件配置的异构、文件访问特点、实时负载等信息,导致异构环境中集群计算任务本地化比例下降、影响计算性能,提出计算型数据的副本放置优化策略.量化数据访问特征以及节点实时性能和负载,以节点数据访问负载与其计算性能相匹配为原则为副本选择存储节点.实验结果表明:与默认策略相比,优化的副本放置策略能更有效地为副本选择合适的存储节点,提高计算任务本地化比例和计算性能,并使集群对节点的变动具有更好的适应性.     

一种平衡数据读写开销的数据复制方法

大型分布式系统通常将系统内存储的数据复制到多个节点以减少数据访问的时间开销.然而,随着数据副本数量的增加,副本数据更新过程的写代价也随之增加.如何合理地选择数据副本的存储节点、控制副本数量,以平衡数据的读写开销,进而有效地降低系统总的数据访问代价是分布式存储的研究热点.针对这一问题,本文提出了一种基于遗传算法的数据复制方法来平衡数据的读写开销.具体地本文对遗传算法进行了以下两方面改进:(1)建立了一个综合考虑读写数据传输代价的评价函数,以控制遗传算法的收敛方向,搜索数据副本存放位置的最优或次优策略;(2)通过时间序列预测方法来启发式地指导染色体变异操作,以合理控制副本数量适应数据的读写访问趋势.实验表明,与传统方法相比,本方法能够更有效地降低数据访问的总时间代价.     

广域存储虚拟化的一种基于最小代价副本管理模型

提出了一种基于最小代价的广域网存储虚拟化的动态副本管理模型.包括副本创建、副本选择和副本一致性更新三种策略.其中副本创建策略用排队论来分析副本创建代价和副本访问代价,动态创建副本;副本选择策略通过计算副本的最小访问代价,获得满足用户需求的副本;副本一致性更新策略采用软状态服务和对主副本、副本更新代价小的存储代理优先访问的原则进行副本的松散一致性更新.最后将本模型的实现与无副本存储系统和基于请求轮询的存储系统进行性能比较测试,测试结果表明基于最小访问代价的副本管理模型将客户端请求按照存储节点服务能力进行调度,实现了更有效的负载平衡调度.     

分布式文件系统K-DFS的设计与实现

设计并实现了一个可应用于CNGrid(中国国家网格)的分布式文件系统——K-DFS(Keda分布文件系统),该系统可以管理大量的存储节点并同时向多用户提供远程文件访问服务.K-DFS通过跟踪器的监控和管理,有效地解决了多存储节点的访问和同步问题,并实现了负载均衡的功能,避免数据集中于少量存储服务器中.通过副本冗余存储技术,K-DFS保障了远程文件的安全性,有效防止了由于存储节点宕机导致的文件丢失问题.同时,K-DFS具有良好的可扩展性,可以动态地增加存储节点,支持Windows和Linux平台的多种应用,特别适合各种以文件为载体的网络服务.     

网格中多副本数据的后向预测调度算法

针对网格环境下追求最快响应时间的多副本数据检索应用,提出了一种调度算法,该算法考虑了数据副本分布状况对负载均衡的影响.在被检索数据的多个子集分布在网格中多个节点,并且以数据子集为单位存在不定数目的副本情况下,给出了一种估算存放副本的网格节点动态负载和延时的方法.基于估算出的这些参数,算法根据对响应时间的计算和对后向任务的预测将任务分配到网格节点.后向预测考虑了网格节点被选中访问其上各个副本的可能性.最后通过仿真程序分析了该算法的性能.     

一种基于访问概率预分配的流媒体集群动态副本更新算法

研究了同构流媒体集群服务器环境下的动态副本放置问题,提出一种请求调度和动态内容部署相结合的新颖策略.首先采用滑动窗的方式预测各文件的点播率,以平衡服务器之间的实时累积访问概率为目标,在不进行内容部署的情况下,预分配相同文件不同副本的访问概率;同时进行零迁移代价的动态内容更新,从而能够提前反映出请求的实时倾向性,在降低系统请求拒绝率的同时,有效地减少了请求被分发到过载服务器后产生负载迁移的频度和代价.仿真分析的结果表明这种策略对于流媒体服务系统的研究和实践具有指导意义.     

云计算环境下的动态数据副本管理策略

针对云计算系统中的单点失效问题,提出一种云计算环境下的动态数据副本管理策略.该管理策略通过综合考虑目标放置节点的当前负载状况、可用存储空间大小、通信带宽以及其历史访问记录和历史失效记录等状态参数来进行数据文件的副本放置决策,并在进行副本置换操作时给予大尺寸数据文件副本更高的优先权.测试结果表明:该管理策略具有较为稳定的平均数据访问距离,且在云计算系统的负载均衡水平和平均任务执行时间指标上优于另外几种经典的副本策略.     

A prediction mechanism of file access popularity and optimal strategy of replicas deployment in cloud computing

In cloud computing,the number of replicas and deployment strategy have extensive impacts on user's requirement and storage efficiency.Therefore,in this paper,a new definition of file access popularity according to users' preferences,and its prediction algorithm are provided to predict file access trend with historical data.Files are sorted by priority depending on their popularity.A mathematical model between file access popularity and the number of replicas is built so that the reliability is increased efficiently.Most importantly,we present an optimal strategy of dynamic replicas deployment based on the file access popularity strategy with the overall concern of nodes' performance and load condition.By this strategy,files with high priority will be deployed on nodes with better performance therefore higher quality of service is guaranteed.The strategy is realized in the Hadoop platform.Performance is compared with that of default strategy in Hadoop and CDRM strategy.The result shows that the proposed strategy can not only maintain the system load balance,but also supply better service performance,which is consistent with the theoretical analysis.     

云计算不失为中小企业的合适之选

中小企业资金少,发展快,但专业IT人员稀缺。如何选择适合于自己的存储方案,成为中小企业健康成长的关键环节。云计算技术借助互联网中巨型计算机,可进行强大的信息处理功能。它可以解决过去企业需要在每台电脑中安装软件,又需要专人进行维护的烦恼。现在只要利用全新的云计算技术,尤其是其低廉的费用,即使没有资金实力的企业,也能一瞬间在互联网上寻找到需要的信息。文章先介绍什么是云计算技术,再描述云在中小企业的应用实例及所带来的收益。最后分析"云"可能存在的安全隐患。     

平行制造及其在纺织鞋服产业中的应用

 分析了如何借助机器视觉、VR等新型智能技术将工业机器人和工业物联网应用于纺织鞋服装行业，提出平行制造的架构体系，以此为基础打造全球化分布式的柔性供应链，实现对传统产业的智能化转换。平行制造综合应用工业机器人、物联网、云计算和计算机视觉技术，打造与车间高度自动化的生产设备同步进行决策管控的云端虚拟工厂，同时与终端无人化的制衣和制鞋工厂相结合，虚实互动、终端制造、云端管控，构建基于工业互联网的全球化分布式协同生产管理平台。以宁波慈星股份有限公司的“云制造”平台为例，阐释了平行制造如何使得针织鞋服产品的大规模柔性“按需”生产成为可能，平台有效提升了劳动生产率、降低了生产成本、减少用工人数。     

网格存储中的自适应负载平衡策略

为了优化网格存储的系统性能,针对网格环境中不同存储单元的性能差异,基于文件的访问特点提出一种自适应的负载平衡策略. 通过建立能量模型体现文件访问对存储单元的负载压力;通过与用户访问复合减少负载调整开销;通过创建和回收副本实现数据访问优化. 实验证明,提出的负载平衡策略与传统的磁盘冷却算法相比,请求处理时间和系统吞吐量均有20%左右的提高.     

Construction of Smart City Spatio-Temporal Information Cloud Platform in Weifang,China

On the basis of the digital Weifang geospatial framework,Smart Weifang spatio-temporal information cloud platform(WFCP) integrated legal person information,population,place name and address data,macroeconomic data and so on.And it also expanded the data contents,such as the indoor and outdoor data,the overground and underground data,panoramic data and real data.It also introduced the contents of historical geographical information in different periods and real-time location information,address information of sensing equipment,real-time perception and interpreting information.It has overcome the difficulties of real-time access of Internet of Things(IoT) perception,multi-node collaboration,64-bit support,cluster deployment and has the characteristics of spatio-temporal management,ondemand service,large data analysis and micro-service architecture.It built spatio-temporal information big data center and spatio-temporal information cloud platform,realized the convergence and management of the distributed big data,deeply applied for land,transportation,environmental protection,police and subdistrict five areas,by supporting the integrated application of multi-source information and supporting intelligent deep application.In the aspect of hardware environment construction,according to the top-level design and unified arrangement of Smart Weifang,the WFCP was migrated to Weifang cloud computing center,to achieve the on-demand computing resources and dynamic scheduling load-based computing resources,to support the generalizing load map application.     

基于云计算平台的虚拟资源可扩展存储算法研究

当前虚拟资源存储算法针对规模较大的虚拟资源无法实现实时传输,且存储能耗高、负载均衡性较差。为此,提出一种新的基于云计算平台的虚拟资源可扩展存储算法,介绍了云计算平台,其由存储层、基础控制层、应用接口层和访问层构成,给出其系统架构。依据云计算平台,通过采集虚拟资源的高阶累积量信息特征,利用K-L特征压缩法实现虚拟资源的低负荷存储,针对该过程扩展性能低的弊端对其进行改进。通过自适应全域空间搜索找到最佳基函数,对云计算平台的存储空间进行重组,得到改进后的虚拟资源存储空间结构。实验结果表明,所提算法存储空间、时延和能耗均较低,负载均衡性强。     

基于智能优化算法的物联网异构数据融合方法

针对当前物联网数据融合方法速度慢、 融合精度低等问题, 以改善物联网异构数据融合效果为目标, 提出一种基于智能优化算法的物联网异构数据融合方法. 首先采用多个节点采集监测对象状态数据, 并对每个节点采集的数据噪声进行过滤, 初步减少数据规模, 提高物联网异构数据质量； 然后引入聚类分析算法处理簇首数据, 消除簇内数据间的冗余； 最后在汇聚节点采用智能优化算法对簇首数据进行加权融合, 并在相同环境下与其他融合方法进行对比实验. 实验结果表明, 该方法能对物联网异构数据进行有效融合, 获得了较高精度的物联网异构数据融合结果, 物联网异构数据融合错误少、 速度快, 提高了物联网数据融合的效率.     

属性盲化的模糊可搜索加密云存储方案

为保护基于属性的密文策略（ciphertext-policy attribute-based encryption,CP-ABE）可搜索加密云存储机制中数据使用者的属性隐私,实现云存储模糊可搜索加密,该文提出一种属性盲化的模糊可搜索加密云存储（attribute blinding fuzzy searchable encryption cloud storage,ABFSECS）方案.数据使用者的每个访问属性被随机盲化,再聚合为一个完整的盲化属性.通过关键字索引集和数据使用者生成的关键字陷门的匹配计算,实现了模糊可搜索加密云存储机制.利用云服务器的强大计算资源,引入预解密操作,减少了数据使用者的计算时间开销.安全性分析表明,ABFSECS方案具有不可伪造性,可抵抗数据使用者与云存储服务器间的共谋攻击,不会泄露数据使用者的属性隐私信息.      

一种改进的Hadoop数据放置策略

采用现有的Hadoop默认数据放置策略时,若本地数据副本失效,从远程结点上恢复数据需要耗费大量数据传输时间,且随机选取数据放置结点可能会影响数据放置的负载均衡.为此,文中提出一种改进的数据放置策略.该策略基于结点网络距离与数据负载计算每个结点的调度评价值,据此选择一个最佳的远程数据副本的放置结点,从而既能实现数据放置的负载均衡,又能实现良好的数据传输性能.在Hadoop平台上实现了所提出的数据副本放置改进策略,结果表明,与系统默认策略相比,文中提出的策略不仅可以改进数据放置的负载均衡,而且可以减少数据副本放置的时间.