分布式存储系统中混合数据布局算法

数据布局算法是分布式存储系统的基础性算法,也是提高数据处理效率的关键。针对节点负载和通信延迟等存储节点状态,提出了一种衡量存储节点可用性的通用方法,并在分析了已有算法的基础上,综合各种算法的优点,提出了一种混合数据布局算法。该算法根据存储节点可用性不同而采取不同的数据冗余策略。通过对比分析,证实该算法在存储量与通信量方面具有较大的优越性。     

带非均匀节点分布无线传感器网络的高效节能数据存储

现有大部分无线传感器网络的分布式数据存储方法都依赖于传感器节点定位系统,这会导致节点消耗大量的能量,而且这些方法主要是针对均匀分布的无线传感器网络的,并不适用于非均匀节点分布的传感网络。为了解决这个问题,提出一种非均匀节点分布传感网络的大数据路由存储算法,其目的在于减少传感器节点的实际分布和地址。为了进一步节省数据存储空间和能量消耗,将布隆过滤器(Bloom filter)集成到节点上,从而进一步减少数据丢失和网络能量消耗。文中算法提供了高效的搜索服务,使数据在网络内的存储分布和路由能量消耗更加均匀,进而提高了网络的生存时间。文中算法在容错情况下通过减少冗余数据来提供高效节能的存储,并进一步减少数据的路由开销和存储空间的浪费。     

无线多跳网络中基于网络编码的高效可靠组播路由算法

针对现有的多跳无线网络中基于网络编码的可靠组播算法,节点在数据恢复阶段存在冗余的控制开销和编码包的冗余传输问题,提出一种基于网络编码的高效可靠组播路由算法(high-efficiency reliable multicast routing algonthm based on network coding,HMNC).该算法通过采取在数据恢复阶段用组播树上游节点的反馈信息替代下游节点的冗余反馈信息以及新增节点缓存机制等措施达到减小网络控制开销和降低数据的平均恢复时延的目的.理论分析和仿真结果表明,与基于网络编码的可靠组播(network coding reliable multicast,NCRM)算法相比,HMNC算法在节点数据的平均恢复时延、网络控制开销等方面的性能均得到了提升.     

基于动态可调簇的无线传感网络能量感知数据存取算法

针对无线传感网中数据收集、存储和查询的需要,提出了一种基于动态可调簇的能量感知数据存取算法ACEDBA(Adjusted Cluster-based energy-aware Data Brokerage Algorithm).该算法将网络节点分成许多簇结构,簇内节点负责数据采集,簇首节点负责簇内数据的收集、汇聚和转发,数据可以集中存储,也可以分布存储在各簇首节点或本地存储.算法引入能量分级消耗机制,可动态选择和调整簇首节点,保证各簇首节点簇内数据存储和簇间数据转发查询的能量平衡.实验结果表明,与典型数据存取算法相比,该算法的节点能耗均衡、生命周期和查询成功率方面具有优势.     

一种面向查询的无线传感器网络混合型数据存储算法

提出了一种面向数据查询的混合型的数据存储算法,将数据存储在合适的位置。通过分析采集、存储、查询节点之间的位置关系,存储模式可在集中存储和分布存储之间相互切换。本算法引入了"热点"保护机制,可有效均衡网络能耗。实验结果表明,该算法的能耗均衡性、节点能耗、生命周期和丢包率相比于GHT(Geographic Hash Table)算法有一定的改善。     

大数据环境中计算机网络安全存储研究

为解决大数据环境中计算机网络存储隐私问题,提出一种崭新的数据存储与加密方案.基于HDFS设计了大数据环境下计算机网络信息的分布式存储架构,基于文件指纹与元数据信息去除文件存储前的冗余数据;基于Lorenz超混沌系统生成随机性较强的序列,作为计算机网络大数据加密与解密密钥,在HDFS文件系统中完成大数据安全存储.最后,在实验中验证了该存储方案的安全性与高效性,人为攻击后数据受损度为0,数据存储效率远超AES安全存储算法、DES安全存储算法,为该方法在计算机网络大数据安全存储中的应用增添了有利证据.     

基于环形缓冲区的WSN数据融合技术研究

无线传感器网络监测系统中,环境变化缓慢和节点感知范围重叠所造成的冗余数据会增加节点的数据发送量,降低信息收集效率并导致传感器节点过早死亡.因此,提出一种基于环形缓冲区的簇内数据融合方案.所有节点采用环形缓冲区存储数据.源节点基于环形缓冲区采用二值化相似函数和滑动四分位检测法,在保证数据时间关联性的同时剔除冗余数据和瞬时性异常数据.簇头节点基于加权皮尔逊距离的改进支持度对从源节点接收到的数据进行加权融合.仿真实验表明,所提出的方案在网络剩余节点数、网络剩余能量和网络发送数据包数等3个方面有明显的优势.     

基于网络编码的多媒体云存储系统单节点修复算法

针对现有多媒体云存储系统单节点修复算法中,有限域大,编解码复杂度高,磁盘I/O开销大,存储开销与修复带宽开销不均衡等问题,基于网络编码提出一种多媒体云存储系统单节点修复算法.该算法将系统中节点已分组的多媒体文件数据进行分组存储,并将组内数据在GF(2)有限域上进行异或编码,当部分节点失效时,新生节点只要连接同组中2~3个未失效节点即可精确修复失效节点中的数据.理论分析与仿真实验结果表明:该算法可减小编解码与修复的复杂度,降低磁盘I/O开销;在相同条件下,该算法存储开销与基于最小存储再生码(minimum storage regeneration codes,MSR)算法的存储开销一致,而修复带宽开销与最小带宽再生码(minimum bandwidth regeneration codes,MBR)算法接近.     

一种高效的冗余编码Mesh流媒体覆盖网

为了减小以Mesh方式传输流媒体的覆盖网络节点动态加入和退出对数据流传输稳定性的影响,建立了一种基于冗余编码的流媒体多播机制.数据源以冗余方式将数据流编码为多个等长的分支,以数据流分支作为路由和传输单位,而网络中的每个节点通过与其他节点建立邻居关系来获取所需的数据分支.在新节点加入的过程中,提出了一种高效的邻居节点选择算法,它充分利用了冗余编码特点,以此降低自身的时间复杂度.在节点失效处理的过程中,推出了一种数据分支替换机制,通过已有父节点的轮转替换可快速恢复数据传输,从而避免了传输中断问题.模拟试验表明:所提机制可以在网络抖动度小于10的范围内保证90%以上节点的传输质量,使得高冗余度的编码更好地适应高度变动的网络;在网络抖动度大于8时,冗余度在0%～33.3%范围内的编码不会显著降低网络的传输效率.     

数据时空融合算法在无线多传感器网络中的应用

无线传感器网络是一种新兴的、全新的技术,它常常应用于工业领域以及恶劣的环境中.在标准ZigBee协议中没有设计相关的数据融合规范,使其只能用在低数据冗余的应用场合.大规模网络中的数据冗余度大,并且网络中的数据冗余会引起节点频繁地争抢信道,网络时延增加甚至出现网络瘫痪;因此针对同类多传感器测量数据中含有的噪声和传输中包含大量冗余信息,通过多次实验对几种算法进行仿真比较,文中提出了一种基于递推估计的数据融合和自适应加权时空融合算法.该算法利用空间位置中多传感器的方差变化,通过调整参与融合的各传感器的加权系数,使融合系统均方误差始终最小.     

大型文本数据库中分布式数据去重备份方法研究

数据去重可删除备份过程中的冗余数据,节约存储资源与与网络带宽,是目前数据存储领域研究的重点问题。针对传统方法去重率和吞吐量低的问题,提出一种新的大型文本数据库中分布式数据去重备份方法。介绍了大型文本数据库中分布式数据去重方法基本思想,通过文件管理部分对数据片组中的扶贫数据进行查询和统计,给出数据片组路由策略,分析了数据预取过程。通过最终权值完成对数据块的排列,以恢复时间与恢复成本达到最小化为目的设计适应度函数。通过改进遗传方法对大型文本数据库中分布式扶贫数据进行备份。实验结果表明,所提方法有很高的去重率和吞吐量,且成本低,恢复速度快。     

Efficient Multi-Resolution Compression Algorithm for Disk-Based Backup and Recovery

0 IntroductionTraditionally,there are two kinds of compression meth-ods developedfor tape-based backup.Oneisincrementalbackup method, which can distinguish modified files , andbackup only those modifiedfilesinthe backup set . The otherone is streamcompression, which eli minate redundancy in asingle file.In a large backup system,numerous redundant data ex-ists across files .Files with the same content may be foundinother nodes due tofile reduplication and distribution;a partlymodifiedfile may …     

基于RAID-6的容量扩容布局研究

随着数据量的不断增加,原有存储系统已不能满足海量数据存储的要求。RAID(redundant arrays of independent disks)存储系统因具有良好的数据可靠性、磁盘独立性和可扩展性,成为应用范围最广的存储系统。新型存储技术存在研究迟缓、推广率低的问题,使得在原有RAID存储系统中添加新的磁盘,成为存储海量数据最为便捷,最为有效,成本最低的方式。RAID发展至今,根据对数据存储的不同需求,衍生出了不同层级的RAID存储系统。RAID-6存储系统由数据盘与2个校验盘构成,相较于其他RAID存储系统,具有更好的数据容错功能,更高的数据恢复能力。因此,提出一种基于H-Code针对RAID-6存储系统的扩容算法HS6。该算法在扩容过程中体现了最小化数据迁移量和快速扩容等特性,与传统的Round-Robin和Semi-RR扩容算法相比,该算法减少了73.2%~88.6%的数据迁移量,缩短了30.6%~62.9%的总扩容时间。     

行列混合存储数据库的数据分布自适应优化算法研究

随着数据量和数据类型的逐渐增加,用户对数据存储性能的要求和整体需求越来越高,当前数据分布算法因为受到成本及可扩展性的约束,无法达到用户对存储的要求。为此,提出一种新的行列混合存储数据库的数据分布自适应优化算法,给出数据分片、数据访问频率矩阵、拓扑结构和最小支撑树的定义,将总成本最小作为依据判断数据是否冗余分布,获取行列混合存储数据库的利益函数。找到一个使利益最大化的数据分布方案,通过迭代求取该问题的解。输入相关参数,输出的结果即为数据分布结果。实验结果表明,所提算法读写能力和均衡性均较强。     

数据分级存储系统中数据分级算法研究

随着数据存储规模的海量增长,降低存储系统的总拥有成本,提高数据访问效率是海量数据分级存储系统的关键.在分析了两种典型的数据分级算法后,结合两种算法的优点对算法进行了改良,提出了基于数据访问频率和数据设备依赖度的自动分级算法,实验结果验证了算法的有效性和数据分级算法具有较高的准确率.     

融合WSN与RFID的输电线路杆塔状态监测网络低延时技术

杆塔是输电线路体系中的关键组成部分,其稳定可靠性是整个输电线路运行安全的重要保障。本文提出一种融合无线传感器网络(wireless sensor network, WSN)和射频识别技术(radio frequency identification, RFID)的输电线路杆塔状态监测网络,具有监测成本低、故障定位迅速和适合长期监测的优点。中继节点设置是所提出监测网络性能研究的关键,因此本文建立了中继节点传输延时模型,有利于分析不同条件下的监测网络延时性能。针对RFID冗余数据导致的融合监测网络延时,提出一种适用于输电线路杆塔状态监测RFID冗余数据处理方法,能有效削减阅读器端采集的冗余数据,具有算法简单、实时性强等特点。     

支持数据动态更新的XML编码研究

提出一种支持数据动态更新的编码方案SDUE,该编码将结点位置信息进行分解,避免记录冗余信息,从而有效地节省了存储空间.此外,SDUE还能有效地支持数据更新.在查询方面,由于SDUE编码记录了结点路径信息,在路径查询中避免了结构连接操作,有效地提高了查询效率.实验结果表明,与其他编码相比,SDUE编码在空间存储利用率、结点更新效率和查询速度方面都有较明显的优势.     

基于开销分摊的数据网格副本创建策略

针对数据网格中自治节点创建副本时,缺乏全局信息只能考虑本地利益最大化而增大全局网络开销的问题,构建了一种开销分摊的副本创建激励机制,通过创建副本节点与受益节点共同分摊副本创建开销来获得本地与全局利益之间的均衡.然后基于这种思想提出副本创建算法,并证明了该算法的正确性和有效性,最后模拟实验表明在满足自治的前提下该策略能较好地取得全局优化.