一种基于混合索引的HDFS小文件存储策略

Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用.针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于混合索引的小文件存储策略,应用分类器分类标记小文件,并在元数据服务器建立H-B+树索引,在存储节点根据小文件大小建立不同的块内索引,达到提高小文件访问效率的目标.实现中采用缓存结构,以提高客户端访问的响应速度,同时也有利于元数据服务器节点的内存负载.实验结果表明,基于混合索引的小文件存储策略能有效提高小文件访问效率,并显著降低元数据节点内存开销.     

便携式移动存储设备的加密文件系统ENFS

提出了一种通过FUSE用户态文件系统框架实现的适用于便携式移动存储设备的加密文件系统——ENFS.ENFS对文件数据提供机密性和完整性保护,对用户进行身份认证,并根据用户身份对文件的访问进行控制.采用Blowfish加密算法对文件加解密,一个文件对应一个唯一的文件密钥,而文件密钥存储在远程服务器上.ENFS提供设备丢失后的文件安全保护,它支持系统挂失和日志审计,在设备丢失或被偷窃后,用户可以通过向服务器挂失来锁定文件系统,防止新的文件访问,用户还可以通过追踪日志,了解文件数据是否被窃取或掌握数据被窃取的程度.     

用于超级节点网络的双缓存技术

针对P2P系统节点局部视图和用户查询不均衡的问题,提出一种用于超级节点网络的文件索引和数据双缓存技术.依据局部文件流行度统计,将用户感兴趣的资源索引缓存到本地超级节点,从而将单个节点视图扩展至全局;同时缓存拥有高访问率的远程热点文件,因此用户对热点文件的访问在本地即可获得响应.实验结果表明双缓存技术显著地提高了P2P系统的查询效率和数据传输速度,并可有效降低热点节点负载.     

云存储在校园信息化中的应用与优化

针对目前校园海量数据存储面临的服务器资源利用率低、管理维护成本高等问题,在云存储技术的基础上提出了校园云存储服务的设计,并进行了实验.为减少读写速率的损失,系统通过调用HDFS(Hadoop distributed filesystem)的API接口方式实现数据存储及对集群的状态监控和管理.实验表明:传输文件的大小和集群中数据节点的个数对云存储服务的数据读写速率的影响较大;HDFS并行传输大量小文件的速率相对较低.     

煤田地质勘探地理信息系统空间数据库管理系统设计

在煤田地质勘探实践中,积累了大量地质数据,以常规文件方式存储管理难以满足煤田勘探、开发、科研的需求.按照空间关系型数据库管理思路设计煤田地质勘探地理信息系统(geographic information system,GIS)空间数据库管理系统,以空间数据库和属性数据库服务器方式存储、管理煤田勘探地质数据,以数据库角色用户方式进行远程传输、更新、维护属性数据表,以共享文件夹传输、文件传输协议(file transfer protocol,FTP)文件传输、网页客户端平台方式维护数据文件,通过浏览器/服务器(browser/server,B/S)方式实现异地客户端地质数据空间复杂查询、下载等,实现信息共享,高级用户可通过数据库客户端直接访问数据表.煤田地质勘探空间数据库管理系统的实现,从根本上实现了复杂地质数据的科学化管理,提高了数据存储、访问、维护的便捷性、高效性、准确性和安全性,为煤田勘探地质数据的标准化存储、查询、维护、应用提出了新的方案,可以在煤田地质勘探中深入推广应用.     

基于HBase的小文件高效存储方法

基于 Hadoop 平台的相关系统得到了广泛应用。Hadoop 分布式文件系统（Hadoop distributed file system, HDFS）通过分布式的工作方式,负责处理海量文件数据。对 HDFS 而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于 HBase（Hadoop database）的海量小文件高效存储方法,利用 HBase 的存储优势,将小文件直接存储于 HBase,从而有效减少元数据节点服务器（Name-Node）的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高 HDFS 环境下小文件的读写效率。     

一种不依赖访问热度信息的分布式文件放置算法

文件放置问题一直是分布式存储领域的研究热点。分布式文件存储系统HDFS随机选择节点完成文件放置,存在访问负载分布不均衡的缺点。研究人员提出大量基于文件访问热度信息的放置算法;但是,文件的访问热度信息是动态变化的,难以准确预测。提出一种不依赖访问热度信息的分布式文件放置算法;该算法仅使用文件的创建时间信息,利用文件已创建时间与访问热度之间的相关性,首先将时间进行区间划分,然后统计出各节点在不同时间区间内所创建文件的数据量,放置过程中保持同一时间区间的数据量在不同节点间大致相同。实验结果表明,该算法不仅可以使各节点的存储负载达到均衡,还能够提升访问负载的均衡,消除因文件访问热度不均而导致的性能瓶颈。     

面向高性能计算的混合存储系统设计与实现

提出了一种采用RAM-disk的混合存储系统,在计算节点的并行文件系统的元数据服务器和对象存储服务器组件中设置不同用途的RAM-disk,用于缓存各种访问模式的文件并提高系统的读写性能.结果表明,采用RAM-disk的混合存储系统可以明显提高系统的读写性能,同时可提高系统的可用性和可维性.     

隐藏访问模式的高效安全云存储方案

围绕当前云存储环境中用户数据机密性和隐私泄露问题,提出一个隐藏访问模式的高效安全云存储方案.该方案首先将文件分为固定大小的数据块,利用伪随机函数和抗碰撞哈希函数将数据块编码、加密,并将密态数据块上传至云服务器的伪随机集合超集内,构建安全云存储结构;同时,设计两轮用户访问策略,在隐藏访问模式的同时降低了存储代价和访问交互次数,实现文件的动态高效更新.安全分析表明,选择适当的安全参数,方案满足L₁L₂-动态自适应安全性.实验结果表明,本方案在保证数据机密性的同时,更适用于实际的云存储环境.     

基于Hadoop的移动云存储系统研究与实现

通过对移动存储进行需求分析,提出了一种基于Hadoop的移动云存储系统.移动云存储系统通过手机客户端与服务器端和云端进行数据交换,达到访问云端数据和加密存储数据的目的.本系统实现了基于Android移动手持终端上的文件移动云存储,达到了实时查看和分享数据的目的;对用户信息采用对称加密算法,保证了文件存储过程中用户信息的安全;利用Hadoop云管理平台和AES文件加密算法,保证了在存储在云端文件的安全.     

一种基于节点映射关系的云数据安全代理访问机制

随着移动终端多媒体技术的发展,用户逐渐将本地数据通过各种网络备份到云存储服务器上.云平台在提供廉价便捷的数据存储服务的同时也存在数据安全防护问题,尤其是密文数据访问控制完全依赖于云服务商.为了防止数据被非授权用户和半可信云存储提供商的非法访问,提出一种基于节点映射关系的CP-ABE属性加密算法,即通过属性管理降低权限管理的复杂度.在密文访问控制机制中引入密钥授权中心和安全代理实现存储服务与安全服务异地存储,保证在开放环境下云存储系统中数据的安全性.实验结果表明,这种属性管理机制在少量的系统开销下实现了数据存储与密钥存储的分离,具有较高的应用价值.     

一种适用于并行文件系统的高可用机制

针对并行文件系统文件数据分布存储的特性所带来的系统可靠性和可用性降低的问题,提出了一种提高并行文件系统可靠性与可用性的机制.该机制采用数据镜像技术,应用逻辑镜像环来指定存储节点间的镜像关系,使得一个存储节点既存储自身的数据,也作为其他节点的数据备份节点.该机制还可以通过调整镜像深度,以满足用户对文件系统不同级别的可靠性和可用性要求.同时,建立了马尔可夫链模型,以评估所提机制的可靠性和可用性.数学求解表明,在镜像深度为2时,应用该机制的并行文件系统发生数据丢失的平均时间大大提高,约为原系统的32倍.     

WSN与GPRS结合的远程图像等数据采集系统设计

为了能够对远程现场图像等数据的实时获取,论文设计一种远程数据的采集系统.远程的数据采集节点是利用无线CC2530芯片控制摄像头和其它设备进行图像等数据的采集,采集的数据通过WSN(Wireless Sensor Network)发送至数据汇聚节点,再通过GPRS(General Packet Radio Service)传送到数据监控中心.数据监控中心完成数据的保存和信息的显示,同时还可以反向控制远程的数据采集节点.实验结果表明该系统能够很好地实现远程现场图像及其它数据的采集和传输,并有效地对远程的数据采集节点进行控制.     

电子档案管理系统的设计

为了更好地解决电子文件规范归档问题,基于.NET平台设计一种电子档案管理系统.该系统用System.Data.01eDb命名空间里的类,分为用户界面层、业务逻辑和数据访问层、数据库存储层.系统可以实现办公自动化(OA)系统,以及WORD、WPS电子公文,通过计算机自动提取、归档、管理,最终传送上报档案部门.     

基于ZigBee的多点温湿度监测系统设计

在对无线传感器及其网络协议技术分析的基础上,设计出一种以Zig Bee为基础的多点无线温湿度监测系统.网络系统采用Zig Bee树状网络结构组网,利用本地传感节点采集温湿度数据,无线传输至Zig Bee协调器,进而通过串口通信传输至PC机服务器进行存储和显示.同时,Android手机利用wifi路由器及Socket通信访问PC机服务器,实现手机端远程温湿度监测.     

异构Hadoop集群中数据副本放置策略优化

针对默认的Hadoop数据副本策略未考虑集群节点硬件配置的异构、文件访问特点、实时负载等信息,导致异构环境中集群计算任务本地化比例下降、影响计算性能,提出计算型数据的副本放置优化策略.量化数据访问特征以及节点实时性能和负载,以节点数据访问负载与其计算性能相匹配为原则为副本选择存储节点.实验结果表明:与默认策略相比,优化的副本放置策略能更有效地为副本选择合适的存储节点,提高计算任务本地化比例和计算性能,并使集群对节点的变动具有更好的适应性.     

林业资源数据集群的快速索引设计

设计一种快速索引以管理分布存储的林业资源数据, 通过大量独立数据节点共同负载数据请求, 减少数据访问过程的互斥, 实现了空间与属性数据的分布式存储并行访问. 实验结果表明, 基于目前的应用服务器集群, 应用该快速索引方法, 能以较低的改进成本提高整个数据集群的快速统计和更新能力.     

基于iSCSI的虚拟化存储系统引擎设计

利用iSCSI存储技术标准设计了一个虚拟存储系统引擎VSSE(Virtual Storage System Engine).采用分层结构模型处理远程主机对存储区域网络中存储设备的I/O访问请求.实现基于快速以太网的存储区域网络中存储设备的虚拟化和透明访问,并取得了较好的I/O请求响应速度与I/O传输速度.     

NPLWAP:一种新的Web序列模式挖掘算法

Web序列模式挖掘是将数据挖掘技术应用于Web访问序列,通过对Web访问序列的模式挖掘可以发现用户与网站交互的频繁模式,利用这些模式可以建模并分析用户与网站交互的模型,进而预测未来的访问模式,这对于构建智能化Web站点和开展电子商务活动有非常重要的意义.介绍了传统的PLWAP(position coded preorder linked WAPtree)算法,并在此基础上提出了一种对PLWAP算法中Header table的新的构建方法的改进算法(NPLWAP).在NPL-WAP算法中Header table的构建过程中每一步都只基于当前处理的节点的后缀树集,且Header table并不存储所有的后缀树集节点,而是只存储后缀树集根节点,从而减少挖掘过程的相关判断.通过对真实数据的实验对比可以看出NPLWAP算法在运行时间上比传统的PLWAP算法有了很大的改进.     

基于Alluxio的新闻文本存储优化方法

新闻数据的指数级增长对新闻的高效存储和管理提出了重大挑战。为解决存储与计算分离模式下新闻文本的存储与读访问瓶颈问题,提出了一种基于数据编排平台Alluxio的新闻文本存储优化方法。首先,利用Alluxio对不同存储系统中的新闻文本进行缓存并提供统一命名空间,加速了计算应用的数据访问。其次,为了解决新闻文本存储在远程场景下所面临的读访问性能瓶颈问题,对新闻文本进行了基于目录聚合的合并,并利用最小完美哈希算法对新闻文本元数据构建索引,实现了新闻文本的快速检索。