基于Hadoop企业私有云存储平台的构建

针对企业级用户面临文件和数据量的指数级增长,现有的文件存储设施不能适应业务增长问题,提出基于Hadoop构建企业私有云存储平台,通过采用Linux集群技术、分布式文件系统和云计算框架,实现海量数据存储和高速数据处理业务。比较了私有云存储和传统存储模式,分析了私有云存储技术优势和可行性,提出企业私有云存储架构模型。分析结果表明:企业私有云存储平台适用于关键业务应用、在线事务处理,满足企业对海量数据存储、数据规模易扩展性的要求。     

基于云计算的数据存储技术研究

以云计算环境下大数据存储技术为研究对象,首先介绍了云计算环境下主要的两种典型的分布式存储系统,即Googk的GFS和Hadoop的HDFS;对其中的数据存储技术进行了专门分析,从可扩展性和延迟性（如何支持海量小文件的存储）、容错性（在数据丢失时进行数据恢复）和海量数据存储的实时性这3个方面对现有技术进行了评价.在此基础上,提出了分布式文件系统的系统架构.最后给出了研究展望.     

基于对象存储的集群文件系统CFSlight设计与实现

在线存储以及数据密集型应用的发展,对信息存储性能的要求越来越高,分布式存储系统是应对数据存储需求的重要研究方向.基于对象存储技术和Linux操作系统平台设计与实现的集群文件系统CFSlight,能够有效提高存储系统的可扩展性、I/O性能、可用性等技术指标,具有很好的发展前景.     

云存储数据缩减技术研究

基于云计算应用中的云存储技术,使数据存储变得安全可靠和易管理。在云存储技术数据存储的过程中,不仅考虑数据读写的速度,还得处理数据存储效率,以便满足当前海量信息存储的需求。云存储中的数据缩减技术可以缩减数据信息量,提高存储的效率,满足数据存储急剧的要求。通过对几种数据缩减技术进行比较研究分析,探讨了对数据处理后存储的效率以及每项技术发展状况,为用户选择云存储数据缩减技术提供有力的参考。     

基于集群系统的数字资源库的研究与设计

校园网内信息资源日益丰富,为了有效管理海量的数字资源,需要数据的分布式存储策略.本文设计的数字资源库采用存储区域网络(SAN)架构构建存储系统,具有高性能、高可靠、易管理、可扩展性强等优点.系统实现了数字信息资源的有效共享与利用,可为教学和科研提供更好的服务.     

一种存储容量可扩展的文库系统设计与实现

随着Internet的发展,用户对网络存储系统的价格和性能提出了新的要求.本文分析了各种网络存储技术和Internet传输技术,在虚拟主机基础上,建立文库系统,用户上传文件到服务器中,服务器接收用户文件.服务器动态增加虚拟主机,扩展文库系统的存储容量,并利用Flash和Webservice技术,实现网络存储分布式传输和存储.系统具有良好的可扩展性和数据传输性能.     

网络存储系统在新闻报业的应用

<正>随着新闻报业的迅猛发展,业务数量不断增长,对数据存储的要求也越来越高,而原有的存储系统体系结构和容量负载,都无法满足信息迅猛增长及对存储系统高性能高可用性的要求。1主要表现     

浅谈海量数据存储中的几个问题

近些年,随着NAS,SAN等存储技术日益发展和完善,容量达到TB甚至PB级的海量存储系统已经成为现实。本文介绍了海量数据的基本特点,分析了海量数据存储的基本原则,根据特点及原则提出了海量数据存储的实现方法,最后简述了海量数据存储的发展趋势。     

基于RAID-6的容量扩容布局研究

随着数据量的不断增加,原有存储系统已不能满足海量数据存储的要求。RAID(redundant arrays of independent disks)存储系统因具有良好的数据可靠性、磁盘独立性和可扩展性,成为应用范围最广的存储系统。新型存储技术存在研究迟缓、推广率低的问题,使得在原有RAID存储系统中添加新的磁盘,成为存储海量数据最为便捷,最为有效,成本最低的方式。RAID发展至今,根据对数据存储的不同需求,衍生出了不同层级的RAID存储系统。RAID-6存储系统由数据盘与2个校验盘构成,相较于其他RAID存储系统,具有更好的数据容错功能,更高的数据恢复能力。因此,提出一种基于H-Code针对RAID-6存储系统的扩容算法HS6。该算法在扩容过程中体现了最小化数据迁移量和快速扩容等特性,与传统的Round-Robin和Semi-RR扩容算法相比,该算法减少了73.2%~88.6%的数据迁移量,缩短了30.6%~62.9%的总扩容时间。     

TH-MNSS:一个新的海量网络存储系统体系结构

基于FC的SAN存储设备一般采用阵列控制器方式实现,但该方式具有可扩展性和兼容性不好等缺点.提出了一个新的海量网络存储系统体系结构:TH-MNSS,采用商业化的硬件部件、适应性的软件系统实现了海量网络存储器,它具有高可扩展性、高性能价格比、高兼容性等优点.     

基于云存储的分组域监测系统

针对当前电信分组域监测系统海量数据应用环境的高效性、可扩展性和安全性的不足,提出一种基于云存储的新监测系统.新系统采用Hadoop云存储技术,融合了电信私有云,解决了系统及时处理和存储海量数据的难题,优化了系统整体的性能.通过测试验证,新系统稳定可靠,适合电信大容量监测需要.     

基于HDFS的企业私有云存储的研究

针对目前企业海量数据存储和管理的问题,本文通过对私有云存储和HDFS技术的研究,提出基于HDFS技术构建企业私有云存储系统。通过实验验证,该系统具有安全可靠性高、扩展性好、开发和运行的成本较低等特点,能够满足企业对海量资源安全可靠、高效快速的存储。     

云存储环境中的数据布局策略研究

对云存储系统环境中的数据布局策略进行了论述与总结。首先讨论了云存储技术的起源以及云存储系统不同于传统集中式存储方法和现有网络存储技术的独特特征,然后讨论了面向云存储系统的数据文件布局策略;考虑到云存储系统对于系统可靠性、可用性以及可扩展性等性能指标具有更高要求,接下来对面向云存储系统的数据副本布局策略进行了论述。数据布局策略对于云存储系统的性能指标具有重要决定作用,全文工作将为未来研究高能效的商用云存储系统奠定基础。     

基于HDFS的企业私有云存储的研究

针对目前企业海量数据存储和管理的问题,本文通过对私有云存储和HDFS技术的研究,提出基于HDFS技术构建企业私有云存储系统。通过实验验证,该系统具有安全可靠性高、扩展性好、开发和运行的成本较低等特点,能够满足企业对海量资源安全可靠、高效快速的存储。     

基于云计算的WAP日志处理和用户上网行为分析

在移动互联网迅猛发展的时代,电信运营商对用户上网日志等非结构化数据的处理、分析和挖掘变得尤为重要,传统的基于小型机和关系型数据库的数据处理系统已经无法满足海量非结构化数据的及时处理需求,相对传统做法,搭建X86集群、利用云计算技术对海量非结构化数据进行处理,具有高效、低成本、易扩展等方面的巨大优势。另外,用户上网日志中包含着大量的个性化信息,如何充分挖掘和分析这些信息,对电信运营商在移动互联时代实现精细化运营至关重要。该论文主要以用户WAP日志为例,详细阐述如何利用云计算技术处理海量的非结构化数据,进而去挖掘和分析用户上网行为。     

基于语义的自主式存储中介文件系统及其访问策略

自主式存储中介系统(ASAS)是一个联系用户或应用程序与海量存储系统(可同时采用DAS、NAS、SAN等多种存储技术)的中间平台.ASAS能够自主地发现存储系统中所使用的存储设备的种类和可利用的各种资源;针对传统语义文件系统的主要缺点,即无法得到质量较高的文件属性,利用用户访问的模式捕捉用户状态,将直接文件属性设置与间接属性设置方法结合起来,实现基于语义的ASAS文件系统;通过ASAS文件系统扩展元数据的帮助,增加文件属性的数量,提高文件的可分类性;使ASAS能够自动收集用户的应用信息和需求,便于用户合理地存储数据并高效地进行访问.     

基于HDFS的云数据备份系统

将云计算技术应用于数据备份领域,  设计并实现了基于分布式文件系统(HDFS)的云数据备份系统. 该系统利用云存储技术, 应用已有的廉价计算机设备构建数据备份集群, 解决了用户数据备份/恢复业务的需要, 通过用户分群管理、 小文件合并上传、 恢复优先等策略进一步提高了系统性能. 实验结果表明,  云备份系统在安全性、 可扩展性、 经济性及可靠性上均具有一定的优势.     

基于HDFS的分布式文件系统

在现有的开源分布式文件存储系统HDFS上,构建一个智能大数据存储系统IHDFS.该系统提出了大数据去重模块、大数据放置模块、大数据智能迁移模块和大数据编码模块,构造了智能分布式文件存储系统,可以提高用户访问效率,节省集群的存储空间.实验结果表明,数据去重模块很好地节省了存储空间;数据放置模块合理地分配文件上传的存储层,使数据上传速度提高一倍;数据智能迁移模块提高了用户在高等存储层上文件的命中率,提高了用户获取数据的效率;数据编码模块节省了集群的储存空间,节省了大约原来存储空间的三分之一.     

高可靠可扩展PC集群存储系统的设计

针对当前网络存储技术存在的存储服务瓶颈问题,介绍了一种高可靠可扩展PC集群存储系统的设计方案,并提出了对各个存储结点所挂磁盘的分组方案,对大小数据对象分别采用不同的放置、定位技术,重点讨论了小数据对象的伪随机放置算法,该算法在系统扩展时也能够有效地定位数据对象.另外通过对数据对象的有效复制,使系统具有很好的容错性.     

SAN存储技术在图书发行系统中的应用

随着企业业务的快速发展，数据呈现出爆炸式增长的趋势，这使得SAN存储技术得到更为广泛的应用。本文结合书店的业务实际需求，介绍了存储系统选择的要素，文中对SAN及其它存储技术的特点进行了简述，并具体给出了书店SAN存储系统的构建实例及其特点。