基于P2P技术的混合云存储模型

为了解决普通云存储中重要数据完全依赖云端存储与管理所带来的数据安全问题,并增强存储数据的安全性和可靠性、减轻大数据文件存储过程中带来的通信压力,提出一种基于P2P技术的混合云存储模型(简称PCS).该模型由内部P2P网络和普通云端2部分组成,用户可把重要数据、大文件数据及全部元数据存储在PCS模型中的内部P2P网络,而仅把非重要数据交由云端服务商来存储和管理.PCS模型中对数据的存储和管理采用文件分片技术(一个文件可有多个分片,且每个分片可有多个副本)以保证数据的完整性和可靠性.PCS模型有效保证了重要数据的安全问题,部分减轻了企业与云端之间的通信带宽压力,并提高了云存储的文件检索速度.     

一种适用于并行文件系统的高可用机制

针对并行文件系统文件数据分布存储的特性所带来的系统可靠性和可用性降低的问题,提出了一种提高并行文件系统可靠性与可用性的机制.该机制采用数据镜像技术,应用逻辑镜像环来指定存储节点间的镜像关系,使得一个存储节点既存储自身的数据,也作为其他节点的数据备份节点.该机制还可以通过调整镜像深度,以满足用户对文件系统不同级别的可靠性和可用性要求.同时,建立了马尔可夫链模型,以评估所提机制的可靠性和可用性.数学求解表明,在镜像深度为2时,应用该机制的并行文件系统发生数据丢失的平均时间大大提高,约为原系统的32倍.     

分布式存储中文件分割的最优化模型

在分布式存储中,由于网络与存储节点的不稳定性,会导致文件存储过程失败。通过对文件进行适当的分割存储可以提高文件存储过程成功的概率。建立了网络存储节点可用性概率模型和文件块网络存储成功的概率模型,给出了文件分割存储策略,比较了在不同分割粒度下文件网络存储成功的概率,提出了分布式存储中文件分割的最优化模型,通过该模型可计算出大小为X的文件进行分布式存储时最优的分割块数。该模型对大文件的分布式存储具有一定的参考价值。     

基于LabVIEW的采集数据快速文件存储方法

针对传统文件存储方法速度慢、实时性差等问题,给出一种基于LabVIEW的采集数据的快速文件存储方法.该方法采用"生产者-消费者"双消费者模式,将数据采集与数据处理同步进行,即,将数据处理中的文件存储、计算、显示等同步执行,使文件存储处理可连续执行存储操作,且选用TDMS文件存储格式来加快文件存储速度.为测试本方法的有效性,搭建了一套集数据采集,USB数据传输,波形显示及数据存储功能于一体的软硬件测试平台.结果表明,对相同时间采样数据的文件存储,比传统方法耗时更少,且采样时间越长,存储时间越短.     

基于区块链的供应链金融数据存证模型

在供应链体系中,金融数据是企业能否获得融资的重要数据.然而现有的供应链体系采用中心化的管理模式,供应链中各参与方之间信息不对称,数据可能遭到篡改,如何搭建一个可信数据存证平台成了巨大的挑战.针对这一问题,提出基于区块链的供应链金融数据存证模型,为供应链各方提供可信数据.首先,结合星际文件系统对供应链金融关键数据进行链上链下存储,减轻区块链大文件存储负担,提高存储效率;其次,提出双链架构,并设计智能合约实现链上数据存储和访问;最后,在联盟链平台搭建模型,验证所提模型的有效性和效率.实验结果表明,该模型存储效率较高,适用于供应链金融数据存证场景.     

大数据环境中计算机网络安全存储研究

为解决大数据环境中计算机网络存储隐私问题,提出一种崭新的数据存储与加密方案.基于HDFS设计了大数据环境下计算机网络信息的分布式存储架构,基于文件指纹与元数据信息去除文件存储前的冗余数据;基于Lorenz超混沌系统生成随机性较强的序列,作为计算机网络大数据加密与解密密钥,在HDFS文件系统中完成大数据安全存储.最后,在实验中验证了该存储方案的安全性与高效性,人为攻击后数据受损度为0,数据存储效率远超AES安全存储算法、DES安全存储算法,为该方法在计算机网络大数据安全存储中的应用增添了有利证据.     

基于面向对象的大数据存储模型研究

随着大数据存储需求的不断扩大,网络存储技术面临如何存储并管理海量数据的问题.通过对现有各种大数据存储模型进行了对比分析,针对现有存储模型存储的局限性和大数据存储的特点,提出了一种基于数据特征的面向对象存储思想.采用虚拟类技术设计并实现了一种基于面向对象的大数据存储模型.在仿真环境中,对该模型的分类关键模块与非结构化数据存储性能进行了测试与分析,实验结果表明该模型分类模块误差较小,读写效率较高,而且随着数据的增大,非结构化存储性能保持稳定.     

面向多租户的业务模型版本管理

针对可重用业务模型库的SaaS应用对业务模型版本管理的问题,提出了一个面向多租户的模型版本维护方案.首先提出了面向多租户的业务模型管理架构;接着在模型版本维护方面,给出了一个模型版本维护算法;然后基于该算法,提出了模型文件存储的方式、模型版本控制逻辑以及模型数据存储的方案;最后以一个交通物流行业的信息平台为例验证了该版本维护机制的可行性和正确性.实验证明该方案可以满足多租户模型版本管理的要求.     

云数据的划分存储和查询研究

随着网络数据、生产数据的大幅增长,数据存储和查询面临着严峻的挑战.数据划分技术可将海量数据分布存储在多台机器中,既能解决单机存储容量问题,也能通过划分区间来缩小数据查询范围.为此,研究了海量数据背景下数据划分存储和查询的方法,设计了将海量数据按角度和距离值计算其所属数据区间,并分布存储到该区间对应的机器文件中,从而实现了大数据量的文件以小数据量的文件存储,使得查询数据时可以先通过索引表找到所属的数据区间其所在文件,再进行查询即可,这样缩小了数据查询范围,而且还可以通过多机器协同查询,加快查询速度.对采用以上方法划分存储的数据进行了Top-K查询,验证了方法的有效性.     

一种ISPD98电路网表到图的转换算法

介绍了ISPD98电路网表格式和图文件存储格式,然后针对ISPD98电路网表给出了转换到图的算法.该算法解决正确读取ISPD98电路网表文件数据,将其转换为图并存储为指定的图文件存储格式.该算法在Windows啪平台下用C++进行了实现,并给出了ISPD98电路网表转换后图的特性.     

基于大数据的桥梁健康监测数据存储及预警方法

提出一种基于大数据的桥梁健康监测系统平台,在全面考虑影响桥梁服役性能的各个因素下对桥梁安全状态进行评估和实时预警。该系统平台利用容错率高的分布式文件系统以及计算效率高的平行数据处理引擎,具有高可靠性、可用性和存储效率,且易于扩展。进而采用多因素分析方法充分挖掘桥梁各个传感器实时数据之间隐含的关联性,通过分析数据相关性准确建立桥梁服役性能评估模型,并对桥梁安全状况进行实时预警。此外,该系统平台为测试模型的有效性,分别采用多种模型验证方法进行评估,确保大数据分析方法的可靠性。     

A forensic method for efficient file extraction in HDFS based on three-level mapping

The large scale and distribution of cloud computing storage have become the major challenges in cloud forensics for file extraction. Current disk forensic methods do not adapt to cloud computing well and the forensic research on distributed file system is inadequate. To address the forensic problems, this paper uses the Hadoop distributed file system (HDFS) as a case study and proposes a forensic method for efficient file extraction based on three-level (3L) mapping. First, HDFS is analyzed from overall architecture to local file system. Second, the 3L mapping of an HDFS file from HDFS namespace to data blocks on local file system is established and a recovery method for deleted files based on 3L mapping is presented. Third, a multi-node Hadoop framework via Xen virtualization platform is set up to test the performance of the method. The results indicate that the proposed method could succeed in efficient location of large files stored across data nodes, make selective image of disk data and get high recovery rate of deleted files.     

基于瓦片金字塔模型的海量空间数据快速分发方法

针对分布式并行环境下海量空间数据的快速显示和浏览问题,提出一种基于分层、分专题的海量空间数据金字塔模型及基于数据库存储方案的瓦片数据快速分发方法.对比分析了瓦片数据在文件式管理和数据库管理两种模式下的存储机制和响应流程,并以时间跨度59年的沙尘暴观测数据为例,验证了该方法不仅能有效地组织管理海量空间数据,实现高效数据互操作,而且在多用户并发访问时,能快速响应客户端请求.     

基于对象存储的集群文件系统CFSlight设计与实现

在线存储以及数据密集型应用的发展,对信息存储性能的要求越来越高,分布式存储系统是应对数据存储需求的重要研究方向.基于对象存储技术和Linux操作系统平台设计与实现的集群文件系统CFSlight,能够有效提高存储系统的可扩展性、I/O性能、可用性等技术指标,具有很好的发展前景.     

基于嵌入式的文件系统研究

为解决传统FAT格式文件数据按顺序存取方式无法适应在大容量存储设备中大规模目录文件的读取查询操作等问题, 在嵌入式文件系统中采用磨损平衡算法及位图存储技术对NandFlash存储介质实现Flash域磨损优化, 并对嵌入式文件系统的索引存储和空闲目录进行优化管理。系统使用仿真器进行仿真程序开发, 并在基于ARM9 MagicARM2410开发板进行仿真实验。实验结果表明, 该文件系统能实现其基本功能, 其可行性得到验证。     

一种有效的并行文件系统容错方法

在分析导致I/O节点失效主要原因的基础上, 提出一种有效的并行文件系统容错方法： 子文件循环冗余备份. 该方法保证了I/O节点失效时并行文件的正常访问, 提高了并行文件系统的可靠性和有效性.     

云环境中基于金字塔模型的影像数据存储方法

随着卫星遥感获取技术的发展,影像数据量呈几何式增长,传统数据存储技术已经无法适应海量影像数据的处理要求.结合金字塔模型和MapReduce架构提出了一种适用于云计算环境的分布式并行存储方法—BMLStorage(storage based on MapReduce and local file system),该方法基于金字塔模型对影像数据进行分层分块处理,并对所得瓦片重新编码.定义了一种新的存储规则,使得所有瓦片可以按照此规则利用Hadoop中的MapReduce框架实现并行存储.实验表明,该方法与现有方法相比,在海量影像数据存储性能方面有一定的提高.     

基于HBase的小文件高效存储方法

基于 Hadoop 平台的相关系统得到了广泛应用。Hadoop 分布式文件系统（Hadoop distributed file system, HDFS）通过分布式的工作方式,负责处理海量文件数据。对 HDFS 而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于 HBase（Hadoop database）的海量小文件高效存储方法,利用 HBase 的存储优势,将小文件直接存储于 HBase,从而有效减少元数据节点服务器（Name-Node）的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高 HDFS 环境下小文件的读写效率。     

PC机群系统的关键技术

构建实用的PC机群系统以获得廉价的高性能并行计算机,是近几年研究的热点问题,PC机群系统具有能用性、可用性、可扩展性、性能/成本比等较好的优点,其关键技术有4个,即可用性支持、单一系统映象、作业管理、高效的通信,它们是目前活跃的研究开发领域.