开放网络存储系统

为了减少运营和维护分布式存储系统的成本,分布式存储系统应该能够整合并利用开放网络闲散资源提供存储服务.因此,本文提出了基于开放网络资源的分布式存储系统.系统收集并整合网络存储资源来提供存储服务,采用垂直的设计思想来达到各模块之间的低耦合性,利用精确的数据定位算法来完成远程服务器数据的定位.测试结构证明:系统能够正常的与...     

基于FPGA和ARM的高速数据采集系统设计

数据采集是完成信号分析、信息处理的必要前提。能够对高速数据精确采集、信号实时处理,在现场测控系统中起到至关重要的作用。文章介绍了采用FPGA控制高精度高采样率的A/D电路对高频信号实时采集,以ARM处理器做为数据远程传输的控制器,通过DM9000实现高速数据网络传输,将数据存储在远程PC端。通过实验测试表明,该高速数据采集远程实时存储系统可以稳定的采集各类高频信号,能够广泛应用于多种现场测控系统,具有极大的应用价值。     

共享磁盘阵列双机热备份的实现

随着信息技术的快速发展,数据存储已经从传统的单服务器存储模式逐渐发展到以网络磁盘阵列为中心的集群模式。本文基于网络磁盘阵列构建出在共享磁盘阵列方式下双机热备份的实现。由于其数据的独立集中管理和应用服务器冗余,不仅加快了数据传输速度,而且保证了数据存储的可靠性和完整性,从而大大提高了整个存储系统的性能。     

一种对文件系统透明的网络存储系统

提出了一种基于TCP／IP协议的对文件系统透明的网络存储系统．其透明性体现在两个方面：a．对用户透明，用户象访问本地磁盘一样访问远程网络存储空间；b．文件系统对存储服务器透明，存储服务器只针对数据块进行处理，从而减轻了用户和服务器的存储管理负担．在实现单用户对多存储空间、多用户对同一存储空间技术的基础上，系统具有数据备份、共享存储的基本功能，为实现复杂的网络存储提供了一个开发平台。     

统一存储网数据迁移系统的设计与实现

针对统一存储网数据安全的需要,根据ServerFree存储设备点到点相互直接备份数据的解决方案,利用网络通信和分级存储技术,分别建立起数据迁移源端和迁移目的端．这两端是相互独立的,各自包括一个主线程和一个处理子线程,其中主线程负责初始化、监听端口连接请求和创建处理子线程,而处理子线程则负责处理命令请求和传输数据等．通过让备份的数据在存储设备间进行直接传输,可以解脱备份对LAN的影响,使得服务器在备份命令提交后不必再进行数据的读写控制,释放了服务器的CPU周期,提高了传输速度,从而实现了一个新的基于统一存储网的数据迁移系统．测试表明,在相同的网络环境下对同等大小的数据进行传输,采用统一存储网数据迁移系统的数据传输速度比采用samba技术的数据传输速度快20％．     

基于多分支树结构的电力缴费终端数据完整性验证方案

针对电力缴费终端存在管理人员操作不当和黑客攻击等行为导致数据损坏和丢失等问题,设计了一种基于多分支哈希树结构的数据完整性防护验证方法。该方法利用基于双线性映射的签名机制和多分支树结构的特性,通过使用随机掩码技术对分块的数据进行随机化处理,以确保数据的隐私性,采用多分支树形结构实现对数据块的快速认证和快速签名,并利用哈希树节点的哈希值验证数据块的完整性,引入验证服务器对数据分块进行批量验证和证据计算,并通过设置备份服务器完成对存储数据的备份处理。实验结果表明,该方案可以有效提高对存储数据完整性的批量检测效率,并降低终端和主服务器的计算开销,同时具有较小的计算开销和较高的安全性。     

一种基于节点映射关系的云数据安全代理访问机制

随着移动终端多媒体技术的发展,用户逐渐将本地数据通过各种网络备份到云存储服务器上.云平台在提供廉价便捷的数据存储服务的同时也存在数据安全防护问题,尤其是密文数据访问控制完全依赖于云服务商.为了防止数据被非授权用户和半可信云存储提供商的非法访问,提出一种基于节点映射关系的CP-ABE属性加密算法,即通过属性管理降低权限管理的复杂度.在密文访问控制机制中引入密钥授权中心和安全代理实现存储服务与安全服务异地存储,保证在开放环境下云存储系统中数据的安全性.实验结果表明,这种属性管理机制在少量的系统开销下实现了数据存储与密钥存储的分离,具有较高的应用价值.     

基于对象存储系统中的热点数据平衡策略

针对基于对象存储系统(OBS)中的热点数据问题,提出了一种基于预测和数据副本迁移的均衡策略.对基于对象存储结点(OSD)的热度进行预测,元数据服务器(MDS)据此对存储结点进行均衡协调,存储结点则响应协调规则并采用贪心法选出尽量小而且访问客户多的对象进行副本迁移.此外,采用增量备份的方法解决副本迁移可能造成的数据不一致问题.实验结果表明策略的预测误差在8%以内.     

新疆天文台脉冲星数据检索

新疆天文台南山观测站25 m射电望远镜(简称NSRT) 2002年L波段常温接收机制冷改造完成后,脉冲星观测系统灵敏度达到了0.4 m Jy,实现了200多颗脉冲星的常年监测. NSRT通过近20年的观测产生了大量有价值的科学数据.南山观测站脉冲星数据通过300 Mb/s专线传输到70 km外的新疆天文台本部数据中心进行长期存储,通过南山观测站及新疆天文台本部的数据存储系统实现了脉冲星数据的远程异地容灾备份.元数据提取、数据归档及发布由位于新疆天文台本部的数据发布系统完成,截至2018年11月底已发布脉冲星观测数据87000多条,最大文件1 GB,脉冲星数据格式为PSRFITS.脉冲星数据服务提供了锥形检索及多目标约束检索,数据发布基于虚拟天文台标准并已将脉冲星数据服务注册到国际虚拟天文台联盟,用户可通过标准虚拟天文台工具实现检索、访问与处理.     

钻井数据实时远程传输系统研制

把钻井数据实时地传输到油田基地 ,实现基地对现场多分散目标的实时监控是现代化生产管理的重要手段。介绍了国内外钻井数据实时远程传输的现状以及在不同条件下采用通讯卫星、微波、电话线路及计算机网络实现钻井数据实时远程传输的方法。在对综合录井系统进行实时数据截取的基础上 ,利用客户 /服务器模型开发了钻井数据实时远程传输和监控软件。     

基于移动代理的MAISE爬虫的设计与实现

提出了一种基于移动代理的图像搜索引擎(MAISE,Mobile Agent based Image Search Engine)的爬虫系统,系统中爬虫代理运行在远程Web服务器上,它将集中在服务器端的任务如:特征提取、建立索引等分散到远程的Web服务器上并行运行,而且代理个数是可控的,最后将少量的数据回传到服务器端,这不仅提高了效率而且减小了网络传输量.最后对MAISE爬虫系统进行了测试,实验结果表明,MAISE爬虫的网络数据传输量和爬行时间等指标上均优于传统爬虫.     

基于Hadoop的校园云存储系统的研究

针对海量数据的存储问题,传统方法一般是通过购置更多数量的服务器来提升计算和存储能力,存在硬件成本高,存储效率低等缺点。通过对Hadoop框架和MapReduce编程模型等云计算核心技术的分析和研究,提出了一种基于Hadoop框架的海量数据存储模型,并在此模型的基础上,设计并实现了基于Hadoop的校园云存储系统。经过实验验证,该系统有效地解决了在校园办公、教学和科研过程中遇到的海量数据存储管理问题,具有开发成本低、处理速度较快、运行稳定、易于扩展等特点。     

一种基于校园网的工作站系统恢复方法

设计并实现一种基于校园网的工作站系统恢复方法 ,通过远程启动 ,由服务器下载磁盘镜像数据 ,以快速恢复工作站本地系统 ;经过实践检验 ,证明这是一种行之有效的系统恢复方法 .     

阵列感应测井远程反演处理系统的设计

测井数据共享及远程处理技术是测井技术发展的重要方向.阵列感应测井反演远程处理系统运用Matlab技术,实现了测井数据反演的远程处理.介绍了阵列感应测井反演技术和系统的主要结构、功能、特点和相关技术.该系统由客户端和服务器组成,可实现阵列感应测井数据的反演远程处理、测井数据管理和共享,具有系统升级扩充方便、建设维护成本低的特点,给测井数据分析人员带来了极大的便利,提高了测井数据处理效率.     

一种定时网络备份系统的设计与实现

网络备份系统可以保证在灾难发生后,远地存储设备上仍有本地数据的一份或多份拷贝.将本地数据复制到远地存储设备是网络备份系统的主要功能.本文设计并实现了一种定时网络备份系统,该系统使用了带有监控的数据复制方法.方法通过监测业务期间数据卷上数据的变化,将比较数据所花费的开销分布到业务期间内.通过试验表明,该方法可以有效的减少系统备份所需的时间.     

Capability-aware data placement for heterogeneous active storage systems

By moving computations from computing nodes to storage nodes, active storage technology provides an efficient for data-intensive high-performance computing applications. The existing studies have neglected the heterogeneity of storage nodes on the performance of active storage systems. We introduce CADP, a capability-aware data placement scheme for heterogeneous active storage systems to obtain high-performance data processing. The basic idea of CADP is to place data on storage nodes based on their computing capability and storage capability, so that the load-imbalance among heterogeneous servers can be avoided. We have implemented CADP under a parallel I/O system. The experimental results show that the proposed capability-aware data placement scheme can improve the active storage system performance significantly.     

一种定时备份系统的设计与实现

网络备份系统可以保证在灾难发生后,远地存储设备上仍有本地数据的一份或多份拷贝.将本地数据复制到远地存储设备是网络备份系统的主要功能.本文设计并实现了一种定时网络备份系统,该系统使用了带有监控的数据复制方法.方法通过监测业务期间数据卷上数据的变化,将比较数据所花费的开销分布到业务期间内.通过试验表明,该方法可以有效地减少系统备份所需的时间.     

存储区域网分区技术的实现

国家级气象资料存储检索系统是基于存储区域网之上的存储检索平台.该系统包含了多台服务器、多种类型的操作系统、数据库、应用软件,所承担的业务种类很多且相对独立,均需要独立的存储资源.为了保障业务的稳定性和安全性,通过分区技术的实现解决了存储区域网中存储资源独享、安全访问和集中管理等问题.分区技术已经成为存储区域网中的基础组成部分,并发挥了重要作用.     

工业现场传感器实时数据存储系统设计与实现

针对工业现场中大量的传感器以连续高并发的方式所产生的海量实时数据难以高效可靠存储的问题,设计了基于 Hadoop 与 HBase 的工业现场传感器实时数据存储系统,并利用5台服务器和1个磁盘阵列构建了数据存储系统原型,最后通过仿真程序模拟工业现场传感器实时数据的高并发特性,对所提出的数据存储系统性能进行了验证。实验表明,所提出的工业现场传感器实时数据存储系统数据存储可靠、运行稳定、并发处理能力强。     

一类新的网络游戏场景3D障碍信息表达方案

针对传统网络游戏的2D场景向3D场景演化过程中游戏服务器所面临的障碍信息存储和访问的技术难题,提出伪3D和真3D 2种解决方案。伪3D方案通过对原2D方案的数据结构和寻路算法进行扩展,在2D数据逻辑基础上实现3D游戏场景。真3D方案将原2D场景的数据存储方案在纵向维度上完全扩展,再应用RLE压缩算法,解决纵向扩展带来的数据膨胀问题,同时兼顾访问效率。研究结果表明:伪3D方案适用于非完全自由、有限层可表达的3D场景,完全兼容原2D数据存储格式、寻路算法及功能模块接口,具有开发周期短、实施成本低的优势;真3D方案适用于完全自由、无限层可表达的3D场景,能够满足复杂的3D场景需求,并在空间效率和时间效率方面取得了较好平衡,可实现大型3D网络游戏场景障碍信息高效表达及访问的需要。