基于公共安全的应急平台数据中心的设计研究

 以数据、预案、模型、知识、决策方法存储和使用为核心的公共安全数据中心是由存储设备、网络设备、应用数据和应用程序综合集成,它具有存储、查询、管理和维护等功能。根据应急平台的需求,数据中心采用“层次+混合”的方法进行数据中心体系结构的设计。在数据中心的核心层,数据、预案、模型、知识、决策方法按一定的结构“混合”在一起。设计数据中心的结构,实现各类数据的集成和管理,为应急平台的各种应用提供有效的访问。     

EBSN:一种新型全结构模块化数据中心模型

模块化数据中心(MDC)通过在集装箱中封装上千台服务器和交换机构建数据中心,代表了数据中心未来的发展方向.文中提出了一种适合模块化数据中心的网络模型EBSN.EBSN的逻辑结构为两个Biswapped网络的正交,在物理上仅需少量迷你交换机即可实现所有服务器连接,这使得EBSN拥有良好的网络结构.EBSN采用以服务器为中心的架构,将路由选择策略交由服务器完成,通过源路由协议完成选路过程,并通过容错路由保证架构的性能.仿真实验结果表明:与具有不完全结构的BCube相比,EBSN具有完整的结构、合理的吞吐量和较好的容错性;EBSN是一种适合MDC的模型.     

基于SAN的虚拟化系统元数据组织策略

SAN(storage area netw ork)结构的实现使得多服务器平台可以共享多种存储设备,为了有效利用存储空间并提高数据存储的可靠性,提出一种基于SAN的虚拟化系统元数据分布策略,并将这种分布策略在I/O节点机的SCS I(sm a ll com pu ter system in terface)目标器中间层用软件的方法实现。通过映射位图方式将设备端的存储资源虚拟化,为光纤网络前端的各种异构平台服务器提供统一的存储资源视图。同时对元数据进行分布冗余存储提高系统可靠性。实验与结果表明:该设计减小了对物理存储设备的需求,使存储设备得到可靠且有效的利用。     

NSAP——支持透明计算的网络存储访问协议

为了满足透明计算客户机访问网络存储设备的需求,需要通过网络存储访问协议与服务器交互完成数据请求的处理。现有的网络存储协议都工作在操作系统环境中。该文设计了NSAP(network storage access protocol)协议实现局域网中可靠的块级数据访问,它可以在操作系统启动前工作用于支持启动操作系统。NSAP基于UDP(user datagram protocol)和IP(Internet protocol)协议设计,包含通信管理和存储访问等功能,在不可靠的通信介质上为用户提供可靠的、面向连接的块级数据访问服务。结果表明:在设定试验条件下,请求的数据块小于64kB时,通过NSAP访问网络存储设备的性能优于本地磁盘访问的性能,是一种高效的局域网存储访问协议,可以满足透明计算的需求。     

NSAP——支持透明计算的网络存储访问协议

为了满足透明计算客户机访问网络存储设备的需求,需要通过网络存储访问协议与服务器交互完成数据请求的处理。现有的网络存储协议都工作在操作系统环境中。该文设计了NSAP(network storage access protocol)协议实现局域网中可靠的块级数据访问,它可以在操作系统启动前工作用于支持启动操作系统。NSAP基于UDP(user datagramprotocol)和IP(Internet protocol)协议设计,包含通信管理和存储访问等功能,在不可靠的通信介质上为用户提供可靠的、面向连接的块级数据访问服务。结果表明:在设定试验条件下,请求的数据块小于64kB时,通过NSAP访问网络存储设备的性能优于本地磁盘访问的性能,是一种高效的局域网存储访问协议,可以满足透明计算的需求。     

一种包含两级元数据服务器的机群文件系统

本文提出了一种两级元数据服务器机群文件系统,高级元服务器实现任务分配功能,依据与二级元服务器性能最密切相关的负载信息将任务快速分配给二级元服务器,同时在存储文件时,提出了一种文件热量模型,能正确反映各存储节点I/O流量和存储量的方法,并依据文件热量值对待存文件进行了合理的分配存储。实验结果表明,本策略提高了系统的性能,缩短了任务执行时间,取得了较好的效果。     

基于网络拓扑的CDN内容路由技术

围绕内容分发网络内容路由技术,给出了两种基于网络拓扑的算法——“简单算法”和“拓扑分割算法”,确保用户的Web请求被指向距离其最近的和最可用的高速缓存服务器．算法以巡回时间限制服务器性能,采用离散系统仿真方法进行仿真．详细讨论了两种算法的实现,并分析了各系统参数对算法性能的影响．其中“拓扑分割算法”借鉴了网络距离图的思想,从而提高了响应速度．     

THCASN——一种基于内容存储区域网络

基于内容存储(CAS)是一种可用于保存内容不变数字记录的存储设备。为解决CAS在安全和性能上的问题,该文介绍了清华大学实现的基于内容存储区域网络原型——THCASN,遵从对象存储设备标准OSDT-10,提出一个分析I/O路径上开销的性能评价模型,找出系统性能瓶颈是对象内容Hash值计算和Hash-元数据变换表搜索。THCASN、NFS和iSCSI存储器性能测试结果表明其性能是接近的,但THCASN写性能高出一倍。实验结果与评价模型对性能瓶颈的分析相符。     

THCASN——一种基于内容存储区域网络

基于内容存储(CAS)是一种可用于保存内容不变数字记录的存储设备。为解决CAS在安全和性能上的问题,该文介绍了清华大学实现的基于内容存储的区域网络原型——THCASN,遵从对象存储设备标准OSDT-10,提出一个分析I/O路径上开销的性能评价模型,找出系统性能瓶颈是对象内容Hash值计算和Hash-元数据变换表搜索。THCASN、NFS和iSCSI存储器性能测试结果表明其性能是接近的,但THCASN写性能高出一倍。实验结果与评价模型对性能瓶颈的分析相符。     

DPClos:基于3级Clos结构的集装箱数据中心网络设计

集装箱数据中心因其部署便捷在应急数据处理中发挥着基础性作用.为满足集装箱数据中心对网络带宽和容错性的需要,提出了一种基于3级Clos结构的集装箱数据中心网络,记为DPClos.DPClos能够充分利用Clos结构和双端口服务器的特点,为集装箱数据中心提供2倍网络带宽容量.DPClos网络的平均路径长度小于4,且不同层次链路之间负载均衡.双层网络结构赋予DPClos良好的容错性能,当20%设备故障时数据流的成功到达率仍超过85%.理论分析和实验表明,DPClos结构能够满足集装箱数据中心对网络性能的需求.     

存储区域网络基于主机接口卡的负载均衡

为提高存储区域网络中主机的I/O吞吐能力,在主机上加入冗余路径驱动程序,对逻辑单元(LUN)的I/O请求进行处理.将LUN的I/O请求分配到它的所有路径上,使主机的负载均匀地分布在存储网络中.应用排队理论的多服务员聚集模型,分析了总吞吐能力与主机负载、主机接口卡(HBA)数目、HBA性能之间的关系.实现了基于HBA的负载均衡算法,提高了主机的吞吐能力,缩短了I/O平均响应时间.     

一种统一存储网的Cache方案

统一存储网融合了NAS和SAN的优点,但对小写数据其I／O性能不高．在客户端采用NVRAM和日志磁盘构成一个两层的Cache,可以将小写数据积累成大写数据,达到提高性能的目的;采用基于租约的Cache一致性协议可以保证网络中断或客户出错时USN的可用性和数据的一致性;实验显示Cache方案可以使USN的性能最大提高50％．     

高性能处理器中干扰公平队列I/O调度器

高性能处理器和系统需要高存储带宽和高效的外部I/O处理, 需要同时服务吞吐率密集应用和延迟敏感应用, 给多道程序计算机系统和多租户模式的超级计算机系统的公平性带来巨大的挑战。针对这两类应用共享SSD (solid-state disks)等可并发的存储设备问题, 开发一款基于队列的干扰公平(interference fair queueing, IFQ)调度器。在Linux操作系统实现IFQ调度器, 并与其他调度器进行对比, 包括Linux的 CFQ调度器、STF调度器、MFAP的时间片流转调度器和MFAP的短时间片流转调度器。基于合成工作集、访问踪迹工作集和真实应用工作集的结果显示, IFQ调度器可以同时保证公平性和响应延迟。     

有限带宽条件下VOD服务器的设计

分析了ＶＯＤ系统的构成及其实时服务过程，基于Ｍｋ／Ｍ／１的排队过程计算了系统参数对系统性能的影响．给出了设计实时多媒体服务器最大同时访问用户数和缓冲器大小的计算式，并提出了改进服务器性能的ＴＩＰＭＳ方法．将该方法与ＱＰＭＳ的方法进行比较，表明ＴＩＰＭＳ有效地改善了服务器的性能     

Performance Comparison of IP-Networked Storage

Dramatically increasing amounts of digital data are placing huge requirements on storage systems. IP-networked storage systems, such as the network file system (NFS)-based network-attached storage (NAS) systems and the iSCSI-storage area network (SAN) systems, have become increasingly common in today’s local area network (LAN) environments. The emergence of new storage techniques, such as object-based storage (OBS) and content aware storage (CAS), significantly improves the functionality of storage devices ...     

Challenge and Methods of Synchronous Disk I／O

At present, I/O is the performance bottleneck limiting the speed of computer systems. A large number of I/O operations are synchronous read/write operations of only small data blocks. However, reducing the latency of synchronous I/O operation is a non-trivial problem. In this paper, we propose two methods to address this problem. The first method, FastSync, uses a cache disk optimized for write operation via use of a disk-head position prediction algorithm. In this way, disk capacity is traded for synchronous I/O performance. The second method, LND, uses free memory capacity in a network environment as a cache disk for the buffeting of synchronous I/O operation. Data integrity in FastSync is ensured by using a data log on the cache disk, whereas in LND, integrity is ensured by the storage in distributed memory of multiple copies of each data block. Both methods succeed in dramatically increasing the performance of synchronous I/O operation. The performance of LND is limited by the network speed, whereas performance of FastSync is determined mostly by the data block size.     

数据网格中存储I/O的SPN建模与性能评价

针对数据网格中存储资源的结构、协议和I/O模式的复杂性问题,分析了存储网络的并行存储I/O请求模型,采用随机Petri网(SPN)建立了SPN并行存储I/O传输的数学模型,描述了系统请求响应时间与系统负载、网络带宽和节点处理能力之间的关系,然后通过排队论进行了并行I/O的性能分析,最后归纳了影响存储网络系统I/O性能的因素,在并行策略和数据组织与分配等方面提出了提高整体存储性能的改进方法.为改进提高数据网格的整体存储I/O性能提供了有效的建模方法和具体的理论依据.     

Web高速缓存服务器网络I/O操作性能存在的问题及改善途径

使用事件驱动机制的Web高速缓存服务器在实际工作环境下性能很差,通过分析,发现网络I/O操作是一个主要瓶颈.实现了一个整合了event poll事件驱动机制的Web高速缓存服务器,它大幅度地提高了系统处理客户请求的能力,解决了系统处理网络I/O操作的瓶颈问题.     

NR-SS网络文件服务器的性能分析

针对NR—SS(Network—attached Raid Storage System)中采用存储设备与主机间的异构双通道连接模式，以及命令与数据分流的处理方式，向用户提供直接I／O数据路径的文件请求处理过程，建立了相应的Petri网模型，分析了NR—SS存储系统的连接模式和请求处理过程对缓解文件服务器负载的效果．     

Capability-aware data placement for heterogeneous active storage systems

By moving computations from computing nodes to storage nodes, active storage technology provides an efficient for data-intensive high-performance computing applications. The existing studies have neglected the heterogeneity of storage nodes on the performance of active storage systems. We introduce CADP, a capability-aware data placement scheme for heterogeneous active storage systems to obtain high-performance data processing. The basic idea of CADP is to place data on storage nodes based on their computing capability and storage capability, so that the load-imbalance among heterogeneous servers can be avoided. We have implemented CADP under a parallel I/O system. The experimental results show that the proposed capability-aware data placement scheme can improve the active storage system performance significantly.