不同网络环境下大数据系统的测试与分析

为了研究网络架构和通讯协议对大数据处理与应用系统效率的影响,在介绍与分析不同网络架构和通讯协议的基础上,使用以太网和Infiniband网络连接,安装TCP/IP,IPoIB和RDMA协议,构建了Hadoop,Tachyon和Spark原型系统,使用通用测试工具和例程等进行了测试.测试结果表明相比使用TCP/IP,使用IPoIB能提高Hadoop的I/O性能4.6~5.6倍,减少Tachyon数据处理的时间开销达2%~27%,减少了Spark 90%~95%的时间开销,同时Spark性能提高了46倍.此外使用RDMA相比IPoIB减少了3%~15%的系统开销.最终分析得出,高速网络架构和高效通讯协议能有效提高大数据处理系统的I/O性能、处理效率和适应能力.     

一种基于固态盘和硬盘的混合存储架构

为提高基于固态盘和硬盘的混合存储系统的I/O性能并降低固态盘的硬件磨损,提出了一种新型混合存储架构RAF(Random-Access First).该架构利用序列侦测算法识别负载请求队列中的随机I/O请求和顺序I/O请求,通过重定向模块使固态盘作为内存之外的第2层磁盘缓存来服务随机I/O访问请求,从而使硬盘服务过滤后的顺序I/O请求,使两者的优势得以发挥.原型实验证明,该架构可以有效地提升混合存储系统的性能和可靠性.     

并行文件系统客户端缓存对系统I/O性能的影响

对浪潮天梭并行文件系统(LCTS-PFS)客户端缓存性能进行了测试,提出了多客户端访问、带客户端缓存的并行文件系统排队模型.分析了不同缓存命中率、不同缓存空间大小和不同文件长度情况下,客户端缓存对I/O响应时间的影响.分析结果表明:I/O响应时间随缓存命中率提高而减少且在有/无缓存情况下的I/O响应时间曲线存在唯一交点,在此交点之前无缓存情况下I/O响应时间小于有缓存情况,而交点之后结果相反;缓存命中率不发生变化时,缓存空间越大I/O响应时间越长;相比无缓存情况下I/O响应时间,若客户端请求生成率固定,则访问文件越大,缓存对I/O响应时间提升越少;若请求生成率发生变化,则相同缓存命中率情况下,访问的文件越大缓存对I/O响应时间提升越多.性能测试和理论分析一致.     

基于iSCSI的虚拟化存储系统引擎设计

利用iSCSI存储技术标准设计了一个虚拟存储系统引擎VSSE(Virtual Storage System Engine).采用分层结构模型处理远程主机对存储区域网络中存储设备的I/O访问请求.实现基于快速以太网的存储区域网络中存储设备的虚拟化和透明访问,并取得了较好的I/O请求响应速度与I/O传输速度.     

一种面向不可靠网络的快速RDMA通信方法

大数据量的远程内存访问(RDMA)传输是并行计算机中最基本的通信模式之一,对系统整体性能的影响很大.随着并行计算机系统的规模扩大,系统的容错性设计面临着很大的挑战,互连网络具有链路不可靠、自适应路由等特点,如何面向不可靠网络实现可靠的端到端RDMA传输是并行系统体系结构设计的一大难题.提出一种面向不可靠网络下的快速RDMA传输方法,方法能够在节点控制器芯片上高效实现,对上层驱动软件和应用提供可靠的端到端RDMA传输服务.与传统的建立连接的方法相比,方法的硬件设计复杂度大大降低;方法另一优点是实现了按需重传,避免了传统方法中一次RDMA传输出现错误时,需要重传整个RDMA数据的开销,在相同的错误概率下,新方法的传输效率得到了很大的提升.     

基于嵌入式系统的冗余智能网卡的研究

分析了网络存储技术中性能和管理方面所存在的问题.基于链路聚合技术并采用专门I/O处理器的方法,在软件体系结构中应用TCP/IP减荷引擎(TOE,TCP/IP Offload Engine)机制,设计了一款具有双端口并行、智能负载均衡功能的高速网卡,并对该设计在iSCSI协议下进行读性能和主机CPU使用率测试.结果表明,读速度提高接近1倍,而且也增加了访问的安全性,同时,分担了主处理器的I/O开销,使主CPU的使用率降到原来的2/3左右.     

用于远程教学的iSCSI协议实现

iSCSI协议作为存储系统的一种解决方案在远程教学中得到日渐广泛的应用.为了优化iSCSI协议的表现、提高远程教学质量,通过一个开放源码的iSCSI协议的软件实现,对可能影响iSCSI协议表现的因素进行了测试分析.测试主要从iSCSI系统(启动端、目标端)硬件选择、iSCSI系统参数设置两个方面展开.测试结果表明 提高I/O操作的效率,注意数据可用性、完整性和速度的平衡,以及优化硬件条件是优化iSCSI协议表现的关键.     

对象存储系统中基于负载均衡的设备选择算法

为解决大规模海量存储系统中用户数据访问过程中出现的系统负载不均衡现象,深入分析了对象存储节点的负载特征,提出一种对象存储设备的选择算法,检测和计算各个对象存储设备的实时负载信息,并依此从中选择当前负载较低的设备进行数据访问.测试和仿真结果均表明:对于I/O请求中写请求占主导的负载,该算法实现了负载的均衡分布,消除了单点过载,缩短了系统响应时间.该算法不仅适用于写请求到达时的设备选择,也适用于重要数据的备份选择以及链式MDS中后继节点的选择,具有较广的应用范围.     

符合EHCI的USB2.0主机控制器IP核设计与实现

介绍了一种基于USB2.0协议,选用Wishbone总线接口的主机端控制器IP核的设计与实现.该设计以EHCI作为软硬件接口划分,支持高速(480 Mb/s)的数据传输,实现了DMA的自主控制、事务的动态调度以及数据跨时钟域的合理开销,达到减少SoC平台处理器的I/O负荷、提高传输效率与系统性能的设计目标;USBIP核的设计与系统软件开发同步进行,有效地验证了硬件功能,最终经FPGA平台与ASIC实现测试达到协议标准,可作为一个通用IP核系统集成.     

(二)内存检查Ⅱ

本程序是用来对内存作最坏布局检查的。 1.程序的运行分下列几个步骤: ①把模型字按一定规则存入到所要检查的内存单元中。②在数开关的第0位置“1”的情况下,用对内存0101,0202,0303,……等单元内容重复读出的方式产生读/写打扰[每一单元内容重复读出511次(十进制),产生1022次读/写打扰]。     

Windows 2000下应用WDM驱动程序实现I/O端口直接访问

Windows 2000下，执行于用户态的应用程序代码不能直接访问I／O端口，而是要通过调用执行于内核态的设备驱动程序提供的各种服务间接地对硬件资源进行访问，开发了一个WDM设备驱动程序，借助它在Windows 2000平台上也能直接访问并口设备，进行高速数据传输，并给出应用实例。     

Linux系统中PCI设备DMA数据传输的实现

将传统数据传输方式与存储器直接存取（direct memory access,DMA）数据传输方式进行了对比分析,结合外设组件互连标准（peripheral component interconnection,PCI）总线的特点,以嵌入式Linux系统为平台,重点分析了PCI设备驱动程序中DMA数据传输实现机制,给出了传输实现的基本结构及单元组成,并以实际例子介绍了基于PCI9080芯片的DMA传输实现。经测试验证,该方法可满足实际的传输要求。     

Linux下基于对象的内存映射型设备驱动研究及实现

设备驱动是计算机系统可靠运行的前提.现有的设备驱动方法,数据要经过驱动层缓存向应用层拷贝、应用层缓存向存储设备拷贝的过程,当数据量比较大时,系统的响应速度会受到一定的限制.通过对Linux内核的对象机制和虚拟内存机制的研究,提出基于对象的内存映射型设备驱动方法,使用户进程直接访问设备内存以提高响应速度,并对该驱动的性能进行测试和评价.     

网络并行计算中的远程直接内存存取实现

提出了一种基于硬件TCP协议（HTCP）的远程直接内存存取（remote direct memory access,RDMA）设计.该设计直接架构在网络的MAC协议层上,因此仅用非常简单的硬件就可实现较高的传输效率,适用于不需要穿越网关的小规模并行计算.实测结果表明使用这种HTCP协议的RDMA网络传输对CPU的占用率比采用普通的TCP协议至少降低一半以上.     

山东国税系统广域网络的可靠性设计

为提高山东省国税系统广域网的可靠性，提供了光纤接入，双线路热备份，双路由器热备份等解决方案，对构建高可靠性的企业网有重要的作用。     

基于训练方式的存储器时钟信号的自适应同步

存储器是现代电子系统的核心器件之一, 常用于满足不同层次的数据交换与存储需求. 然而频率提高、时钟抖动、相位漂移以及不合理的布局布线等因素, 都可能导致CPU对存储器访问稳定性的下降. 针对同步动态随机读写存储器(synchronous dynamic random access memory, SDRAM)接口的时钟信号提出了一种自适应同步的训练方法, 即利用可控延迟链使时钟相位按照训练模式偏移到最优相位, 从而保证了存储器访问的稳定性. 在芯片内部硬件上提供了一个可通过CPU控制的延迟电路, 用来调整SDRAM时钟信号的相位. 在系统软件上设计了训练程序, 并通过与延迟电路的配合来达到自适应同步的目的：当CPU访问存储器连续多次发生错误时, 系统抛出异常并自动进入训练模式. 该模式令CPU在SDRAM中写入测试数据并读回, 比对二者是否一致. 根据测试数据比对结果, 按训练模式调整延迟电路的延迟时间. 经过若干次迭代, 得到能正确访问存储器的延迟时间范围, 即“有效数据采样窗口”,取其中值即为SDRAM最优时钟相位偏移. 完成训练后对系统复位, 并采用新的时钟相位去访问存储器, 从而保证读写的稳定性. 仿真实验结果表明, 本方法能迅速而准确地捕捉到有效数据采样窗口的两个端点位置, 并以此计算出最佳的延迟单元数量, 从而实现提高访问外部SDRAM存储器稳定性的目的.     

Design and Implementation of a Fibre Channel Target Driver Supporting SCSI

Fibre channel storage area networks (FC-SAN) are effective solutions to address storage management problems caused by very large volumes of data. But the expense of fibre channel devices limits FC-SAN applications. The use of IP networks instead of fibre channel networks will reduce SAN cost, but will also reduce the performance. Therefore, small computer system interface (SCSI) devices were considered to replace FC disks to reduce the SAN cost. A driver for the FC network adapter and the FC target, designed and implemented to support this structure, obeys the SCSI protocol and works in target mode with 200 MB/s bandwidth. The FC target architecture and implementation were compared with the FC initiator.The SCSI command transfer process in the FC layer was described. The performance test results show that the maximum I/O throughput reachs 167 MB/s for read requests and 196 MB/s for write requests (FC bandwidth is 200 MB/s), verifying that the FC target is very efficient. The modularization, efficiency, and low cost of the FC target will enable SAN and fibre channel to be more widely used in applications.     

双忙音媒体接入协议中的隐藏节点问题及其改进

针对双忙音媒体接入(DBTMA)协议只能防止发送距离范围内隐藏节点的问题,提出了一种增强的DBTMA改进(EDBTMA)协议,以彻底消除大规模ad hoc网络中的隐藏节点问题.ED-BTMA协议特点有二,一是采用了双收发器结构,其中的一个物理信道(数据信道)为高带宽信道,可利用现有802.11a/g无线设备,二是采用了忙音自适应功率控制机制,这样接收节点根据发送节点的信号强度可动态调整忙音的发射功率,以完全覆盖接收节点周围所有的隐藏节点,并在接收数据的过程中保证接收节点不受隐藏节点的干涉.仿真结果表明,在改进协议下的网络吞吐量平均提高了48%.     

适用于电力物联网的安全接入认证装置设计

针对电力物联网海量边缘侧设备接入可能导致的安全问题,首先分析了边缘设备安全接入需求;然后研究了融合协议过滤、协议适配、网络安全隔离、安全接入认证技术于一体的物联网边缘侧安全接入认证技术。基于上述技术,设计了包含外网处理单元、隔离交换单元、系统管理单元、密码运算单元和内网处理单元在内的电力物联网安全接入认证装置;最后选取某省充电桩运营系统作为试点应用场景,分别从安全性能和通信性能两方面进行测试分析。测试结果表明,该安全接入认证装置能够在基本不影响设备通信性能的前提下,实现电力物联网海量设备的安全接入认证,在面对不同类型边缘设备接入时仍具有良好的可靠性和泛化性,可有效降低核心业务系统被非法入侵的风险。     

蓝牙多跳Ad Hoc网络的构建与实测分析

针对Ad Hoc网络和基于蓝牙的无线个域网(W PAN)的技术特点,将蓝牙个域网应用模型中单个微微网(Piconet)的应用扩展到基于分布网(Scatternet)的应用,并将其定义的网络接入点场景和Ad Hoc组网场景综合,构建了多跳的蓝牙Ad Hoc网络,提出了一个蓝牙设备通过无线GPRS MODEM实现移动接入因特网的应用架构,实现了基于B lueZ的蓝牙个域网接入的实验演示系统.给出了实验模型和协议栈结构,设计了实测方法,最后给出实测结果及其分析.测试结果表明,即使在3跳传输的情况下,蓝牙Ad Hoc网络内部的数据传输速率仍然大于GPRS的数据传输速率,可以完全满足GPRS无线接入的速率要求.