内存集群计算:交互式数据分析

本文围绕大数据分类中决策数据的管理和分析进行展开.重点分析了大数据时代关于商务智能(Business Intelligence,BI)技术新的应用需求;讨论了计算机硬件和体系结构的发展为决策数据管理和分析带来的挑战和机遇;通过对新兴典型应用的分析和相关技术和系统特点的总结,说明了基于内存计算的高性能数据管理和分析技术是当前亟待解决的问题,具有广阔的应用前景.在全内存式(in-memory)数据管理环境下,网络通讯将成为整个系统的主要瓶颈.结合内存的特点(数据易失性、内存墙瓶颈),设计针对高性能服务器的无共享分布式内存系统拓扑结构;研究面向异构、多层次缓存和内存结构的分布式数据布局与索引策略,跨核、跨处理器、跨服务器的多粒度并行处理框架,缓存感知、内存感知的分布式数据一致性维护等关键技术,轻量级面向按列存储的数据压缩机制及压缩感知的数据处理机制,将是基于内存计算的高性能数据管理与分析技术的重点研究内容,并将最终实现实时交互式分析处理.     

视频数据存储方式及运动估计算法的内存访问效率

通过分析常用运动估计算法的内存访问模式,揭示出他们在通用计算机和数字信号处理器上使用时存在的效率问题,以及造成此问题的原因,并提出一种新的内存访问效率高的视频数据存储方式即叠瓦式存储方式。研究结果表明:使用新的视频数据存储方法,解决了跨缓存线访问数据的问题,并显著降低了运动估计过程中的高速缓存跑靶率;对全搜索算法,在算法本身不做任何改动的情况下,其运动估计过程速度提高28%。因此,叠瓦式存储方式的使用,可以有效地加速运动估计过程。     

针对顺序数据访问应用的分离式数据缓存器设计

高速缓存器技术可以有效地弥补处理器和内存之间的速度差异;但是随着待处理的数据规模的增大,顺序数据访问越来越多,当前的高速缓存器在面临这类没有太多时间局部性,会造成大量高速缓存器污染的顺序数据时并不是很有效。为解决这一问题,提出了分离式顺序数据缓存器（SSDC）,可以通过顺序数据流检测器动态检测出来的顺序数据访问并将其存入专用缓存器,以减少顺序数据造成的主缓存器污染,并且由于子缓存器采用顺序数据预取技术和写不分配策略,可以有效地降低缓存器的失效率。实验结果表明SSDC能够有效地降低顺序应用的失效率,并且在带宽使用等方面具有优势。另外,SPEC2000Int的评测也表明SSDC对非顺序应用的性能没有负面影响。     

浅谈利用页式虚存实现微机的内存扩充

内存贮器是计算机系统的重要资源,内存容量总是有限的,为了满足大作业的存贮和运行的需要,充分发挥系统的效率,一般的微机系统都要通过软件方法将内存空间扩充成比实际容量更大的逻辑存储空间。虚拟存贮器是广泛采用且有效的内存扩充技术,常用的虚存管理方法有动态页式、动态段式、段页式。本详细讲述请求分页管理虚存实现微机的内存扩充的技术。     

《操作系统》课程实验项目的设计

《操作系统》课程实验指导中的有关存储管理的实验是基于动态页式虚拟存储管理方案的，过程复杂难于调试。本文给出了基于静态页式存储管理方案的实验设计，以一种简单易行的方式模拟内存管理机制。     

可逆式JPEG 数据隐藏

针对数字化图像文档因随着数字相机像素质量的提升而变大,使其在网络传输过程中耗费更多传输时间的问题,提出了一种结合JPEG (Joint Picture Experts Group)数据压缩的可逆式隐藏技术,运用该技术可缩短影像传输的时间并且在影像传输的同时可传达隐藏的秘密数据.实验结果证明,文中所提技术可成功实现具有压缩的可逆式数据隐藏.     

一种多核系统上基于页着色的内存管理方法

当今多核平台多采用共享cache架构,但运行在不同核心上的任务产生的cache冲突问题使得程序最坏执行时间的计算变得十分困难.因此提出了使用页着色技术解决多核cache上访存冲突问题的方法.此方法的优势是使已有单核上的WCET分析技术可以对多核上的程序执行时间进行判断.在Linux系统上实现了支持页着色划分方法的内存管理系统,并使用通用测试集对该方法进行了测试.实验结果表明,在Linux系统中使用该内存管理策略后,在相同多核平台上程序的执行时间变得可预测.     

3 bit块自适应量化算法的FPGA实现

用现场可编程门阵列(FPGA)对合成孔径雷达(SAR)原始数据进行压缩能降低数据压缩时间,增加雷达分辨力.针对分块自适应量化(BAQ)算法的理论基础以及数字信号处理器(DSP)与FPGA各自的结构特点,提出了用FPGA实现BAQ压缩,并介绍了具体实现过程.试验结果表明,用FPGA实现BAQ压缩速度快,电路结构简单,压缩后的信号保真度高,因此用专用集成电路对SAR原始数据进行压缩将是改善数据压缩速率的有效手段.     

基于大页内存的学习索引内存分配策略

大数据时代,数据信息的不断膨胀给数据的快速存取带来了巨大挑战.因此,设计一种高效的索引结构具有重要意义. ALEX (updatable adaptive learned index)是一种利用机器学习模型代替传统B-树索引结构的学习索引,具有较好的时间、空间性能,但存在频繁的缺页中断问题.为解决此问题,进一步提升ALEX性能,在ALEX基础上提出了一种基于大页内存的内存预分配策略,较好地降低了内存缺页中断率,提升了ALEX性能.在内存分配阶段,采用预分配策略;在内存回收阶段,则采用延迟释放策略.在Longitudes数据集上的实验表明,该策略具有良好的效果.     

基于LUT实时图像矫正的行缓存优化

基于反向映射的图像矫正被广泛应用于解决光学镜头透视引起的非线性畸变失真问题,该方法将映射坐标固化在LUT内,避免了复杂的坐标计算,但需要大量行缓存储备图像数据用以执行反向映射.为了减少行缓存的使用,本文提出了一种基于读扩展的环形行缓存读写算法,利用行同步信号的消隐间隔扩展读周期,使读写指针循序错开,保证上下映射的空间.相比传统的以最大偏移作为行缓存的结构,改进的专用控制算法可以减少近一半的内存使用.本文中的实时图像矫正系统已经在FPGA上实现,实验结果表明所提出的读扩展行缓存算法显著地改善了内存的消耗,并且获得良好的实时图像矫正效果.     

基于FPGA的双倍率动态存储器读写误码检测仪的实现

针对硬盘缓存在高速读写时出现的误码问题,采用软硬件结合的方法(FPGA与单片机),通过FPGA同频异相时钟,实现了对不同厂商的双倍率内存可靠读写比较从而找到特定代码作为生产测试代码,实现对内存的低成本高效的检测.     

浅谈利用页式虚存实现微机的内存扩充

内存贮器是计算机系统的重要资源,内存容量总是有限的,为了满足大作业的存贮和运行的需要,充分发挥系统的效率,一般的微机系统都要通过软件方法将内存空间扩充成比实际容量更大的逻辑存储空间。虚拟存贮器是广泛采用且有效的内存扩充技术,常用的虚存管理方法有动态页式、动态段式、段页式。本文详细讲述请求分页管理虚存实现微机的内存扩充的技术。     

视频图像处理系统中SDRAM控制器的FPGA实现

为实现视频图像处理系统中图像数据的实时处理,使用大容量的存储器完成数据缓存是必不可少的一个环节。针对SDRAM的工作原理及时序特性,现提出一种在FPGA芯片上实现SDRAM控制器的方案。根据实时图像数据传输速率的要求,SDRAM的操作模式配置为全页突发读写及自动刷新操作模式,将各个操作进行模块化设计并由一个总状态机控制。整个设计采用Verilog实现。实验结果表明,该控制器在视频图像处理系统中实现了本文所提出的数据高速缓存的功能,并具有读写效率高、控制简单、价格低廉等特点。     

基于FPGA的数据采集系统的设计

文章介绍了基于FPGA对多路数据同步实时采集的一种新型数据采集系统设计,该系统将多个功能模块封装在一个FPGA系统中,并用FPGA来完成A/D转换和双口RAM等模块的控制,对采集到的数据在存储器中进行分页存储,有效解决了通信过程中地址冲突问题,实现了对信号任意长度的连续采样.该数据采集系统具有性能稳定、实时性强、集成度...     

采用通用公共无线接口协议的有损I/Q数据压缩方案

为了降低光纤链路数据传输量,提出一种采用通用公共无线接口(CPRI)协议的有损I/Q数据压缩方案.采用分组压缩的方式对原始数据进行压缩,用Matlab软件验证该压缩方案的可行性,并用Verilog HDL语言设计压缩模块,在现场可编程门阵列(FPGA)上进行硬件验证.结果表明:文中压缩方案能够有效地压缩数据并恢复数据,降低光纤链路数据传输量.     

重复数据删除中的无向图遍历分组预测方法

针对重复数据删除系统中存储容量受内存限制难以进行扩展的问题,提出了一种基于无向图遍历的重复数据删除分组预测方法.该方法将索引表保存在磁盘中,并在内存中维护索引表缓存,以此提高系统最大可支持的存储容量.对于索引表缓存命中率低、系统性能差的问题,采用了图遍历分组方法予以解决,根据数据块访问序列特征信息建立无向图并进行分析,基于分析结果对索引项进行分组,并以组进行缓存替换,从而提高缓存命中率和系统性能.实验结果表明,基于缓存预取原理和无向图遍历分组,在将缓存设置为索引表大小的10％时,重复数据删除存储系统最大存储容量比原有方法提高了7.5倍,缓存命中率由不进行索引项分组时的47％提高到87.6％.     

子页感知的闪存页面置换算法

根据闪存的独特物理特性,提出了子页感知的闪存页面置换算法.该算法引入了子页技术和基于相似概率的部分更新机制,既可以提高闪存存储系统的性能,又可计算每个内存页的置换值,并选择了置换值最小的内存页为牺牲页.实验结果表明,新算法在页面命中率、读/写操作次数、运行时间方面均具有优势.     

大规模地形高度数据快速查询方法研究

大规模地形高度数据在以往多是以单实体使用为主,然而一些特殊应用需要多实体同时对大规模地形数据提出数据请求。因此,为了满足多实体对大规模地形数据快速查询的需求,在单实体地形数据分页调度机制的基础上提出了多实体地形数据分页调度机制。新的调度机制能满足多实体同时对大规模地形数据使用的需求。通过测试,证明新的调度机制能够有效地控制内存的使用,同时能使查询时间满足仿真需要。多实体地形数据分页调度机制的提出为日后大规模地形数据应用拓宽了途径。     

微型计算机内存技术分析

内存在计算机性能的影响仅次于微处理器,通过对常规内存,扩充内存,扩展内存,影子内存,高速缓存及虚拟内存在的应用分析,对微型计算机的内存技术作了较系统的分析和总结。     

新疆第二次土地调查遥感数据库系统设计与实现

根据目前新疆的现状,提出了构建新疆第二次土地调查遥感数据库系统的必要性和迫切性;介绍利用组件式GIS技术、WEB技术、地理信息系统工具和数据压缩技术,建立新疆第二次土地调查遥感数据库系统的方法;设计了新疆遥感影像数据库和管理系统的内容、结构、要求和界面,以及解决了海量数据的压缩、存储时的性能问题.