面向云平台的异构监控数据存储方法

针对云平台监控数据异构、数据量大、冗余量大、时序性强的特点,提出一种异构监控数据存储方法。该方法以反范式化为基础,采用统一数据表达方式兼容异构源数据,通过结合标签分离、数据压缩、预热缓存、索引等机制实现了云平台监控数据的高效存储,提高了存储空间利用率,增强了数据的可扩展性,简化数据管理,降低了数据的开发维护成本。实验结果表明:本文所提出方法满足云平台监控数据高效写入、实时更新与快速查询的实际要求。     

基于海量卫星测控数据存储与查询方法

针对卫星海量测控数据以时间区间检索、结果按时间排序的需求,提出了基于数据库时间分区表与索引组织表（IOT）的存储和查询方法。时间分区表采用将数据存放到多个物理表空间,在数据查询时不需每次扫描整张表,检索时间明显缩短,且查询响应时间不会随着数据量的增长而增加;索引组织表是将数据直接存放在索引中,降低了存储空间的占用,以损失较小的写入效率为代价。通过对某卫星实验和分析,证明了方法的有效性和正确性,提高了数据存储和查询的效率。     

云环境下应用感知的动态重复数据删除机制

针对传统在线/离线重删对云存储系统中重删效率不高的问题,采用混合重复数据删除(Hy-Dedup)机制,通过融合在线和离线两种方式进行有效的数据重删。该方案在线重删阶段根据负载类型对指纹索引进行聚类分组,设置不同重删阈值来评估数据流的空间局部一致性,提高了缓存命中率;离线重删阶段采用延迟敏感的方法,对在线阶段缓存没有命中的重复块进行精确重删。通过这种混合方式在保持系统的I/O性能和吞吐量的前提下,显著减少了写入云存储的重复数据量。实验结果表明,与iDedup机制相比,Hy-Dedup机制可将在线重删率提高35.9%,磁盘空间需求减少41.36%,并且能够在云存储系统中实现高准确率的重删,提升重删效率,节省存储空间。     

CorsairFS:一种面向校园网的分布式文件系统

描述了CorsairFS--一种针对校园网和企业内部网设计的专用分布式文件系统.通过采用可扩展的架构、分块存储方式和基于注册、汇报的自组织机制,系统在满足性能和吞吐量指标的前提下,具有更好的可扩展性和可管理性,能够提供同一数据的多种不同视图,允许在不移动数据的情况下对目录结构进行重构.系统针对大量用户的数据共享和存储的工作负载进行了优化,能有效地处理大量小文件的并发访问,并通过实验说明其能够更有效地利用存储空间,提供更好的数据传输性能,特别是面对大量小文件的情况.     

基于PAL的图像数据存储技术研究

针对弹载图像采集系统设计中存在无法准确稳定存储高速数据流,而导致图像信息记录和存储的可靠性严重降低的问题,设计了一种基于PAL制图像数据的无延时存储方法。通过采用乒乓缓存设计和流水线结构方式,解决了高速图像数据输出和串口Flash存储器的低写入速度不匹配的问题。通过实验分析验证,设计能够解决高低速存储介质中速度匹配问题,实现对高速图像数据的精确存储和记录,为后期图像恢复提供了可靠的数据。     

基于HDFS的分布式文件系统

在现有的开源分布式文件存储系统HDFS上,构建一个智能大数据存储系统IHDFS.该系统提出了大数据去重模块、大数据放置模块、大数据智能迁移模块和大数据编码模块,构造了智能分布式文件存储系统,可以提高用户访问效率,节省集群的存储空间.实验结果表明,数据去重模块很好地节省了存储空间;数据放置模块合理地分配文件上传的存储层,使数据上传速度提高一倍;数据智能迁移模块提高了用户在高等存储层上文件的命中率,提高了用户获取数据的效率;数据编码模块节省了集群的储存空间,节省了大约原来存储空间的三分之一.     

带非均匀节点分布无线传感器网络的高效节能数据存储

现有大部分无线传感器网络的分布式数据存储方法都依赖于传感器节点定位系统,这会导致节点消耗大量的能量,而且这些方法主要是针对均匀分布的无线传感器网络的,并不适用于非均匀节点分布的传感网络。为了解决这个问题,提出一种非均匀节点分布传感网络的大数据路由存储算法,其目的在于减少传感器节点的实际分布和地址。为了进一步节省数据存储空间和能量消耗,将布隆过滤器(Bloom filter)集成到节点上,从而进一步减少数据丢失和网络能量消耗。文中算法提供了高效的搜索服务,使数据在网络内的存储分布和路由能量消耗更加均匀,进而提高了网络的生存时间。文中算法在容错情况下通过减少冗余数据来提供高效节能的存储,并进一步减少数据的路由开销和存储空间的浪费。     

OceanBase分布式存储引擎

OceanBase是一个分布式关系型数据库,其目的是存储海量的高速增长的结构化数据,以廉价的服务器集群实现高可用、高可扩展、高性价比的服务.OceanBase采用内外存混合存储的模式,使用内存存储增量(新写入)数据,而使用外存存储基线(只读)数据,并将基线数据划分成大致等量的数据分片并采用分布式B+tree的形式将分片存放在很多的数据服务器上,利用定时合并机制不断将增量数据与基线数据融合.本文介绍OceanBase基线数据存储的基本结构和分布方式、定时合并机制,以及基线数据在OceanBase中的具体存储格式的设计和实现.     

基于PAL的弹载图像采集系统设计

针对弹载图像采集面临的高噪声、高振动等恶劣环境,设计并实现了一种基于PAL制式,通过SPI串行接口进行数据存储的视频图像采集系统。从系统的设计思路、工作流程和硬件结构出发,采用乒乓缓存设计和流水线结构,解决了ADV7180的高速图像数据输出和串口FLASH存储器的低写入速度不匹配的问题。通过实验分析,本设计可以解决高低速存储介质中速度匹配问题,实现对高速图像数据精确的存储和记录,为后期图像恢复提供了可靠的数据。     

CarrierFS:基于虚拟内存的分布式文件系统

针对由于磁盘I/O的性能瓶颈,基于磁盘的分布式文件系统无法为海量小文件存储提供高数据吞吐率和低访问延迟这一问题,设计并实现了一个基于虚拟内存的分布式文件系统——CarrierFS,它将数据存储于虚拟内存中,利用磁盘备份数据.在实现元数据和数据可扩展存储的基础上,CarrierFS设计了监管者模块来保证系统的可靠性.对CarrierFS和HDFS进行了性能测试,实验结果表明,CarrierFS对大文件和小文件的读写速度都具有明显的性能优势.当文件大小为256 Mbyte时,CarrierFS的写入速度大约是HDFS的1.30倍,读取速度大约是HDFS的1.95倍.当文件大小为32 Kbyte时,CarrierFS的写入速度大约是HDFS的3.0倍,读取速度大约是HDFS的3.4倍.     

A solution for digital image management in spatial databases

Digital Orthographic Map (DOM) can be used in various applications because it contains both image features and terrain information. Spatial database management systems aim at the effective and efficient management of data related to a space,engineering design and so on. Thereby spatial database provides an efficient solution for managing DOM. According to large amounts of the DOM data in storage, a data compression based on wavelet is introduced into the storage. Another strategy to solve this problem is to decompose the raw image into tiles and store the tiles individually as separate tuples. The metadata of DOM can be used to organize and manage spatial information,especially for spatial data sharing and fast locating. A tool for browsing, zooming and querying the DOM data is also designed. We implemented these ideas in SISP (Spatial Information Sharing System) and applied the subsystem into the DOM management of Beijing City, which is an component of the Beijing Spatial Information Infrastructure.     

A solution for digital image management in spatial databases

Digital Orthographic Map (DOM) can be used in various applications because it contains both image features and terrain information. Spatial database management systems aim at the effective and efficient management of data related to a space, engineering design and so on. Thereby spatial database provides an efficient solution for managing DOM. According to large amounts of the DOM data in storage, a data compression based on wavelet is introduced into the storage. Another stratcgy to solve this problem is to decompose the raw image into tiles and store the tiles individually as separate tuples. The metadata of DOM can be used to organize and manage spatial information, especially for spatial data sharing and fast locating. A tool for browsing, zooming and querying the DOM data is also designed. We implemented these ideas in SISP (Spatial Information Sharing System) and applied the subsystem into the DOM management of Beiiing City, which is an component of the Beijing Spatial Information Infrastructure.     

Fleet Scheduling for Multiple Plants with Limited Storage Capacity

Some manufacturers replace traditional warehouses with shipping areas at the scattered plants for holding the finished products in order to reduce land usage and inventory cost.The limited storage capacity of such shipping area leads to challenges of scheduling vehicles for pickup since the overflow of storage space is prohibited.A heuristic rule is developed for splitting the continuous arrival of inventory at a plant into a sequence of discrete tasks for pickup.In this way,the original problem can be converted into a multiple trip vehicle routing problem with time window(MTVRPTW).Subsequently,a modified tabu search(TS)algorithm is applied for deriving the schedule.Finally,an industry case of an electric apparatus manufacturer is studied to demonstrate and validate the developed optimization approach,and the results imply good performance of the developed tool.     

基于海量内存的异步红外数字视频存储

目前靶场光学测量中使用大面阵高帧频数字相机,原有的同步存储系统无法满足要求,设计了基于海量内存的超高速异步数字视频存储系统。使用PC平台的硬件,先将数字视频存储至内存中,待数据传输结束后再将内存中的数据写入存储介质,避开了同步存储的实时写入存储介质的速率瓶颈,避免了因为写入速率不稳导致的丢帧错帧的问题。在实际使用中可实现速率为800MB/s的超高速存储。     

MC算法生成数据的分组网格化处理

对MC算法生成的数据进行后续处理,首先采用排序归并算法,归并顶点数据.根据相邻三角形共有顶点的特性,确定三角形之间的连接关系.根据属于同一个子等值面的三角形相互连接的特性,采用种子算法,将属于不同子等值面数据进行分组.采用顶点表与三角形表的数据结构存放子等值面的数据,实现MC算法生成数据的分组与网格化.     

虚拟现实开发工具中几何对象的表示及存储

提出并设计一种可描述多部件复合物体的3D几何模型及存储结构,供虚拟现实开发工具（SVRT）使用。用具有层次结构和多级坐标系统的边界表示法描述几何对象,用二叉树数据结构进行存储,并用VC＋＋和OpenGL实现。这种几何模型和存储结构能较精确地描述物体的几何形状及表面属性,易于存取和绘制。解决了单部件模型无法实现复杂行为的问题,满足SVRT系统的要求。也可供其他虚拟现实系统使用。     

Challenge and Methods of Synchronous Disk I／O

At present, I/O is the performance bottleneck limiting the speed of computer systems. A large number of I/O operations are synchronous read/write operations of only small data blocks. However, reducing the latency of synchronous I/O operation is a non-trivial problem. In this paper, we propose two methods to address this problem. The first method, FastSync, uses a cache disk optimized for write operation via use of a disk-head position prediction algorithm. In this way, disk capacity is traded for synchronous I/O performance. The second method, LND, uses free memory capacity in a network environment as a cache disk for the buffeting of synchronous I/O operation. Data integrity in FastSync is ensured by using a data log on the cache disk, whereas in LND, integrity is ensured by the storage in distributed memory of multiple copies of each data block. Both methods succeed in dramatically increasing the performance of synchronous I/O operation. The performance of LND is limited by the network speed, whereas performance of FastSync is determined mostly by the data block size.     

移动计算环境下可配置的卷回恢复算法

设计了一种可配置的卷回恢复算法,算法将检查点分别存储在移动节点本地磁盘和移动支持站上的可靠存储器,用低费用的检查点容忍出现频率较高的错误,而用高代价的检查点容忍出现频率较低的错误。算法降低了无线网络负载和能耗,减少了采取检查点和错误恢复的迟延,并根据环境动态配置,可降低算法平均开销率。     

基于FPGA的SPI接口Flash控制器设计及其在存储配置数据中的应用

针对现场可编程门阵列(FPGA)丰富的逻辑资源及产生精确时序的能力,给出一种基于FPGA的SPI控制器的设计方法.可方便地对SPI flash进行读写、擦除等操作,从而能快速、准确地存储数据.在SPI控制器设计过程中使用Modelsim进行仿真验证,并用VHDL硬件描述语言进行编程,下载到FPGA开发板上进行测试,对SPI接口flash进行操作,证明了系统设计方法的正确性和可靠性,该方法对flash存储控制系统的设计具有普遍适用性,实现了对以FPGA为控制核心的系统数据长时间存储.     

基于K-均值聚类算法的中药叶片显微图像分割

本文试图利用图像分割技术,实现叶片自动分类。为了充分利用像素的色彩,分割算法在RGB颜色空间进行。颜色空间数据量巨大,直接进行聚类效率太低,因此,本文运用一种特殊的存储结构存储颜色空间数据,按颜色的密度特征对图像中的颜色进行排序和聚类,并根据待聚类色彩与已有聚类中心距离是否小于类内最大距离来决定归入已有的类或形成一个新的类。实验结果表明算法具有较好的分类效果。