一种基于频繁项挖掘的大量小文件动态合并算法

分析了当前社交网络中大量小文件数据特点,将访问日志与数据挖掘相结合,提出了一种基于频繁项挖掘的大量小文件动态合并算法.此算法实现小文件动态合并,解决了合并文件的一致性问题,从而预测用户下一步的访问,为预取小文件做引导,提高预取的命中率.针对预取和缓存的文件过多的特点,设计了一种新的含循环单链表的缓存置换算法优化缓存内容.通过实验证明,该算法大量小文件动态合并性能优于已有的算法.     

基于关联规则挖掘的分布式小文件存储方法

Hadoop分布式文件系统(HDFS)设计之初是针对大文件的处理,但无法高效地针对小文件进行存储,因此提出了一种基于关联规则挖掘的高效的小文件存储方法——ARMFS。ARMFS通过对Hadoop系统的审计日志进行关联规则挖掘,获得小文件间的关联性,通过文件合并算法将小文件合并存储至HDFS;在请求HDFS文件时,根据关联规则挖掘得到的高频访问表和预取机制表提出预取算法来进一步提高文件访问效率。实验结果表明,ARMFS方法明显提高了NameNode的内存使用效率,对于小文件的下载速度和访问效率的改善十分有效。     

基于Hadoop的海量小文件存储优化方法

对基于Hadoop的海量小文件存储进行优化,利用小文件内部存在的相互联系,进行小文件的归并操作;通过索引机制访问小文件及元数据缓存,并利用相关性强的小文件预取机制提高文件的读取效率。实验发现,优化后的方法降低了Hadoop名字节点的内存消耗,减少了查询时耗,提高了系统性能。     

异构内存系统全局优化的数据预取算法

鉴于现有的数据预取算法不能满足高效能异构计算系统对动态随机存取存储器(DRAM)和非易失性存储器(NVM)相结合的新型异构存储器高效访问的要求,提出了一种模拟退火的全局优化数据预取算法(SADPA)。该算法在启发式搜索模拟退火算法的基础上,引入了随机因子,以避免局部最优,从而确定了全局优化阈值以预取NVM页面的有效数量。实验结果表明,该算法相对于静态阈值调整算法,平均访问延时降低了4%,每个时钟周期内的平均指令数(IPC)增加了10.1%;对于cactusADM应用,该算法相对于软硬件协同的动态阈值调整算法,系统能耗降低了3.4%。     

基于文件相关性的云存储缓存策略

分析云存储数据访问的长尾现象,设计一种基于文件相关性的缓存策略MSU(mostsimilarunit).该策略通过判断文件之间的相关性完成大容量缓存中的文件预取与替换.首先,MSU选择文件的多个访问特征作为计算余弦距离值的输入,从而得到文件相关性的度量.然后,MSU将缓存中的文件作为替换待选集合,将一段时间内从缓存中替换出来的文件作为预取待选集合.当出现文件不命中时,从替换待选集合中取得缺失文件的k-非近邻作为替换文件,从预取待选集合中取得缺失文件的1-近邻作为预取文件.仿真实验表明MSU在命中率和字节命中率方面优于LRU(最近最少使用策略)、ARC(自适应替换策略)和GDS(多参数贪心策略)算法.     

面向高性能计算的混合存储系统设计与实现

提出了一种采用RAM-disk的混合存储系统,在计算节点的并行文件系统的元数据服务器和对象存储服务器组件中设置不同用途的RAM-disk,用于缓存各种访问模式的文件并提高系统的读写性能.结果表明,采用RAM-disk的混合存储系统可以明显提高系统的读写性能,同时可提高系统的可用性和可维性.     

基于关联规则的入侵检测系统

为提高入侵检测系统的智能性、准确性和检测效率,针对入侵检测系统的特点,将数据挖掘技术应用于入侵检测系统。阐述了使用关联规则及其优化算法,对日志文件进行特征分析与知识发掘的入侵检测系统的设计与实现。实验表明,优化后的算法在对某一日志文件的入侵检测中,准确率平均提高45%,检测效率平均提高50%,大大增强了入侵检测系统的性能。     

基于生存期的云存储元数据缓存算法

针对元数据管理子系统成为云存储中性能瓶颈的问题,研究了云存储元数据缓存算法.在分析元数据被访问特性的基础上,提出了元数据缓存生存期的概念;依据云存储的特性设计了元数据缓存生存期的计算规则,给出了基于生存期的元数据调出策略和元数据缓存写回策略,提高了云存储元数据管理的效率;分析了基于生存期元数据缓存算法适应用户访问特性的能力,讨论了使用基于生存期元数据缓存算法后如何保证元数据一致性的问题;使用基于生存期元数据缓存算法,实现了云存储元数据缓存原型系统,并使用通用数据集和测试工具进行了测试与分析.结果表明,该算法能提高云存储15％的I/O速度和16％的操作处理速度.     

基于定位目录的元数据管理方法

元数据的访问性能和可扩展性是影响大规模存储系统整体性能的关键因素。该文提出了一种基于定位目录的元数据组织机制。该机制以定位目录作为元数据定位、负载评价以及元数据动态迁移的基础,保持了元数据的目录相关性,提供了较高的元数据访问的性能;在此基础上的负载评价方法以很小的开销反映操作历史信息的影响。测试数据表明,该机制可以提供良好的负载调节能力。     

面向大规模存储系统的静态文件布局策略

为了提高大规模存储系统的访问性能,提出了一种静态文件布局策略(SFLS).SFLS首先把磁盘分成两组,分别用于存放热点文件和大文件,然后按服务时间长短将排序好的文件分别以Round-robin和Greedy的方式存放到两组磁盘上;在进行文件访问时,可根据文件的大小和热度来选择相应的磁盘组进行访问.该策略加快了文件I/O请求的访问速度,提高了存储系统的访问性能.实验结果表明,SFLS能动态适应系统规模的增长,与SP、SOR静态布局策略和HP动态布局策略相比,具有更低的平均响应时间和更好的负载均衡性能.     

基于元数据的异构数据集整合方案

为了把分布在不同系统中的异构数据集整合起来,实现高度集成的数据查询功能,需要一种普适性方案对数据进行规范化与再利用。该文对典型的应用系统分布场景进行建模,制定一种伸缩性良好的元数据规范,进而提出一种可对分散系统中的异构数据集进行集成,对集中的元数据信息进行统一管理,并为用户提供单一入口查询的整合方案。对原始系统的改造极小,且用户可以透明地访问原始系统的所有数据资源。方案已经应用在医药卫生科学数据共享工程中,取得了可观的经济效益。     

基于云计算的一种全新元数据管理方案

为有效减少云计算过程中不同元数据的工作量,本研究提出了一种全新的管理方案.通过改进的Chord算法和协同双层缓存机制使得元数据服务性能随着聚类上元数据服务器数量增加而增强;采用亲密算法控制客户端与服务器端的协作以便对元数据集进行缓存.基于以上方案能表现出较高性能和良好的可扩展元数据服务,实验表明本文提高的方案性能优于其它方案,更能体现出元数据访问性能与亲密值之间变化的关系.     

对象存储系统的合作缓存方案

结合对象存储系统的数据访问模式,综合设计客户端和元数据服务的缓存,构造存储系统的合作缓存方案.该方案将客户端和元数据服务器的缓存作为整体进行设计,以达到提高缓存利用率的目的;通过缓存准入策略合理选择数据传送模式,减少数据传送的通信量;同时,合作缓存方案根据数据对象的大小、访问成本和网络负载动态地调整缓存策略,提高存储系统的服务质量.实验显示,合作缓存方案能较好地适应不同的工作负载,有效提高了系统的输入输出性能.     

模型与GIS集成理论初步研究

探讨了模型与地理信息系统的集成问题，指出问题的实质是对象状态数据模型、对象模拟模型和对象分析处理模型的综合表达与处理．提出了建立在元数据和元模型基础上的二层次集成方案．首先把对象状态数据模型、对象模拟模型和对象分析处理模型以规范化的元数据和元模型形式表达出来，在此基础上实现的地理信息系统、模型库管理系统和空间分析处理系统也就能提供基本的数据集成和功能集成．其次，提出了基于数据流机制的应用集成方案，满足能把应用方案数据流图化的综合性集成应用的需要．     

基于XML的教育资源库元数据标准化研究

为提高网络教育资源的利用率,共享不同结构的资源库的数据,针对我国各院校的教育资源库的建设缺乏统一规划,存在重复建设、数量庞杂、形式不规范等,使网络远程教育系统中资源信息不能有效共享传播的问题,提出了基于XML(eXtensible Markup Language)的教育资源库元数据标准化的方案,研究了基于模板的XML数...     

HANDY集群文件系统

针对当前集群文件系统缺乏动态扩展性和高可用性的不足,提出了一种基于逻辑矢量环结构的集群文件系统HANDY.系统利用逻辑矢量环实现动态扩展和资源的动态管理,采用了分布式元数据管理策略,引入邻接复制技术实现元数据的容错,通过可定制的数据存放策略满足不同应用的数据存储需求.测试结果表明,基于环状结构的系统HANDY具有良好的动态扩展性和高可用性.     

藏文数字图书馆的体系结构与元数据方案建设

从藏文数字图书馆体系结构的建设角度考察元数据方案．认为元数据方案在很大程度上决定了藏文数字图书馆各类对象的数据结构．影响着数字资源的管理方式和构件模型。同时元数据方案应该体现藏文数字图书馆与一般因特网应用的不同之处．元数据方案设计的出发点是将资源的存储、表现、传输相分离,提供分层次的服务。元数据提供了所有这些功能语义内容与相互联系的基础。     

A 5.3-GHz 32-bit accumulator designed for direct digital frequency synthesizer

A 32-bit pipeline accumulator with carry ripple topology is implemented for direct digital frequency synthesizer.To increase the throughout while hold down the area and power consumption,a method to reduce the number of the pre-skewing registers is proposed.The number is reduced to 29% of a conventional pipeline accumulator.The propagation delay versus bias current of the adder circuit with different size transistors is investigated.We analyze the delay by employing the open circuit time constant method.Compared to the simulation results,the maximum error is less than 8%.A method to optimum the design of the adder based on the propagation delay is discussed.The clock traces for the 32-bit adder are heavily loaded,as there are 40 registers being connected to them.Moreover,the differential clock traces,which are much longer than the critical length,should be treated as transmission lines.Thus a clock distribution method and a termination scheme are proposed to get high quality and low skew clock signals.A multiple-type termination scheme is proposed to match the transmission line impedance.The 32-bit accumulator was measured to work functionally at 5.3 GHz.     

SANTT:网络流量共享平台

Internet研究领域里存在很多网络数据库,它们向研究者提供用来研究网络动态、流量特征和网络发展模式的各类流量数据集. 数据采集/分发工具的限制和数据集里涉及的隐私信息使得这些数据库不能得到广泛的应用. 基于此,利用专用硬件网络处理器IXP2400的高速处理性能,设计和实现了一个安全的网络数据共享平台--SANTT. 该平台里提出了一个用于去除隐私信息的前缀保持的随机化算法,并通过组播方式发布处理过的数据. 对网络数据和仿真数据进行的测试验证了SANTT系统的处理性能和稳定性.     

关系数据库中实时高效元数据存储算法优化研究

当前关系数据库中元数据存储算法不仅所需存储空间大,而且均衡性和稳定性差,读写效率低下。为此,提出一种新的关系数据库中实时高效元数据存储算法。通过基于优先级的蛇形时隙算法,对关系数据库中的元数据进行存储;通过分割网格区域把关系数据库中某一类型的元数据存储于对应的网格中,把优先级高的元数据存储于和查询节点较近的区域,使得高优先级元数据最先被搜索。针对优先级蛇形时隙算法未考虑元数据存储时缓存因素、缺乏针对元数据访问局部性优化机制的弊端,引入元素存储生存期对其进行改进,以提高元数据存储算法的实时高效性。实验结果表明,所提算法的分布均衡度和稳定性很高,而且存储空间小,读写性能优。