基于HBase的小文件高效存储方法

基于 Hadoop 平台的相关系统得到了广泛应用。Hadoop 分布式文件系统（Hadoop distributed file system, HDFS）通过分布式的工作方式,负责处理海量文件数据。对 HDFS 而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于 HBase（Hadoop database）的海量小文件高效存储方法,利用 HBase 的存储优势,将小文件直接存储于 HBase,从而有效减少元数据节点服务器（Name-Node）的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高 HDFS 环境下小文件的读写效率。     

一种基于混合索引的HDFS小文件存储策略

Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用.针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于混合索引的小文件存储策略,应用分类器分类标记小文件,并在元数据服务器建立H-B+树索引,在存储节点根据小文件大小建立不同的块内索引,达到提高小文件访问效率的目标.实现中采用缓存结构,以提高客户端访问的响应速度,同时也有利于元数据服务器节点的内存负载.实验结果表明,基于混合索引的小文件存储策略能有效提高小文件访问效率,并显著降低元数据节点内存开销.     

一种基于频繁项挖掘的大量小文件动态合并算法

分析了当前社交网络中大量小文件数据特点,将访问日志与数据挖掘相结合,提出了一种基于频繁项挖掘的大量小文件动态合并算法.此算法实现小文件动态合并,解决了合并文件的一致性问题,从而预测用户下一步的访问,为预取小文件做引导,提高预取的命中率.针对预取和缓存的文件过多的特点,设计了一种新的含循环单链表的缓存置换算法优化缓存内容.通过实验证明,该算法大量小文件动态合并性能优于已有的算法.     

基于Hadoop的海量小文件存储优化方法

对基于Hadoop的海量小文件存储进行优化,利用小文件内部存在的相互联系,进行小文件的归并操作;通过索引机制访问小文件及元数据缓存,并利用相关性强的小文件预取机制提高文件的读取效率。实验发现,优化后的方法降低了Hadoop名字节点的内存消耗,减少了查询时耗,提高了系统性能。     

基于Hadoop的海量统计小文件存取优化方案

Hadoop作为一个开源的并行计算框架,它提供了一个分布式的文件存储系统HDFS.然而,当处理海量小文件时会产生NameNode内存使用率较高、存取性能并不理想的问题,导致NameNode成为系统瓶颈,从而制约了文件系统的可扩展性.本文结合统计工作,提出了一种小文件存储的优化策略,在HDFS之上增加小文件预处理模块将文件进行分类,合并成Mapfile,并建立全局索引,另外该策略引入了索引预取机制和缓存机制.实验证明,该方法能有效提高大批量小文件的存取性能.     

一种提高云存储中小文件存储效率的方案

针对基于HDFS(Hadoop distribated file system)的云存储系统中小文件存储效率不高的问题,采用序列文件技术设计了一个云存储系统中小文件的处理方案.该方案利用多维属性决策理论,综合读文件时间、合并文件时间及节省内存空间大小等指标,得出合并小文件的最优方式,能够在消耗的时间和节省的内存空间之间取得平衡;设计基于层次分析法的系统负载预测算法对系统负载进行预测,从而实现负载均衡的目的;利用序列文件技术对小文件进行合并.实验结果表明,在不影响存储系统运行状况的基础上,该方案提高了小文件的存储效率.     

基于Spark的Apriori并行算法优化实现

针对传统Apriori算法处理速度和计算资源的瓶颈,以及Hadoop平台上Map-Reduce计算框架不能处理节点失效、不能友好支持迭代计算以及不能基于内存计算等问题,提出了Spark下并行关联规则优化算法.该算法只需两次扫描事务数据库,并充分利用Spark内存计算的RDD存储项集.与传统Apriori算法相比,该算法扫描事务数据库的次数大大降低;与Hadoop下Apriori算法相比,该算法不仅简化计算,支持迭代,而且通过在内存中缓存中间结果减少I/O花销.实验结果表明,该算法可以提高关联规则算法在大数据规模下的挖掘效率.     

一种基于临时表的关联规则增量更新算法

对挖掘关联规则中的FUP算法的关键思想以及性能进行了研究,针对挖掘关联规则中FUP算法的不足,提出了一种基于临时表的改进算法MFUP.该算法通过建立临时表,充分利用原数据库挖掘的结果,从而大大减少了对数据的重复扫描,提高了数据挖掘算法的效率.通过实例分析,说明了MFUP算法的优越性.     

云存储在校园信息化中的应用与优化

针对目前校园海量数据存储面临的服务器资源利用率低、管理维护成本高等问题,在云存储技术的基础上提出了校园云存储服务的设计,并进行了实验.为减少读写速率的损失,系统通过调用HDFS(Hadoop distributed filesystem)的API接口方式实现数据存储及对集群的状态监控和管理.实验表明:传输文件的大小和集群中数据节点的个数对云存储服务的数据读写速率的影响较大;HDFS并行传输大量小文件的速率相对较低.     

一种基于关联规则的增量数据挖掘算法

分析了关联规则增量更新挖掘算法FUP和IUA,指出了其效率低下的主要原因.针对关联规则增量更新问题,提出了一种新的简单高效的增量挖掘算法LIUA,并对算法LIUA进行了测试,测试结果表明算法是高效、可行的.     

一种高效的增量更新约束关联规则挖掘算法的研究

约束关联规则挖掘是根据用户提出的各种约束条件从交易数据库中挖掘出用户感兴趣的关联规则。该文针对目前提出的诸多约束关联挖掘算法只适应于静态数据库的情况,且挖掘出的约束关联规则存在效率低等缺点,提出一种基于倒排索引树的增量更新约束关联规则挖掘算法UPC-IITree,该算法将树型结构与倒排索引相结合,以实现无需扫描原始数据库和不产生候选项集的情况下,解决原始DB新增数据集时能高效地维护满足用户给定约束条件的关联规则。通过实验与其他相关算法进行对比,实验结果表明,UPC-IITree算法减少了算法的执行时间,节约了内存空间,提高了挖掘效率。     

应用个性化推荐的Web日志关联规则挖掘算法研究

对传统的关联规则挖掘算法FP-Growth方法进行改进,提出FP-Mine算法,并应用该算法对Web日志进行挖掘,探寻用户访问站点页面之间的关联规则,来帮助管理员改善站点的设计和企业改进市场商务决策.实验结果证明FP-Mine算法在生成频繁项集及关联规则的过程中,只需存储i-size和(i+1)-size频繁项集的节点的Freq-Set-Tree,且立即在其之上生成规则,所以缩短规则生成的时间,提高规则生成效率,同时释放i-size项集的节点,有效地节省内存空间.     

HDFS可视化操作研究与实现

Hadoop是一个由Java语言实现的软件框架,在一个计算机集群中对海量数据进行分布式计算,这个集群可以支持上千个节点和PB级别的数据.HDFS是专门为Hadoop设计的分布式文件系统,作为Hadoop最基本的构成元素,保证内容的完整性与可用性.但是HDFS的操作界面并不友好,必须通过命令行或者IDE插件来实现对文件的操作.在研究HDFS的架构的基础上,设计实现了基于WEB的HDFS可视化文件访问系统.     

基于MapRedue的大规模矢量空间数据选择查询处理

为高效地处理大规模矢量空间数据,基于Hadoop的并行计算框架MapRedue,实现了一种分布式的矢量空间数据选择查询处理方法.首先,分析OGC简单要素标准与Hadoop的Key/Value数据模型,设计了可存储于Hadoop HDFS的矢量文件格式;其次,根据两阶段的过滤-精炼策略,对Map输入数据分片、选择查询处理过程及Reduce结果合并等关键步骤进行了详细阐述;最后,基于上述技术,利用Hadoop集群环境对所提出的方法进行验证,该方法具有较好的可行性和较高的效率.     

基于PKI的HDFS认证及安全传输机制研究

为解决Hadoop核心子项目Hadoop分布式文件系统(HDFS)文件服务过程中存在的认证及安全传输问题,对当前所采用的Kerberos方案进行了详细的分析,针对其在安全性和效率性方面存在的缺陷,提出将基于PKI的数字证书认证技术及基于数字信封的AES对称加密技术应用到HDFS的安全机制中。分析表明,该安全机制与Kerberos相比,能够为HDFS文件服务提供更安全、更高效的解决方案。     

Apriori算法的研究及在商业决策中的应用

通过分析关联规则中的经典算法Apriori,针对传统Apriori算法效率上的不足,提出一种基于哈希技术的改进Apriori算法,该算法将频繁项集存储在哈希表中,采用线性直接地址法使得哈希表中存储的频繁项集不冲突,提高算法的效率,具有较好的实用性.     

基于分类树的高效关联规则挖掘算法

在分析类Apriori算法存在效率瓶颈的基础上，提出了一个高效改进算法——基于分类树的关联规则挖掘算法．该算法只需要两次访问数据库，把数据库中的数据利用分类树来存储，减少了访问数据库的次数；并且由分类树的全部或部分来求得频繁项目集，减少了求频繁项目集的比较次数．此算法通过结合Apriori和FP—tree两种算法来提高挖掘效率，降低了挖掘算法的时间复杂度和空间复杂度．通过多次试验证明该算法比Apriori及其改良算法的挖掘效率高2到8倍．     

一种新的基于FP_Growth的频繁项目集并行挖掘算法

频繁项目集挖掘用于发现项目之间的关联规则.为了高效求解面向大数据的频繁项目集,本文提出一种新的基于FP_Growth的频繁项目集并行挖掘算法NPFP_Growth(New Parallel algorithm based on FP_Growth),该算法对频繁模式树的存储结构进行改进,基于Map/Reduce并行计算模型,利用HDFS实现数据存储,在各自计算节点上构造局部频繁模式树,求解该局部频繁模式树中每个分支的最长全局频繁项目集;对于全局非频繁项目集,计算其支持数,发送至相应计算节点进行支持度统计,从而以较为简单的算法实现频繁项目集并行挖掘.实验表明,NPFP_Growth算法具有较高的计算效率和良好的可伸缩性.     

基于动态带宽分配的Hadoop数据负载均衡方法

数据负载均衡对Hadoop分布式文件系统(HDFS)性能有着重要的影响,针对HDFS中默认的数据负载均衡方法存在的效率低和缺乏灵活性的不足,文中提出了一种新的动态负载均衡方法,即通过控制变量来动态分配网络带宽以达到数据负载均衡.在此基础上建立了基于控制变量的数据负载均衡数学模型.实验结果表明,文中提出的方法既能保证HDFS的数据访问性能,又能提高集群加入新节点时的数据负载均衡效率.     

基于分辨矩阵的关联规则挖掘改进及实现

Apriori算法是关联规则数据挖掘领域中最重要的挖掘方法,针对Apriori算法中挖掘频繁项集的效率问题和产生关联规则的合理性问题,改进相关定义及其使用,并提出改进的Apriori算法,然后将改进算法用于教学评价仿真系统.仿真结果表明,改进算法可高效、合理地挖掘关联规则,为做好课程安排和教学工作提供支持.