Hadoop性能优化研究

优化Hadoop的性能可大大提高Map Reduce的工作效率,缩短任务执行时间,增加分布式计算的吞吐量.Hadoop的执行性能受到多种配置属性的影响,不同配置属性间也存在相互制约关系.基于遗传算法,对配置方案不断选择、交叉、变异,多次迭代后产生近似最优配置方案.实验结果表明该配置方案能够有效提高系统性能,并且具有稳定性和适用性.     

基于Hadoop的高校共享信息资源平台建设研究

数字揭示当今社会已处于大数据时代,蕴藏着巨大的价值。利用Hadoop技术可以低成本地实现云计算平台,从而实现高校问信息资源共享。最后给出一种用Hadoop技术建设高校共享信息资源平台的模型。     

基于Hadoop的云安全存储系统的平台设计

在现有HDFS文件系统的基础上,对于某些关键问题与算法进行了改进,采用JSP等技术结合Hadoop API设计并开发了一个基于Hadoop的云安全存储系统。该系统可以实现文件的上传、下载和共享等功能,用户可以通过Web网页进行相应的操作。     

基于COG、Hadoop和 Spark的海量影像快速可视化共享方法

随着遥感技术的飞速发展,海量遥感影像及时、高效、波段可灵活组合可视化共享需求强烈,针对影响海量影像快速可视化共享服务显示速度及预处理时间长的关键问题,提出了基于COG(Cloud Optimized GeoTIFF)技术、Hadoop分布式存储技术和Spark并行运算技术的解决方案,解决了传统金字塔栅格瓦片时效性差、不支持波段组合显示等问题,已在项目和实际生产服务中得到应用验证。     

无可信中心的秘密共享-多重签名方案

为满足多等级数字签名的需要,采用联合随机秘密共享技术和多重签名技术,设计了一种新的签名方案——无可信中心的秘密共享-多重签名方案.在该方案中,没有可信中心,每个参与者随机选取自己的私钥,并公布相应的公钥作为群体公钥的一部分.针对不同重要等级的消息,满足规定数量的参与者联合起来,就能生成有效的多重签名,而不需要更换成员的私钥和公钥.分析表明,和已有的方案相比,该方案降低了密钥分发的代价,提高了系统的性能.     

基于大数据技术的学习分析系统架构

通过电子书包、移动学习终端、在线学习应用等,可捕获大量的学习行为数据.如何利用这些大数据是目前教育信息化领域亟需研究的问题.本文首先分析了教育信息化领域对学习分析的需求和研究对象.接着引入大数据技术,设计以Hadoop为核心的学习分析系统,构建基于学习分析的智能数字化教育服务,并列举此技术方案的具体应用案例.最后,提出需要解决Hadoop应用在学习分析领域的技术问题.     

一种提高云存储中小文件存储效率的方案

针对基于HDFS(Hadoop distribated file system)的云存储系统中小文件存储效率不高的问题,采用序列文件技术设计了一个云存储系统中小文件的处理方案.该方案利用多维属性决策理论,综合读文件时间、合并文件时间及节省内存空间大小等指标,得出合并小文件的最优方式,能够在消耗的时间和节省的内存空间之间取得平衡;设计基于层次分析法的系统负载预测算法对系统负载进行预测,从而实现负载均衡的目的;利用序列文件技术对小文件进行合并.实验结果表明,在不影响存储系统运行状况的基础上,该方案提高了小文件的存储效率.     

Hadoop集群效能建模与评价

随着大数据技术的研究深入,Hadoop集群效能问题越来越引起业界的关注.如何有效地利用计算资源,使有限的资源发挥出最大的效能,成为大数据应用中一个迫切需要解决的问题.本文对Hadoop集群效能进行建模研究,建立以Hadoop集群单位时间完成的任务量与消耗能耗的比值来定义的Hadoop集群效能度量模型,并且基于该模型给出测量Hadoop集群效能所需的参数和度量方法.对不同硬件配置的Hadoop集群,选取CPU密集型和L/0密集型任务进行效能测试与评价.由测试结果可以得出机架服务器组成的Hadoop集群适合处理TB级的大规模数据,而PC组成的Hadoop集群更适合在要求不十分苛刻的场景处理10GB级及以下的中小规模数据,对生产环境中的Hadoop集群选型具有一定指导意义.     

网络服务探测技术研究

网络探测对统计网络行为、保障网络安全、建立网络仿真环境等方面有着重要的意义。文章主要归纳并且详细分析了网络探测技术,包括主机探测技术、资源探测技术、服务探测技术和远程操作系统探测技术等,其中端口扫描技术应用广泛,在描述端口扫描原理的基础上,详细分析了SYN扫描、TCP扫描、UDP扫描、标志位扫描、TCPACK扫描和TCP窗口扫描等,为进一步开展相关技术研究打下基础。     

交通流大数据中的套牌车并行检测算法

传统的套牌车识别算法通过串行工作方式在网格化城市交通监控系统所产生的大规模数据中进行两两比对实现套牌车检测,因此在处理海量数据时存在性能瓶颈问题.提出了一种新的基于Hadoop的MapReduce算法模型,该算法具有并行特征,通过引入多台硬件计算资源协同处理大规模数据下的套牌车检测问题,显著提高了计算性能.同时,采用基于动态旅行时间实时的时空窗口计算技术,能进一步提高算法的检测速度和识别精度.