HDFS可视化操作研究与实现

Hadoop是一个由Java语言实现的软件框架,在一个计算机集群中对海量数据进行分布式计算,这个集群可以支持上千个节点和PB级别的数据.HDFS是专门为Hadoop设计的分布式文件系统,作为Hadoop最基本的构成元素,保证内容的完整性与可用性.但是HDFS的操作界面并不友好,必须通过命令行或者IDE插件来实现对文件的操作.在研究HDFS的架构的基础上,设计实现了基于WEB的HDFS可视化文件访问系统.     

一种基于多衡量指标的HDFS负载均衡算法

针对在Hadoop分布式文件系统中,系统默认的数据负载均衡算法在做负载均衡决策时只根据磁盘空间使用率这单一的衡量指标无法准确反映集群中各服务器实际的工作负载状况这一缺陷,通过研究和分析Hadoop分布式文件系统本身的负载均衡机制和在其基础上改进的负载均衡算法,本文提出了一种基于多衡量指标的负载均衡方法,定义了一个衡量指标函数,然后根据该函数计算集群中各数据服务器的负载量来对集群进行负载决策.最后通过实验结果表明,该方法有效地提高了Hadoop分布式文件系统中的负载均衡效果.     

基于Hadoop云计算平台的文本处理算法的研究与改进

Hadoop是Apache基金会下的一个开源分布式计算平台,以分布式文件系统HDFS(Hadoop Distributed File System)和Map Reduce分布式计算框架为核心,为用户提供了底层细节透明的云分布式基础设施。在对Hadoop进行深入分析和研究的基础上,搭建基于Hadoop的云计算平台,并完成分布式文本文件处理任务以及对文件文本内容处理算法的改进和实现。     

基于Hadoop的大数据处理平台研究

大数据时代的到来伴随着海量数据,进而使得筛选出具有价值的信息成为大数据被广泛应用的核心步骤.在此情况下Apache Hadoop顺势而生,其通过简化数据密集、高度并行的分布式应用来应对大数据带来的挑战.由于目前基于Hadoop的大数据平台在多领域普遍使用,从而平台搭建成为进行大数据探索的第一步.而很多文章介绍的平台搭建是在虚拟机中完成,与真实情况存在相应差异.本文讨论以真实集群为基础搭建Hadoop平台的原因,Hadoop集群的强大功能,搭建平台所需设备、环境、安装、设置及测试过程.     

基于HBase的小文件高效存储方法

基于 Hadoop 平台的相关系统得到了广泛应用。Hadoop 分布式文件系统（Hadoop distributed file system, HDFS）通过分布式的工作方式,负责处理海量文件数据。对 HDFS 而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于 HBase（Hadoop database）的海量小文件高效存储方法,利用 HBase 的存储优势,将小文件直接存储于 HBase,从而有效减少元数据节点服务器（Name-Node）的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高 HDFS 环境下小文件的读写效率。     

基于Hadoop的房产信息服务的方法

针对大数据信息服务的运算效率的问题,提出一种基于Hadoop的房产信息服务方法,设计并实现了一个房产信息服务原型系统.使用Hadoop搭建分布式文件系统,在该文件系统之上使用RCFile对数据进行存储管理.此外,在该系统中集成数据索引、数据压缩等技术,并提出一种SQL高效查询机制——SQL-JM,将SQL查询转变成MapReduce作业,提高查询效率.前端使用一些信息可视化技术,如Treemap,StreamGraph,折线图等对数据进行直观展示.用户通过浏览器登录该系统后,可以申请并使用相关房产信息服务.Hive,HadoopDB,MySQL等数据库系统的查询对比实验验证了该系统能提高查询效率.     

基于Android的移动警务系统开发

本文基于Android系统开发,实现一套Android客户端软件和完善的后台服务功能来完成警务系统功能。该系统主要包括后台数据库服务器、WEB服务器、无线网络、Android前端等部分。客户端Android系统智能手机具有前端处理与计算能力,而且通过中国移动无线网络访问WEB服务器,如果需要数据访问,则访问后台数据库。本文介绍了系统架构的设计与搭建、技术选型、后台数据库的设计与实现、基本警务服务功能的分析、设计与开发。     

基于Hadoop的云计算试验平台搭建研究

Hadoop是一个免费的开源云平台,是允许在集群计算机上分布式处理大数据的软件框架。它是一种可靠、高效、可伸缩的云平台,很适合在实验室环境下进行模拟测试。以Hadoop为基础,借助虚拟机VMware以及Linux、ubuntu、Hadoop、java--jdk等软件,详细地介绍了单机环境下的虚拟云平台搭建过程,并给出具体的实例搭建过程。在设计实例中详细的论述了虚拟机、java、Hadoop等软件的安装、设置、测试过程。实现了在实验室环境对云平台的虚拟,并提出了在搭建试验平台时应该注意的用户权限、路径配置和使用SSH服务程序等问题。该试验平台为系统中间件和应用服务的开发提供了基础。     

基于ASP.NET的WEB系统安全设计

本文介绍了基于ASP．NET平台WEB系统的安全设计，分析了ASPNET下WEB服务器、WEB应用系统和数据库资源的安全机制，给出了通过身份验证、权限控制、数据加密、参数化查询、最小权限等手段实现WEB系统的安全性的技术细节。     

办公自动化系统信息发布平台的实现

实现动态信息发布平台的关键是实现前台界面和后台WEB服务器及WEB服务器与数据库间的交互.针对采用HTML实现的前台界面交互性和生动性较差,给出应用Flash,ActionScript,PHP,数据库技术实现互动信息发布平台的方法,介绍设计原理和前台Flash与后台数据库互动式交流的具体过程.