基于Hadoop的大数据处理平台研究

大数据时代的到来伴随着海量数据,进而使得筛选出具有价值的信息成为大数据被广泛应用的核心步骤.在此情况下Apache Hadoop顺势而生,其通过简化数据密集、高度并行的分布式应用来应对大数据带来的挑战.由于目前基于Hadoop的大数据平台在多领域普遍使用,从而平台搭建成为进行大数据探索的第一步.而很多文章介绍的平台搭建是在虚拟机中完成,与真实情况存在相应差异.本文讨论以真实集群为基础搭建Hadoop平台的原因,Hadoop集群的强大功能,搭建平台所需设备、环境、安装、设置及测试过程.     

地质资料信息化为城镇建设服务的思考

近些年来,我国信息化的发展突飞猛进,地质资料也逐渐实现了信息化,在国家基础地学良好发展的基础上,地质资料的服务质量也取得了长足进步.城市地质信息化建设,不仅要有先进的技术手段,而且要熟悉和掌握城市地质调查方法与数据整合,保证城市建设数据源的可靠及利用价值.地质资料信息化建设包括城市地形地貌信息、工程地质信息、灾害地质信息、环境地质信息等,本论述通过思考使地质资料信息化,为城镇建设提供有利的技术服务.     

国外地质资料信息服务的经验及其启示

传统的地质资料信息分析无法发挥其应有的作用,造成信息资源的浪费。许多发达国家已开展了资料信息的数字化和网络化,开发出多种地质信息综合管理系统并提供相应的信息业务,我国也启动了地质资料信息集群化和产业化的工作。着重介绍了日本、欧美等国家的地质资料信息系统管理与服务的实例,总结出值得我们借鉴的产官学协作的管理机制及其社会效益和经济效益兼顾的信息服务等特点,为探索适合我国国情的地质资料信息集群化的新型管理体制、提高信息服务效率并充分发挥其社会经济效益提供参考。     

Hadoop云计算平台的参数优化算法

为提高Hadoop云计算平台的性能,该文提出了一种跨层的参数优化模型.首先分析了云计算平台的工作流程,将系统参数与流程对应,并加入基础设施即服务与平台即服务层的参数,找出对Hadoop集群效率作用显著的参数,并把这些参数值作为性能参数,构建成性能参数模型,再用启发式蚁群算法搜寻性能较优的可行参数,并不断修正,找出最佳参数组合,最后整合跨层的参数来提高Hadoop云计算平台的性能.实验表明,该算法可行,性能优良.     

Hadoop集群效能建模与评价

随着大数据技术的研究深入,Hadoop集群效能问题越来越引起业界的关注.如何有效地利用计算资源,使有限的资源发挥出最大的效能,成为大数据应用中一个迫切需要解决的问题.本文对Hadoop集群效能进行建模研究,建立以Hadoop集群单位时间完成的任务量与消耗能耗的比值来定义的Hadoop集群效能度量模型,并且基于该模型给出测量Hadoop集群效能所需的参数和度量方法.对不同硬件配置的Hadoop集群,选取CPU密集型和L/0密集型任务进行效能测试与评价.由测试结果可以得出机架服务器组成的Hadoop集群适合处理TB级的大规模数据,而PC组成的Hadoop集群更适合在要求不十分苛刻的场景处理10GB级及以下的中小规模数据,对生产环境中的Hadoop集群选型具有一定指导意义.     

基于Hadoop平台的数据挖掘算法应用研究

Hadoop平台是一个开源的计算机集群系统,它能快速处理海量的数据,且具备低成本、高效率、高扩展、高可靠、高容错的优势.基于Hadoop平台探索了数据挖掘算法的应用,详细阐述了Hadoop平台的基本组成原理以及运行机制,探索了相关的数据挖掘算法.基于MapReduce的K-Modes聚类数据挖掘算法具备较好的自适应性,利用簇众数来取代中心节点,提高了算法效率;基于Hadoop平台的分类算法采用朴素贝叶斯算法来实现数据挖掘过程,实验结果表明它完全适应在大数据环境下的数据处理,节约了时间,提高了算法运行效率.     

一种基于多衡量指标的HDFS负载均衡算法

针对在Hadoop分布式文件系统中,系统默认的数据负载均衡算法在做负载均衡决策时只根据磁盘空间使用率这单一的衡量指标无法准确反映集群中各服务器实际的工作负载状况这一缺陷,通过研究和分析Hadoop分布式文件系统本身的负载均衡机制和在其基础上改进的负载均衡算法,本文提出了一种基于多衡量指标的负载均衡方法,定义了一个衡量指标函数,然后根据该函数计算集群中各数据服务器的负载量来对集群进行负载决策.最后通过实验结果表明,该方法有效地提高了Hadoop分布式文件系统中的负载均衡效果.     

基于Hadoop建立云计算系统

云计算是2007年底正式提出的一个新概念,本文分析了云计算的特征和Hadoop的作用地位.针对Hadoop这样一个在集群上运行大型数据库处理应用程序的开放式源代码框架进行了云计算平台的实现,并进行了实验验证.     

基于Hadoop的云平台的实现与基准测试

Hadoop是google云计算理论的开源实现,作为软件系统中间件的软件框架,它可以对大量数据进行分布式处理。通过Haddop,用户可以在不了解分布式底层细节的情况下开发分布式程序,充分利用集群的威力进行高速运算和存储。通过使用VMware虚拟机技术实现在单机上配置多个虚拟计算机节点,从而进行集群测试;在虚拟节点上安装Ubuntu操作系统作为Hadoop的操作系统支持;同时,利用Xmanager软件,以及配置局域网中宿主机与虚拟机、远程控制机的网络参数,实现对虚拟节点的远程控制;在已经安装好Ubuntu操作系统的各个虚拟节点上安装Hadoop、java-JDK等软件,并进行相关的参数设置,实现在虚拟机上各个虚拟节点的Hadoop完全分布式平台。最后在Hadoop平台上,使用Hadoop软件自带的基准测试程序包对平台进行4个Hadoop的经典基准测试。同时,每个测试都会加载不同的数据量及负载进行多次实验,通过比较在不同的负载下Hadoop的基准测试结果,测试Hadoop平台的相关性能,并分析负载及数据量的变化对Hadoop平台性能的影响。     

基于Hadoop的金融智能云平台分布式架构

为了使金融大数据产生业务价值,提高金融信息化应用水平,针对金融行业实时海量信息存取困难的问题,提出一种构建用于金融行业的云平台分布式架构。通过金融系统监控信息的存储分析,利用分布式文件系统和并行编程模型,提出对应用集群和虚拟资源的管理方案。实验中建立了云集群分布式处理平台,通过金融大数据量查询性能结果表明,基于Hadoop的金融智能云平台分布式架构的合理性和有效性。     

叶轮进口边位置对自吸泵性能的影响分析

为研究自吸泵叶轮气液混合能力对自吸性能的影响,在叶轮原模型基础上,设计了叶片不同进口边位置的5种模型方案.采用VOF多相流模型对不同方案全流域进行三维定常数值计算,研究对自吸性能的影响规律.针对350WFB-1200-50型外混式无密封自吸泵,初始条件设定进水S型弯管中含一定体积的空气段,出口处设置含气率监测点.结果表明：针对中高比转速叶轮,进口边沿后盖板位置向出口前掠,使得叶轮进口边工作时对流体分时加载,可以有效提升叶轮的气液混合能力,从而缩短自吸泵的自吸时间;在一定前掠角度范围内改变进口边位置对自吸泵的扬程和效率影响不大,但是当叶片进口边向出口位置前掠超过一定范围时,会导致自吸泵扬程明显下降;当叶轮进口边前掠10°时,额定工况下自吸时间缩短25%,自吸性能明显得到提高.     

由对诗人的重估到对新诗史的重构--从《诗刊》看五四以来的新诗传统在五、六十年代的命运

作为二十世纪五六十年代国内最权威的诗歌刊物《,诗刊》无疑代表了当时的文学潮流,并引领着文学的走向。研究自1957年1月到1965年停刊的《诗刊》,可以清晰地把握当时的诗坛动态和文学环境,不失为五六十年代中国文学的一份生动史料。本文着重考察的是《诗刊》如何以对“五四”以来新诗人的重估和对新诗史的重构,完成了新诗在五六十年代的历史叙述。     

业务外包对图书馆可持续发展的影响

介绍了目前图书馆业务外包的外延和内涵,论述了业务外包之后的图书馆办馆效益,分析了业务外包带来的问题,对业务外包后的图书馆事业可持续发展进行了思考。     

医疗体育对大学生身高增长的影响

19至24岁的大学生,随着内脏器官的不断完善,两次身高增长的高峰期已经过去,一但骨骺部位闭合,骨化,身高的增长就几乎停止。通过对815名学生样本数据的正态分析和对中外多项增高实例研究,对比,得出大学生群体中身材矮小及伴随相关心问题的人,通过有针对性的体疗锻炼,能使其形体和心理都得到有效的改善。对大学生身体发育抢救阶段,医疗体育（体疗）方案,运动处方,增高器械等方面的深入探索,对培养高素质人才具有深远的意义。     

论"作者之死"理论的背景

罗兰.巴特的著名论文《作者之死》文字不多,但其思想来源却十分复杂:哲学界反理性思想尤其是福柯的"人之死"理论、索绪尔的结构语言学理论和拉康的主体观、法国当时的社会现实等都为"作者之死"理论的提出准备了条件。和福柯、拉康在哲学界高倡"人之死"、"主体死了"相呼应,巴特把矛头指向权力结构在文学批评领域的体现者——作者身上。他宣布了"作者之死",在话语领域中争取实现自己的乌托邦理想。     

关于拉普拉斯算子的第一、第二特征值的空隙的估计

利用极大值原理证明了对于Rn 中凸域Ω在狄利克莱边界条件下拉普拉斯算子的第一、第二特征值之差成立 :λ2 -λ1≥ π2d2 ,其中d为Ω的直径     

对公司会计信息失真原因的再思考

会计信息失真问题，是一个长期存在的现实问题。会计信息失真已经对我国国民经济的发展造成了极大的损害。从认识误区的角度对公司会计信息失真的原因进行了理性的思考，探讨了解决的对策。     

对图书馆读者满意度问题的思考

分析了图书馆读者满意度的含义及衡量要素,论述了图书馆调查读者满意度的目的及方式,提出了图书馆提升读者满意度的策略。     

湿度传感器稳定性的误差来源分析

阐述了湿度传感器稳定性的误差,指出影响湿度传感器稳定性的误差有线性误差、温度影响误差、湿滞误差以及校验标准误差等.     

技术异化的生成

从技术的复杂性和局限性、技术的不恰当使用、自然的不可预见性、技术理性的沙文主义式扩展及社会文化等几个方面探讨了技术异化产生的根源。