基于Hadoop和Spark构建可扩展的网络安全分析平台

在大规模网络环境背景下,采用Hadoop和Spark计算框架构建一种低成本的可扩展性的大数据安全分析检测平台,使用离线模型生成与在线检测相结合的方式对异构网络数据进行分析,在海量数据流环境中实现实时安全分析检测.实验结果证明:基于Hadoop和Spark的大数据安全分析平台具有优秀的可扩展性及高效处理能力,能够满足安全大数据的分析与检测要求,并能有效地应对海量数据的安全分析检测任务.     

基于Hadoop的即时查询分析平台

为了解决大数据的深度挖掘和即时查询的需求,建立了一个分布式、可伸缩、低成本和大容量的并行计算集群,实现了半结构化数据的SQL查询分析,并提供了标准对外接口。     

基于Hadoop的大数据处理平台研究

大数据时代的到来伴随着海量数据,进而使得筛选出具有价值的信息成为大数据被广泛应用的核心步骤.在此情况下Apache Hadoop顺势而生,其通过简化数据密集、高度并行的分布式应用来应对大数据带来的挑战.由于目前基于Hadoop的大数据平台在多领域普遍使用,从而平台搭建成为进行大数据探索的第一步.而很多文章介绍的平台搭建是在虚拟机中完成,与真实情况存在相应差异.本文讨论以真实集群为基础搭建Hadoop平台的原因,Hadoop集群的强大功能,搭建平台所需设备、环境、安装、设置及测试过程.     

基于Hadoop/Hive的web日志分析系统的设计

互联网技术的迅速发展,使得web承载的信息量呈现出爆炸式增长的趋势,因此web日志的数据量也越来愈大.如何存储、处理大规模数据就成了新的挑战.云计算技术的出现,为这类问题的解决提供了一种思路.云计算将数据通过网络分布到集群的各个计算节点上,从而完成大规模数据的存储和运算.Hadoop是一个用于构建云计算平台的流行的开源...     

一种基于Spark大数据处理平台的查询方法

Spark SQL在获取Spark核心的计算结果后,需要进行一些格式转化和数据拷贝才能正式输出,将造成内存中相同或近似相同的数据有多个拷贝,浪费了内存资源,也降低了性能,直接影响了用户响应和结果存储容量,并且这种影响会随着输出结果的增大而增大.为此,文中提出了基于Spark大数据处理平台的创新查询方法,以实现查询首结果...     

基于MS SQL Server数据库的查询优化方法

介绍数据库查询优化过程的主要步骤,讨论了ＭＳ ＳＱＬ Ｓｅｒｖｅｒ数据库进行查询优化的原理和所采用的技术,最后提出一些能实现ＳＱＬ Ｓｅｒｖｅｒ数据库查询的指导性策略和实用方法。     

基于Ambari的Hadoop集群快速部署研究

Hadoop作为处理大数据的一个优秀分布式计算框架,在企业应用非常普通。然而Hadoop集群部署需要考虑各组件的兼容性、编译问题及繁琐的组件参数配置,初学者往往耗时几天也不能部署成功。Ambari是一种支持Hadoop集群部署、监控和管理的开源工具。针对Hadoop集群部署的复杂性,提出基于Ambari工具部署Hadoop集群各组件的实践方法并讨论了快速部署的若干要点及重要步骤;通过Ambari工具,完成了Hadoop生态圈最小化集群大部分常用组件的快速部署,如HDFS、HBase、Hive、Pig、Oozie、Zookeeper、Sqoop、Spark、Storm、Kafka、Flume等;项目实践表明:利用Ambari工具能够在8 h内部署完毕Hadoop集群,相比较传统手工部署方式,Ambari工具极大提高了Hadoop集群部署的效率及成功率。     

基于Hadoop的分布式智能推荐系统

通过对云计算平台相关技术的分析研究,结合目前智能推荐系统的应用情况,采用Hadoop、Mahout、Sqoop以及Oozie等云计算相关技术构建一个海量数据智能推荐系统。与传统的数据存储处理相比,可以提高资源的利用率,降低成本,同时也保证了速度。     

基于索引的SQL语句查询优化方法

关于基于索引的SQL语句查询优化的讨论，主要从建立恰当的索引和怎样在应用程序的SQL语句中有效的利用合理的索引两方面出发讨论了数据库优化的方法。     

基于Hadoop的港口物流大数据应用研究

物流大数据已经成为港口关键的生产要素,分析和利用大数据可有效控制经营风险,促进港口的健康可持续发展。本文基于Hadoop设计快速DBSCAN密度聚类算法,引入熵优化DBSCAN算法的核心点选择。在HDFS分布式文件系统中对大数据分块,采用Map对各个数据块完成初始聚类,并在Reduce上基于核心点扩展类融合形成最终聚类结果,以此提高大数据应用的效率。通过应用大数据对港口企业进行全面管理,为企业决策提供有效支持。     

一种基于Hadoop的布鲁姆过滤器联结算法

通过对Hadoop平台下MapReduce作业处理方式及布鲁姆过滤器算法的深入研究,将优化的压缩型布鲁姆过滤器算法用于节点间数据联结操作,解决了基于Hadoop平台同时处理多个大规模数据集时的数据关联问题.实验证明,压缩型布鲁姆过滤器算法在MapReduce作业中的应用,使得大数据集之间的联结效率显著提高.     

SQL Server数据查询的优化方法

SQL Server是一种功能强大的数据库管理系统,许多数据库应用系统都是以它作为后台数据库。本文在分析影响SQL SERVER数据查询效率的因素的基础上,提出了几种优化数据查询的方法。     

基于Hadoop的金融智能云平台分布式架构

为了使金融大数据产生业务价值,提高金融信息化应用水平,针对金融行业实时海量信息存取困难的问题,提出一种构建用于金融行业的云平台分布式架构。通过金融系统监控信息的存储分析,利用分布式文件系统和并行编程模型,提出对应用集群和虚拟资源的管理方案。实验中建立了云集群分布式处理平台,通过金融大数据量查询性能结果表明,基于Hadoop的金融智能云平台分布式架构的合理性和有效性。     

基于Hadoop的校园网站日志系统的设计与实现

每所高校校园网内成百上千的网站每天产生的Web访问日志量级都以千万计.利用大数据技术对这些海量、实时的数据进行集中搜集和长期存储,并通过后期大数据分析来挖掘这些日志的价值,无论从管理运维角度,还是从信息安全视角都具有实际意义.本文以上海交通大学为例,介绍了利用Hadoop大数据平台,存储并分析校园网内数千网站日志的系统设计和实现.     

Hadoop性能优化研究

优化Hadoop的性能可大大提高Map Reduce的工作效率,缩短任务执行时间,增加分布式计算的吞吐量.Hadoop的执行性能受到多种配置属性的影响,不同配置属性间也存在相互制约关系.基于遗传算法,对配置方案不断选择、交叉、变异,多次迭代后产生近似最优配置方案.实验结果表明该配置方案能够有效提高系统性能,并且具有稳定性和适用性.     

基于索引的SQL语句查询优化方法的研究

查询是数据库中最基本、最常用的操作,而查询优化是数据库性能优化最为重要的手段之一.以索引技术为研究手段,介绍了索引的工作原理及索引类型,提出了建立索引的基本原则.通过举例,重点讨论了基于索引的SQL语句优化方法,以达到提高系统性能的目的.     

基于参数查询防止SQL注入攻击的方法

本文分析了SQL注入攻击的原理和攻击步骤的方法,针对ASP网站重点分析了SQL注入攻击的实现原理、实现过程,并且针对性地提出了利用参数查询有效预防SQL注入攻击的策略实现。该策略包括检查用户输入、使用类型安全的SQL参数、使用存储过程、进行数据加密以及进行安全部署等,能很好地加强ASP网站应用程序的安全性,可有效防范绝大多数针对网站本身SQL注入式攻击。     

基于Hadoop的录波数据的存储与访问

在智能电网环境下,录波数据具有广域、全景、海量和可靠的特征,传统的存储硬件采用磁盘阵列,数据库管理软件采用关系数据库系统的方法由于系统扩展性差、成本高、可靠性低,难以适应要求。本文提出了一种基于Hadoop的录波数据分布式存储与访问的新方法,并将其与传统方法的访问速度进行了对比,证明了新方法的高效性。     

基于SQL SERVER的数据库查询优化浅析

尽管SQL SERVER数据库系统应用很广,效率很高,但在实际应用过程中还需要不断具体优化,才能使SQL SERVER的潜能充分发挥出来。可以从服务器、客户端硬件和软件、数据库设计、查询语句的编写等各方面来优化SQL SERVER数据库。     

大数据环境下决策树的研究

传统决策树在中小型数据集的预测分类上表现优秀,但在大数据集的处理上仍然存在效率低下、准确率较低等问题.为了适应大数据集环境,国内外学术界和工业界提出了将决策树与分布式处理平台相结合的分布式决策树算法,面向大数据处理的Hadoop和Spark分布式计算系统的出现,为研究分布式决策树算法提供了新的契机.为此,面向以基于大数...