基于Hadoop建立云计算系统

云计算是2007年底正式提出的一个新概念,本文分析了云计算的特征和Hadoop的作用地位.针对Hadoop这样一个在集群上运行大型数据库处理应用程序的开放式源代码框架进行了云计算平台的实现,并进行了实验验证.     

基于Hadoop集群的分布式日志分析系统研究

当数据存储和计算遇到瓶颈时,分布式技术相对于传统的向上扩展技术在伸缩性和成本上都具有巨大的优势。本文介绍了开源的分布式编程框架Hadoop,并通过具体的代码说明了基于Hadoop集群的分布式日志分析系统的工作方式。     

基于Hadoop的移动学习模型设计与实现

利用Hadoop框架给出了一种移动学习模型和具体实现．描述了总体系统的设计原理、关键技术、系统模型,并对主要的移动学习模型实现及Hadoop实施进行了详细说明,同时就关键问题进行了分析．最后针对实现移动学习系统做了运行测试与运行情况评估．     

基于Hadoop的校园云存储系统的研究

针对海量数据的存储问题,传统方法一般是通过购置更多数量的服务器来提升计算和存储能力,存在硬件成本高,存储效率低等缺点。通过对Hadoop框架和MapReduce编程模型等云计算核心技术的分析和研究,提出了一种基于Hadoop框架的海量数据存储模型,并在此模型的基础上,设计并实现了基于Hadoop的校园云存储系统。经过实验验证,该系统有效地解决了在校园办公、教学和科研过程中遇到的海量数据存储管理问题,具有开发成本低、处理速度较快、运行稳定、易于扩展等特点。     

基于Hadoop的泛在学习系统构建研究

在对泛在学习及Hadoop等相关理论研究的基础上,提出了基于Hadoop的泛在学习系统模型,然后对各个模块进行实现和评估,经测试具有良好的可靠性和可扩展性,为目前泛在学习领域所面临的主要挑战提供了解决方案。     

Hadoop集群效能建模与评价

随着大数据技术的研究深入,Hadoop集群效能问题越来越引起业界的关注.如何有效地利用计算资源,使有限的资源发挥出最大的效能,成为大数据应用中一个迫切需要解决的问题.本文对Hadoop集群效能进行建模研究,建立以Hadoop集群单位时间完成的任务量与消耗能耗的比值来定义的Hadoop集群效能度量模型,并且基于该模型给出测量Hadoop集群效能所需的参数和度量方法.对不同硬件配置的Hadoop集群,选取CPU密集型和L/0密集型任务进行效能测试与评价.由测试结果可以得出机架服务器组成的Hadoop集群适合处理TB级的大规模数据,而PC组成的Hadoop集群更适合在要求不十分苛刻的场景处理10GB级及以下的中小规模数据,对生产环境中的Hadoop集群选型具有一定指导意义.     

基于Hadoop的社交网络服务推荐算法

为高效处理社交网络产生的海量数据, 并保证社交网的可扩展性, 将TF-IDF(Term Frequency-Inverse Document Frequency)算法进行MapReduce化设计, 并在Hadoop云平台上实现分布式的TF-IDF算法。利用该算法提取用户微博中的关键词, 再根据关键词发现用户的兴趣, 并对用户做相应的推荐。为验证分布式TF-IDF算法的有效性和可扩展性, 与TextRank算法的结果做对比。实验结果表明, 分布式TF-IDF算法提取的关键词能更准确地描述用户的特性, 同时具有良好的可扩展性。     

基于Hadoop平台FP-Growth算法并行化研究与实现

针对FP-Growth算法在大规模数据环境下存在挖掘效率低和占用内存大等问题,提出在分布式计算框架Hadoop的MapReduce编程模式下实现FP-Growth算法并行化处理.结果表明,在相同数据量下,通过负载均衡的并行化FP-Growth算法,加速比呈线性增大,具有良好的加速比和可扩展性,且随着数据量增大,算法效率明显提高.     

Hadoop框架下的一种改进的Apriori算法

常见的基于Hadoop框架的Apriori改进算法在统计支持度时有扫描数据集、候选项集剪枝等方面效率低下且集群间的数据传输有较大的时间开销的问题,提出了一种Apriori的改进算法Apriori_Ind.算法运用Hadoop集群,使用先按事务对数据集分块,再将数据集的格式转换为项,事务集的分块处理策略,使算法充分利用分布式计算优势,实现各节点并行的实现候选项集生成与剪枝操作.并利用前项与后项的新结构表示频繁项集,新结构在各节点进行候选项集生成和剪枝时提高算法效率.Apriori_Ind具有减小集群传输代价、加速剪枝等优势.实验表明新算法适合大规模数据挖掘,特别是项的数量较大的情况下,算法性能有明显的提高.     

基于Hadoop的港口物流大数据应用研究

物流大数据已经成为港口关键的生产要素,分析和利用大数据可有效控制经营风险,促进港口的健康可持续发展。本文基于Hadoop设计快速DBSCAN密度聚类算法,引入熵优化DBSCAN算法的核心点选择。在HDFS分布式文件系统中对大数据分块,采用Map对各个数据块完成初始聚类,并在Reduce上基于核心点扩展类融合形成最终聚类结果,以此提高大数据应用的效率。通过应用大数据对港口企业进行全面管理,为企业决策提供有效支持。     

一种改进的基于遗传算法的K均值聚类算法

结合遗传算法和K均值聚类算法的优点,提出一种改进的基于遗传算法的K均值聚类算法.将遗传算法的编码方法、初始化、适应度函数、选择、交叉和变异等较好地应用于聚类问题,不仅解决了K均值聚类算法中K值难以确定、对初始值敏感以及遗传算法存在收敛性差和容易早熟的缺点,而且实现了聚类中心的优化选择、K值的自动学习和基因的自适应变异等...     

一种基于改进型遗传算法的模糊聚类

针对模糊C均值算法(FCM算法)难以达到全局最优解的问题,引入了具有全局搜索能力的遗传算法以解决聚类问题,并在标准遗传算法基础上进行了改进。将该算法运用于IR IS数据的聚类,实现了较好的聚类,从而验证了算法的有效性。     

改进的遗传算法求解TSP

阐述了一种针对TSP问题的改进遗传算法。引入了局部优化搜索算法。加快了算法的收敛速度。减轻了初值对结果的影响。加入了改进的OX交叉算法,在交叉中合理保留了优秀个体基因的排列顺序。利用精英复制保留了优秀基因。维持了种群个体数目稳定。提出了一种新的变异算法,有效避免了路径重复,减小了运算量,提高了运算速度。     

基于遗传算法的改进粒子滤波算法

针对粒子数量和质量对粒子滤波(Particle Filter,PF)的退化问题具有重要影响,从大量采样粒子中采用遗传算法(Genetic Algorithm,GA)获得采样重要性重采样粒子滤波（Sampling Importance Resampling Particle Filter,SIRPF）的初始粒子,改善初始粒子质量,并保证其随机性和统计性.在车辆定位仿真中,采用定位精度、滤波发散次数和计算时间为指标对改进的遗传 粒子滤波算法GA SIRPF和传统SIRPF进行比较.结果表明,GA改进了初始粒子质量,减少了粒子退化可能性,提高了系统定位精度.     

一种基于简单遗传算法的K-Means改进算法

针对k-means算法对初始值敏感、易陷入局部极小值等缺点,结合遗传算法的思想,提出了一种基于遗传算法和k-means算法的混合聚类方法,为了测试该聚类算法的性能,用k-means 算法和改进的算法进行了1组实验,并对2种算法的聚类结果进行比较,实验结果表明算法能够有效地解决聚类问题.     

基于云自适应遗传算法的改进BP算法

针对标准BP算法对初始权值敏感、收敛速度慢、易陷入局部极小等问题,结合正态云模型云滴的随机性和稳定倾向性,以及遗传算法的全局搜索能力、收敛速度快等特性,提出了云自适应遗传改进BP算法.该算法首次将云模型和遗传算法结合调整神经网络的权值和阈值.由X条件云发生器产生改进的自适应交叉概率和变异概率.实验结果表明:云自适应遗传改进BP算法比标准BP算法收敛速度快.     

基于改进遗传算法的三角剖分优化算法研究

以三角剖分原理和传统基因遗传算法为基础,提出了一种优化三角剖分的改进基因遗传算法．该算法采用下三角矩阵表示三角剖分问题,并设计出相应的适应度函数、改进的算子以及控制参数,以弥补传统基因遗传算法的不足,提高了执行速度和进化效率．     

基于改进遗传算法的平面交叉口信号优化控制法

本文对城市交通中单交叉口信号动态优化控制技术进行了深入研究,在此基础上设计了一种应用于单交叉口的智能信号控制优化算法,并在遗传算法的选择算子中对竞争法进行了改进,加入了希尔排序策略,将基本遗传算法改进成了一种新的基于二进制编码的遗传算法. 且计算机模拟复杂度较高的四相位交通控制仿真对比实验取得了良好的效果. 实验结果证明,遗传算法可以较好地应用到交通控制领域,且改进式遗传算法在中、重度交通需求的情况下依然能在很短的计算时间内使控制周期内路口的总延误和排队车辆数明显减少.     

基于改进遗传算法的Job-shop调度问题

建立了作业调度问题的模型,阐明了遗传算法是一种有效的全局随机优化方法,并将遗传算法用于Job-shop调度问题的研究中.针对标准遗传算法计算费时、稳定性差等不足,从适应度尺度变换、稳态繁殖、自适应遗传参数等方面作了改进.给出了基于改进遗传算法的模型求解方法和步骤.经过实例计算,取得了良好的调度效果,表明该方法可为制定工程装备作战保障的指挥自动化决策提供科学、有效的支持.     

基于改进遗传算法的自适应越区切换方案

针对列车通信在越区切换过程中切换触发率和切换成功率均较低的问题, 提出一种基于改进遗传算法的自适应联合判决切换算法. 首先, 以遗传算法为基础, 在高速特性下对切换判决过程中的相关参数进行优化, 针对列车的不同运行速度动态选择出满足快速切换需求的迟滞容限值； 其次, 引入满意通信概率（SCP), 当列车在小区之间移动时, SCP值达不到要求的将不能接入下一个小区, 以保障通信质量的优良. 仿真结果表明, 与传统切换方案相比, 该方案可实现提高切换触发率和切换成功率的目标, 具有较高的满意通信概率.