求解Hadoop作业调度问题的混合遗传算法

将自适应遗传算法和改进的蚁群算法融合用以求解Hadoop作业调度问题。首先利用自适应遗传算法的全局搜素能力产生任务所分配的资源列表,在遗传算法的搜索速度逐渐降低时,适时切换到蚁群算法,由自遗传算法求解的最优解生成蚁群算法的初始信息素分布。改进蚁群算法的目标节点选择策略,考虑节点完成任务的成功率,加快蚁群算法求解最优解的速度。仿真结果表明,与遗传算法和蚁群算法相比,混合遗传算法用时较少,并且任务数越多,优势越明显。     

基于Hadoop的大数据论坛日志系统的分析与设计

大数据时代的诞生,为解决挖掘海量数据存储的信息带来了技术上的革命,通过网站点击存留的日志数据,分析这些数据,可获知许多对网站运营至关重要的信息。本文采用Hadoop分布式平台,使用HDFS数据存储,利用Hive来分析日志数据,设计一种Web日志分析系统,并阐述了系统的设计过程。