排序方式： 共有81条查询结果，搜索用时 15 毫秒
1.
赵文娟 《兰州大学学报(自然科学版)》2014,(6):892-896
针对传统Web文本分类方法无法解决大规模分类问题,在深入分析当前主流并行计算平台Hadoop的基础上,提出基于Hadoop的Web文本分类系统,该系统主要包括文本预处理、向量表示、文本分类、结果评价等模块.真实数据集上的比较实验表明所建系统的有效性. 相似文献
2.
根据3D点云数据处理计算特点,按照BSP模型的技术思想,建立了3D点云BSP并行计算模型。讨论了HAMA框架下的3D点云BSP并行计算模型的实现方法,构建了一个由普通PC组成的HAMA计算集群。以3D点模型构建计算为例,给出了一种3D点云数据处理BSP算法设计方法。实例的计算结果表明:BSP并行计算方法能高效地完成3D点模型构建计算,与其它计算方法相比,计算效率有所提高。 相似文献
3.
周国军 《玉林师范学院学报》2014,(5):128-134
本文从减少I/O时间的角度出发,结合云计算Hadoop平台的Map Reduce模型,提出了一种基于Map Reduce的关联规则挖掘算法.算法采用幂集计算候选项集,采用Map Reduce模型在多个节点上并行找出所有频繁项集,只需要扫描事务数据库1次.实验结果表明：在事务的平均项长较小的情况下,算法具有很好的加速比和数据规模增长性. 相似文献
4.
5.
通过对Hadoop平台下MapReduce作业处理方式及布鲁姆过滤器算法的深入研究,将优化的压缩型布鲁姆过滤器算法用于节点间数据联结操作,解决了基于Hadoop平台同时处理多个大规模数据集时的数据关联问题.实验证明,压缩型布鲁姆过滤器算法在MapReduce作业中的应用,使得大数据集之间的联结效率显著提高. 相似文献
6.
《河南师范大学学报(自然科学版)》2016,(5):146-153
针对Hadoop平台缺乏有效访问控制机制的问题,提出一种适用于Hadoop平台的基于属性访问控制模型H-ABAC.该模型将传统ABAC模型扩充为五元组,加入安全等级属性增加了灵活性,选择XACML为策略描述语言并提供标准化、可大规模扩展的访问控制策略.对该模型进行形式化定义,构建模型框架并详述各个模块的功能与实现,对模型的适用性和优势进行了分析.分析得出:该模型可以满足自主、细粒度以及动态授权的需求.仿真实验显示:H-ABAC可以有效控制策略数量并且减少系统的开销,所增加时间开销也在可控范围之内. 相似文献
7.
在煤炭企业不断的实现虚拟化,利用云计算来提高企业计算、存储等资源的利用效率,以及煤炭企采购效率低,采购周期长的背景下。提出了建立基于云计算的谋炭企业电子采购系统。通过对煤炭企业采购效率低的原因进行调研,对采购流程进行分析、优化,建立了优化后的煤炭企业基于电子采购的采购流程和功能单元。最后,利用JAVA中的轻量级框架SSH技术,结合云计算虚拟化平台,设计了计算效率高、性能好、采购周期短的煤炭企业电子采购系统。 相似文献
8.
Hadoop是一个由Java语言实现的软件框架,在一个计算机集群中对海量数据进行分布式计算,这个集群可以支持上千个节点和PB级别的数据.HDFS是专门为Hadoop设计的分布式文件系统,作为Hadoop最基本的构成元素,保证内容的完整性与可用性.但是HDFS的操作界面并不友好,必须通过命令行或者IDE插件来实现对文件的操作.在研究HDFS的架构的基础上,设计实现了基于WEB的HDFS可视化文件访问系统. 相似文献
9.
针对海量数据的存储问题,传统方法一般是通过购置更多数量的服务器来提升计算和存储能力,存在硬件成本高,存储效率低等缺点。通过对Hadoop框架和MapReduce编程模型等云计算核心技术的分析和研究,提出了一种基于Hadoop框架的海量数据存储模型,并在此模型的基础上,设计并实现了基于Hadoop的校园云存储系统。经过实验验证,该系统有效地解决了在校园办公、教学和科研过程中遇到的海量数据存储管理问题,具有开发成本低、处理速度较快、运行稳定、易于扩展等特点。 相似文献
10.
提出了一款基于Hadoop的并行数据分析系统——PDM.该系统拥有大量以MapReduce为计算框架的并行数据分析算法,不仅包括传统的ETL、数据挖掘、数据统计和文本分析算法,还引入了基于图理论的SNA(社会网络分析)算法.详细阐述了并行多元线性回归算法和"多源最短路径"算法的原理和实现,其中,提出的"消息传递模型"能有效解决MapReduce难以处理邻接矩阵的问题;介绍了基于电信数据的典型应用,如采用并行k均值和决策树算法实现的"套餐推荐",利用并行PageRank算法实现的"营销关键点发现"等;最后通过性能测试,说明该系统适合高效地处理大规模数据. 相似文献