基于Hadoop平台的图像检索分布式算法的改进研究

针对单机环境下图像检索算法存在的计算瓶颈问题,提出1种基于Hadoop平台Map-Reduce框架的图像检索改进算法.首先利用云存储和分布式算法的优点,对图像检索算法进行并行化设计,然后通过改进的K-Means和Bo F算法,对原有图像检索算法进行优化,提高检索效率和准确性.实验结果表明,提出的方法能够很好地提高图像检索算法的执行速度,同时获得较好的图像检索准确性.     

基于Hadoop平台的图像分类

随着图像数据的增加,海量的图像分类过程成为了一个耗时的过程。Hadoop是一个开源的分布式处理系统基础架构,有着优秀的海量数据处理性能。首先对Hadoop系统和编程框架进行了介绍,然后将图像分类中的海量数据处理过程在Hadoop平台上实现。与运行环境DELL powerEdge R170比较显示:基于Hadoop平台的图像分类在小图特征提取处理上Hadoop平台优势不明显,但对于大图特征提取、向量运算和kNN运算,耗时大大缩短,数据处理能力的优势明显。     

基于Hadoop云计算平台仿百度智能输入提示算法的研究与实现

云计算是指基于互联网、通过虚拟化方式共享IT资源的新型计算模式。Hadoop以Hadoop分布式文件系统HDFS(Hadoop Distributed File System)和Map Reduce分布式计算框架为核心,为用户提供了底层细节透明的云分布式基础设施。系统研究的主要内容在基于Hadoop的云计算平台上实现通过检索不同文件系统下的输入接口,输入内容的分布式统计结果,智能提示和匹配后续的内容,完成智能输入提示功能的算法研究与实现工作。     

一种流程工业的分布式海量报警管理系统

提出了一种应用于流程工业的分布式海量报警管理系统,利用Hadoop平台的分布式可扩展特性实现了海量报警数据的可靠存储和高效处理.在数据存储层,通过合理的列式存储结构设计,实现了海量报警数据的分布式集群存储;在信息查询层,实现了类MapReduce过程的报警管理系统分布式并行查询模型;在功能应用层,根据业务需求实现了基本的报警管理功能模块.测试结果表明,面对海量报警数据的应用场景,基于Hadoop平台的分布式海量报警管理系统比传统报警管理系统具有更为出色的性能.     

基于HBase的小文件高效存储方法

基于 Hadoop 平台的相关系统得到了广泛应用。Hadoop 分布式文件系统（Hadoop distributed file system, HDFS）通过分布式的工作方式,负责处理海量文件数据。对 HDFS 而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于 HBase（Hadoop database）的海量小文件高效存储方法,利用 HBase 的存储优势,将小文件直接存储于 HBase,从而有效减少元数据节点服务器（Name-Node）的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高 HDFS 环境下小文件的读写效率。     

一种基于颜色直方图的快速图像检索方法

提出了一种基于快速特征匹配和改进的二叉树存储的图像检索方法,该方法的主要思想是以颜色特征的某个适当值作为根节点,将图像按照二叉树的存储结构存储于数据库中。在特征匹配时通过快速去除不相关候选图像来提高检索速度;通过引入相关反馈技术来改进查询结果的精度。相比于传统的图像检索方法,该方法不但能加快检索速度,在查全率和查准率上也有了较大的提高。     

基于MapReduce架构的网络热点话题发现

提出了一种基于开源云计算平台Hadoop的网络热点话题发现方案.该方案采用MapReduce分布式并行计算架构处理海量、复杂数据,通过将命名实体词作为文本的特征项,并采用标题和正文的双向量表示文本.实验结果表明:随着参与并行计算节点数的增加,话题聚类所有的时间显著下降,因而网络热点话题发现的速度得到明显提高.     

一种基于SIFT的照片查重系统的设计与实现

传统的图像检索侧重于查找小规模图像库中的图像,对于海量图像库,其检索效率明显降低,难以提取完整的图像信息.针对上述问题,本文设计并实现了一种基于SIFT的照片查重系统.系统利用SIFT特征点四个边缘角度相对独立的特性对特征点进行分类,可大幅减少匹配过程中需要比较的特征点数量,并使用k-means算法对每一分类中的特征点进行聚类分析,然后对每一聚类的特征点进行汉明编码.匹配完成后根据特征点位置信息分析照片是否经过PS或者重组等修改.实验结果表明,在海量的图像库中进行查询时,本系统比传统的图像检索系统检索精度高,时间复杂度低.     

基于形状特征分划分的树状区域匹配图像检索

提出了一种依据形状特征划分的树状区域匹配的图像检索算法,其思想是首先基于形状特征将图像发为若干给定浓度的树状关系区域,再结合所划分区域的结构关系及其颜色特征进行匹配检索。通过2个检索粗过滤条件,显著提高了检索响应速度,应用此算法,图像中对象的几何变换（移动、旋转、比例缩放）不会影响到查询结果,实验测试的结果表明,与一般的颜色直方图匹配算法相比,该算法大大提高了检索效率。     

基于Hadoop平台的大数据图像分类机制

针对大数据图像分类耗时长、 实时性差等问题, 利用云计算技术的优点, 以获得理想的大数据图像分类结果为目标, 提出一种基于Hadoop平台的大数据图像分类机制. 首先收集大量的图像, 构建图像数据库, 并提取图像分类的有效特征; 然后基于Hadoop平台, 采用Map函数对大数据图像分类问题进行细分, 用多节点并行、 分布式地对子问题进行图像分类求解, 得到相应的图像分类结果; 最后利用Reduce函数对子问题的图像分类结果进行组合, 并用VC++6.0编程实现大数据图像分类的仿真模拟测试. 测试结果表明, 该分类机制较好地克服了当前图像分类机制存在的弊端, 大幅度缩短了图像分类的时间, 分类速度可适应大数据图像分类的在线要求, 且图像分类的整体效果明显优于当前其他图像分类机制.     

基于Hadoop的金融智能云平台分布式架构

为了使金融大数据产生业务价值,提高金融信息化应用水平,针对金融行业实时海量信息存取困难的问题,提出一种构建用于金融行业的云平台分布式架构。通过金融系统监控信息的存储分析,利用分布式文件系统和并行编程模型,提出对应用集群和虚拟资源的管理方案。实验中建立了云集群分布式处理平台,通过金融大数据量查询性能结果表明,基于Hadoop的金融智能云平台分布式架构的合理性和有效性。     

基于Hadoop的视觉词袋模型图像分类算法

随着互联网的发展和数字图像获取技术的进步,传统图像分类算法在处理海量数字图像时,面临耗时过多、文件系统及处理架构落后的问题.针对这一问题,利用主流的Hadoop开源分布式计算平台,引入视觉词袋模型实现对图像的表示,并对模型的图像直方图化过程做出改进,提出一种自适应的特征分配方法,最后采用易于并行的随机森林算法作为分类器,以充分利用Hadoop平台强大的分布式计算能力.实验显示,基于Hadoop平台的图像分类方法在处理大规模数据集时较单机环境能有效减少时间消耗,同时具有良好的分类效果.     

一种运用随机算法改进的图像检索方法

传统基于局部特征表示的图像检索方法在图像特征提取和特征相似性匹配时计算量较大,为此提出一种运用随机算法进行改进的图像检索方法。在图像特征提取方面,通过随机采样获得数量适当的像素点作为特征点,用SIFT（scale invariant feature transform）算子对随机特征点进行描述以形成图像的有效表示;在特征相似性匹配方面,采用基于随机映射的LSH（locality sensitive hashing）算法为图像特征库建立索引,并用于对所查询图像的局部特征进行高效的近似近邻搜索。实验结果表明,该方法有效降低了图像检索的计算复杂度,提高了检索效率。     

基于高斯公式的图像特征匹配算法研究

在基于内容的图像检索系统中,图像特征匹配是一个影响检索效率的重要算法.对提取的特征信息进行分析,并通过高斯公式对特征向量进行归一化处理,分析不同特征间的权值和相似性度量手段,将两种不同方式的检索手段有效地结合在一起,实现图像的有效检索.仿真结果表明,与传统的单一匹配算法相比,图像检索匹配度能得到较大的提高.     

基于Hadoop的云平台的实现与基准测试

Hadoop是google云计算理论的开源实现,作为软件系统中间件的软件框架,它可以对大量数据进行分布式处理。通过Haddop,用户可以在不了解分布式底层细节的情况下开发分布式程序,充分利用集群的威力进行高速运算和存储。通过使用VMware虚拟机技术实现在单机上配置多个虚拟计算机节点,从而进行集群测试;在虚拟节点上安装Ubuntu操作系统作为Hadoop的操作系统支持;同时,利用Xmanager软件,以及配置局域网中宿主机与虚拟机、远程控制机的网络参数,实现对虚拟节点的远程控制;在已经安装好Ubuntu操作系统的各个虚拟节点上安装Hadoop、java-JDK等软件,并进行相关的参数设置,实现在虚拟机上各个虚拟节点的Hadoop完全分布式平台。最后在Hadoop平台上,使用Hadoop软件自带的基准测试程序包对平台进行4个Hadoop的经典基准测试。同时,每个测试都会加载不同的数据量及负载进行多次实验,通过比较在不同的负载下Hadoop的基准测试结果,测试Hadoop平台的相关性能,并分析负载及数据量的变化对Hadoop平台性能的影响。     

基于云计算的移动商业智能系统研究

针对传统商业智能系统在实时性、交互性和通用性上的不足,通过借鉴云计算强大的计算和存储能力,提出了一种Hadoop与关系数据库相结合的高实时移动商业智能系统解决方案．系统采用Hadoop架构替代数据仓库,实现了海量数据的分布式存储及分析计算,将高实时及高效请求交给处理效率更高的关系数据库,充分利用云计算的虚拟技术提升移动商业智能系统的海量数据处理能力;不仅降低了成本,更使得企业资源得到充分、灵活的应用,提高企业市场快速反应力与竞争力．     

基于内容的多媒体检索技术

在对海量的多媒体数据进行检索时,传统的基于数值/字符的信息检索技术并不能满足要求.因此,基于内容的多媒体检索技术的研究应运而生,其检索的依据主要是多媒体的特征向量值,因此多媒体信息特别是图像的特征向量的组织直接影响到数据检索的效率.对基于内容的多媒体检索技术进行了研究,同时借鉴基于关键字的检索技术,引进了二叉排序树来组织图像的特征向量,利用二叉排序树算法进行特征向量值的检索,提高了图像检索的效率.     

基于商空间理论的海量生物信息多粒度表示方法

微操作中,为研究微小目标的生物机理,需要连续获取海量微小目标的生物信息并进行特征分析与建模.针对微操作中海量生物信息多尺度、多层次和结构复杂的特点,利用商空间理论实现海量生物信息的多粒度表示,并将提取的多粒度特征运用于对显微图像进行匹配,以验证本研究算法的有效性.结果表明:算法全面且有效地描述了显微图像目标灰度、纹理和尺度空间方面的特征信息,可以为图像匹配、图像识别和图像检索等图像处理过程提供自适应特征信息,且满足实时性要求.     

基于Surf和改进颜色矩的服装图像检索算法研究

针对单一算法检索效率不高的问题,提出一种新的基于Surf和改进颜色矩的服装图像检索算法,采用改进的目标颜色矩进行服装图像特征筛选,对目标进行预定位,进而采用Surf算法进行特征点匹配检索出目标图像,仿真结果表明,该算法图像检索时间比单一算法缩短了62.5％,效率提高了166％,比基于单一Surf或者颜色矩的检索算法更具...