基于云计算的大数据关键特征高效提取方法研究

传统特征提取方法不适于大数据特征提取,提取效率低;为此,提出一种新的基于云计算的大数据关键特征高效提取方法。介绍了云计算中的MapReduce编程模型,给出Map与Reduce两个阶段的任务执行过程,通过MapReduce编程模型对大数据关键特征提取方法进行编程和处理,在云计算中实现高效运算。通过样本局部特征对特征集合进行评价,选择大数据关键特征。通过相空间重建保证大数据特征的不变性,在此基础上,引入关联维实现大数据关键特征的提取。实验结果表明,采用所提方法对大数据关键特征进行提取,可行性和效率高,与其他方法相比有更好的性能。     

大数据与云计算

大数据（Big Data）这个概念近年来在越来越多的场合、被越来越多的人提及,并且经常和云计算联系在一起,云计算与大数据之间到底是什么关系成为热点话题。本专题报告包含以下四个方面内容：1.大数据的价值;2.大数据带来的挑战;3.大数据研究成果;4.云计算是大数据挖掘的主流方式。通过本报告阐述我们对大数据的理解,以及对大数据的价值的认识,探讨大数据处理与挖掘技术,论述以下观点：没有互联网就没有云计算模式,没有云计算模式就没有大数据处理技术,也就没有大数据挖掘技术。     

基于关键特征点提取的图像快速配准方法

常用图像配准拼接算法中,计算复杂度会随运算数据量的增加而急剧增长,基于该特点提出了一种快速的图像配准方法.通过提取关键特征点并进行匹配实现计算数据量的降低,从而加速了图像配准.首先检测待拼接图像中的特征点及特征信息冗余区域,并根据特征点的数量调整冗余区域的大小;去除位于特征冗余区域内的特征点;使用归一化互相关及随机抽样一致性算法对剩余的关键特征点进行粗细两步匹配,求出拼接参数完成图像配准,实现图像拼接.实验结果表明,提出的方法实现了图像配准拼接,并且与改进前相比显著提高了运算速度,以lena图为例,运行时间仅为改进前的30.47%.     

基于NoSQL数据库的地学大数据高效存储方法

为解决传统的关系型数据库在海量数据的存储和访问效率中存在的瓶颈问题, 提出了一种基于非关系型（NoSQL： Not only SQL）数据库的地学大数据高效存储方法。同时以MongoDB为代表, 通过C#语言编写测试程序, 与SQL Server在地学大数据的存储、 查询等方面进行了性能对比。结果表明, 与传统关系型数据库相比, NoSQL数据库的增、 删和查询耗时明显降低, 尤其是针对海量的非结构化、 半结构化数据, 其性能优势更加明显。     

基于云计算的大数据存储安全的研究

随着网络技术以及云计算的发展,越来越多的数据资料将被存放在云平台,云计算与云存储的安全性也成为了用户选择云服务时最关注的一个问题.文中通过研究国内外的最新研究成果,提出了云存储的安全模型,从云端接入安全、大数据存储的加密安全和数据的完整一致性检验等方面具体归纳概括了国内外的研究趋势.文中归纳了最新的数据安全存储技术及相关方案,综合比较分析其优缺点.最后对基于云计算的大数据存储技术进行了展望.     

基于云计算的大数据大图模式的高效挖掘的研究

在图形挖掘研究领域对大图数据进行挖掘方法很多,尽管云计算在解决传统计算问题上十分有效,但对大图形的频繁挖掘中图形分割;信息不对称;模式保留合并仍存在问题。研究提出一种全新的基于云的SpinderMine挖掘法即 c-SpinderMine 方法。首先利用云计算来对大图形数据的大模式进行挖掘,解决大图形数据挖掘算法在云环境下面临的上述问题。然后进行三组真实的数据集实验,有效地缩短执行时间,且对处理云上的大数据表现出很高的可扩展性能。最后实验证明在不同数据大小和最小支持度时具有优越的内存使用和执行时间,对应付云环境下的大图形数据表现出优越的能力。
     

基于云计算的企业大数据商业价值创造研究

当前,随着"互联网+"概念的提出,互联网思维已经深入传统行业并显示出强大的能动性和创造力,越来越多的企业也通过互联网来获得计算能力和服务资源。云计算是一种通过互联网,以按需、自助的方式向客户提供硬件和软件等IT服务的新型模式。随着传统行业内外部海量数据的产生,重视对企业大数据的处理和分析可以为企业带来巨大的增值价值,从而适应外部不断变化的经济环境。研究尝试借鉴理论研究和实例分析的方法,首先对基于云计算的企业大数据商业价值从现实背景和理论背景进行了研究分析,然后对基于云计算的成本和价格进行了深入的剖析,其次结合对海尔云计算服务价值创造进行了实例分析,最终得出结论并进行了展望。     

云计算环境下移动大数据合理分流方法

采用传统方法对移动大数据进行分流时,结果不合理,对不同处理器的分流均衡性较差。为此,提出一种新的移动大数据合理分流方法。给出云计算环境下移动大数据分流平台整体结构,在云计算环境中每个可编程交换机上安装移动大数据分流单元。将移动大数据分流问题转换成求解最优解问题,通过状态反馈实现分流。将优化分解方法与拉格朗日乘法结合在一起完成分布式计算,获取移动大数据在链路上的均衡分流模型。采用交换机分流单元获取云计算环境下网络的分流状态,求出此时收益函数的偏导数,将两者相加获取最终分流结果。对移动大数据分流延迟进行分析。实验结果表明,所提方法能够保证分流均衡性和合理性。     

基于回复支持的关键评论提取方法

当前网络中充斥着大量的虚假评论,准确识别出代表用户真实感受的关键评论成为评论分析领域研究的热点问题。为此,提出一种基于回复支持的关键评论提取方法,该方法从用户对评论的反馈行为出发,重点考量评论点赞和评论回复两个指标,通过计算评论点赞率和回复率获取评论的回复支持情况,仅对回复支持度高的评论进行提取,从而剔除了大量虚假或无用的评论,提升了关键评论提取的准确性。最后,通过与现有主流方法进行实验对比,验证了该方法具有较高的正确率和召回率。     

基于黄金分割法的ISODATA算法的大样本特征数据提取方法

如何从样本量大、数据结构复杂、离散度大的样本数据中提取有效的特征数据是模式识别的重点和难点,而ISODATA算法是处理大样本数据聚类的常用算法之一,其不足之处是需要预先确定初始聚类参数.提出了基于黄金分割法来度量聚类的有效性,该方法能动态计算聚类度量参数,可实现大样本数据的有效聚类.实验证明,该方法能够从原始特征中挑选出最有代表性、分类性能最好的特征.     

基于云计算大数据的图书馆创新发展模式研究

本文研究了云计算、大数据在图书馆的应用以及对图书馆发展模式的影响,提出云计算、大数据与图书馆最终结合的形态,是云数据图书馆的模式。并从平台、服务、内容、相互关系等方面论述了云数据图书馆的特征。     

基于无人机LIDAR数据多尺度特征的沥青路面病害提取方法

目的针对大范围公路路面病害监测需求,提出基于低空无人机激光雷达遥感数据和随机森林分类算法,构建沥青路面病害目标的遥感识别模型。方法首先,基于激光点云高程信息提取多尺度表面粗糙度和高斯曲率指数,以及利用激光反射强度影像提取路面和病害目标的几何特征,然后基于提取的48个多尺度统计特征利用随机森林算法建立了沥青路面坑槽与塌陷两类主要病害的识别模型。采用搭载于ScoutB1-100低空无人直升机平台的RIEGL-VUX100激光雷达扫描仪,获取了新疆石河子市与沙湾县交界处的一段县级沥青道路的激光点云数据,对所提出方法和模型进行了验证。结果本文所提出的模型可较好识别路面的塌陷与坑槽病害目标,以地面调查和目视解译结果为参照的验证精度为92.3%,Kappa系数为0.902,优于其他两种常用的机器学习分类模型,可为公路养护部门提供一种新的快速路面病害监测方法。     

云计算环境下移动大数据合理分流方法研究

采用传统方法对移动大数据进行分流时,结果不合理,对不同处理器的分流均衡性较差。为此,提出一种新的移动大数据合理分流方法。给出云计算环境下移动大数据分流平台整体结构,在云计算环境中每个可编程交换机上安装移动大数据分流单元。将移动大数据分流问题转换成求解最优解问题,通过状态反馈实现分流。将优化分解方法与拉格朗日乘法结合在一起完成分布式计算,获取移动大数据在链路上的均衡分流模型。采用交换机分流单元获取云计算环境下网络的分流状态,求出此时收益函数的偏导数,将两者相加获取最终分流结果。对移动大数据分流延迟进行分析。实验结果表明,所提方法能够保证分流均衡性和合理性。     

点云数据特征点提取方法的比较

点云特征的提取在城市、地质等领域有非常重要的使用价值。特征点是最基本的几何特性和纹理特征的特征基元,其不会因为坐标系的改变而发生变化。通过用不同的方法提取点云数据中的特征点,可以在减少计算量的前提下,保留点云的几何特征。通过对利用法矢、曲率和体积积分不变量3种不同的特征点提取方法进行比较,并通过Matlab进行特征点提取实验并分析情况,对其优缺点及适用性进行探讨。     

基于大数据的云计算网络协同创新平台的研究

以云计算和大数据技术为理论基础,构建了一个具有"产学研"功能的网络信息协同创新平台,对该平台的"云"架构和功能模块进行了叙述,重点阐述了Hadoop云平台的工作模式。针对大数据环境下数据的稀疏性及扩展性等问题,提出了利用用户隐性行为数据在Hadoop平台上实施协同过滤算法,实现智能推荐,从而有效的提高了算法的执行效率。     

基于云计算的社交网络安全隐私数据融合方法

针对现有数据融合方法存在融合精度低、数据完整性差等问题,提出基于云计算的社交网络安全隐私数据融合方法;首先利用敏感信息过滤模型进行社交网络参与者个人隐私数据过滤,然后通过k匿名技术对过滤出的隐私数据进行保护处理,利用k均值聚类算法对个人隐私数据进行聚类,最后使用决策树构建数据融合模型,实现数据融合.仿真测试结果表明:与...     

基于Matlab的图像曲线数据提取方法

对于文献中图的曲线数据的提取,提出一种通过采集像素点来识别曲线坐标的方法,并通过Matlab软件实现.首先用滤波器去除图片噪声,并确定用于灰度图转化为二值黑白图的阈值,然后通过搜索坐标框在灰度矩阵中的位置来确定真实坐标与灰度矩阵坐标的比例因子,最后获取曲线各像素点在灰度矩阵的坐标,并乘以比例因子得到曲线各点的坐标值.对曲线图像进行处理的结果表明,这种方法提取的数据准确,相对误差在-0.7%～+1.2%范围内,精度取决于原图像像素点的数目.     

基于云计算的数据存储技术研究

以云计算环境下大数据存储技术为研究对象,首先介绍了云计算环境下主要的两种典型的分布式存储系统,即Googk的GFS和Hadoop的HDFS;对其中的数据存储技术进行了专门分析,从可扩展性和延迟性（如何支持海量小文件的存储）、容错性（在数据丢失时进行数据恢复）和海量数据存储的实时性这3个方面对现有技术进行了评价.在此基础上,提出了分布式文件系统的系统架构.最后给出了研究展望.     

基于特征线提取的三维数据配准

在逆向工程等诸多领域,数据配准都是重要的技术环节;而目前大多数应用,都是基于选取匹配标记点的方式来实现初始匹配;因此寻找一种可靠快速的自动数据配准技术成了目前研究的方向.提出一种基于特征线提取三维数据自动配准技术.通过提取不同视角下点云的特征曲线实现了三维点云数据的配准.实验结果表明了算法的有效性.在有更高精度要求的情况下,此算法的输出结果可以作为其他迭代方法的初值,进一步迭代得到更精确的结果.     

电力日负荷数据特征模式智能提取方法

电力负荷数据中可能包含各种坏数据,严重影响负荷预测精度,因此需要从这些合有噪声的日负荷数据中提取出负荷的特征模式,以便对负荷数据进行清洗．以软聚类思想为指导,通过模糊C均值聚类算法及Kohonen自组织特征映射神经网络的互补结合,提出了日负荷特征模式的智能提取方法,该方法不但具有辨识精度高、收敛速度快的优点,而且具有对数据的动态处理能力,为精确的负荷预测和准确的系统分析做好了数据上的准备,对重庆城区供电局负荷数据的实例分析说明了方法的高效性．