基于CNGrid的科研协同平台多学科网格应用

阐述了一种基于中国国家网格(CNGrid)的科研协同平台及其多学科网格应用.该科研协同平台包括核心服务、资源集成服务和网格应用开发框架.基于该平台提供的服务和应用开发框架,针对地学、高能物理、天文学和生物能源等学科领域在CNGrid上的科研协同工作方面的需求,研究解决了计算资源集成、数据高速传输、海量数据挖掘和科研流程控制等关键技术,研发了相关网格应用系统,为科研人员提供基于CNGrid的科研协同服务.     

基于物联网的数字化矿山异构信息集成处理模型

为研究煤矿企业安全生产中出现的如何将现有智能物件和子系统链接起来的问题,如何实现应用系统数据大集成的问题,以及如何解决物联网的数字化矿山中海量的异源、异构数据的问题,提出采用基于XML的异构数据源集成算法(XUTD),首先将异构数据转换成统一的XML格式的数据,提高异构处理数据的能力,然后将异源海量数据在物联网的数字化矿山异构信息集成处理模型(DMIT)中应用,将集成的复杂系统数据进一步的通过数字化矿山异构信息集成处理模型进行负载分散,增加了网络传输压力,从而满足煤矿企业异构数据集成的要求,实现了异构、异源数据信息建设的总体思想。为有效利用物联网技术实现数字化矿山数据大集成提出了有效的解决方案。模型在煤矿企业应用后证明,基于物联网的数字化矿山异构信息集成处理模型可以有效解决异源、异构数据接入的问题,满足了煤矿企业异构数据集成的需求。     

基于Hadoop的校园云存储系统的研究

针对海量数据的存储问题,传统方法一般是通过购置更多数量的服务器来提升计算和存储能力,存在硬件成本高,存储效率低等缺点。通过对Hadoop框架和MapReduce编程模型等云计算核心技术的分析和研究,提出了一种基于Hadoop框架的海量数据存储模型,并在此模型的基础上,设计并实现了基于Hadoop的校园云存储系统。经过实验验证,该系统有效地解决了在校园办公、教学和科研过程中遇到的海量数据存储管理问题,具有开发成本低、处理速度较快、运行稳定、易于扩展等特点。     

基于ArcSDE与Orade9iSpatial的空间数据转换及备份

1．前言ArcSDE是一个用于访问存储于关系数据库管理系统中海量多用户地理数据库的服务器软件产品。它是ArcGIS中所集成的一部分，也是任何企业解决方案中的核心要素．基本任务是在GIS应用与数据库之间传输空间数据。ArcSDE与数据库协同工作，提供空间数据存储、查询与管理的解决方案。ArcSDE把强大的数据管理功能从非空间数据延伸到了空间数据，是数据库的一种功能扩展。通过ArcSDE，GIS用户可以处理海量数据，实现多用户并发访问、版本管理、事务处理以及空间数据在数据库中的有效存储。     

大数据下的结构性态监测信息管理系统设计与应用

论述了一种适用于处理海量监测数据的结构性态监测信息管理系统(MIMS)的设计方案.基于三层浏览器/服务器架构搭建软件系统,利用多服务器协同工作机制提升系统性能.应用大数据技术,充分考虑海量监测数据对数据管理系统的高要求,选用MongoDB数据库作为数据管理平台,论述了数据库结构和采用的数据格式.最后以宁波南站结构性态监测为例,展示了系统的实现效果.结果表明该系统具有很好的扩展性和通用性,每天可接收远程数据约10GB,能实现对海量监测数据的实时吞吐和高效组织管理.     

云端测绘数据处理平台设计与开发

针对传统测绘软件重复开发与闲置浪费、测绘数据处理的多样性与数据量急剧增大等问题,该文提出了将云计算的强大计算能力应用于测绘数据的计算,设计了基于云服务的测绘数据处理平台的体系架构、功能结构,并且以笔者团队开发的测绘数据云处理平台进行简单实现。结果表明,基于云服务的测绘数据处理平台可以批处理高精度海量测绘数据,并且可以集成开发者的服务,为测绘工作者提供全面、一体化的服务,对测绘技术的发展具有重要意义。     

基于物联网的城市环境风险监测预警技术的研究

针对水源地突发污染事件、工业废水排放、重点区域大气环境、城市噪声等的监测需求,及城市环境数据多元化、海量化和多源异构的特点,通过污染源模式识别算法、异构网络构建技术、嵌入式数据融合技术等的研究及智能网关设备的研制,实现环境感知数据的融合、筛选、集成和标准化快速处理,并通过基于物联网的云可视分析技术、数据驱动的环境噪声分级评价模型、城市环境噪声预测模型、环境传感器优化布局模型等,准确、客观反映目前城市环境污染状况、特征、规律和趋势并实现城市污染源溯源,为建设基于统一云计算平台的环境信息管理系统提供数据支持,为城市环境管理与应急提供科学决策支持。     

网络切片中物理节点的分布式在线异常检测方法

网络切片中的异常检测问题是实现网络切片自动化管理的重要研究内容,针对网络切片中物理节点的异常检测问题,提出了基于支持向量数据描述的分布式在线物理节点异常检测方法.基于支持向量数据描述建立了一种分布式的物理节点异常检测模型;通过引入随机近似函数,解决了数据分布式存储场景下的核函数计算问题,从而实现观测数据的切片内处理;基...     

基于MapReduce和HBase的 海量网络数据处理

根据ERF数据的特点结合分布式框架Hadoop针对海量数据的计算优势,改进了网络数据的解析模式和数据存储模式,完成了ERF网络数据自动上传。根据XML文件解析多种类型的网络数据、HBase存储数据和HBase数据导入与数据查询的优化等一系列网络数据自动化处理工作。提出了一种新的MapReduce解析二进制数据的算法,该方案有效的解决了MapReduce读取和解析二进制数据的问题,在此基础上实现的海量网络数据处理系统,解析效率较高,数据库存储和查询数据的速度较快,系统自动化运行且稳定性强,有良好的应用前景。     

基于内存计算的大规模图数据管理研究

图是一种重要的数据模型,能够描述结构化的信息,在诸如交通网络、社交网络、Web页面链接关系等领域应用广泛,因而获得了广泛的研究.海量的图数据管理对传统的图分析处理技术提出了挑战,分布式集群计算为大规模图数据分析提供了基础平台.随着计算机硬件性价比的大幅提升以及高性能应用需求,基于内存计算的海量数据处理技术获得了业界青睐.图数据高效存储和计算与内存计算密切相关,在此背景下,文章综述了大规模图数据处理相关技术进展,研究了典型的基于内存计算的大规模图数据管理系统,最后总结了基于内存计算的图数据管理的关键点.     

面向飞机PHM的大数据分析与人工智能应用

针对新一代电子产品密集型的飞机,其系统结构和失效机理复杂、失效模式多样,传统的方法难以对其进行有效健康管理的现状,因此提出了基于海量数据挖掘的飞机PHM研究。首先从系统结构、服役环境、数据来源与存储方式等角度分析了新一代飞机对海量数据挖掘的应用需求;其次论述了基于海量数据挖掘的关键技术,包括数据的预处理、集成管理、聚类、分类、关联、预测等;最后提出了一种基于私有云的飞机PHM海量数据挖掘平台,详细阐述了该平台的总体框架和软硬件结构,该平台为飞机PHM提供了验证平台,对促进飞机PHM的集成与工程化实现具有重大的军事应用意义。     

云计算环境下煤矿应急管理海量数据存储技术

随着物联网、无线传感器网络等技术在煤矿应急管理信息化建设中的广泛应用,煤矿大量监测、控制及自动化等实时系统产生的流式数据会形成相当规模的数据集,对煤矿企业现有信息系统构架的海量数据存储及处理性能提出了更大的挑战。为了研究应对此挑战的海量数据存储技术,通过分析煤矿应急管理海量数据的来源及其特点,设计了云计算环境下基于NoSQL的煤矿应急管理海量数据存储方式,并对煤矿应急云平台进行了Hadoop基准测试,同时利用陕西黄陵矿业集团一号矿井某段周期内的瓦斯数据,对煤矿应急云平台和DBMS系统的处理性能进行对比。实验结果表明,基于Hadoop构建的煤矿应急云平台在海量数据存储与处理时均有良好的性能表现。     

云计算技术在计算机网络安全存储中的应用研究

云计算技术是当前十分高效的数据存储与处理技术,可适应大数据环境对海量网络数据进行计算与处理,并提供安全的储存服务。而网络环境中数据面临被泄漏、篡改、非法使用及网络攻击等安全问题,为更好提升计算机网络数据存储的安全性,该文从多角度探究了云计算技术的应用,涉及技术部署、架构、算法、模型建构及各类安全防护技术,并基于实例探究如何全方位地提升计算机网络存储安全性。     

基于GML的空间数据动态集成及应用研究

在分析GML数据格式和几何特征基础上,提出一个基于GML的空间数据动态集成框架,探讨了数据动态集成过程,并以福建省漳浦县绥安镇的林业数据为样本,进行了动态集成应用示范.结果表明,应用GML对空间数据进行动态集成,是在现有网络环境下以矢量方式进行数据传输、交换、集成海量空间数据最有效的方法.     

基于Hadoop和Spark构建可扩展的网络安全分析平台

在大规模网络环境背景下,采用Hadoop和Spark计算框架构建一种低成本的可扩展性的大数据安全分析检测平台,使用离线模型生成与在线检测相结合的方式对异构网络数据进行分析,在海量数据流环境中实现实时安全分析检测.实验结果证明:基于Hadoop和Spark的大数据安全分析平台具有优秀的可扩展性及高效处理能力,能够满足安全大数据的分析与检测要求,并能有效地应对海量数据的安全分析检测任务.     

科学研究大数据挑战

现代科学研究的一个重要模式就是大科学项目,其特点是大科学装置和合作,并产生海量的科研数据.数据密集型的大科学项目对数据的采集、存储、分发和处理有着巨大的需求.本文以大科学项目为案例讨论了科研大数据在数据采集、处理、存储以及网络等方面的挑战,以及相应的应对方法.其中,国际上的高能物理实验每年产生数十拍字节(PB)的数据,这些数据需要妥善地记录和保存下来,并高效地分发到世界各地进行分析处理.高能物理学家基于网格技术合作建立了大数据处理的WLCG网格平台,该平台成功地支持了大型强子对撞机实验数据的处理和分析,同时也支持了其他大科学项目,取得很好的效果.另外,为了解决对数据的高效存储和访问,新的存储技术和网络技术,如软件定义网络和云存储等,被开发应用到科学大数据中.最后还介绍了云计算技术在科研大数据中的应用.     

基于微服务与机器学习的煤矿安全监测系统

煤矿安全监测监控系统种类繁多、架构不一、信息不共享、功能无互助、监测数据难以得到有效利用,煤矿安全生产缺少可靠的数据支撑。为此,设计了一种基于微服务架构的安全监测系统,将信息管理与自动监测各业务系统统一,构建成一个灵活、稳健、高效的系统平台,以适应大数据分析与挖掘应用。通过基于Hadoop构建的煤矿安全监测大数据平台,实现对海量环境监测数据的分布式存储、选择性抽取和高效计算。通过对生产环境监测数据的集成和深入挖掘,建立机器学习模型,自动识别安全隐患并推荐相应的处理措施,起到对煤矿环境安全综合研判和科学决策的辅助作用,推动实现煤矿安全管理的智能化。     

大数据平台网络数据库云计算技术优化与平台搭建研究

利用云计算等先进技术对网络数据库进行优化总结.基于云计算等技术重新设计了一种面向大数据的网络数据库,实现了平台操作设计、集群模块搭建以及数据整合与预处理等.基于云计算等技术对网络数据库进行优化,是实现网络数据库存储容量提升,全面优化大数据时代网络数据库并发性、提高海量数据状态下网络数据库利用率的重要举措.     

一种面向海量实时数据的信息检索算法

网络信息资源的迅猛膨胀推进了信息检索技术的发展和成熟,但将现有的技术应用于海量实时网络数据时,传统的信息检索算法仍存在种种不足之处.本文中以CERNET华(东)北地区的海量实时网络数据环境为依托,研究和设计了两段向量簇聚类信息检索算法,通过插入聚类和优化聚类两阶段的操作,提供高效的信息处理能力.同时,基于簇聚类树实现了群发邮件甄别的应用,对网络数据中的垃圾邮件进行过滤,进一步地提高检索效率.     

一种大规模可伸缩的开放协作支撑环境

计算机支持的协同工作(CSCW)的发展提出了构建开放协作环境的需求,开放协作环境必须解决异构应用数据集成与共享、网络支撑平台的可伸缩以及各类应用系统之间的互操作问题.为此设计并实现了一种基于多层体系结构的开放协作支撑环境(MAOCE),本文从基本原理的角度,重点对多层体系结构、数据集成与共享表示模型、异构系统集成规范化设计以及基于主题的订阅/发布模型等进行了阐述.MAOCE已经投入到复杂设备一体化信息管理的实际应用中,能够满足大规模信息管理和各项具体业务需求.