网格计算：轻松处理海量数据

经济的发展使企业日常工作遇到的商业计算越来越复杂,越来越多的企业需要数据处理能力更强大的计算机,而超级计算机昂贵的价格让人望而却步,通常只有一些国家级的部门,如航天、气象等部门才有能力配置这样的设备。于是,人们开始寻找一种造价低廉而数据处理能力超强的计算模式,最终科学家们找到了答案——Grid Computing(网格计算)。网格计算步入商用时代网格计算是伴随着互联网而迅速发展起来的,专门针对复杂科学计算的新型计算模式。这种计算模式是利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”,其中每一台参与计…     

数据库技术研究进展

随着大数据时代的到来,数据库技术成为当前计算机技术领域最活跃的版块之一.从面向云计算、多核等新型计算平台的数据处理技术;面向图、流、时空数据等新的数据类型及其新的应用形式的数据管理技术;基于知识库、众包、数据挖掘等新的数据智能处理技术3个方面对数据库技术研究的最新进展进行介绍.     

对地观测大数据处理:挑战与思考

通过航天航空飞行器搭载的传感器对地球进行观测可以获得地球全面而系统的信息.随着空间信息技术的高速发展,对地观测领域步入了大数据时代.在分析对地观测数据处理与服务的全流程及其算法的基础上,总结出“大数据时代”对地观测数据处理面临的挑战——“数据密集型计算”问题,并指出解决这一问题应该在系统平台、处理算法和服务模式3个方面开展创新性的研究工作.     

处理人工智能应用的高性能计算机的架构和评测

人工智能(artificial intelligence,AI)的3块基石是大数据、高性能计算、深度学习算法,大数据被称为"算料",高性能计算被称为"算力",深度学习算法被称为"算法".人工智能主要的研究领域就是算料、算力和算法.算力基础设施作为处理人工智能应用的基石,一直被各个国家给予高度重视.由于人工智能应用的飞速发展,适用于人工智能应用的新一代超级计算机不断诞生.对比了传统超级计算机和人工智能算力系统,论述了人工智能算力系统的发展和人工智能算力评估方法研究的现状.     

浅谈减速器设计资料的处理与管理

研究了圆柱齿轮减速器设计计算过程中设计资料的处理与管理方法,对函数型数表与简单的非函数型数表分别研究其程序化处理方法;分别研究采用公式化、数据拟合法以及数组存储法对线图进行程序化处理进行;对数据量大、结构复杂的数表,研究采用数据库技术来对其进行管理与查询使用.将数据插值、曲线拟合以及ADO技术引入数据处理中,有效解决了复杂线图与数表等程序数据处理难题.     

超级计算机和计算科学

人类对计算能力的需求是永无止境的,而在各种类型的计算系统中,超级计算机的性能最高。进入21世纪,超级计算机在工业、商业和设计等民间领域的重要性也越来越明显了。超级计算机可以对所研究的对象进行数值模拟和动态显示,可以模拟从没有重力的     

Spark数据倾斜问题研究

当今人类已经进入大数据时代,海量数据处理已成为大数据技术领域的研究热点。Spark是一种典型的基于内存的分布式大数据处理框架,但在Spark的实际应用中出现的数据倾斜问题会对计算效率产生重要影响。本文针对于Spark在各类应用中出现的数据倾斜问题,梳理国内外相关研究进展,对在出现数据倾斜问题后常用的优化方法进行了分析对比,最后对未来的研究方向进行了展望。     

超级计算机

超级计算机广泛应用于国防、气象、医学等领域，在密集计算、海量数据处理中发挥着举足轻重的作用，是一个国家综合国力的重要标志之一。介绍了国内外超级计算机的研发和应用现状及其发展前景。     

网格计算综述

网格计算是利用互联网把分散在不同地理位置的计算机组织成一个虚拟的超级计算机，其中每一台参与计算的计算机就是一个节点，而整个计算是由成千上万个节点组成的一张网格．网格计算有数据处理能力强、充分利用网上的闲置处理能力、价格相对超级计算机低廉等三大优势．     

大数据时代下金融业的发展方向、趋势及其应对策略

首先简要回顾了大数据的定义、内涵及其主要特征;其次,通过研究发现,金融业是信息密集型服务产业,在数据特征和数据处理方面基本符合“大数据”概念和特征,正步入大数据时代的初级阶段;接下来,论述了在大数据时代未来的金融体系尤其是银行业将具有“开放、数字化、高生产力、科学决策”的显著特征与发展趋势,并指出在通往大数据时代之路上金融业面临来自文化、管理与技术方面的挑战;最后,给出了在大数据时代金融业发展的应对策略.研究结果将不仅对金融业务未来发展规划具有非常现实的指导意义;同时,也将为大数据时代下新金融理论的拓展奠定基础.     

网格与存储

网格把整个网络整合成一台巨大的超级计算机,实现计算资源、存储资源、数据资源、信息资源、知识资源及专家资源的全面共享。网格计算的基础是存储,网格中的每一个运算都必须有强大的存储功能提供支持。本文针对网格环境下的存储技术及其发展进行了论述。     

基于云计算的大数据存储安全的研究

随着网络技术以及云计算的发展,越来越多的数据资料将被存放在云平台,云计算与云存储的安全性也成为了用户选择云服务时最关注的一个问题.文中通过研究国内外的最新研究成果,提出了云存储的安全模型,从云端接入安全、大数据存储的加密安全和数据的完整一致性检验等方面具体归纳概括了国内外的研究趋势.文中归纳了最新的数据安全存储技术及相关方案,综合比较分析其优缺点.最后对基于云计算的大数据存储技术进行了展望.     

大数据的长期归档存储研究

应对大数据的长期存储需求,对基于COTS的归档系统进行改进,采用云计算技术扩展系统对跨数据中心存储的支持,SVM和本体方法对归档数据的存取进行分类以提高数据访问存取效率,采用非固定单元的检错次序检错,调整多错误区域的条带以优化RAID系统的磁盘检错策略.     

基于面向对象的大数据存储模型研究

随着大数据存储需求的不断扩大,网络存储技术面临如何存储并管理海量数据的问题.通过对现有各种大数据存储模型进行了对比分析,针对现有存储模型存储的局限性和大数据存储的特点,提出了一种基于数据特征的面向对象存储思想.采用虚拟类技术设计并实现了一种基于面向对象的大数据存储模型.在仿真环境中,对该模型的分类关键模块与非结构化数据存储性能进行了测试与分析,实验结果表明该模型分类模块误差较小,读写效率较高,而且随着数据的增大,非结构化存储性能保持稳定.     

混合并行计算在海洋水龄谱模拟中的应用研究

在海洋水龄谱数值模拟过程中应用并行计算技术可以显著提高运算效率。将适用于分布式存储环境的消息传递接口(Message Passing Interface,MPI)与适用于共享存储环境的开放式多处理(Open Multi-Processing,OpenMP)两种并行计算技术相结合,提出了一种适用于海洋水龄谱数值模拟的混合并行计算模型。对比了其与传统的纯MPI方式在多核心(Chip Muti-processors)集群上的运算效率,并在此基础上研究了混合模型的系统资源利用情况以进一步了解其扩展能力。实验结果表明,MPI+OpenMP混合并行水龄谱模型具有更高的运算效率,同时系统资源消耗明显低于纯MPI方式。     

一种面向大规模计算机的监控管理系统

随着超级计算机系统性能的提升,系统规模越来越大,如何高效管理这些系统成为高性能计算机亟待解决的关键问题之一.本文提出了一种针对大规模计算机的监控管理系统——MMS(Monitoring and Management System).MMS采用分布式系统结构来提高监控管理系统的效率;监控信息的精细化处理降低了监控系统对计算网络的影响同时提高了基于web的客户端的反应速度;两级异步通信机制提高了MMS系统数据采集效率.理论分析与实验结果表明MMS运行效率高、可靠性好.     

基于MapReduce的大数据在线聚集优化设计

针对大数据在线聚集执行时间长、执行性能及延迟调度性能较差的问题,提出基于MapReduce的大数据在线聚集优化程序设计.使用分片聚集方法使集群中所有机器的计算资源得到充分调用,采用子连接的启发式优先方法优化各节点本地执行连接任务关系运算,实现大数据在线聚集的并行连接.利用混合近似查询框架的大数据在线聚集动态切换机制及基于渐进近似估计的动态切换机制,降低混合近似查询切换误判率,增强大数据在线聚集的执行性能.实验结果表明,该方法设计的在线聚集优化程序在不同数据规模下的执行时间较小,同时在基本频繁查询性能方面具备显著优势.     

对象存储系统中的柔性对象分布策略

为了使对象存储系统在处理不同大小文件时兼顾并行性和负载均衡,提出一种能够结合哈希算法和分片算法的优点,同时尽量避免其缺点的柔性分布算法.柔性分布算法将大小文件的边界值界定为512Kbyte,小文件直接映射成一个对象并使用哈希策略映射到一个设备中;大文件分割成多个对象,分别放置在不同的设备里.实验结果显示:柔性分布算法在不同规模的系统中开销最小,且性能受设备数增加的影响较小.     

试飞遥测实时监控分析报告自动生成系统设计

为提高试飞遥测实时监控的监控服务质量,设计一种实时监控分析报告自动生成系统。系统基于Hadoop的大数据分布式框架设计,以SpringBoot敏捷开发框架搭建,采用流式计算引擎Storm用于实时数据计算、离线计算引擎Spark用于数据统计分析,具备数据实时采集、数据实时计算、数据统计分析、数据分类存储以及监控报告管理核心功能。目前,系统已经在C919大飞机飞行试验过程中使用,满足在飞行结束后3分钟内自动生成本架次全历程监控分析报告,可作为快速评价试飞过程的辅助决策手段,对于缩短试飞周期、提高试飞效率具有重要意义。