内存集群计算:交互式数据分析

本文围绕大数据分类中决策数据的管理和分析进行展开.重点分析了大数据时代关于商务智能(Business Intelligence,BI)技术新的应用需求;讨论了计算机硬件和体系结构的发展为决策数据管理和分析带来的挑战和机遇;通过对新兴典型应用的分析和相关技术和系统特点的总结,说明了基于内存计算的高性能数据管理和分析技术是当前亟待解决的问题,具有广阔的应用前景.在全内存式(in-memory)数据管理环境下,网络通讯将成为整个系统的主要瓶颈.结合内存的特点(数据易失性、内存墙瓶颈),设计针对高性能服务器的无共享分布式内存系统拓扑结构;研究面向异构、多层次缓存和内存结构的分布式数据布局与索引策略,跨核、跨处理器、跨服务器的多粒度并行处理框架,缓存感知、内存感知的分布式数据一致性维护等关键技术,轻量级面向按列存储的数据压缩机制及压缩感知的数据处理机制,将是基于内存计算的高性能数据管理与分析技术的重点研究内容,并将最终实现实时交互式分析处理.     

WCCS环境下利用WRK优化高性能计算

基于WCCS平台的高性能集群计算已经被广泛应用在科学计算上.利用WRK对系统进行内核调试并使得计算性能得到优化是本文研究的重点.通过在多台PC机上构建并行化平台,实现了一个可以进行高性能计算的高可用集群系统.该集群系统平台可以完成特定需求的高性能计算.结合上述系统并引入WRK环境对内核调度分配算法进行修改和调整,使得系统对于任务调度,内存分配等进行优化,并将其内核配置到HPC集群的每一个节点上,提高了整个HPC集群的计算能力和用户不同需求的适应性,实验结果表明,该高性能计算集群对于实验室或计算中心的教学与科研有实际的应用价值.     

基于内存计算的大规模图数据管理研究

图是一种重要的数据模型,能够描述结构化的信息,在诸如交通网络、社交网络、Web页面链接关系等领域应用广泛,因而获得了广泛的研究.海量的图数据管理对传统的图分析处理技术提出了挑战,分布式集群计算为大规模图数据分析提供了基础平台.随着计算机硬件性价比的大幅提升以及高性能应用需求,基于内存计算的海量数据处理技术获得了业界青睐.图数据高效存储和计算与内存计算密切相关,在此背景下,文章综述了大规模图数据处理相关技术进展,研究了典型的基于内存计算的大规模图数据管理系统,最后总结了基于内存计算的图数据管理的关键点.     

大数据研究综述

针对大数据在生活中越来越普遍，分析了大数据的概念，对大数据的关键技术大数据集成、集群计算、大数据挖掘、数据仓库和大数据可视化进行了框架式讨论，并给出了大数据开源实现平台的技术组件，最后对大数据的挑战给予了展望.     

集群资源统一管理和调度技术综述

随着互联网的快速发展和大数据的来临,基于数据密集型应用的集群计算框架不断涌现,并且这些计算框架都只面向某一类特定领域的应用.基于这一特点,互联网公司往往需要部署和运行多个计算框架,从而为每个应用选择最优的计算框架.因此,资源统一管理和调度系统作为集群共享平台被提出来.集群资源统一管理和调度系统需要同时支持多种不同计算框架,如何管理集群计算资源和不同计算框架间的资源公平分配成为关键技术难点.不同计算框架的作业是异构的,如何在不同框架间进行作业调度,以充分利用集群资源和提高系统吞吐量,成为了新的挑战.本文针对现有的资源管理系统和应用需求特点,研究和分析了集群资源管理和调度的关键技术,并对现有的集群资源管理技术存在的问题和未来发展进行了探讨.     

支持通信数据查询分析的分布式计算系统

本文详细介绍一种基于分布式内存的通信数据管理平台,可以有效支持针对通信数据的实时处理以及在线查询分析任务.首先,通过对分布式技术、内存技术进行分析,依据通信业务的特点进行技术选型;然后,基于高性能的分布式内存计算环境,设计、实现针对通信数据的实时处理与在线查询分析平台;最后,利用内存技术对平台实现方案进行技术优化.实验结果表明,基于内存的分布式计算系统在查询响应速度、实时数据处理效率、系统资源利用率以及数据吞吐量上较基于硬盘的系统较大的性能提升.     

一种基于SSD的高性能Hadoop系统的设计与应用

Hadoop已经成为大数据平台的事实标准,当用户要求它成为全栈平台时,MapReduce为批处理而设计的局限日益显现。文中将SSD引入大数据的内存缓存存储解决方案,阐述了SSD和HDD的混合存储架构;同时,结合高效的计算模型Spark等优化技术,设计了一种基于SSD的高性能Hadoop系统,分别有效地解决大数据计算系统的性能问题和存储空间问题,实验性能评测显示取得了显著效果。     

面向高性能计算平台的脑科学仿真技术研究

近年来,脑科学研究成为了热点研究领域,欧盟"人脑计划"、美国"尖端创新神经技术脑研究计划"、日本脑计划的相继提出标志着脑科学研究进入了研究高峰期.高性能计算机经过数十年的发展,计算性能的提升日新月异,应用的范围越来越广.本文结合当下脑科学研究热点生物神经网络以及高性能计算平台TH-1A(天河一号)的计算优势,在TH-1A上部署了神经网络模拟软件NEST,对用NEST构建的神经网络进行了内存占用和可扩展性分析,测试了单计算节点最大仿真规模,发现了NEST软件自身的一些瓶颈,并提出了改进的想法,进而实现了对大规模生物神经网络面向高性能计算平台的仿真研究工作.     

基于集群系统的中尺度预报模式平台的构建

随着信息技术的发展,高性能计算机系统近几年来已经得到普及应用,而集群系统作为构建高性能计算平台的比重也越来越大并逐渐成为一种主流模式。从气象行业的中尺度预报模式的需求出发,介绍了集群系统的构建过程,从基础硬件的搭建、运行环境的配置、并行通信模式等方面进行了详细的阐述。     

数据仓库及其应用

随着数据库应用从以事务处理为中心逐渐向以分析处理为中心,以数据仓库、联机分析和数据挖掘为中心的基于数据库的分析技术成为近几年来数据库界研究的热点。本主要介绍数据仓库概念、特点、评测指标及其广泛应用。     

Markedness and its Interpretation in Language Use

Language markedness is a common phenomenon in languages, and is reflected from hearing, vision and sense, i.e. the variation in the three aspects such as phonology, morphology and semantics. This paper focuses on the interpretation of markedness in language use following the three perspectives, i.e. pragmatic interpretation, psychological interpretation and cognitive interpretation, with an aim to define the function of markedness.     

低渗透非均质砂岩油藏启动压力梯度研究

理论推导与室内实验相结合,建立了低渗透非均质砂岩油藏启动压力梯度确定方法。首先借助油藏流场与电场相似的原理,推导了非均质砂岩油藏启动压力梯度计算公式。其次基于稳定流实验方法,建立了非均质砂岩油藏启动压力梯度测试方法。结果表明:低渗透非均质砂岩油藏的启动压力梯度确定遵循两个等效原则。平面非均质油藏的启动压力梯度等于各级渗透率段的启动压力梯度关于长度的加权平均;纵向非均质油藏的启动压力梯度等于各渗透率层的启动压力梯度关于渗透率与渗流面积乘积的加权平均。研究成果可用于有效指导低渗透非均质砂岩油藏的合理井距确定,促进该类油藏的高效开发。     

On Tragic Consciousness In The Works By Ernest Hemingway

As an American modern novelist who were famous in the literary world, Hemingway was not a person who always followed the trend but a sharp observer. At the same time, he was a tragedy maestro, he paid great attention on existence, fate and end-result. The dramatis personae's tragedy of his works was an extreme limit by all means tragedy on the meaning of fearless challenge that failed. The beauty of tragedy was not produced on the destruction of life, but now this kind of value was in the impact activity. They performed for the reader about the tragedy on challenging for the limit and the death.     

Achieving Unusual States of Matter Under High Pressure

正The periodicity of the elements and the non-reactivity of the inner-shell electrons are two related principles of chemistry,rooted in the atomic shell structure.Within compounds,Group I elements,for example,invariably assume the+1 oxidation state,and their chemical properties differ completely from those of the p-block elements.These general rules govern our understanding of chemical structures and reactions.Using first principles calcula-     

Exchange-Correlation and Electronic Excitation Energies from Pairing Matrix Fluctuations

We have developed an adiabatic connection to formulate the ground-state exchange-correlation energy in terms of pairing matrix linear fluctuations.This formulation of the exchange-correlation energy opens a new channel for density functional approximations based on the many-body perturbation theory.We illustrate the potential of such approaches with an approximation based on the particle-particle Random Phase Approximation(pp-RPA).This re-     

Density Functional Theory for the Response of Periodic Systems to Electric Fields Based on the Vector Potential Approach

正The electronic and nuclear(structural/vibrational)response of 1D-3D nanoscale systems to electric fields gives rise to a host of optical,mechanical,spectral,etc.properties that are of high theoretical and applied interest.Due to the computational difficulty of treating such large systems it is convenient to model them as infinite and periodic(at least,in first approximation).The fundamental theoretical/computational problem in doing so is that     

On the Thermodynamic Limit for Responses to Static Electromagnetic Fields

For molecular systems,the quantum-mechanical treatment of their responses to static electromagnetic fields usually employs a scalar-potential treatment of the electric field and a vector-potential treatment of the magnetic field.Although the potential for each field separately is associated with the choice of an(unphysical)origin,the precise choice of the origin for the electrostatic field has little consequences for the results.This is different for the     

An affordable accurate evaluation of the binding conformations predicted by molecular docking studies in bio-system

Franck-Condon factors bridge the gap between theoretical modeling and experimental observations for molecular electronic spectroscopy and electron transfer.Under the displaced harmonic oscillator approximation,multidimensional Franck-Condon factors are decomposed into a product of many one-dimensional(1D)Franck-Condon(FC)factors,and each 1D-FC factor is associated with one Huang-Rhys factor that determines the leading contribution of     

Call for Papers

<正>"The Journal of Shanghai Normal University:Mathematics"is published by Shanghai Normal University as regular issues of The Journal of Shanghai Normal University each year from 2014 in English.The editors-in-chief of the issues are professors Yuhao Cong and Maoan Han.The Journal of Shanghai Normal University was started in 1958 with     

Journal of Donghua University ( English Edition) Contents of Volume 31

正~~