多vCPU环境中基于容器的科学工作流调度策略

现有科学工作流调度研究较少考虑计算资源的多道程序设计,难以同时实现有效的容器共享并优化任务并行度与资源利用率。为了解决以上难点,文章提出了一种分布式多vCPU环境中基于容器技术的分段式工作流调度策略。该策略通过分段调度方法,降低启发式算法的解空间大小,使用带遗传算子的自适应离散粒子群优化算法(ADPSOGA),在设备使用成本的约束下优化各个工作流的完成时间,并制定一种容器与设备间的动态伸缩方案,实现容器的复用并解决单个设备中任务并行时的资源争用问题。结果表明：ADPSOGA的性能优于其他同类启发式算法,并且分段调度方法与容器伸缩方案在工作流调度方面表现出良好的性能,能很好地适应因任务并行度增加所带来的影响。     

树型数据网格环境下副本放置算法研究

副本广泛地用于数据网格环境下以减少数据访问代价,降低网络带宽需求,增强容错能力等,但是副本数目受到节点存储能力等因素的限制,副本放置成为副本管理中一个值得研究的问题.文中针对网络带宽受到限制的树型数据网格,在考虑负载均衡的基础上,提出了一种利用动态规划方法求解最优最小可行副本集,然后在此基础上利用折半查找进行k个副本放...     

并行处理机与并行处理技术

首先介绍了并行计算机的概念、并行处理计算机的结构,详细论述了目前流行的并行处理技术,最后介绍了新一代并行处理技术的状况.     

座标网格法实验的计算机数据处理

网格数据计算机处理是一种精确、快速的用网格法求塑性大应变的实验技术,即通过四节点等参数单元理论和欧拉大变形公式,求出各网格单元的应变分量和等效应变。     

视频网格中流媒体业务的流量模型

针对网格环境下的多服务器对单个用户提供服务的流媒体服务模式,提出了一种多层次的网格环境下的通用流媒体业务的流量模型——复合AR模型(MAR).根据媒体网格中流媒体的特点,将媒体流分为媒体流段和媒体流片断,媒体流片断是近似平稳过程,采用AR模型建模,媒体流段中的媒体片断之间符合半马尔可夫过程,媒体流中的媒体流段符合泊松过程.该模型为网格环境中提供更加有效、高质量的VoD服务打下了基础.     

小波方法在数据流中的应用

有关流数据分析与管理的研究是目前国际数据库研究领域的一个热点.流数据的特点是数据持续到达,且速度快、规模宏大;其研究核心是设计高效的单遍数据集扫描算法,在一个远小于数据规模的内存空间里不断更新一个代表数据集的结构———概要数据结构,使得在任何时候都能够根据这个结构迅速获得近似查询结果.将主要采用小波方法对数据流的采样加以实现,并对数据流进行查询.     

网格编程方法与环境综述

网格作为新一代的基础设施已经引起了极为广泛的关注,但在网格上进行编程仍然是件困难的工作.文中介绍了目前最具代表性的网格编程方法和支撑工具的研究现状,指出了它们存在的一些不足,并从多个方面对这些方法和支撑工具进行了比较,最后给出了网格编程未来的发展趋势和进一步的研究方向.     

优化设计建模与算法选择的并行处理系统

介绍了优化设计建模和算法选择两人上系统及其并行处理技术，以及各子系统所采用的自律分散，并行设计和共享信息，协调工作的控制策略及其在工程优化设计的智能化和自动化中所起的作用。     

基于数据分区的动态流媒体数据调度算法

为了有效地提高P2P网络的流媒体服务质量,该文采用带宽动态调整策略实时地适应网络带宽的动态变化,通过对数据片断的区间划分,明确各区间数据片段的紧迫性和重要性,分别采用不同的调度策略,从而提高数据片断的实时到达率,并使数据片断具有较好的扩散性.系统测试显示节点播发具有良好的连续性和稳定性,结果表明了算法的有效性.     

面向周期性工业时序数据的流式清洗系统

为了高效清洗具有时序性、周期性等特点的工业数据,首先利用分布式组件设计了一套流式清洗系统,系统以Mosquitto作为采集数据的汇集中心,以Flume为连接组件,以Kafka为缓冲组件,对接数据清洗组件,使系统具有高吞吐、大缓冲等优势。然后基于速度约束模型,设计了一种周期性数据清洗算法,综合工业数据的时序性、周期性、物理意义等特性,在原有速度约束算法基础上增加周期性检测和数据切片机制,以解决速度约束算法处理周期性数据的失真问题,提高可用度。最后文中以盾构掘进数据集为样本,验证了系统和算法的有效性,以及改进算法的适用性。     

一种适应于动态环境范围查询的数据立方体

范围查询是对数据立方体进行数据分析的有效方法,预计算技术可以提高数据立方体范围查询的速度,实现快速的用户响应.近年来研究人员基于多维联机分析处理(MOLAP)预计算的研究主要以prefix sum及分块技术为基础,本文对分块方案及如何组织块内单元实施prefix sum方法进行探索,提出了前缀区域数据立方体结构(Prefix Region Cube,PRC),采用基于前缀区域的不规则的分块方案,这种分块方法利于从起始单元开始的前缀区域范围查询的实现.另外PRC在分块及对划分后的块内单元实施prefix sum时都采用回归分割技术,在不增加额外立方体空间的前提下,实现范围查询和数据更新的代价都为O(logdn).     

一种高效的对等网络流媒体数据调度算法

在基于无结构对等网络环境的P2P流媒体系统中,针对现有数据调度算法不能充分利用节点带宽资源导致服务器负载较重的问题,提出了一种基于数据块优先级的数据调度算法.该算法根据邻居节点滑动窗口中数据需求信息和数据稀有性计算数据块优先级,调度时优先请求高优先级的数据,以提高节点间数据协作性.当多个源节点可以同时提供所需数据时,根据节点已上传下载数据量计算节点的贡献率,向贡献率最低的源节点请求数据,实现新加入节点上行带宽资源的快速利用.仿真实验与实际系统测试表明,该算法可以更充分地利用节点带宽资源,较传统算法降低服务器负载20%以上,提高了系统可扩展性.     

MAPINFO下矢量数据栅格化程序设计方法

论述了在mapinfo下将矢量数据转换为栅格数据的原理和开发方法，给出了部分程序的设计思路及实例分析。     

数控线切割系统的数据处理技术

本文简要的叙述了数控线切割控制器的数据处理、数据插补软件的数据结构，中断处理过程．该方法已在新开发的快走丝数控线切割系统编程控制一体化软件中应用，取得了良好的效果。     

移动P2P流媒体中的数据调度算法

为了解决移动网络中分层流媒体的数据调度问题,提出了一种新的应用于移动网络P2P(Peer to Peer)流媒体的数据调度算法--二维数据调度算法。该算法将流媒体数据块分别使用二维坐标进行标注（块坐标和层坐标）,数据调度过程中数据块的调度顺序由其二维坐标确定。仿真结果表明,二维数据调度算法能保证移动终端上的流媒体的顺畅播放;无用包率减小,使无线网络中带宽得到有效地利用;对层订阅抖动具有较好的抑制作用,确保流媒体质量稳定。     

网格环境下基于序贯博弈的性能-效率平衡型优化

为优化应用执行性能和提高系统资源效率,针对网格环境下的资源映射问题,文中提出了一种基于序贯博弈的优化策略.该策略根据平衡的思想,将资源映射过程分为活动分发和处理器分配两个阶段,通过有限次博弈后获得优化解.文中还给出了衡量应用执行性能的重要参数——信任度的计算方法.仿真实验检验了优化策略的可行性和有效性.结果表明,与Min-Min算法相比,文中的优化策略具有更低的时间复杂度、更优的应用执行性能和更高的资源效率.     

通风机数据检测与处理

本文讨论了单板机的通风机数据检测与处理方法,给出了实际系统和测试结果并对测试结果作了分析。     

多传感器数据的处理及融合

针对多传感器数据的多样性, 提出一种改进的数据融合算法. 首先, 利用小波技术消除已收集数据的高斯白噪声并对数据进行压缩; 其次, 对处理后的数据进行分层, 并对系数进行Kalman滤波, 同时利用Mallat快速重建算法重构数据; 最后, 利用最大、 最小贴近度计算传感器数据的信噪比, 并通过信噪比进行数据融合. 基于实际采集的多传感器数据对比实验结果表明, 该数据融合算法在稳定性上优于简单加权数据融合、 小波数据融合和Kalman滤波融合等算法.     

数据访问和服务在OGSA网格中的应用

文章描述了在OGSA（Open Grid Services Architecture）框架中的数据访问和服务的基本概念，同时提出了支持数据访问和集成服务的OGSA框架OGSA—DAI（OGSA architecture to support data aceess and integration services）的扩展．OGSA—DAI结构为一般性的数据访问和集成服务定义OGSA接口类型，利于为不同的数据源访问的统一接口和模块。