基于Flink平台的资源感知任务调度策略

针对Flink平台下先来先服务任务调度算法忽略任务资源需求与节点可用资源之间的关系,导致不同节点任务负载不均,从而影响系统吞吐量的问题,提出了基于Flink流式计算环境下资源感知任务调度策略.首先,以GlobalState模块监测的资源数据为依据,考虑任务资源需求与节点可用资源间的匹配关系,提出一种任务选择算法与节点选择算法选取待执行任务与最佳调度节点;其次,通过资源感知调度策略把待执行任务调度至最佳调度节点;最后,通过实验验证算法的有效性.实验结果表明,相比Flink平台现有的调度算法,本文所提出的算法在大数据基准测试WordCount以及TeraSort下的吞吐量平均提高了约29.32%和35.86%.     

供电网无功电压优化运行集中控制系统

针对10kV及以下配电网中无功电压控制存在的问题，许杏桃等通过调度自动化SCADA系统采集全网各节点运行电压、无功功率、有功功率等实时数据，以10kV及以下配电网运行参数为依据，以10kV配电网电能损耗最小为目标，以电力客户端电压合格为约束条件，进行无功电压优化计算。从调度自动化系统采集实时数据，分别送入电压计算分析模块和无功计算分析模块，再送入综合优化模块处理后，形成有载调压变压器分接开关调节指令、无功补偿设备投切指令，最后通过调度控制中心执行，循环往复。     

分布式地震前兆数据交换系统

针对现有地震前兆台网数据交换系统存在的安全性低、数据交换失效等问题,基于多线程、断点续传技术、压缩技术以及用户自定义操作日志技术,提出了一种分布式地震前兆台网数据交换系统.整个数据交换过程分为预处理阶段、数据导出、数据传输和数据导入4个阶段,其中预处理阶段完成交换任务的定制及调度等工作.若一个交换任务的4个阶段都成功,则视为交换成功,否则重试或标记为失败.测试结果表明,该系统实现了地震前兆观测数据在台站节点、区域节点、国家节点和学科节点间的高效、灵活、快捷的交换.     

基于网格任务调度的Monte Carlo仿真建模

网格系统是异构和动态分布系统,其节点的计算能力存在差异。在多个节点共同完成任务时,容易产生计算瓶颈,影响计算吞吐量和造成延迟,甚至导致整个任务失败。利用Monte Carlo仿真的自然并行性,解决了网格任务调度问题,设计了基于网格的Monte Carlo仿真流程框架和节点状态机模型。在此基础上,建立了“N-M”调度策略的二项式概率模型,并在不同的参数条件下对Monte Carlo仿真任务的性能进行了测试和分析,结果验证了设计方案的有效性。     

基于Globus网格平台的电子工程预算软件作业调度实现

作业调度是能否充分发挥网格性能的关键技术。基于SaaS模式的电子工程预算软件(SaasBudget)为用户提供一个动态、实时、高可用性的预算软件平台。SaasBudget基于Globus Toolkit4网格平台实现,利用网格提供的强大计算性能和分布式处理能力进行大工程的项目预算计算。通过对Globus作业调度机制的研究,设计了SaasBudget系统的作业调度系统。实验结果表明,该作业调度系统能够综合考虑任务与计算节点的特性,并能根据任务当前运行情况实时进行调整,有效改善了作业调度效率,大大提高了网格资源的利用率。     

三峡升船机整体动态仿真软件的分布式并行计算

通过分析计算模块的结构,比较各种并行计算的实现方案并结合现有的情况,提出一种基于局域网互连的个人电脑、应用DCOM作为通信手段的分布式并行计算模型．在该模型中,以单个可执行文件作为计算节点,输入计算节点的先序关系,将其计算任务动态分配到各个工作计算机上．针对局域网计算机的特点,提出了改进的静态负载均衡方法,优化了计算任务的调度方法,使得局域网内的计算机资源能够得到最优化的配置．在设计模型的基础上,用程序完整实现,并在模拟的应用测试中取得了很好的效果．     

基于资源监控的网格调度系统

研究ChinaGrid生物信息学网格中,根据资源负载变化进行动态作业调度的方案.针对中国网格公共支撑平台(CGSP)的执行管理模块在调度作业时,没有将计算节点的动态性作为调度优化的考虑因素,在ChinaGrid生物信息学网格中实现了一个基于资源监控的作业调度系统(SSRM).SSRM利用CGSV来实时获取资源的动态信息,并报告给ChinaGrid生物信息学网格的调度模块进行调度方案的优化.实验表明,与资源监控相结合的网格调度系统可以明显地缩短一组作业的完成时间.     

多主数据库中基于分区的并发控制

大数据时代,存储计算架构分离的单写多读场景已无法满足海量数据的高效读写需求;另一方面,多个计算节点同时提供写服务还会引起计算节点间的缓存不一致.已有的研究采用全局有序的事务日志来进行冲突检测,并通过广播和回放事务日志维护整个系统的数据一致性.但该类方案由于是在每个写节点维护全局写日志,可扩展性较差.针对这些问题,提出了一个基于分区的并发控制方案:通过分区的方式降低每个写节点需要维护的事务日志,以有效提升系统的扩展能力.基于此想法,在MySQL上实现了分区多主插件,并通过实验验证了该解决方案对系统性能的影响.     

基于簇的可动态调整的分层负载均衡算法

为了提高分布式系统的性能,设计了能根据节点当前任务负载强度和调度能力,动态地改变集群的逻辑控制结构的2层负载均衡算法.算法把系统中的节点分成多个簇,每个簇有1个调度节点和若干个工作节点,簇内工作节点形成算法的第1层,执行用户提交的任务;簇间的调度节点形成算法的第2层,调度节点间通过相互协作,均衡簇间的负载.算法可以通过分裂簇增加调度节点的方式来提高系统的调度能力;通过合并簇增加工作节点的方式来提高系统的执行能力.对于不同类型任务,算法能根据任务到达流的速度调整逻辑控制结构,从而提高CPU利用率.测试结果表明,该算法不仅能提高系统性能,而且经过调整后的系统会进入稳定状态.     

基于多Agent的分布式多目标任务调度机制研究

针对分布式计算中任务调度的复杂性、动态性和实时性等特点,构建了一个基于多Agent的分布式多目标任务调度模型．此模型中,设计了一种分布武调度机制,使每个节点都具有独立的调度决策能力,增强了系统的可扩展性．同时为了解决分布式调度所产生的节点间任务通信问题,引入任务与节点相关性等概念,有效地降低了节点间的通信代价．模型对多个评价指标进行了综合衡量,如任务调度开销、任务最早执行时间、负载均衡及节点问的通信量等,并根据任务和系统运行的状态特征,实现多目标任务调度,提高了系统的整体性能．     

基于SN并行结构的网络取证日志隐匿安全管理

针对目前应用于网络取证的日志结构多样,存贮分散,缺乏证据能力保证和难以进行综合取证分析的问题,提出并建立一种基于无共享资源SN(shared nothing)并行结构的安全日志隐匿管理系统.该系统将分散的异构的日志记录由日志代理和管理网关收集并转发到多个存贮节点.各存贮节点采用信息分配算法IDA(information dispersal arithmetic)将日志记录分散为n份并存贮相应分片,计算所有分片单向散列值并保存.取证分析时,管理网关利用任意m(m相似文献   

基于面向对象系统日志管理模块的设计与实现

大型软件系统都有详细的日志文件记录系统运行情况,描述了一种基于面向对象的并且采用多线程设计的日志管理模块的设计与实现,日志管理模块将软件系统中记录日志的操作提取出来形成了独立的模块,降低了系统的耦合度,提高了复用性。     

一种基于对等网络高性能计算的任务调度算法

讨论了一种基于对等网络的高性能计算系统的体系结构,提出了一种两级联合调度算法,该算法针对对等网络结构松散、节点稳定性差的缺点,充分考虑负载平衡、志愿机CPU空闲计算能力以及子任务相关要求,分两面三刀级进行任务调度,从而分散了调度负载,避免了调度瓶颈,增强了系统的动态扩展性,提高了系统的并行效率.实验表明:随着志愿机个数的增加,系统动态平衡效果增强,加速比增大,进而说明了算法的有效性.     

分布式实时嵌入式系统的能耗建模与分析

为支持分布式实时嵌入式(DRE)系统的能耗分析,提出了一种能耗时延Petri网(ECTPN)对系统的模块、任务、任务间关系、通信协议等进行建模。基于所建DRE的ECTPN模型,分析系统的可调度性和能耗约束,并给出启发式算法来计算满足时间约束和能耗约束的可行调度。最后应用一个实例模拟系统的建模和分析过程,从而直观地展示了该方法的可行性。     

一种基于处理时间的Map/Reduce动态均衡调度算法

提出了一种基于处理时间的Map/Reduce动态均衡调度算法.在该算法中,为参与计算的各节点建立处理总时间指标;当节点的子任务返回时动态更新当前节点的处理时间,并按照最小处理总时间来选择子任务处理的节点.实验证明:该算法不仅减少了节点与云中心服务器的负载信息传递,而且充分利用了各计算节点的处理能力,提高了Map/Reduce调度效率,对于提升云计算服务的质量具有十分重要的理论意义.     

网格计算环境下作业调度的策略研究

根据网格计算环境的各种特点,分析了采用层次型策略进行作业调度的必要性和可行性。根据计算资源的结构特点,提出了建立层次型权系数模型的算法思想,同时根据权系数模型提出了一种较新的作业调度的算法,并对其作业调度算法作了仿真分析。此算法将为如何根据各节点的实时变化特征,动态地进行作业任务的局部调度提供了可靠的参考数据。     

一种支持微计算机应用系统实时性的多任务调度模块

结合１６位单片机组成的应用系统，介绍一种实时多任务调度模块的设计方法，详述了任务的划分、调度策略、中断管理及调度模块的实现过程。这种按时间片轮转的“伪并发”处理方式能有力地支持微计算机应用系统的实时性。     

一种改进的基于动态信任的分布式调度模型

任务调度是分布式计算系统研究的核心内容之一,而基于动态信任的任务调度算法在志愿计算和网格计算系统中具有很好的性能,这种算法能够较好地处理节点的不确定性.首先介绍了现有的基于动态信任的任务调度模型,分析了经典调度模型中没有考虑任务大小、执行期限和计算冗余组计算能力等缺点.在经典模型的基础之上,提出了一种在BOINC系统中适用于独立计算任务的基于动态信任的分布式任务调度改进模型.该模型对经典模型中可靠度的定义作了优化,并且考虑了任务大小、执行期限、计算冗余组计算能力等因素,从而提高了计算的吞吐量,减少了计算时间.     

多媒体现场集群调度系统的研究

通过对目前通信市场和行业客户需求进行前瞻性调研和分析,研究了满足应急需求的多媒体集群调度系统,分析了多媒体集群调度系统的整体架构,对系统的功能模块进行划分,系统包括的功能模块有集群对讲、语音调度、移动视频调度、视频会议、统一通讯录、GIS功能和API模块。设计了系统的拓扑结构和多媒体数据传输与控制模式。最后对用户管理服务模块、多媒体语音调度模块、媒体移动视频调度模块、多分辨率、音视频会议、文件传输的技术参数进行说明。     

敏感法无功最优潮流

本文提出了基于敏感度方法的无功最优潮流的新算法。该算法利用微机可计算200节点规模的系统,收敛性好,计算速度快。使用该算法,可使试算系统降损8-14％,使系统获得较大的经济效益。该程序可以协助调度人员进行在线无功调度和电压控制以保证电压质量。 试算IEEE118节点例题以及国内的49、61、99和200节点系统,效果均较满意。