云存储中基于相似性的客户-服务端双端数据去重方法

数据去重是云存储系统提高存储率的主要手段之一,为解决查重过程中因数据量大而导致的索引I/O瓶颈和数据块指纹冲突问题,从而提高查重效率和去重准确度,提出了一种快速且安全的数据去重方法。该方法采用客户-服务器端双重检测框架,基于滑动窗口技术和Rabin指纹算法并根据文件内容确定数据块边界,摒弃传统的MD5和SHA1算法,应用第3代安全哈希函数SHA3来计算数据块的指纹。提出两级索引策略,基于数据相似性原理来加快索引查找和比对速度。试验结果表明,客户-服务器双重检测框架能有效提高系统查重效率,基于SHA3的数据块指纹计算更加精确,能有效提高去重准确度。     

大型多协议服务器的优化网络调度模块设计

针对多服务器中协议过多,没有形成统一调度方式,传统的网络调度模块存在延迟与冲突的问题。提出一种用于多协议服务器的网络调度模块设计方法。研究了多协议服务器的特征,详细论述了该网络调度模块硬件和软件设计过程,针对多协议造成的网络调度模型发生混乱的问题,运用一种分层约束方法,对不同的底层协议进行分析。实现不同协议服务器的前端测试设备参数约束 ,再引入一种数据融合方法对多协议服务器外扩FLASH、SRAM、SDRAM存储器芯片和网络控制芯片DM8168进行融合,保证调度的一致性.系统测试结果表明:该模块可以较好的完成多协议服务器的任务调度,网络模块的吞吐量与传统的调度方法提高了13%,模块延迟与冲突下降了5%     

本体论在移动数据库复制技术中的应用

针对移动数据库同步服务器中存在大量数据冲突和事物频繁需要回滚处理的问题,在目前通用的三级复制模型基础上,引入本体论技术,提出了一种同步服务器的设计方法.按该方法设计的同步服务器通过建立本体来分析移动事物操作的语义信息,并按照语义信息之间的关联来检测和解决移动事物间的数据冲突.经验证其方法可有效的解决数据冲突问题.     

基于并行文件的分层Web服务器群

构建了并行文件Web服务器机群.该机群采用分层结构,每层节点均作为调度器(最后层除外)和数据服务器.各层节点对外提供数据服务,并根据预设的计量标尺判断数据服务是否过量,并将过量工作转移至下层节点.建立了基于ajax和vml技术的监控服务器,对所有节点性能进行实时监控.     

一种P2P点播系统中的数据调度策略

在基于无结构对等网络环境的在线点播系统中,针对多个节点给单个节点同时提供数据的调度问题,提出了一种结合自适应调度和超时紧急调度的新型调度策略.节点向伙伴节点获取数据时,通过数据调度的历史经验自动地适应伙伴节点的数据服务能力,并根据伙伴节点的服务能力,负载均衡地调度数据;对于伙伴节点不存在的数据,通过设定数据的超时时间并根据紧急度将数据调度给服务器.新型的调度策略使得节点充分利用对等网络中终端节点的资源,降低了服务器的负载,提高了整个系统的承载能力和扩展性.实际系统的运行结果表明,该调度策略在提高系统的整体服务能力方面取得明显效果.     

基于分布式多服务系统的数据同步方法

针对传统的基于多服务器的数据同步方法在数据同步过程中易产生数据冲突问题,提出一种带有业务标号的数据同步方法及一种基于业务标号和时间戳的数据恢复策略,实现了分布式多服务系统各服务器间的数据一致性.实验结果表明,该数据同步方法与其他数据同步方法相比,有较好的执行效率,同时避免了一些数据同步过程中的数据冲突问题.     

基于离散粒子群的SDN动态流调度算法

针对数据中心网络中流量路径分配不合理、易导致大流冲突的问题,提出一种基于离散粒子群的软件定义网络(SDN)流量调度算法.该算法重定义粒子群内部的寻解过程,以最优化网络性能为目标,动态地为数据中心的流量分配最优路径,以减少大流量冲突;并引入Metropolis设计多元化最优调度方案,确保数据中心流量的合理调度.与其他流量调度算法进行对比验证的实验结果表明,该算法提升了网络质量,降低了大流时延,实现了更好的负载均衡.     

一种新的P2P内容分发优化数据调度方法

为了在P2P内容分发系统的可用结点间合理分配数据请求,设计了一种基于并行机调度模型的优化内容分发数据调度算法.仿真结果表明,在典型的数据块选择方法条件下,该算法相比常用的随机结点选择数据调度方法可以进一步提高系统吐吞能力,同时减轻源服务器的负载.     

基于需求的数据广播调度

随着通讯、互连网以及移动技术的发展,数据广播逐渐成为一种流行的数据传播方式。在结合了数据广播和传统的客户/服务器模式优点的基础上,产生了新的数据传播方式,基于需求的数据广播。设计基于需求的数据广播系统的关键在于广播调度算法。本文介绍了基于需求的数据广播的系统结构和性能衡量标准,并分析了基本的广播调度算法,抢占式调度算法以及实时调度算法。     

一种考虑资源状态动态反馈的云计算调度算法

针对云计算动态调度问题,提出一种考虑资源状态动态反馈的云计算调度算法.该算法针对资源服务器状态动态变化影响当前工作流调度结果的问题提出滑动窗模型,该模型可以实时动态地反映资源服务器的状态.为了更好地预测资源服务器的状态,提出时间窗曲线模型和平均利用率模型,以计算资源服务器的平均利用率.基于平均利用率提出资源反馈权重策略,通过该策略来计算所有工作流任务的动态权重值,按照动态权重值进行排序并依次调度.实验结果表明本文算法可以有效缩短工作流的总加工时间.      

一种高效的对等网络流媒体数据调度算法

在基于无结构对等网络环境的P2P流媒体系统中,针对现有数据调度算法不能充分利用节点带宽资源导致服务器负载较重的问题,提出了一种基于数据块优先级的数据调度算法.该算法根据邻居节点滑动窗口中数据需求信息和数据稀有性计算数据块优先级,调度时优先请求高优先级的数据,以提高节点间数据协作性.当多个源节点可以同时提供所需数据时,根据节点已上传下载数据量计算节点的贡献率,向贡献率最低的源节点请求数据,实现新加入节点上行带宽资源的快速利用.仿真实验与实际系统测试表明,该算法可以更充分地利用节点带宽资源,较传统算法降低服务器负载20%以上,提高了系统可扩展性.     

基于小波分析的a-多样性k-匿名大数据自适应延迟调度算法

为提高采用k-匿名模型进行a-多样性大数据延迟调度的自适应性和控制准确性, 提出一种基于小波分析的a-多样性k-匿名大数据自适应延迟调度算法. 首先采用小波分析方法对数据进行去噪处理, 通过去噪数据构建优先级列表控制模型; 然后利用高效时分多址协议设计负载均衡传输的信道模型, 并结合自适应加权控制方法建立调度控制的目标函数, 通过时隙分配进行目标函数的最优化求解, 实现调度算法改进设计. 仿真实验结果表明, 采用该方法进行a-多样性k-匿名大数据调度的自适应均衡性能较好, 数据调度的相对误差较低, 数据的召回率优于传统方法.     

一种P2P VOD系统的缓存部署及调度机制

提出一种新的数据缓存机制,通过利用空闲节点加入缓存、节目点播应用前进行缓存部署和基于视频源服务器的请求连接数进行缓存调度等机制优化系统整体缓存能力和缓存分布.实验仿真数据表明,此数据缓存机制能有效提高系统的缓存能力和整体性能.     

炉容受限的加热炉调度问题及启发式修复算法

针对钢铁生产中炉容受限的加热炉调度问题,建立并行加热炉调度的多目标优化模型,并针对问题的NP-难特性提出一种启发式修复算法.在松弛炉容约束得到初始调度的基础上,通过不断检测冲突并消解冲突实现问题的有效求解.根据最小冲突板坯优先的变量选择策略选择冲突板坯,并根据最小在炉板坯数的值选择策略为冲突板坯重新指派新的加工机器;为避免搜索陷入死端,算法增加回溯机制以保证得到可行的调度方案.数据实验表明:该算法能够有效求解炉容受限的加热炉调度问题,且具有较高的计算效率.     

虚拟计算环境业务支撑平台

为了更好地对虚拟计算环境iVCE实验床资源进行组织和控制,并能进行更有效的试验,设计实现了一个业务支撑平台.基于自定义的适合平台数据的通信和传输协议,设计了分布式自适应的目录服务器和作业调度子系统.目录服务器有效整合了实验床平台资源的静态和动态数据,调度子系统有效支撑了平台上应用的部署、运行、调度和管理.在业务支撑平台上进行了网络动态变化下目录查询实验、分布式协同实验,验证了虚拟计算环境体系结构的合理性,为其进一步发展提供了一个可参考的支撑平台.     

基于最小负载的Linux Web机群负载均衡算法

为了充分发挥Web机群后端服务器的实际处理能力,实现了一种基于最小负载的Web机群负载均衡算法.该算法依据后端服务器的实际状态:CPU使用率、内存使用率、网络利用率和磁盘性能,通过定时获取后端服务器的状态信息,导出服务器综合负载并放大取整,作为服务器权值.基于最小负载的均衡算法能够动态反馈,具有自适应特性.与加权轮转调度算法相比,基于最小负载的调度算法具有更高的请求成功数和较低的请求失败数.     

钢包调度评价方法研究

针对以钢包周转个数为基础的钢包运行评价难以反映实际调度现状的问题,提出一种基于生产计划和钢包待用时间解析的钢包调度现状评价方法.首先,利用钢包运行过程中重包个数的波动表征生产计划对钢包运行情况的影响.然后,通过解析钢包待用时间,给出额外周转包个数和钢包调度离线率的计算方法,分别用以表征不同状态钢包的调度,并通过实际数据确定钢包调度现状的综合评定方法.最后,以实际生产数据对该评价方法进行验证.结果表明,该评价方法可以准确评价钢包调度现状,并可为生产实践提供相应的指导.     

LCDJ:面向内存集群计算的局部感知连接算法

等值连接是数据库系统中最为重要的操作之一,哈希连接在处理等值连接时,表现出较高的性能.在分布式内存数据库系统中,数据即已分布式地存储于多个节点上,哈希连接通常情况需要将参与连接的两个关系表在连接属性上按照相同的哈希函数进行数据重分区,从而保证连接属性值相同的元组被传输到同一个节点上进行本地连接操作.由于内存数据处理速率远远高于网络的数据传输速率,因此数据重分区占据了连接算法的绝大部分时间,成为分布式内存数据库系统中等值连接操作的性能瓶颈.本文提出了一种新颖的分布式内存数据库环境下的等值连接算法LCDJ(Locality Conscious Distributed Join),在充分利用高效的内存计算的同时尽量减少网络数据传输量.算法首先对每个表连接属性的数据分布进行精确的统计,并结合并行度和计算负载均衡因素,进而建立代价模型来衡量不同调度策略下的时间开销,并求出最优的调度策略.LCDJ实现于基于内存的分布式原型系统Claims中.实验结果表明,本文所提算法有效地降低了网络传输代价,大幅度减少了响应时间,比起当前流行的Hive和Shark等系统有明显的性能提升.     

采用改进粒子群的P2P流媒体数据调度算法

P2P技术解决了传统流媒体应用中的不能支持大用户的问题.而数据调度算法一直是P2P流媒体研究领域中的核心问题.为了减轻服务器的负载, 并且有效利用P2P网络中节点的资源.本文提出一种基于改进粒子群算法的P2P流媒体数据调度方法.该算法使用了粒子群算法进行寻优,并对粒子群算法进行改进,算法中定义了 "加法"运算,替换原来的速度方程,并增加变异算子,防止早熟收敛.最后通过对比实验验证了算法的有效性.     

基于多传感器的智能出租车设备和算法

基于多传感器的智能设备对出租车当前的车辆信息和乘客状态进行检测,并利用后端服务器中的智能调度算法分配出租车.该装置通过出租车上的GPS模块、GPRS模块、单片机控制模块等来实现,其中单片机控制模块通过GPRS模块将GPS模块的信息发送到后端服务器,完成对出租车的监控.调度管理系统的调度算法分析用户对出租汽车的请求信息,计算最接近用户的负荷,发送出租汽车调度指令,完成出租汽车调度.试验分析表明,提出的智能出租车调度管理系统具有较高的效率,能够有效提升出租车运营效率.