基于随机服务模型的云端会话的概率调度算法

对分布式环境中的多用户云端会话的任务调度而言,任务的到达过程、处理单元的状态以及网络传输等都具有不确定性,而传统的调度算法很少考虑这些不确定性。针对这一问题,研究了动态调度问题,并提出了一种概率调度算法,该算法可以提高调度速度和降低状态估计的不准确性。首先建立了排队模型,将所有到达过程组成一个多列,并且假设每个处理单元都有用于任务执行的本地队列,然后使用排队理论计算队列参数,最后基于这些参数,将该调度问题定义为一个非线性规划问题。仿真结果表明相对传统算法,文中所提算法的鲁棒性更高,且具有更快的响应时间。     

针对大规模数据的分布一致缺失值插补算法

缺失值插补(missing value imputation,MVI)作为数据挖掘领域的重要研究分支，旨在为机器学习算法的训练提供高质量的数据支持。不同于现有的以算法性能提升为导向的MVI算法，为对大规模数据的缺失值进行有效插补，该文提出一种以数据结构还原为导向的数据分布一致MVI(distribution consistency-based MVI, DC-MVI)算法。首先，DC-MVI算法基于概率分布一致性原则构建了用于确定最优插补值的目标函数；其次，利用推导出的可行缺失值优化规则获取与原始完整值保持最大分布一致性且方差最为接近的插补值；最后，在分布式环境下，针对大数据的随机样本划分(random sample partition, RSP)数据块并行训练DC-MVI算法，获得大规模数据缺失值对应的插补值。实验结果表明：DC-MVI算法不仅能生成与原始完整值保持给定显著性水平下概率分布一致的插补值，还具有比另外5种经典的和3种最新的MVI算法更快的插补速度和更好的插补效果，进而证实DC-MVI算法是一种可行的大规模数据MVI算法。     

Flink平台下的分布式平衡级联支持向量机

支持向量机（Support Vector Machines,SVM）在分类和回归领域都是非常强大的工具，但在大数据环境下，其面临资源占用过高和寻优速度慢等问题.目前利用大数据框架实现的SVM，虽然优化了寻优速度慢的问题，但其预测精度与直接训练方式相比存在一定的差距，此外其并没有对训练节点的资源进行合理配置.故提出一种Flink平台下的分布式平衡级联向量机，该方式在之前的基础上将数据集分成含有相同比例样本的平衡子集，并对子集的训练参数进行放缩；同时，结合Flink下迭代作业的动态资源分配策略，将各节点资源最小化为刚好满足训练需求.对该方法的有效性进行阐述，对比多个数据集在不同训练方式下的资源占用和模型精度，实验结果表明，采用所提出的训练方式能合理灵活地对资源进行配置，同时将模型预测精度误差降低到0.1%以内.     

基于Netflow的网络流量测量基础设施建设

随着互联网主干网带宽的不断升级,直接对IP分组数据进行采集、存储和分析会产生巨大的测量开销,因而针对流数据的流量测量越来越受到关注.在流级别的测量工具和协议中,Netflow由于其出色的兼容性和易于部署的特点而得到广泛应用.传统基于Netflow的流数据测量系统往往是集中式的,在全网范围内缺乏必要的协作机制,因而极易受到负载分布不均衡、可扩展性差等问题.引入P2P的设计思想来实现均衡负载,并提供高度可扩展性,另外基于对实际流量数据的观察,提出了在IPv6环境下P2P流量识别的方法.     

基于Matlab机群的分布式并行图像匹配算法

分析了Matlab并行计算工具箱中各部件的关系,对分布式并行计算环境中的关键参数进行了设置,构建了并行计算机群。将基于Matlab机群的分布式并行处理引入到图像匹配中。以灰度相关匹配算法为例,结合并行处理对图像灰度匹配进行并行实现。实验结果表明:并行化处理能有效缩短匹配时间,对进一步研究并行图像处理有一定的指导意义。     

基于Hadoop的分布式日志分析系统

就如何防御泛洪攻击问题,建立了基于Hadoop的分布式日志分析系统.通过快速提炼访问日志中每个IP地址的请求次数,获取其中请求频率较大的异常IP以有效甄别攻击源,进而为解决泛洪攻击提供重要的现实依据.通过实验,我们不仅验证出分布式日志分析模式较单机模式的巨大时效性优势,还搭建由不同文件系统为基底的虚拟机担当Slaves...     

基于CAN网络的混合动力汽车硬件在环仿真平台

建立基于多xPC-Target系统的混合动力汽车硬件分布式实时在环仿真平台.通过CAN网络将2个xPC-Target双机系统组合而成.2个xPC-Target双机系统各自运行混合动力汽车各个功能模块的仿真模型,实现数据采集、处理及计算.使用多个xPC-Target系统能够有效分担仿真硬件设备的计算量,有利于提高仿真模型复杂度,提高仿真精度.由CAN网络实现2个xPC-Target系统间的通信.对xPC-Target的性能进行了测试,对CAN通信的时延进行了测试.在所构建的仿真平台上进行的计算验证了仿真平台的可靠性.     

TLGM-QL：基于图模型的Web数据分析性查询语言

随着万维网规模和应用的飞速发展,如何有效存储和利用Web数据已成为计算机科学诸多研究领域的巨大挑战.针对这些迫切的需要,介绍一种新的Web分析工具TLGM-QL(tagged and labeled graph model query language),用户只需要编写描述性的类SQL分析性查询语句,即可获得对于以图形式组织的Web数据分析结果.用户不需要关心底层的实现,系统可将TLGM-QL查询语句生成物理执行计划分配给集群高度并行执行,最终返回查询结果.     

面向独立任务的星型网格拓扑结构优化

文中以星型网格应用环境中独立任务周期性调度的研究成果为基础,通过分析网格平台分别处于非饱和态、临界态以及冗余态时的性质,提出了拓扑结构优化方法——静态优化与动态优化,给出了一种星型网格计算能力与资源利用率的度量方法;在静态优化方面,解决网格拓扑结构最优化的判断问题,给出组建最优化星型网格的方法;在动态优化方面,研究了网格拓扑结构动态变化时节点的准入策略;还根据网格计算能力与动态负载的匹配情况,提出了网格拓扑结构动态优化算法.最后给出了网格平台的扩展策略.     

基于Spark和梯度提升树模型的短期负荷预测

利用Spark平台对电力用户侧的大数据进行分析,提出基于梯度提升树的并行负荷预测方法.首先对历史负荷和天气数据集进行并行化分割处理,并采用特征提取与转换方法获取到预测模型所需的特征向量;然后合理设定Spark集群节点数以及调节Hadoop分布式文件系统(HDFS)分块大小;最后将参数调优后的梯度提升树模型部署到Spark分布式平台上进行训练与预测,并将该模型预测结果与其他预测模型进行精度比较.研究结果表明:通过合理划分HDFS中存储块的大小能有效提高集群对于大数据处理的效率,分布式梯度提升树算法在快速性与准确性上均有比较大的优势,能够满足电力负荷预测的要求.