网络切片中物理节点的分布式在线异常检测方法

网络切片中的异常检测问题是实现网络切片自动化管理的重要研究内容,针对网络切片中物理节点的异常检测问题,提出了基于支持向量数据描述的分布式在线物理节点异常检测方法.基于支持向量数据描述建立了一种分布式的物理节点异常检测模型;通过引入随机近似函数,解决了数据分布式存储场景下的核函数计算问题,从而实现观测数据的切片内处理;基于随机梯度下降法,提出了一种在线的物理节点异常检测算法,保证了模型动态更新并减轻了异常数据导致的模型性能下降.在不同条件下进行了仿真分析,仿真结果表明,该方法可在避免切片间观测数据传输的同时,有效利用网络切片中虚拟网络功能的无标签观测信息检测物理节点异常.     

异构Redis集群大规模评论数据存储负载均衡设计

大规模评论数据的存储与查询性能对构建于其上的各类应用的快速响应具有重要影响.同时,异构计算环境中各计算节点性能呈现差异,如何充分开采各节点的计算和存储性能,优化大规模评论数据的存储与查询性能,是一个关键挑战.基于Redis集群的数据管理优势,首先提出了一种同构环境下基于卡槽存储平衡的大规模评论数据存储模型;然后论证了卡槽数目与节点查询效率的关系,以"负载与访问性能相平衡"的原则分配卡槽,进一步设计了异构环境下的集群节点负载计算和存储分配方法,充分开采了异构Redis集群中不同节点的性能.实验结果表明,提出的存储模型具有很好的存储平衡效果,提升了集群的整体查询效率.     

大数据云存储下海量数据传输完整度控制技术

为确保大数据云存储下海量数据传输的完整度,提出了一种基于属性特征匹配和关联规则的海量数据传 输完整度控制方法。构建海量数据的属性特征高维重组模型,得到关键信息的特征分布状况,据此设计海量数 据的关键信息存储分布结构模型,采用关联规则方法进行海量数据的关键信息特征挖掘提取,利用关键信息进 行海量数据的特征分析和数据聚类处理,采用属性特征匹配方法设计海量数据关键信息存储节点后,利用模糊 减法聚类对关键信息存储节点进行聚类处理,在海量数据传输中,以数据关键信息存储节点传输的完整度实现 海量数据的传输完整度控制。仿真结果表明,采用该方法进行海量数据传输完整度控制,能提高云存储下的空 间利用效率,数据传输完整度高。     

滑动轴承混合润滑多线程并行计算数值方法

针对混合润滑数值分析将动压效应、弹性变形和界面接触特性耦合而非常耗时的问题,基于共享内存并行系统的多线程程序设计语言OpenMP,提出一种多线程混合润滑并行计算数值方法——红黑线交叉并行计算法.该并行计算模型是将雷诺方程求解域分成两个相互独立的子求解域,依次对两个子求解域进行并行数值求解,可以有效克服CPU线程间数据争用问题,加快求解速度.着重研究了并行计算核数、网格数量和工作站配置对并行计算性能的影响,分析结果表明:并行计算模型能够有效提高滑动轴承混合润滑计算速度,并行计算速度的提升幅度与并行计算核数成非线性关系,随着CPU核数的增加计算速度的增加幅度逐渐减小;此外,与内存和缓存相比,CPU的主频对并行计算速度有非常大的影响.     

并行计算在词袋模型算法中的应用

传统词袋模型已广泛地应用于图像处理领域,并取得较好效果.但在传统词袋模型中,仅考虑了串行计算,使得整个算法流程耗时较长.考虑现有的多核CPU资源,结合共享存储并行编程(OpenMP)并行框架,对词袋模型进行并行优化,并对其性能进行讨论.主要考虑对特征提取、特征聚类和图像直方图生成三个部分进行并行优化.通过对Caltech 100数据库进行实验,结果表明,该方法可以取得接近于CPU核数的加速比,因此减少了词袋模型的构造和图像直方图生成时间,相对于传统词袋方法提高了算法的效率.     

面向云计算的众核处理器三维存储体系结构研究

众核芯片系统存在吞吐量低、加速比不能与其片内处理核数的增长成线性比例等问题,无法发挥出相应的计算能力,目前的众核微体系结构并不匹配MapReduce运行时. 针对上述问题,为实现高性能众核芯片系统巨大计算和处理能力目标,文中分析了众核MapReduce的执行模型,基于DOT模型构建了众核存储体系,对其中的片上网络、通信模式、访存流程及基于此的MapReduce存储模式进行了设计. 实验数据表明,和Tile结构相比,基于该三维存储体系的众核系统的吞吐量能提高1.2倍,加速比和片内处理核数接近线性关系.      

适应节能与异构环境的MapReduce数据布局策略

大数据处理过程中产生的高能耗问题亟待解决,尤其是在数据量规模剧增的背景下。在对已有数据布局策略存在问题分析的基础上,分析了与基于存储区域划分的节能模式及与异构HDFS集群的不适应、数据块切分算法不灵活、存储节点选择的随机性等几个方面的问题,继而提出面向节能的MapReduce数据布局策略。首先,新策略适应将集群划分为不同存储区域(Active-Zone与Sleep-Zone)的节能模式;其次,新策略对传统的数据块数计算方法进行了改进,提出作业截止时间约束下的最小任务数计算方法确定数据块数量;最后,新的存储策略增加了对异构集群环境的适应能力,并能根据不同的作业类型进行存储节点的选择。实验结果表明:新的数据布局策略能够适应异构集群环境,达到减小MapReduce作业能耗的目的。     

基于CUDA的最大互相关算法加速处理研究

提出了一种基于CUDA平台的最大互相关算法加速处理的方法,利用CUDA强大的并行处理能力提高图像匹配过程中实时性。对最大互相关函数做了分解和计算,并对函数在CUDA中的实现做了分析和设计,最后通过比对相同图像在CPU和GPU中的计算时间验证CUDA平台处理最大互相关函数的加速处理研究效果。     

基于均匀驱动计算架构的卫星影像快速Mask匀光方法研究

针对大数据量的卫星遥感影像进行匀光处理的过程计算量大,效率低的情况,提出了一种基于均匀驱动计算架构(compate unified device architecture,CUDA)平台的卫星影像快速匀光并行处理方法。根据现有算法结构上的特点,将处理过程中的主要运算部分交由GPU完成。实验通过对资源三号卫星所得影像做匀光处理,对比了GPU与多核CPU运行速度和效果,分析了该方案的加速性能和实用性。实验表明,在保持原处理质量的同时,该方法构建的并行处理模型有效地提高了原有匀光算法的处理速度。     

一种无线传感器网络中基于缓冲区管理的查询处理方法

对于大型无线传感器网络中要求同时支持大量的周期查询和ad hoc查询的软实时应用,提出了一种查询处理方法.设计网络存储结构,为查询处理设置合适的执行区域使其形成查询处理缓冲区,缓冲区内的节点映射了远程节点数据,并使查询和数据在缓冲区汇聚,及时得到处理.基于排队论建立缓冲区中查询任务管理模型,设计其优化策略,得到缓冲区的合适宽度和位置,并基于此设计查询处理算法.实验结果表明,该方法可以降低查询错失率并节约能量.