MapReduce based computation of the diffusion method in recommender systems

The performance of existing diffusion-based algorithms in recommender systems is still limited by the processing ability of a single computer .In order to conduct the diffusion computation on large data sets, a parallel implementation of the classic diffusion method on the MapReduce framework is proposed.At first, the diffusion computation is transformed from a summation format to a cascade matrix multiplication format , and then , a parallel matrix multiplication algorithm based on dynamic vector is proposed to reduce the CPU and I/O cost on the MapReduce framework , which can also be applied to other parallel matrix multiplication scenarios .Then, block partitioning is used to further improve the performance , while the order of matrix multiplication is also taken into consideration . Experiments on different kinds of data sets have verified the efficiency of the proposed method .     

基于磁盘阵列的多队列实时I/O调度算法

研究磁盘阵列的Ｉ／Ｏ调度问题．给出了建立在实时操作系统上的系统调度模型;在分析磁盘的Ｉ／Ｏ调度算法的基础上,提出一种适合磁盘阵列的多队列实时调度算法．该算法为每个磁盘指定了一个请求队列,并根据请求之间的依赖关系确定可并行执行的任务组．测试结果证明,新算法具有很好的性能     

One method for improving RAID5 performance

As a kind of parallel storage system, RAID5 has been becoming a popular solution for providing better performance at low cost and without sacrificing much redundant data, its main disadvantage is poor performance. It is a general method to improve RAID5 performance by using cache. However, it often happens that the data is not hit in cache, in this case, the RAID5 performance also will be very poor. The method based on combination of disk I/O operations has been proposed for impriving the I/O response time through reducing the number of low-level operations. According to theoretic analysis and experimental test, we find that RAID5 access time and data transfer rate could be largely improved than conventional method. Foundation item: Supported by the National Natural Science Foundation of China under grant 69773046 and (69973017), and Defense Advanced Research Foundation of China under grant (98J15. 1. 1. JW0516) Biography, Chen Qiong (1963-), female, Ph. D candidate, research interests: computer architecture, parallel processing, disk arrays.     

机载设备振动环境实测数据处理并行算法

为了提高机载设备振动环境实测数据处理效率,提出了一种并行化数据处理和振动环境谱编制方法。在SMP(symmetrical multi-processing)集群系统的多级体系结构下,以Welch(改进周期图法)算法为基础,进行了振动数据处理模型的并行化分析,对于并行化过程中存在的并行I/O、负载平衡等关键问题进行了讨论,提出了相应的解决方案。最终选择基于MPI/Open MP混合方式实现了算法。在搭建的集群环境下测试表明,12核参与运算的条件下,最高加速比可以达到7.4,有效提高了运算效率。     

磁带库随机I/O缓冲调度算法的性能

为了提高磁带设备的在线存储效率,提出了一种磁带库缓冲调度算法.该算法采用磁盘驱动器做缓存,将磁带库设备虚拟为逻辑块设备使用.同时,提出了主动写回以及读预取方法,将磁带库的随机读写操作顺序化,以改善系统随机读写性能.文中还对算法性能进行了详细分析,并利用仿真方法对算法进行了测试,结果证明系统集合I/O和单I/O响应时间能够得到明显改善.     

基于MapReduce的中文词性标注CRF模型并行化训练研究

针对条件随机场模型面对大规模数据传统训练算法单机处理性能不高的问题, 提出一种基于MapReduce框架的条件随机场模型训练并行化方法, 设计了条件随机场模型特征提取及参数估计的并行算法, 实现了迭代缩放算法的并行。实验表明, 所提出的并行化方法在保证训练结果正确性的同时, 大大减少了训练时间, 效率得到较大提升。     

数据网格中存储I/O的SPN建模与性能评价

针对数据网格中存储资源的结构、协议和I/O模式的复杂性问题,分析了存储网络的并行存储I/O请求模型,采用随机Petri网(SPN)建立了SPN并行存储I/O传输的数学模型,描述了系统请求响应时间与系统负载、网络带宽和节点处理能力之间的关系,然后通过排队论进行了并行I/O的性能分析,最后归纳了影响存储网络系统I/O性能的因素,在并行策略和数据组织与分配等方面提出了提高整体存储性能的改进方法.为改进提高数据网格的整体存储I/O性能提供了有效的建模方法和具体的理论依据.     

基于nested-loop的大数据集快速离群点检测算法

针对已有的多数离群点检测算法存在扩展性差,不能有效应用于大数据集的问题,在已有的基于距离的离群点检测算法的基础上,设计模信息表存储结构,利用向量内积不等式关系以及合理的存储分配和调度策略,提出一种高效离群点检测算法DBoda.该算法通过在预处理中存储每个点的模信息,减少点间距离的计算量,并对嵌套循环方法进行优化,进一步减少I/O的开销.理论分析和试验结果表明,所提算法具有时间消耗小和适用于处理大数据集的特点,可以有效地解决离群点检测中的算法时间复杂性和算法扩展性问题.     

多线程Web图像搜索器的磁盘I/O缓冲方法

频繁的磁盘I/O操作导致多线程Web图像搜索器的性能显著下降,为此提出一种磁盘I/O缓冲方法,它包括待采URL的双队列缓冲和图像存储与URL存储中的循环缓冲池等2种措施.在URL待采队列中采用双队列缓冲,当其中一个队列处于使用状态时,另一队列执行从磁盘读取新URL的操作,使得各个线程可以不间断地获取URL.2个循环缓冲池分别用于图像和URL磁盘存储操作中,其工作原理相同.实验结果显示,磁盘I/O缓冲方法显著改善了多线程Web图像搜索器的性能.     

一种用于透明计算的多媒体I/O 访问控制方法

针对实时媒体类I/O访问是透明计算系统性能瓶颈的问题,提出了一种用于透明计算的多媒体I/O访问控制方法CAVIO(Classification and Aggregation-based Vir-tual I/O mechanism).CAVIO通过对混杂类型I/O进行分类进而优先处理多媒体I/O,通过聚合小I/O减少I/O的平均路径长度和跨网络处理开销,通过并发处理网络传送提高虚拟磁盘I/O的吞吐率.实验表明,该方法对透明计算系统的多媒体I/O处理性能有显著提高.     

基于OpenCL的图像灰度化并行算法研究

随着图像数据量的增加,传统单核处理器或多处理器结构的计算方式已无法满足图像灰度化实时处理需求.该文利用图像处理器(GPU)在异构并行计算的优势,提出了基于开放式计算语言(OpenCL)的图像灰度化并行算法.通过分析加权平均图像灰度化数据处理的并行性,对任务进行了层次化分解,设计了2级并行的并行算法并映射到"CPU+GPU"异构计算平台上.实验结果显示:图像灰度化并行算法在OpenCL架构下NVIDIA GPU计算平台上相比串行算法、多核CPU并行算法和CUDA并行算法的性能分别获得了27.04倍、4.96倍和1.21倍的加速比.该文提出的并行优化方法的有效性和性能可移植性得到了验证.     

VBR流磁盘I/O的优化调度及特定的缓冲计算

VBR流如视频流,由于其位率的突发性和频繁的改变,给传输系统（如网络和磁盘I/O端口）带来了巨大的挑战．VBR流的平滑调度和传输控制成为分布式多媒体应用领域内研究的热点．对于存储的视频,在连续传输中,预缓冲是平滑VBR特性非常有效和实用的方法．作者在基于为网络传输而考虑的VBR流平滑算法的基础上,讨论了考虑物理磁盘块存取特性的VBR流二次平滑调度及缓冲计算方法．首先,给出了一个在最小缓冲尺寸下的磁盘I/O调度规划算法A;然后,计算了在最大存取单元（为某种需要而设定的）不超过某一特定值时的最低缓冲需求,及在该最低缓冲需求下的一个复杂度为线性时间的磁盘I/O调度规划算法C．分析结果表明,所设计的算法能100%地利用磁盘空间．     

Challenge and Methods of Synchronous Disk I／O

At present, I/O is the performance bottleneck limiting the speed of computer systems. A large number of I/O operations are synchronous read/write operations of only small data blocks. However, reducing the latency of synchronous I/O operation is a non-trivial problem. In this paper, we propose two methods to address this problem. The first method, FastSync, uses a cache disk optimized for write operation via use of a disk-head position prediction algorithm. In this way, disk capacity is traded for synchronous I/O performance. The second method, LND, uses free memory capacity in a network environment as a cache disk for the buffeting of synchronous I/O operation. Data integrity in FastSync is ensured by using a data log on the cache disk, whereas in LND, integrity is ensured by the storage in distributed memory of multiple copies of each data block. Both methods succeed in dramatically increasing the performance of synchronous I/O operation. The performance of LND is limited by the network speed, whereas performance of FastSync is determined mostly by the data block size.     

一种基于分布式技术的工程数据存储管理策略

基于分布式技术,提出一种实现分布式工程数据库存储管理功能的策略,该策略旨在增加全局存储器中可用数据库数量,降低磁盘Ｉ／Ｏ的费用,改进系统存储管理的效率。最后,论述了相应存储管理算法的设计。     

应用混合蚁群算法求解并行批处理机组批与调度问题

晶圆制造系统的批处理机具有长加工时间的特征,其调度性能指标对车间总体绩效有重要影响.批处理机调度分为组批与批次调度.针对工件的动态到达特性导致组批困难,提出了一种混合型蚁群算法.利用该算法的全局并行搜索能力对工件进行组批,并使用BATC算法对批次进行调度,可以解决多产品并行批处理机调度问题.以工件总拖期最小为性能指标,通过实例仿真,对蚁群算法性能进行分析评价和比较.结果表明,所提出的算法具有有效性和实用性.     

基于GPU的多尺度Retinex图像增强算法实现

为提高多尺度Retinex算法的实时性,本文提出了基于GPU的多尺度Retinex图像增强算法,通过对算法进行数据分析和并行性挖掘,将高斯滤波、卷积和对数差分等计算量非常耗时的模块放到GPU中,利用大规模并行线程处理来提高效率。在GeForce GTX 480和CUDA 5.5中进行实验,结果表明该算法能显著提高计算速度,且随着图像分辨率的增加,最大加速比达160倍。     

两种智能优化算法及其应用

遗传算法和蚁群算法是两种新型的寻优策略,遗传算法用于函数优化问题,蚁群算法用于求解非线形规划问题.建立通过相应的优化模型,并得出了实现的步骤,结果表明遗传算法具有简单、通用、鲁棒性强、适用于并行处理的特点.蚁群算法具有正反馈性、较强的鲁棒性、并行性以及易与其他方法结合的特性.     

钢厂炼钢-连铸生产调度及重计划方法

为解决炼钢-连铸生产调度中扰动情况下的重计划编制问题,提出一种按扰动时的作业计划是否已开始执行进行作业计划的分类,并分别采用正向时间并行顺推算法与反向基于遗传算法和时间并行倒推的混合优化算法进行炉次计划的重计划。利用某钢厂8 h的实际生产作业计划数据进行的验证结果表明:该方法能快速得到高质量的可执行炼钢-连铸生产重计划与调度方案。     

具有双重时间窗约束的作业车间调度算法

为解决实际生产调度中等待时间受限引起的工件加工时间窗约束和设备能力有限引起的机器可加工时间窗约束,以工件完工率最大为优化目标,建立了具有双重时间窗约束的作业车间调度模型,提出了求解该模型的基于启发式规则的禁忌搜索算法。在分析优化目标与约束条件关系的基础上,提出了工件选择和机器分配的启发式规则,并利用启发性规则生成初始调度方案;设计具有块邻域结构的禁忌搜索算法,减小了邻域规模,通过迭代优化最终获得较优的调度方案。选择多种不同规模的算例与传统算法进行对比分析,实验结果表明了所提算法的可行性和有效性。     

参数并行：一种基于群启发式算法的机器学习参数寻优方法

为了提高机器学习算法超参数寻优效率,提出了一种基于参数并行机制的机器学习参数寻优方法。该方法通过群启发式算法来进行机器学习算法的参数寻优,将种群转换为Spark平台特有的弹性分布式数据集,针对参数寻优耗时特点并行计算种群中个体适应度。选取随机森林和遗传算法作为实验算法,设计了多组实验对所提出的学习训练方法进行验证。实验结果表明：该方法的参数寻优能力和效率都优于主流的网格搜索算法;在20万条以下的小数据量下,与基于数据并行机制的机器学习参数寻优方法相比,该方法运行时间最多能够减少69.5%,并具有良好的可扩展性。