基于Map/Reduce的分布式数据排序算法分析

为了解决大规模数据的存储与计算,近年来分布式系统得到了大量的应用.如何在分布式系统中对大规模数据集进行排序是影响许多应用性能的基础问题,其中不仅涉及每个节点上排序算法的选择,更重要的是设计协调各节点的分布式算法.本文总结了分布式系统中常用的分布式排序算法,对每种算法的执行流程、代价模型和适用场景进行了分析,并通过实验对分析结果进行了验证.本文的工作可以帮助开发人员选择和优化分布式环境下大规模数据排序的算法.     

一个高效的外排序方法

针对外排序存在的困难，给出了一种高效的外排序方法．利用分段的思想将内、外排序算法结合起来，减少计算过程中读写外存的次数，从而提高速度和效率，算法复杂性为Ｏ（ｎｌｏｇ２ｎ），通常数百万的排序数据仅需读写磁盘二三遍便可完成排序，大大地减少读写磁盘遍数．本算法既适合内排序，也适合外排序     

一个高效的外排序方法

针对外排序存在的困难，给出了一种高效的外排序方法。利用分段的思想将内、外排序算法结合起来，减少计算过程中读写外存的次数，从而提高速度和效率，算法复杂性为Ｏ，通常数百万的排序数据仅需读写磁盘二三遍便可完成排序，大大地减少了写磁盘遍数。本算法既适合内排序，也适合外排序。     

常见排序算法多线程实现与比较

目的 对目前常用排序算法进行多线程实现,并运用不同类型数据集进行比较研究,以充分利用现代计算机多核处理器优势,有效提高大规模数据排序操作。方法 首先简要介绍目前常用的11种排序算法的基本原理,然后基于Go语言采用多线程模式进行代码实现,最后用3种不同类型测试数据进行详细比较,分析这些排序算法的优缺点及适用范围。结果 对于同一个排序方法,多线程可以明显提高排序效率,但相同规模数据条件下,不同的数据类型影响排序效率。结论 多线程排序能够充分利用计算机多核资源,提高排序效率。对于大规模数据,多数排序方法都可以快速得到排序结果。     

基于邻域相似度的行人重识别重排序算法

在行人重识别模型中引入邻域数据关系,提出了一种基于图像邻域相似度的重排序方法。首先扩充图像的邻域数据,然后计算图像对不同邻域数据的相似度权重,利用该权重得到代表邻域相似度的分布距离,再用分布距离与原始距离计算得出最终距离作为重排序评判标准。使用CCL,Transreid, Torchreid等行人重识别模型在Market-1501,DukeMTMC-reID数据集上进行实验,结果表明本文方法对基准模型的精度提升均超过该领域的主流算法,证实了本文方法的有效性和泛化性。该重排序方法不需要任何人工交互和额外数据,适用于大规模数据集,可以有效应用于图像检索、目标跟踪等需要考虑相似度关系的任务中。     

基于Java按位拆分快速排序算法的数值仿真

介绍了一种新的按位拆分排序算法的基本思想,并利用Java语言实现了该算法程序.通过多种数据实验和Matlab数值仿真,直观形象地说明了该算法的高效性.     

任意分布数据的映射归并排序算法研究

针对银行业务管理、高考成绩统计、气象资料整理等一类特殊“汇总”排序问题。文中提出了一种以映射、链接和归并为基础的新排序算法－映射归并排序算法（以下简称为“映射归并排序”）,给出了该排序算法的描述、时间复杂度分析及用C语言编写程序进行算法比较的实验结果。算法分析和实验结果都表明：映射归并排序方法和待排序数据分布无关,其时间复杂度仅为O（N）;而且在处理上述大规模“汇总”排序问题时,映射归并排序速度明显优于Flash Sort,Proportion Split Sort,2－路重复的K路归并排序和直接K路归并排序等算法。     

一种基于有序双端链表的高效排序算法

本文提出一种新的基于有序双端链表的比较排序算法,即ODListsort(ordered double-end linked list sort)算法。该算法首先要定义一个可共存的链表最大数量,然后通过生成链表、根据规则插入数据以及合并操作来对数据集进行排序。在ODListsort算法中,数据元素是以链表形式进行动态内存分配的,因此它比一些经典的排序算法性能更优。实验结果表明,对于随机数据集,ODListsort排序与快速排序的速度接近,比归并排序、选择排序、插入排序以及冒泡排序的速度更快;对于有序数据集,ODListsort排序的效率远超快速排序,略高于归并排序。     

按位归"档"排序算法研究

针对传统排序算法的比较思想 ,提出了一种简单而快速的排序算法 ,尤其在非均匀分布下的数据效果更加明显 ,该算法在最坏情况下待排数据较多较大时的时间复杂度为O(n) .     

利用粒子群算法计算AHP判断矩阵排序权重

根据判断矩阵的基本性质,可以将判断矩阵的排序权重计算归结为一个最小化一致性指标的最小优化问题。针对这个最优化问题,提出一种利用改进的粒子群算法计算排序权重的算法。首先对判断矩阵排序权重计算及一致性检验、改进的粒子群算法进行了介绍,然后对排序权重计算进行了描述,最后给出仿真实验数据及其分析。实验结果验证了此算法的有效性,并显示该算法具有很高的精度和稳定性。     

有限次分组排序算法

本文给出一种有限次分组快速排序算法并证明该排序算法处理均匀分布数据记录,正态分布数据记录及一般概率分布数据记录的平均时间复杂性为Ｏ（Ｎ）;给出四种快速 序算法分别关于均匀分布数据记录,正态分布数据记录,均匀波浪式分布数据记录和异常分布数据记录,进行排序的实验结果,表明有限次分组排序算法具有更快的效率。     

一种基于比较网络模型的排序算法的构造

介绍了一种并行的排序算法：排序网络算法．在比较网络模型的基础上，该算法使用二分法思想，利用双调序列，构造出了一种并行的排序算法：双调排序网络．     

一种基于堆的快速排序算法

堆排序算法具有低时间复杂度和低空间复杂度的优点;但对原始序列的有序性不敏感。快速排序算法是在平均情况下公认的高速算法;但有较高空间复杂度。对两个算法扬长避短,设计了一种新的排序算法HQSort;并从理论和实例两个角度分析了该算法的效率,在不同量级的数据集上对该算法和三种经典排序算法进行了对比运行和测试,验证了该算法不仅在时间效率上优于其他算法,而且在辅助存储空间上比快速排序算法减少约50%。     

基于串行计算的排序算法实证分析

文章简述了排序算法的研究现状,着重分析地址映射计数排序的基本思想,提出了相异密度因子的概念,以快速排序为参照系,通过理论分析和实验数据的实证分析验证,表明相异密度因子是应用领域选择合适的排序算法的重要参考因素,最后指出了排序算法的研究新趋势.     

基于满二叉树的原地快速排序

介绍了一种基于满二叉树的原地快速排序算法。与经典快速排序算法相比,新算法每趟划分采用动态枢轴而不是静态枢轴,同时新算法利用满二叉树的特点计算下一趟划分的枢轴位置和元素范围,避免使用递归或开辟内存堆栈。实验表明,新算法的时间性能优于目前最好的原地排序—堆排序。原地快速排序二叉树的概念对排序算法的研究和改进具有很好的理论和实用参考价值     

双机器流水车间中的订单选择和排序优化研究

许多制造企业从大规模制造转向大规模定制,采用按订单生产的策略,由于时间限制只能选择部分订单；在流水车间中,订单排序会影响所选订单的完工时间,因此产生了订单选择和排序集中优化的问题.对于双机器流水车间中的订单选择和排序问题,提出了一个混合整数规划的数学模型,在CPLEX优化软件中实现了模型算法.通过算例验证了该模型的逻辑正确性；设计了数据实验,结果显示订单规模不超过40个时,模型可在较短时间内得到最优解.对于订单规模更大的问题,设计了启发性算法,得到的订单选择和排序方案对应的利润值与最优值约只差4.52％.最后,对订单选择和排序集中决策相比单独决策获得的额外收益进行了测算.     

基于满二叉树的原地快速排序

介绍了一种基于满二叉树的原地快速排序算法。与经典快速排序算法相比，新算法每趟划分采用动态枢轴而不是静态枢轴，同时新算法利用满二叉树的特点计算下一趟划分的枢轴位置和元素范围，避免使用递归或开辟内存堆栈。实验表明，新算法的时间性能优于目前最好的原地排序一堆排序。原地快速排序二叉树的概念对排序算法的研究和改进具有很好的理论和实用参考价值。     

对层次聚类算法的改进

介绍了层次聚类算法的基本思想,在原算法的基础上,通过对类间距离进行预排序从而避免合并类时重新计算类间距离,该算法降低了计算的复杂度．实验表明,改进后的算法在与原算法聚类效果相同的情况下运行速度明显提高．     

一种新型快速排序算法的设计与实现

本给出了一种具有比传统快速排序算法性能更高的排序方法，该方法既不需要关键字之间的比较，也不需要记录的移动，全给出了该算法的描述，时间/空间复杂度分析和实验比较数据，实验表明，该算法特别适合于大数据量大记录的排序工作。     

排序算法的分析与比较实现

本文论述了内部排序的几种算法,在思想、时间复杂度、空间复杂度及稳定性方面进行了比较。最后用C#语言比较了几种算法在大量数据中进行排序的比较次数和花费的时间。