基于异步航迹融合的乱序数据处理算法

针对集中式融合系统中从传感器到融合中心的传输延迟时间存在差异而导致融合中心出现乱序数据的问题,提出了一种能够处理单步延迟和多步延迟的乱序数据处(ATFOOSM)算法.首先利用乱序时刻(乱序数据的采样时刻)前的滤波结果,通过卡尔曼滤波来获取乱序时刻的目标状态,再采用异步航迹融合的方式实现对当前时刻目标状态的更新.仿真中采用ATFOOSM算法和重新排序算法对单步延迟和多步延迟下的乱序数据进行处理,结果表明ATFOOSM算法能够获得与重新排序算法相近的滤波精度.     

基于混合处理模型的乱序数据流分布式聚合查询处理技术

为了解决现有的乱序数据流聚合查询处理技术不能在降低查询处理延迟,同时保障聚合查询结果的最终正确性的局限性问题,本研究设计了混合嵌入分布式流处理模块和分布式批处理模块的乱序数据流分布式聚合查询处理技术。该技术一方面基于用户给定的结果质量,限制自适应地优化流处理模块所用的缓冲区大小,从而尽可能降低流处理的查询处理延迟;另一方面基于备份于分布式数据存储系统的历史流数据,并以批处理的方式实现对极其晚到流元组的查询处理,从而保障聚合查询结果的最终正确性。基于真实的乱序数据流数据集对该技术进行测试分析表明:该技术在平均查询处理时延、查询结果精度和系统可扩展性方面,比目前最好的基于缓存的乱序数据流处理技术均具有显著优势。     

MANET中基于延时响应的乱序数据包处理算法

在MANET中,节点的移动性会导致在接收端产生大量的乱序数据包,影响TCP协议的性能.提出了一种改进的TCP协议(TCP-D),通过延时触发拥塞控制算法,来提高TCP协议在MANET中的性能.对延时响应TCP协议的吞吐量分析表明,当网络中不存在乱序数据包时,改进协议可以获得类似于标准TCP协议的吞吐量,保证对标准TCP协议的友好性.仿真实验表明,在网络中存在乱序数据包的情况下,改进后的TCP算法可以获得较标准TCP协议更高的网络吞吐量,而在无乱序数据包的情况下,改进协议仍具有很好的公平性和友好性.     

QJoin：质量驱动的乱序数据流连接处理技术

数据流乱序现象会导致数据流处理结果的丢失,给数据流的分析处理带来了巨大困难。本研究探讨了质量驱动下的乱序数据流连接处理问题,提出一种质量驱动的乱序数据流连接处理技术(QJoin)。QJoin采用缓冲存储技术和对称连接策略,实现并确保对流元组进行即时分析处理,从而降低了流元组处理的平均等待时间。同时,基于质量驱动的理念,根据临近阶段连接处理过程中收集统计的数据,自适应地调整和优化内存缓存区的大小,从而在满足用户结果质量要求的前提下,降低系统内部历史数据的内存缓存量,尽可能保证迟到元组的连接处理完整性。真实数据集上的实验结果表明,与传统的数据流乱序处理技术MP-K-slack相比,QJoin在满足用户结果质量要求的前提下,确保能够即时地分析处理数据流的流元组,显著降低系统的内存开销。     

基于SDN流量测量的数据中心多路径传输研究

为了避免链路出现拥塞,针对数据中心流调度策略在进行数据流迁移尤其是大流的迁移容易产生数据流丢包并出现接收端数据包乱序,从而造成网络吞吐量降低的问题,基于SDN/OpenFlow架构,提出了一种采用熔断机制的动态路由算法F-TAM;同时,设计了新的测量方法来获取精确的链路状态时效信息,当算法被触发时能及时计算出合理的熔断时间,从而能充分利用网络中存在的多路径进行负载均衡,并解决了由于传输路径的不同时延所造成的接收端数据包乱序问题.实验结果表明:F-TAM能够利用网络中的冗余链路进行细粒度负载均衡并提升网络吞吐量,且不会出现接收端数据包乱序的问题.     

端定位排序方法的研究

为了让原本无序的数据有序,已经有了很多的排序方法.随着研究的发展,要排序的数据容量会与日俱增,人们一直努力研究排序的算法以提高执行的效率.端定位排序算法提出了一种从两端向中间的排序思想,能很大程度上提高排序的速度.理论和实验证明了端定位排序方法和现有排序算法相比的确能有效提高排序的效率,具有切实的可行性.     

基于Map/Reduce的分布式数据排序算法分析

为了解决大规模数据的存储与计算,近年来分布式系统得到了大量的应用.如何在分布式系统中对大规模数据集进行排序是影响许多应用性能的基础问题,其中不仅涉及每个节点上排序算法的选择,更重要的是设计协调各节点的分布式算法.本文总结了分布式系统中常用的分布式排序算法,对每种算法的执行流程、代价模型和适用场景进行了分析,并通过实验对分析结果进行了验证.本文的工作可以帮助开发人员选择和优化分布式环境下大规模数据排序的算法.     

多路径并行传输的临界条件研究

在使用多路径并行传输时,路径差异引起的数据乱序是不可避免,这会导致多路径的传输性能大幅度下降,甚至低于单路径.本文利用路径延时、带宽和接收缓存大小这3个属性,建立网络传输模型.通过模型分别计算单路径和多路径的传输速度并进行比较,最终给出多路径优于单路径的临界条件.临界条件的最终结论分为公式形式、推广形式和简化应用方法.最后通过网络测试结果,对上述结论进行了验证.     

乱序四点法直线误差分离技术

提出了一种新的时域乱序四点法直线误差分离技术，它通过对4个特定布置传感器的输出数据进行冗余组合和乱序递推，能快速精确地分离出工件的直线形状误差和工作台的直行误差运动，该方法既避免了频域三点法中必须经过正反两次Fourier变换从而使计算时间相对较长的问题，又有利于在线检测与补偿加工；同时，既克服了时域逐次三点法传感器之间的间距必须等于采样间隔的限制，又可以获得更为密集的采集数据，达到更高的分离精度。     

基于带宽与往返时间联合预测的多路径并行传输性能优化算法

在流控传输协议( stream control transmission protocol, SCTP)中,多路径并行传输利用多家乡特性实现数据在关联的多条端到端路径中的并行传输。然而,受不同路径性能差异的影响,多路径并行传输将带来接收端的数据乱序。为了减轻数据乱序的程度并提高网络吞吐量性能,需要尽可能准确地估计每条路径的实时带宽与往返时间( round trip time, RTT)。本文利用扩展矢量卡尔曼滤波对多路径并行传输中每条路径的可用带宽与往返时间进行联合预测,同时提出了一种综合考虑发送端未经接收端确认的数据的路径选择算法。仿真结果表明,通过实时准确地预测可用带宽和往返时间,路径选择算法能够减轻接收端数据乱序的程度。对于带宽敏感的多路径应用场景而言,该算法的收敛速度比Kalman-CMT算法更快,对网络吞吐量性能也有一定程度地提高；对时延和带宽都敏感的多路径应用场景来说,算法在收敛速度与吞吐量两方面优势明显。     

基于密度的全局K-means算法的改进

针对全局K-means聚类算法和快速全局K-means聚类算法在选择下一簇的聚类中心点时,需要逐一计算数据集中每个点作为备选聚类中心点时的簇内平方误差函数,而数据集中存在很多不可能作为备选点的噪声点.为剔除噪声点,提出了一种基于高密度数的DGK-means算法,并通过UCI数据库中的4组数据集进行实验测试.验证了在聚类效果稳定的前提下,改进的DGK-means算法比全局K-means算法和快速全局K-means算法,聚类用时更短,聚类效率更高.     

一种改进的RVSSLMS波束赋形算法

作为智能天线的关键技术之一,波束赋形算法引起了众多学者的广泛关注。为克服目前RVSSLMS算法比较简便,易于实现,但收敛速度较慢;RLS算法收敛速度较快,但其运算量大的问题,根据移动通信系统中波束赋形算法必须具有较快的响应速度和收敛速度的要求,对RVSSLMS算法进行了改进;结合RLS算法和RVSSLMS算法的优点,在开始迭代前的25次用RLS算法求加权系数W(k),再使RVSSLMS算法用RLS算法求出的加权系数W(k)作为初始值进行迭代求解,使其在保持原有运算量小的特点的同时,具有更快的收敛速度。用Matlab仿真对改进方法的有效性进行了验证,仿真结果表明:RLS-RVSSLMS算法既具有RLS算法收敛速度快的特点,同时保持了RVSSLMS算法计算量小的特点。     

基于时间滑动窗口的自适应加权随机抽样算法

为了构建传感器网络流数据的概要数据,给出了一种基于时间滑动窗口的自适应加权随机抽样算法:AWRS/BTSW算法.算法根据流数据的到达时间和变化情况,赋予流数据一定的键值,根据流数据的键值并结合skipping因子生成概要数据.在深海平台监测系统中,流数据变化不确定,算法可以根据数据的变化情况动态调整抽样方式,在数据变化不稳定的情况下,生成概要数据的准确性高;在数据变化稳定的情况下,生成概要数据的效率高.     

EM算法理论及其应用

EM算法是一种迭代算法,主要用来计算后验分布的众数或极大似然估计,广泛地应用于缺损数据、截尾数据、成群数据、带有讨厌参数的数据等所谓的不完全数据的统计推断问题。在介绍EM算法的基础上,针对EM算法收敛速度慢的缺陷,具体讨论了加速EM算法：EMB算法和MEMB算法;针对EM算法计算的局限性,给出了EM算法的推广：GEM和MCEM算法。最后给出了EM的实值实例,结果精确。     

基于归并算法的高速LDPC流水线译码器设计与实现

LDPC码是一种纠错能力极强的编码,已广泛用于新一代数字电视,深空探测,卫星通讯等多种领域,基于不同要求出现了许多不同的编码标准,所以定制化的LDPC码译码算法的硬件实现已成为当今的研究热点之一。为满足卫星通信中高速数据传输的需求,使用LDPC码Normalized最小和译码硬件实现算法以及归并算法原理,并结合FPGA适合并行计算的特点,提出一种基于流水线的部分并行LDPC译码的FPGA设计,通过仿真和实验,最终完成满足卫星高速通信需求的LDPC译码器设计。最终使用Altera公司FPGA上完成译码器设计,整个系统在时钟频率为150 MHz的条件下,数据处理速率达到1.5Gb/s以上,数据吞吐率达到750 Mb/s纠错性能优异,完全满足卫星高速数据处理要求。     

增量聚类算法的研究与设计

在数据挖掘领域,聚类是对数据初始的处理。动态系统中,由于经常要增加一些新的数据,如果每次对新增的数据都重新聚类,这样就既浪费时间又浪费资源。首先介绍了聚类的基本概念和聚类的分类,在此基础上提出的一种基于特征向量的聚类算法,它只对新增的数据聚类,这样就会节省大量的资源和时间。通过实验,在动态系统中对新增的数据用该增量聚类算法和重新聚类的算法相比较,最后得出结论,该增量聚类算法是可行的。     

分级与密度相结合的Web文本聚类算法

考虑到实验数据的大规模及样本数据形状的复杂性等特点,提出一种基于分级聚类与DBSCAN聚类相结合的HL-DBSCAN聚类算法,避免了DBSCAN的聚类算法较大的时间复杂度,适用性更广,更能体现一个聚簇的规律,提高分类精度.通过实验与结果分析,取得较好的聚类结果,证明了该算法在文本聚类处理中的可行性.     

基于XMLSchema的路径定位算法的研究

随着XML在网络及企业信息数据表示、传输等方面的广泛应用,其数据表示的优势越来越为企业及网络使用者所看好,并且逐渐成为数据交换的主要载体。目前的大多数XML到关系数据库的映射算法都是基于DTD（Document Type Definition）而非XMLSchema的。然而XMLSchema的可扩展性及丰富的数据类型注定要代替DTD。因此本文以传统的路径定位算法为基础,将其改善为XMLSchema所用,在完成其对数据库的映射的同时,又保证了XML文档的可无损恢复特性。     

低熵多键排序问题的实用算法

给出低熵情况下的多键排序改进算法.利用众数投票算法结合中位数选择算法产生枢纽元,对与枢纽元相等的元素使用改进算法,其他元素仍采用原算法.理论分析表明,重复数据较多时改进算法速度较快,且在数据量不大时其性能接近线性算法.     

基于修正常系数模板的变步长双模式盲自适应均衡算法

为解决修正常系数模板算法(MCMA)收敛速度缓慢的问题,在MCMA算法的基础上,给出了一种变步长双模式MCMA算法.改进算法在启动阶段用步长可变加快其收敛性,在收敛后转换到判决引导模式(DD),以保证算法收敛后稳态误差在可靠范围内.通过对实测信道的Monte-Carlo仿真,比较了MCMA算法和变步长双模式MCMA算法的性能,证明了该改进算法收敛速度快,稳态误差小.