一种网络冗余流量消除算法

针对大量数据片段冗余传输造成网络带宽浪费严重的问题,提出了一种基于动态查找表的冗余流量消除(DYNATABLE)算法。该算法动态统计流量中以不同字节值开头的数据块的冗余率,在保证目标块抽样率的情况下,选取冗余率高的数据块的首字节值为标识,实时更新查找表,根据查找表中的标识从数据包中选出数据块,对已经传输过的冗余数据块进行简单编码,用编码数据替换原冗余数据片段,再对消除冗余流量的数据包进行传输。对比基于最大值选择和基于静态查找表选择等冗余流量消除算法,DYNATABLE算法能跟踪网络数据的动态变化,带来更高的字节节省,平均字节节省率提高到21.8%。