指纹极值的双层重复数据删除算法

为提高重复数据删除算法的重删率,减少CDC算法边界硬分块,使重复数据删除率和性能之间得到平衡,提出了指纹极值的双层重复数据删除算法(DDFE).首先在第一层重复数据删除模型中使用较大的分块大小,保证重删操作的速度;然后将第一层模型重删后的不重复数据输入到分块大小较小的第二层重复数据删除模型,保证重复数据删除的精度.数据分块时,在可容忍范围内,提出了指纹极值的分块算法,减少了硬分块对重复删除的影响.在多种分块组合下的实验结果表明,与任何传统的单层重复数据删除算法相比,DDFE能够较好地防止硬分块、平衡性能和时间,在大量小数据块和频繁变化的数据间有效地消除更多的重复数据.     

基于时序参数的重复数据删除索引优化技术研究

针对系统中存在的索引检索效率问题,提出了一种基于时序参数的快速索引优化算法,该算法通过时间参数和序数参数获取数据块的热度值,将高热度值的数据块指纹组合成了一个高优先度的快速索引.快速索引与主索引组成了重复数据删除中的两层索引结构,从而提高了系统的检索性能.通过实验验证了基于时序参数的索引优化算法的优越性.     

基于重复数据删除技术的数据容灾系统的设计与测试

针对当今企业海量数据的增长给数据容灾系统的存储容量、处理能力、数据传输带宽带来巨大压力的现状,设计了一种基于重复数据删除技术的数据容灾系统.通过I/O吞吐量、CPU利用率、响应时间、数据备份时间和重复数据删除率等指标对数据容灾系统性能进行了测试,测试结果表明数据容灾系统对应用服务器响应时间的影响甚小,重复数据删除效果显著.     

重复数据删除系统元数据存储布局研究

根据重复数据删除的特点,针对连续数据访问为主的应用,设计基于B+树的元数据索引结构;将元数据分为冷热两种,分别设计不同的元数据布局策略。研究结果表明,低能耗磁盘能够保持更长时间的待机状态以便节能,同时可以有效地减少重复数据删除时的随机磁盘访问次数。并且没有额外的硬件开销,实现仅在磁盘上存储索引,而不是之前研究中的在磁盘和内存中存储索引。      

带重复数据删除的大规模存储系统可靠性保证

重复数据删除技术将重复数据块归并存储,提高空间利用率却降低数据可靠性。该文提出一种数据可靠性保证机制——RLDS。RLDS将变长数据块打包成定长块,再使用ECC编码从一组数据块生成带纠错的块,分布到动态挑选的存储节点冗余组中。在节点发生错误时,RLDS分布式地恢复出错数据。实验结果表明:RLDS能取得与用RAID纠错机制的系统相近的空间利用率,同时提供与用多倍冗余复制机制的系统相近的数据可靠性,数据块平均恢复时延也比RAID系统大为缩短。RLDS通过数据再生还解决了节点超载问题,提供系统动态负载均衡功能。     

Markov逻辑网在重复数据删除中的应用

为了解决和突破现阶段重复数据删除方法大多只能针对特定领域,孤立地解决问题的某个方面所带来的不足和局限,提出了基于Markov逻辑网的统计关系学习方法。该方法可以通过计算一个世界的概率分布来为推理服务,从而可将重复数据删除问题形式化。具体采用了判别式训练的学习算法和MC-SAT推理算法,并详细阐述了如何用少量的谓词公式来描述重复数据删除问题中不同方面的本质特征,将Markov逻辑表示的各方面组合起来形成各种模型。实验结果表明基于Markov逻辑网的重复数据删除方法不但可以涵盖经典的Fellegi-Sunter模型,还可以取得比传统的基于聚类算法和基于相似度计算的方法更好的效果,从而为Markov逻辑网解决实际问题提供了有效途径。     

重复数据删除中的无向图遍历分组预测方法

针对重复数据删除系统中存储容量受内存限制难以进行扩展的问题,提出了一种基于无向图遍历的重复数据删除分组预测方法.该方法将索引表保存在磁盘中,并在内存中维护索引表缓存,以此提高系统最大可支持的存储容量.对于索引表缓存命中率低、系统性能差的问题,采用了图遍历分组方法予以解决,根据数据块访问序列特征信息建立无向图并进行分析,基于分析结果对索引项进行分组,并以组进行缓存替换,从而提高缓存命中率和系统性能.实验结果表明,基于缓存预取原理和无向图遍历分组,在将缓存设置为索引表大小的10％时,重复数据删除存储系统最大存储容量比原有方法提高了7.5倍,缓存命中率由不进行索引项分组时的47％提高到87.6％.     

CVS中基于块分类的自适应阈值调整组稀疏重构

针对基于结构相似性的帧间组稀疏表示重构(SSIM-InterF-GSR)算法在重构平稳区域时未能充分利用高质量重构的关键帧信息,且稀疏化处理阈值的数值设置不合理的问题,提出了基于块分类的自适应阈值调整组稀疏重构(BC-ATA-GSR)算法。首先,根据块内物体运动状态分类图像块并分配合理的参考帧,以提高视频序列平稳区域的重构质量;然后,根据采样率以及图像块种类自适应设置稀疏化初始阈值,以保留足够的结构信息;最后,提出了迭代阈值梯度缩减方案,以便在提升迭代后期重构质量的同时也加快迭代收敛速度。与SSIM-InterF-GSR算法相比,BC-ATA-GSR算法取得了更好的重构质量,重构QCIF和CIF视频序列的平均PSNR分别最高提升了3.77、2.28 dB,时间复杂度最多下降了42.08%。     

计算机免疫系统GECISM中的检测阈值自适应调整

检测阈值自适应调整是为了降低计算机免疫系统GECISM中"非我"检测的漏报率和虚警率而提出的解决方法.它是利用GECISM系统自身和邻接点的健康状态来评估当前环境状况,并据此来生成并更新专家系统的知识库指导检测阈值进行自适应调整,达到提高系统"非我"检测准确性率目的.     

一种基于缓冲区阈值调整的动态自适应码率选择算法

基于HTTP的动态自适应流媒体(Dynamic adaptive streaming over HTTP,DASH)是一种可利用Web服务器提供在线高质量视频流的自适应码率流技术,决定了视频播放性能。传统动态自适应码率选择算法存在考虑因素单一、播放缓冲区长度受限、带宽不稳定等问题,因此,改进与优化动态自适应码率选择算法十分必要。针对客户端缓冲区长度受限和带宽不稳定造成的视频播放卡顿现象,综合考虑网络带宽和客户端缓冲区因素,提出一种基于缓冲区阈值调整的动态自适应码率选择算法(Dynamic adaptive rate selection algorithm based on buffer threshold adjustment,BT-DARA)。该算法首先通过获取不同视频段大小和下载速率,计算网络吞吐量并对视频下载时间进行预测,然后结合缓冲区视频片段长度状态进行码率选择。特别地,在视频播放过程中对不同阶段采取不同的视频码率选择策略,并在客户端缓冲区达到临界值时动态调整缓冲区阈值参数,以此增加缓冲区长度,减少码率切换次数,确保视频播放的稳定性。实验结果表明,该算法能提高视频播放的码率,保证视频播放质量和稳定性,减少了视频开始播放的启动时间,为用户提供良好的视频播放体验。     

云环境下应用感知的动态重复数据删除机制

针对传统在线/离线重删对云存储系统中重删效率不高的问题,采用混合重复数据删除(Hy-Dedup)机制,通过融合在线和离线两种方式进行有效的数据重删。该方案在线重删阶段根据负载类型对指纹索引进行聚类分组,设置不同重删阈值来评估数据流的空间局部一致性,提高了缓存命中率;离线重删阶段采用延迟敏感的方法,对在线阶段缓存没有命中的重复块进行精确重删。通过这种混合方式在保持系统的I/O性能和吞吐量的前提下,显著减少了写入云存储的重复数据量。实验结果表明,与iDedup机制相比,Hy-Dedup机制可将在线重删率提高35.9%,磁盘空间需求减少41.36%,并且能够在云存储系统中实现高准确率的重删,提升重删效率,节省存储空间。     

基于自适应阈值的红外图像增强

针对红外图像"高背景、低反差"的特点,在传统的分段线性变换的基础上,提出了一种自适应的算法。通过对原始图像的直方图统计得到该图像的背景阈值,再通过对原始图像上目标区域的灰度估算得到该图像的目标阈值,由此将图像分解成背景、目标和不感兴趣的区域三部分,然后通过分段线形变换将背景和不感兴趣的区域进行灰度压缩,同时将目标区域进行灰度拉伸,从而达到有效的抑制背景、增强目标的目的。通过实验结果比较,该算法无论在阈值的自适应方面或者是图像增强的效果,都优于传统的直方图均衡和双直方图均衡算法。     

R-dedup：一种重复数据删除指纹计算的优化方法

为减缓存储系统中传统重复数据删除方法在高性能固态存储盘中存在的指纹计算性能瓶颈,提出了重复数据删除指纹计算的性能优化方法 R-dedup。在基于内容分块算法基础上,将切分后形成的所有数据块进一步切分为更小粒度的48B等长数据片。基于Rabin哈希长度小于原始数据、多个Rabin哈希同时发生碰撞概率极低、数据片的Rabin哈希可以重复利用基于内容分块算法在滑动窗口过程中产生的计算结果的基础,利用数据片的Rabin哈希替代原始数据,并将其作为数据块的SHA-1指纹输入,减少SHA-1函数数据计算量,提高指纹计算性能。选取Linux内核、Imagenet等5组具有代表性的数据集,对R-dedup和标准基于内容分块的重复数据删除方法在数据分块性能、指纹计算性能、索引表检索性能和I/O性能方面分别进行了比较。结果表明:R-dedup的数据分块性能、索引表检索性能、I/O性能与对比方法具有4%左右的误差波动,性能基本一致;R-dedup的指纹计算吞吐率是对比方法的165%～422%,总体吞吐率是对比方法的6%～54%。     

基于自适应阈值的红外图象增强

针对红外图像高背景、低反差的特点,在传统的分段线性变换的基础上,提出了一种自适应的算法。通过对原始图像的直方图统计得到该图像的背景阈值,再通过对原始图像上目标区域的灰度估算得到该图像的目标阈值,由此将图像分解成背景、目标和不感兴趣的区域三部分,然后通过分段线形变换将背景和不感兴趣的区域进行灰度压缩,同时将目标区域进行灰度拉伸,从而达到有效的抑制背景、增强目标的目的。通过实验结果比较,该算法无论在阈值的自适应方面或者是图像增强的效果,都优于传统的直方图均衡和双直方图均衡算法。     

基于满意滤波的自适应阈值算法

针对发动机小偏离线性系统模型,建立模型参数摄动的伪正态分布"软边界"概率模型。从诊断决策的阈值计算着手,基于满意滤波原理,通过引入信号的2-范数和相应传递函数的∞-范数,利用线性矩阵不等式法(LMI),求解最优的残差上界。最终结合目标虚警率,并通过残差分布的概率模型确定阈值。仿真结果表明:这种阈值具有一定的自适应能力,能够增强发动机数控系统(FADEC)故障诊断系统诊断决策的鲁棒性。同时保证了故障检测的准确率。     

基于自适应模糊阈值小波的图像去噪

针对小渡变换多分辨分析(MRA)的特点，本提出一种多尺度分级的自适应模糊权重中值滤波的去噪方法．首先，利用开关控制策略的模糊理论建立隶属函数，用高斯自适应模型对噪声点进行预检测，然后在每一级小波变换过程中应用自适应模糊中值滤波(AFWMF)算法进行噪声滤波．实验表明，常规的小波去噪方法只能去除图像中的高斯噪声。该方法既能去除高斯噪声也能去除非高斯噪声．与中值滤波方法相比，该方法在去噪的同时能保留大量的原图像边缘、细节等重要信息，具有更好的去噪效果．     

基于小波自适应阈值的图像去噪方法

针对基于小波变换的阈值去噪方法仅适用于去除高斯白噪声,对于脉冲噪声得不到好的降噪效果的问题,提出了将小波自适应阈值算法同中值滤波相结合的去噪方法.该方法能够有效去除高斯白噪声和脉冲噪声的混合噪声.仿真实验结果表明,去噪后图像的峰值信噪比提高了1～2dB,从而证明了该方法的有效性.     

基于NSCT的自适应阈值图像去噪算法

为了有效的去除图像中的噪声,保护图像细节,在研究了非采样下Contourlet（NSCT）变换和贝叶斯阈值的基础上,综合考虑NSCT变换后系数尺度间和尺度内的相关性,提出了一种新算法。该算法结合NSCT系数的相关性和贝叶斯风险最小准则估计区域自适应贝叶斯阈值,再利用硬阈值函数去噪,最后通过最小均方误差准则进行比例萎缩,得到真实系数估计。对于被高斯白噪声污染的图像,实验将该算法与经典算法相比较,结果表明在绝大多数情况下,该算法在峰值信噪比和视觉效果上都优于经典算法。     

一种基于Winnowing分块的重复数据删除备份与恢复系统设计与实现

针对海量数据中存在的大量冗余信息,本文设计并实现了一种基于重复数据删除的文件备份与恢复系统,该系统采用改进的Winnowing动态分块算法,将文件分割成不同长度的数据块,并结合摘要算法、索引表、数据压缩等技术,确保服务器仅存储数据块唯一副本,以达到重复数据的删除目的.实验表明,该系统相比cwRsync能较更好的减少网络流量,并且相比传统的压缩技术能更进一步减少磁盘空间占用率.     

基于Tetrolet变换的自适应阈值去噪

提出一种新的阈值函数,在Tetrolet变换域中利用此阈值函数通过最小均方误差进行自适应图像去噪.此方法主要优点是利用图像Tetrolet变换的多尺度框架和方向性来保留原始图像的边缘和纹理等重要信息,同时在Tetrolet变换域中利用新阈值函数通过LMS算法来对图像自适应去噪.实验结果表明:该算法具有更高的峰值信噪比和更好的视觉效果,是有效可行的.