基于深度强化学习的无线网络边缘缓存技术综述

边缘缓存能够有效降低服务时延、缓解回程链路流量压力以及提升用户体验质量,可用于解决现有移动通信网络架构难以支撑的数据流量极速增长,满足用户对高质量网络服务的需求。但是复杂的网络状况和未知内容流行度给边缘缓存策略研究带来很大挑战。首先从边缘缓存的优势挑战、应用场景、核心要素等方面介绍边缘缓存网络的基础架构和流程,对研究现状进行分析总结。随后简述深度强化学习技术和DQN算法,分类介绍基于不同缓存系统架构和基于不同深度强化学习方法的边缘缓存策略。最后重点对基于深度强化学习的缓存模型进行解析,提出下一步研究方向。     

基于MEC-D2D的分布式协同缓存方案

针对移动边缘计算服务器存储能力有限的问题,利用终端通信技术数据共享优势提出了一种基于动态规划的移动边缘计算与终端通信(MEC-D2D)协同内容缓存放置策略.首先分析协同通信模型中的内容流行度、缓存空间有限性以及干扰限制等因素对用户内容获取平均时延的影响;然后通过建立内容分段获取模型,以降低用户内容获取平均时延为优化目标;最后将缓存问题视为完全背包问题,并采用动态规划算法设计最优缓存分配方案.仿真实验表明所提缓存策略可有效降低用户内容获取平均时延.     

内容中心网络中一种基于内容扩散的主动缓存机制

借鉴分子扩散的思想,提出一种基于内容扩散的主动缓存机制(Content Diffusion Based Proactive Caching,CDBPC).该机制引入缓存内容浓度的概念来描述不同内容在不同区域内的需求程度,然后根据节点间的缓存内容浓度关系来驱动内容副本在网络中的主动推进和迁移,并结合内容的流行度等因素实现了缓存内容的概率性放置,从而达到内容缓存的快速部署和推进,提高为用户提供就近响应概率的目的.仿真结果表明,该机制能有效地降低系统的平均接入代价并提高缓存命中率.     

内容中心网络中基于缓存压力的选择性缓存机制

内置缓存机制是内容中心网络(Content Centric Networking,CCN)研究的关键问题之一.现有的CCN缓存机制在缓存节点的选择时往往缺乏对节点缓存状态和负载情况等动态信息的综合考虑,因此无法准确反映节点间的缓存状态差异,进而影响了缓存决策的合理性.提出了一种基于缓存压力的选择性缓存机制(Cache Pressure Based Selective Caching,CPBSC).该机制利用节点的缓存占用率和缓存替换率评估节点的缓存压力,并结合内容的流行度实现缓存节点的合理选择.同时,根据内容的请求率和兴趣分组的剩余生存时间评估不同内容的缓存价值,以此实现缓存内容的合理替换.仿真结果表明,CPBSC有效地优化了缓存资源利用率,并显著提高了系统的整体缓存性能.     

内容中心网络中基于内容流行度和节点属性的协作缓存策略

网络内置缓存是内容中心网络中的一项重要特性,而现有的缓存策略会使网络中的缓存分布不均,缓存的效率还有较大的提升空间。为了使被缓存的内容对象在空间和时间上分布更合理,提出了一种基于内容流行度和节点属性的协作缓存策略,通过内容的实时流行度和多项节点属性对缓存内容及缓存位置进行选择,能够降低网络冗余,减少内容替换,实现更均匀的内容分布。仿真结果表明,所提缓存策略与其他几种典型的缓存策略相比,可以有效地提高缓存命中率、降低网络负载和总体缓存替换数量。     

内容中心网络概率缓存策略的研究

内容中心网络是一种以内容为中心的新型网络体系结构,路由器内置缓存提高内容分发效率。由于缓存空间大小的限制,选择合适内容缓存使得缓存策略变得尤为重要。现有缓存策略的研究主要以减少网络中内容的冗余量以及提高网内缓存内容的多样性为目的,这些策略在设计过程中忽视了内容的频繁替换以及带宽损耗因素。文章提出一种以获得缓存网络最大效益的概率缓存策略(a Max-Benefits Probabilistic In-network Caching Strategy,MBPIC),缓存策略基于内容流行度、跳数和缓存空间等参数随机选择缓存放置节点,然后建立马尔科夫链推导了内容命中率与缓存概率、内容流行度、缓存空间的关系,最后数值计算和实验仿真结果表明,MBPIC策略在服务器命中率、跳数减少率和内容替换率方面比其他概率策略有明显的提高。     

基于内容流行度的移动CCN缓存策略研究

近年来,为了适应互联网应用由发送者驱动的端到端通信模式向接收者驱动的海量内容获取模式的转变,并从网络体系架构层面提供对可扩展和高效内容获取的原生支持,研究界近年来提出以内容为中心的新型网络(content-centric networking,CCN)体系架构,它能够高效地支持未来互联网上的内容分发.随着移动用户数量的不断增加,未来移动用户也将访问CCN网络,针对内容中心网络中的用户移动性问题,提出了一种基于内容流行度的移动性缓存策略.该策略考虑用户移动性,利用半马尔科夫模型对用户移动性进行建模,同时采用多元线性回归模型对内客流行度进行预测,结合用户移动性与原有内容流行度提出一种移动性缓存策略.仿真实验表明,移动性的加入会对内容的流行度产生较大的影响,该策略能有效地提升缓存命中率.     

Peer-to-Peer流量缓存部署建模

为了在网络中更好地部署对等网络(P2P)流量缓存,从而优化网络的性能,提出了一个评价方法量化在不同链路上部署P2P缓存的收益。基于该方法建立了最优化模型:在给定部署开销的约束下最大化收益。分析了问题复杂度,提出了优先选择收益开销比的链路进行部署的启发式算法求解。对实际校园网络的仿真结果表明:在10%的链路上部署P2P流量缓存,能够降低30%的平均链路利用率。该文提出的P2P流量缓存部署模型和算法可以有效地指导P2P缓存的部署,优化网络性能。     

基于卷积神经网络的毫米波图像目标检测

在公共安全检查领域中,研究毫米波图像目标检测的快速性和精准性的方法具有非常重要的实际应用价值。提出了基于Faster R-CNN深度学习的方法检测隐藏在人体上的危险物品。该方法将区域建议网络(region proposal network,RPN)和VGG16训练卷积神经网络模型相结合,接着通过在线难例挖掘(online hard example mining,OHEM)技术优化训练所提出的网络模型,从而构建了面向毫米波图像目标检测的深度卷积神经网络。实验结果证明所提的方法能高效地检测毫米波图像中的危险物品,并且目标检测的平均精度高达约94.66%,检测速度约为6帧/s,同时对毫米波安检系统的智能化发展有着极其重要的参考价值。     

一种基于区域划分和内容流行度的NDN缓存策略

针对命名网络中路由器缓存能力有限的问题,提出了一种基于区域划分和内容流行度的NDN缓存策略(CCNCP).该策略根据拓扑结构划分区域,并综合衡量节点重要性选出局部中心节点和全局中心节点;引入分类的内容流行度,合理地将不同流行度的内容缓存在不同重要度的节点.首先采用经典的GN算法进行社区划分.定义了度中心性、紧密中心性、介数中心性等中心性度量指标.然后建立了系统模型,给出了缓存策略.最后对Zachary空手道俱乐部网络的社团结构进行改编,并引入真实拓扑GARR,使用Icarus模拟器进行仿真试验.结果表明：CCNCP在2个不同网络结构中表现得最好;当参数S等于0.25时,CCNCP和第2好缓存策略ProbCache的缓存命中率、延迟、路径拉伸比分别为30.9%和26.8%、52.9和56.2 ms、0.584和0.617,前者比后者分别提高4.1%、降低5.9%、降低5.3%,可见CCNCP在3个指标上与现有的典型策略相比都具有显著优势.     

基于能量模型的交互式流媒体缓存置换策略

针对交互式流媒体应用,提出一种基于能量模型(EM)的缓存置换算法.给出描述用户访问模式的片断划分和记录策略,并提出基于能量模型的内容流行度的表示方法;采用基于指数增长的缓存接入/释放策略,设计了新的效用函数实现缓存替换.仿真结果证明,EM算法能适应不同交互强度的用户访问模式,比传统的分段缓存具有更好的性能.     

基于缓存技术的p2p网络模型研究

计算机对等联网(peer-to-peer network,P2P)技术是目前新一代网络技术研究的活跃领域,而P2P网络模型研究是P2P网络技术研究的重要环节。该文分析了目前两种流行P2P网络模型的不足,通过在P2P网络中引入缓存技术的概念,提出了一种新型P2P网络模型。     

QoE驱动的基于CDN缓存命中率的码率自适应算法

随着移动流媒体用户群的增长,内容分发网(CDN)已经成为提高网络容量和用户体验质量(QoE)的重要途径。为了研究如何提升移动流媒体用户的QoE,提出基于CDN节点缓存命中率的QoE模型,该模型参数包含CDN节点缓存命中率、带宽吞吐量和客户端缓存变化量。在该模型的基础上,提出基于CDN节点缓存命中率的码率自适应算法,解决在网络条件不佳的情况下,根据用户码率请求参数的分布情况调整缓存策略,以提高CDN缓存命中率,降低时延,提高用户QoE。通过实验结果分析可以得出在网络条件相对较差的情况下,基于CDN缓存命中率的码率自适应算法能明显降低用户的RTT,提高用户QoE。     

内容中心网络中传输开销最小的协作缓存策略

针对现有缓存策略主要从用户角度对网络性能(缓存命中率、内容获取时延等)进行优化,而没有考虑网络为用户提供服务时的传输开销优化问题,提出了一种最小化内容中心网络中传输开销的协作缓存机制。首先,给出了内容中心网络中内容缓存价值的计算方法,并利用内容缓存价值来衡量缓存为网络传输开销带来的影响;然后,在此基础上给出了最小化内容中心网络传输开销的缓存决策策略及缓存替换策略;最后,利用ndnSIM对所提缓存策略进行仿真。仿真结果表明,与现有缓存机制相比,所提策略能够有效减少网络传输开销。     

软件定义下的CCN缓存算法研究

为了解决内容中心网络（CCN）中存在的缓存问题,在内容中心网络和软件定义网络（SDN）的融合架构下,充分利用控制层全局感知和集中控制的优势,提出了一种软件定义下的CCN缓存决策方法。考虑了中介中心度、内容流行度、节点边缘度和缓存节点存储容量的有限性,引入了控制节点和通信节点的概念,通过控制器缓存决策,使得请求内容在不同的节点进行合理缓存。同时,根据控制节点距离缓存节点和服务器的跳数,找到返回用户请求的最短路径,采用ndnSIM进行仿真实验。结果表明,相比ALWAYS,LCD两种传统缓存决策策略,该方案可以明显提高缓存命中率,降低路径延展率和缓存替换数,达到了提高CCN缓存效率的目的,有利于内容中心网络及未来网络的发展。     

业务量的自相似特性对ATM缓存溢出概率的影响

基于在广域网(WAN)、局域网(LAN)、综合业务数字网(ISDN)中传输的业务以及可变速率(VBR)业务等多种通信业务中普遍存在着自相似特性(长相关),叙述了自相似流量的数学定义和一些基本性质,描述了异步传输模式(ATM)缓存的排队模型和一个具有自相似特性的业务量模型,给出了在自相似业务量下的ATM缓存溢出概率的下界,并与传统模型作了比较.比较结果表明,传统模型对ATM缓存性能的估计过于乐观.因此在分析ATM网络性能的时候必需充分考虑业务量的自相似特性.     

基于辅助设备的D2D集群的文件块缓存策略研究

为了解决D2D缓存命中概率的最优化问题,在集群用户中加入了移动辅助设备(HEs)缓存,同时,提出了基于辅助设备的D2D集群的流性文件块分批缓存策略(FCPhit):首先,将有相似文件请求的用户群置于一个集群中;然后,将用户分批并将流行文件分为若干块,用户设备缓存文件的第1块,移动辅助设备缓存其他文件块. 并与已有的最流行缓存策略(MPhit)、最优缓存策略(OCPhit)和等概率缓存策略(EPRC)进行对比实验,结果表明:FCPhit策略可以有效提高系统的缓存命中概率.     

Peer-to-Peer流量缓存部署建模

为了在网络中更好地部署对等网络(P2P)流量缓存,从而优化网络的性能,提出了一个评价方法量化在不同链路上部署P2P缓存的收益。基于该方法建立了最优化模型:在给定部署开销的约束下最大化收益。分析了问题复杂度,提出了优先选择收益开销比的链路进行部署的启发式算法求解。对实际校园网络的仿真结果表明:在10%的链路上部署P2P流量缓存,能够降低30%的平均链路利用率。该文提出的P2P流量缓存部署模型和算法可以有效的指导P2P缓存的部署,优化网络性能。     

面向资源使用的TTL缓存服务计费机制与存储策略

为刻画缓存服务提供商和内容提供商在网络缓存服务中的经济学行为,研究了网络边缘TTL缓存的服务计费机制与存储策略,提出了基于内容文件缓存命中速率以及内容文件缓存逗留时间的计费模型。采用Stackelberg博弈模型对缓存服务定价与存储策略问题进行建模,并求解了在均一定价和差异定价策略下的最优缓存价格和内容文件缓存时间。仿真实验对比了在不同计费模型和定价策略下缓存服务提供商获得的投资回报以及内容提供商产生的收益,结果表明:差异定价策略性能要优于均一定价策略;在差异定价策略以及基于内容文件缓存逗留时间的均一定价策略下,内容提供商获得的收益显著大于缓存服务提供商得到的回报,而在基于内容文件缓存命中速率的均一定价策略下情况正好相反;在均一定价策略下,基于内容文件缓存命中速率的计费模型比基于内容文件缓存逗留时间的模型带给缓存服务提供商更多回报。     

无线网络多基站低时延协作缓存方案研究

随着社交视频网络服务的日益增长,内容请求的多样性及内容传输的冗余性大大降低了现有蜂窝通信的流量效率.在基站设置合理的文件缓存可以减少核心网中重复传输造成的流量拥塞,从而可有效提升终端视频请求服务的体验质量.本文针对多蜂窝基站协作缓存场景,研究了文件流行度未知时最小化系统总传输时延的模型构造.首先,结合基站缓存容量大小及文件请求的分布,构造了基于最小时延传输的0-1整数规划最优化问题;其次,利用组合多臂赌博机(CMAB)算法完成对未知文件流行度的估计;最后,结合流行度更新迭代过程完成文件的最优化缓存.通过将非线性问题依次转化为多项式问题和线性问题,并结合高效的启发式算法得到次优解,相比于分支定界最优算法有效降低了运算复杂度.仿真结果表明所提算法接近最优解,与传统的缓存方案相比可有效降低传输时延.