一种基于强化学习的CDN流量调度系统设计方法

针对传统的CDN流量调度系统大多采用启发式方法或规划方法，存在维护成本高，实时性不足等缺点，提出一种基于深度强化学习的CDN流量调度系统设计框架。该框架基于马尔科夫链设计了故障告警网络来触发调度，建立了基于stacking模型的质量评估奖励函数，并在此基础上对流量调度进行定义和建模，构建了基于DQN的深度强化学习模型。最后，通过仿真实验验证了该调度框架的有效性。     

梯形微通道气液分相强化换热实验研究

针对微通道换热器强化沸腾换热,提出分段式梯形换热结构,该结构可实现气泡在表面张力驱动下间断性流向通道两侧,保持中间加热区为液体,实现气液分相流动,进而强化沸腾换热性能。采用无水乙醇为工质,实验研究直肋和梯形结构铜基表面在热流密度为160~320 kW/m²和工质流量为0.4~2.0 g/s时壁温、换热系数等参数变化规律。结果表明：在饱和沸腾区,梯形分相结构可有效实现气液分离,进而降低壁面温度,大幅提高换热系数；如在25 mm位置处,5段结构换热系数比平行结构换热系数提高了60.4%；在单相加热区,换热面积为主要影响因素,直肋结构换热系数略大,但换热系数比饱和沸腾时小一个数量级。平均换热系数分析得到5段结构微通道比平行结构微通道提高了53.8%,可见分段式结构可实现气液分相流动,有效提高沸腾换热的平均换热系数,增强整体换热能力。     

基于40Cr高温动态力学性能的磨削表面动态再结晶行为

通过分离式霍普金森压杆(SHPB)实验得到了40Cr合金钢在高温高应变率下真应力-真应变曲线，据此确定了材料发生动态再结晶的临界条件.采用解析法和实验法分别求解了磨削强化层的温度场和塑性应变场分布.结果表明，磨削强化层在磨削深度方向具有较大的温度和塑性应变梯度;150μm强化层内会发生奥氏体转变;磨削表面最高温度可达1060℃.在磨削亚表面60μm内会产生剧烈的塑性变形，达到了再结晶的临界条件.较大的磨削深度使磨削强化层塑性应变增大，再结晶现象越充分，微观组织细化程度越高.     

基于核函数强化学习的抗干扰频点分配

针对学习未知动态的干扰图样问题，提出一种基于核函数强化学习的雷达与通信抗干扰频点协作算法。与需要获得干扰模式、参数等先验知识的研究相反，所提算法能够利用过去时隙中频点的使用情况来优化抗干扰频点分配策略。首先，通过核函数的强化学习来应对维度诅咒问题。其次，基于近似线性相关性的在线内核稀疏化方法，确保了抗干扰频点分配算法的稀疏性。最后，仿真结果验证了所提算法的有效性。得益于稀疏化码字对于系统动态特性的学习，所提算法与传统基于Q学习的抗干扰频点分配算法相比，收敛时间更短，并且可以快速规避外部未知干扰源的干扰。     

激光冲击强化对Ti2AlNb合金微观组织及残余应力的影响

Ti2AlNb(O-Ti2AlNb)具有优异的力学性能,在航空发动机方面有远大应用前景.激光冲击强化(Laser Shock Peening,LSP)是一种先进的表面改性技术,能够在材料表面诱导产生高幅值、大深度的残余压应力,改善材料微观组织,提高材料抗疲劳、高温氧化等性能.本文采用激光冲击强化对Ti2AlNb合金进行表面改性,并研究其组织演变、残余应力以及高温环境对性能的影响.结果表明:激光冲击强化能够显著减小Ti2AlNb合金近表面的晶粒尺寸.显微硬度由冲击前的350 HV提升到395 HV;在冲击区域近表面产生了约-377 MPa的残余压应力;而在高温环境中,由激光冲击强化所诱导的材料近表面残余应力随时间逐渐释放,在600℃条件下,残余应力释放较为缓慢;而在720℃条件下,残余应力迅速释放.     

采用双经验回放池的噪声流双延迟深度确定性策略梯度算法

为了进一步提高双延迟深度确定性策略梯度算法(TD3)的网络探索性能和收敛速度,提出一种采用基于多步优先和重抽样优选机制的双经验回放池的噪声流TD3算法。该算法在策略网络中的每一层添加噪声流以增加参数的随机性,并引入多步优先经验回放池,将多个连续样本组成一个基础单元进行存储,训练时通过多步截断双Q处理实现对值函数的有效逼近,同时增加一个经验回放池采用重抽样优选机制来存储学习价值更大的样本,双经验回放池的设置可弥补样本多样性不足的问题。在OpenAI Gym平台的Walker2d-v2场景中进行仿真实验,结果表明,与对比算法相比,本文算法获得的回报值有明显改善,网络收敛速度也大大加快。     

针对不可微多阶段算法的环境升级式强化学习方法

多阶段算法的研究目前已取得很大进展，但仍存在2个重要问题。在推理阶段，信息不能从下游反馈到上游。在训练阶段，当整个模型涉及不可微函数时无法进行端到端的训练，因此不同阶段不能联合优化。提出一种新的环境升级式强化学习方法来解决反馈和联合优化问题，该方法的框架结构是通过一个强化学习智能体将下游阶段与上游阶段重新连接起来，利用优化上游阶段的输出来训练智能体，以提高最终性能，同时根据智能体的策略对下游阶段(环境)进行升级，实现智能体策略和环境的联合优化。针对智能体和环境的不同训练需求，还提出了一种基于该框架的训练算法，并在实例分割和人体姿态估计实验中证明了其有效性。     

对强化和创新企业经济管理的思考

目前世界经济形势复杂多变,经济市场风云莫测,每一个企业都面临着严峻的挑战,创新和强化企业经济管理模式,是保证企业良好发展的必由之路,对此本文探讨新时代下如何强化和创新企业经济管理,希望可以为相关工作带来帮助。     

氧化还原介体催化强化污染物厌氧降解研究进展

 由于厌氧生物处理技术具有产生剩余污泥少、可回收能源等优点而被广泛用于处理各种有机污染物，尤其在有毒、有害、难降解污染物的去除方面取得了良好的效果。然而，厌氧生物法的处理速率通常比较低，而氧化还原介体可通过自身不断的氧化和还原来传递电子，提高电子在氧化还原反应过程中的传递速率，从而促进污染物高效厌氧降解。醌类物质和腐殖酸是应用较多的氧化还原介体，在催化难降解污染物降解方面取得了一定效果。讨论了氧化还原介体的特点、作用机制，并总结了其对偶氮染料厌氧脱色、反硝化和多氯联苯厌氧降解的强化作用，提出了氧化还原介体未来的研究方向。