一种基于强化学习的CDN流量调度系统设计方法

针对传统的CDN流量调度系统大多采用启发式方法或规划方法，存在维护成本高，实时性不足等缺点，提出一种基于深度强化学习的CDN流量调度系统设计框架。该框架基于马尔科夫链设计了故障告警网络来触发调度，建立了基于stacking模型的质量评估奖励函数，并在此基础上对流量调度进行定义和建模，构建了基于DQN的深度强化学习模型。最后，通过仿真实验验证了该调度框架的有效性。     

基于修正斜压场的RC框架边节点剪切性能分析

为研究钢筋屈服强度和混凝土抗压强度对钢筋混凝土(RC)框架边节点剪切性能的影响规律,基于修正斜压场理论(MCFT),对某框架边节点的剪切应力-应变骨架曲线进行数值模拟,并与试验结果进行对比.在验证MCFT算法的精度后,研究钢筋屈服强度和混凝土抗压强度两个参数变化对RC框架边节点剪切应力-应变骨架曲线和峰值剪切应力的影响规律.结果表明:基于MCFT可以较好地模拟RC框架边节点的剪切应力-应变关系曲线; RC框架边节点的峰值剪切应力对混凝土抗压强度的变化更为敏感,但当试件的钢筋(HRB400)屈服应力下降幅度超过16.45%时,对钢筋屈服应力的变化更为敏感;当试件的钢筋(HRB400)屈服应力下降幅度超过10%时,节点发生钢筋滑移破坏,此时峰值剪切应力会大幅下降.     

基于核函数强化学习的抗干扰频点分配

针对学习未知动态的干扰图样问题，提出一种基于核函数强化学习的雷达与通信抗干扰频点协作算法。与需要获得干扰模式、参数等先验知识的研究相反，所提算法能够利用过去时隙中频点的使用情况来优化抗干扰频点分配策略。首先，通过核函数的强化学习来应对维度诅咒问题。其次，基于近似线性相关性的在线内核稀疏化方法，确保了抗干扰频点分配算法的稀疏性。最后，仿真结果验证了所提算法的有效性。得益于稀疏化码字对于系统动态特性的学习，所提算法与传统基于Q学习的抗干扰频点分配算法相比，收敛时间更短，并且可以快速规避外部未知干扰源的干扰。     

Fe-11Mn-4Al-0.2C中锰钢动态变形行为及其本构模型

基于准静态和动态拉伸实验，建立Fe-11Mn-4Al-0.2C中锰钢在2×10^-3~200s^-1应变速率下变形行为的Johnson-Cook(J-C)本构模型.结果表明，应变速率对弹性变形阶段无影响.在塑性变形初期，实验钢强度随应变速率增加而增加，在塑性变形中后期，实验钢强度随应变速率增加而减少.实验钢应变速率敏感性(SRS)指数m随着应变的增加，由0.013逐渐转变为-0.018.基于实验数据建立J-C本构模型，拟合效果不佳，存在5.1%的相对误差;通过改变应变速率强化系数，提出修正J-C模型，模型具有更好的拟合效果，表现出更小的相对误差，约为1.6%.     

知识牵引与数据驱动的兵棋AI设计及关键技术

在分析知识推理型与数据学习型兵棋人工智能(artifical intelligence, AI)优缺点的基础上, 提出了基于知识牵引与数据驱动的AI设计框架。针对框架中涉及的基于数据补全的战场态势感知，基于遗传模糊系统的关键点推理，基于层次任务网的任务规划、计划修复与重规划，基于深度强化学习的算子动作策略优化等关键技术进行深入探讨。结果表明，所提框架具有较强的适应性, 不仅能够满足分队、群队、人机混合等兵棋推演的应用需求, 而且适用于解决一般回合制或即时策略性的博弈对抗问题。     

粉末冶金法制备混杂增强铜基复合材料的增强体竞争析出行为研究

Copper matrix composites reinforced by in situ-formed hybrid titanium boride whiskers (TiB_w) and titanium diboride particles (TiB_2p) were fabricated by powder metallurgy. Microstructural observations showed competitive precipitation behavior between TiB_w and TiB_2p, where the relative contents of the two reinforcements varied with sintering temperature. Based on thermodynamic and kinetic assessments, the precipitation mechanisms of the hybrid reinforcements were discussed, and the formation of both TiB_w and TiB_2p from the local melting zone was thermodynamically favored. The precipitation kinetics were mainly controlled by a solid-state diffusion of B atoms. By forming a compact compound layer, in situ reactions were divided into two stages, where Zener growth and Dybkov growth prevailed, respectively. Accordingly, the competitive precipitation behavior was attributed to the transition of the growth model during the reaction process.     

枯草芽孢杆菌SX3411产抑菌物质的发酵条件优化

枯草芽孢杆菌SX3411菌株自身带有subtilomycin基因簇,其主要的抑菌成分为subtilomycin.该文采用单因素分析法分析了枯草芽孢杆菌SX3411在不同发酵条件和营养成分时对抑菌物质产生的影响.根据单因素分析,对枯草芽孢杆菌SX3411产抑菌物质设计了响应面法分析,通过响应面法获得了最优的发酵条件和最佳营养成分配比.结果表明:最佳培养条件是初始pH值为8.25、转速为169 r?min^-1、温度为30.24 ℃、装液量为37.9%、接种量为1.46%,抑菌圈直径预测值为30.04 mm; 最佳培养基的成分为葡萄糖11.4 g?L^-1、酵母粉5.0 g?L^-1、ZnSO₄ 0.000 56 g?L^-1、CaCl₂ 0.059 5 g?L^-1,抑菌圈直径预测值为27.83 mm.实际检测值与预测值完全吻合.实验结果为生产羊毛硫细菌素subtilomycin提供了依据.     

基于模糊强化学习的双轮机器人姿态平衡控制

针对单轨双轮机器人在静止情况下存在的固有静态不稳定问题, 提出一种基于模糊强化学习(简称为Fuzzy-Q)的控制方法。首先，运用拉格朗日法建立带控制力矩陀螺的系统动力学模型。然后, 在此基础上设计表格型强化学习算法, 实现机器人的稳定平衡控制。最后，针对算法存在的控制精度不高和控制器输出离散等问题, 采用模糊理论泛化动作空间, 改善控制精度, 并使控制输出连续。仿真实验表明, 相较于传统强化学习方法, 所提方法能够显著提高控制精度, 且可以有效抑制外界干扰力矩对系统的影响, 保证系统具有一定的抗干扰能力。     

MADDPG算法并行优先经验回放机制

多智能体深度确定性策略梯度(multi-agent deep deterministic policy gradient, MADDPG)算法是深度强化学习方法在多智能体系统(multi-agent system, MAS)领域的重要运用,为提升算法性能,提出基于并行优先经验回放机制的MADDPG算法。分析算法框架及训练方法,针对算法集中式训练、分布式执行的特点,采用并行方法完成经验回放池数据采样,并在采样过程中引入优先回放机制,实现经验数据并行流动、数据处理模型并行工作、经验数据优先回放。分别在OpenAI多智能体对抗、合作两类典型环境中,从训练轮数、训练时间两个维度对改进算法进行了对比验证,结果表明,并行优先经验回放机制的引入使得算法性能提升明显。     

混合动力汽车深度强化学习分层能量管理策略

为了提高混合动力汽车的燃油经济性和控制策略的稳定性,以第三代普锐斯混联式混合动力汽车作为研究对象,提出了一种等效燃油消耗最小策略(equivalent fuel consumption minimization strategy,ECMS)与深度强化学习方法(deep feinforcement learning,DRL)结合的分层能量管理策略。仿真结果证明,该分层控制策略不仅可以让强化学习中的智能体在无模型的情况下实现自适应节能控制,而且能保证混合动力汽车在所有工况下的SOC都满足约束限制。与基于规则的能量管理策略相比,此分层控制策略可以将燃油经济性提高20.83%~32.66%;增加智能体对车速的预测信息,可进一步降低5.12%的燃油消耗;与没有分层的深度强化学习策略相比,此策略可将燃油经济性提高8.04%;与使用SOC偏移惩罚的自适应等效燃油消耗最小策略(A-ECMS)相比,此策略下的燃油经济性将提高5.81%~16.18%。