一种基于强化学习的CDN流量调度系统设计方法

针对传统的CDN流量调度系统大多采用启发式方法或规划方法，存在维护成本高，实时性不足等缺点，提出一种基于深度强化学习的CDN流量调度系统设计框架。该框架基于马尔科夫链设计了故障告警网络来触发调度，建立了基于stacking模型的质量评估奖励函数，并在此基础上对流量调度进行定义和建模，构建了基于DQN的深度强化学习模型。最后，通过仿真实验验证了该调度框架的有效性。     

基于修正斜压场的RC框架边节点剪切性能分析

为研究钢筋屈服强度和混凝土抗压强度对钢筋混凝土(RC)框架边节点剪切性能的影响规律,基于修正斜压场理论(MCFT),对某框架边节点的剪切应力-应变骨架曲线进行数值模拟,并与试验结果进行对比.在验证MCFT算法的精度后,研究钢筋屈服强度和混凝土抗压强度两个参数变化对RC框架边节点剪切应力-应变骨架曲线和峰值剪切应力的影响规律.结果表明:基于MCFT可以较好地模拟RC框架边节点的剪切应力-应变关系曲线; RC框架边节点的峰值剪切应力对混凝土抗压强度的变化更为敏感,但当试件的钢筋(HRB400)屈服应力下降幅度超过16.45%时,对钢筋屈服应力的变化更为敏感;当试件的钢筋(HRB400)屈服应力下降幅度超过10%时,节点发生钢筋滑移破坏,此时峰值剪切应力会大幅下降.     

基于核函数强化学习的抗干扰频点分配

针对学习未知动态的干扰图样问题，提出一种基于核函数强化学习的雷达与通信抗干扰频点协作算法。与需要获得干扰模式、参数等先验知识的研究相反，所提算法能够利用过去时隙中频点的使用情况来优化抗干扰频点分配策略。首先，通过核函数的强化学习来应对维度诅咒问题。其次，基于近似线性相关性的在线内核稀疏化方法，确保了抗干扰频点分配算法的稀疏性。最后，仿真结果验证了所提算法的有效性。得益于稀疏化码字对于系统动态特性的学习，所提算法与传统基于Q学习的抗干扰频点分配算法相比，收敛时间更短，并且可以快速规避外部未知干扰源的干扰。     

知识牵引与数据驱动的兵棋AI设计及关键技术

在分析知识推理型与数据学习型兵棋人工智能(artifical intelligence, AI)优缺点的基础上, 提出了基于知识牵引与数据驱动的AI设计框架。针对框架中涉及的基于数据补全的战场态势感知，基于遗传模糊系统的关键点推理，基于层次任务网的任务规划、计划修复与重规划，基于深度强化学习的算子动作策略优化等关键技术进行深入探讨。结果表明，所提框架具有较强的适应性, 不仅能够满足分队、群队、人机混合等兵棋推演的应用需求, 而且适用于解决一般回合制或即时策略性的博弈对抗问题。     

粉末冶金法制备混杂增强铜基复合材料的增强体竞争析出行为研究

Copper matrix composites reinforced by in situ-formed hybrid titanium boride whiskers (TiB_w) and titanium diboride particles (TiB_2p) were fabricated by powder metallurgy. Microstructural observations showed competitive precipitation behavior between TiB_w and TiB_2p, where the relative contents of the two reinforcements varied with sintering temperature. Based on thermodynamic and kinetic assessments, the precipitation mechanisms of the hybrid reinforcements were discussed, and the formation of both TiB_w and TiB_2p from the local melting zone was thermodynamically favored. The precipitation kinetics were mainly controlled by a solid-state diffusion of B atoms. By forming a compact compound layer, in situ reactions were divided into two stages, where Zener growth and Dybkov growth prevailed, respectively. Accordingly, the competitive precipitation behavior was attributed to the transition of the growth model during the reaction process.     

基于模糊强化学习的双轮机器人姿态平衡控制

针对单轨双轮机器人在静止情况下存在的固有静态不稳定问题, 提出一种基于模糊强化学习(简称为Fuzzy-Q)的控制方法。首先，运用拉格朗日法建立带控制力矩陀螺的系统动力学模型。然后, 在此基础上设计表格型强化学习算法, 实现机器人的稳定平衡控制。最后，针对算法存在的控制精度不高和控制器输出离散等问题, 采用模糊理论泛化动作空间, 改善控制精度, 并使控制输出连续。仿真实验表明, 相较于传统强化学习方法, 所提方法能够显著提高控制精度, 且可以有效抑制外界干扰力矩对系统的影响, 保证系统具有一定的抗干扰能力。     

MADDPG算法并行优先经验回放机制

多智能体深度确定性策略梯度(multi-agent deep deterministic policy gradient, MADDPG)算法是深度强化学习方法在多智能体系统(multi-agent system, MAS)领域的重要运用,为提升算法性能,提出基于并行优先经验回放机制的MADDPG算法。分析算法框架及训练方法,针对算法集中式训练、分布式执行的特点,采用并行方法完成经验回放池数据采样,并在采样过程中引入优先回放机制,实现经验数据并行流动、数据处理模型并行工作、经验数据优先回放。分别在OpenAI多智能体对抗、合作两类典型环境中,从训练轮数、训练时间两个维度对改进算法进行了对比验证,结果表明,并行优先经验回放机制的引入使得算法性能提升明显。     

混合动力汽车深度强化学习分层能量管理策略

为了提高混合动力汽车的燃油经济性和控制策略的稳定性,以第三代普锐斯混联式混合动力汽车作为研究对象,提出了一种等效燃油消耗最小策略(equivalent fuel consumption minimization strategy,ECMS)与深度强化学习方法(deep feinforcement learning,DRL)结合的分层能量管理策略。仿真结果证明,该分层控制策略不仅可以让强化学习中的智能体在无模型的情况下实现自适应节能控制,而且能保证混合动力汽车在所有工况下的SOC都满足约束限制。与基于规则的能量管理策略相比,此分层控制策略可以将燃油经济性提高20.83%~32.66%;增加智能体对车速的预测信息,可进一步降低5.12%的燃油消耗;与没有分层的深度强化学习策略相比,此策略可将燃油经济性提高8.04%;与使用SOC偏移惩罚的自适应等效燃油消耗最小策略(A-ECMS)相比,此策略下的燃油经济性将提高5.81%~16.18%。     

预应力CFRP加固混凝土梁的试验研究

为了揭示预应力碳纤维布加固混凝土构件的效果,分别采用普通碳纤维布和预应力碳纤维布对4根钢筋混凝土梁进行抗弯性能试验研究。试验分析了预应力碳纤维布加固混凝土梁的屈服荷载、极限荷载、抗弯刚度等性能指标,并分别比较了预应力碳纤维布与普通碳纤维布、不同预应力水平碳纤维布的破坏形态及加固效果。试验结果表明,采用预应力碳纤维布加固混凝土梁可以充分发挥碳纤维布的高强性能,预应力碳纤维布加固的混凝土梁要比普通碳纤维布加固混凝土梁的承载力、刚度等性能指标都有明显提高,而且预应力水平越大,提高的效果越明显。     

先张及后张预应力矩形梁疲劳受力性能研究

折线配筋预应力混凝土先张梁采用合理的布筋方式,克服传统直线先张法布筋方式与结构的实际受力特点不相适应的缺点,增加了跨度;同时避免了后张法在耐久性和施工工艺等方面缺陷,有效地控制了梁端斜裂缝的出现.通过室内试验验证,折线配筋预应力混凝土梁提高了梁体的疲劳受力性能,能够较好地延长桥梁使用寿命.