一种基于强化学习的CDN流量调度系统设计方法

针对传统的CDN流量调度系统大多采用启发式方法或规划方法，存在维护成本高，实时性不足等缺点，提出一种基于深度强化学习的CDN流量调度系统设计框架。该框架基于马尔科夫链设计了故障告警网络来触发调度，建立了基于stacking模型的质量评估奖励函数，并在此基础上对流量调度进行定义和建模，构建了基于DQN的深度强化学习模型。最后，通过仿真实验验证了该调度框架的有效性。     

晶体塑性有限元分析开孔对多晶板材力学性能的影响

基于 ABAQUS 子程序 VUMAT 二次开发平台, 将位错和孪晶的演化过程引入晶体塑性有限元方法(crystal plastic finite element method, CPFEM)中, 实现了多晶塑性材料力学行为的有限元模拟, 并通过试验和模拟结果的对比, 验证了所提出方法和二次开发程序的有效性. 应用含孪晶效应的晶体塑性有限元方法 模拟分析了孔洞对于板材开孔问题的影响, 结果表明: ① 当孔径小于板宽一半时, 强度损失采用线性近似估算值是偏于安全的, 而超过板宽一半时, 不宜采用线性估算值; ② 当孔距较小时, 孔径排布方式对开孔板材的韧性以及极限承载力有重要影响, 排布方式可分弱影响区、强影响区和过渡区 3 种模式. 对于承受单向拉伸荷载的板材, 开孔时应选择沿轴线排布的方式.     

基于修正斜压场的RC框架边节点剪切性能分析

为研究钢筋屈服强度和混凝土抗压强度对钢筋混凝土(RC)框架边节点剪切性能的影响规律,基于修正斜压场理论(MCFT),对某框架边节点的剪切应力-应变骨架曲线进行数值模拟,并与试验结果进行对比.在验证MCFT算法的精度后,研究钢筋屈服强度和混凝土抗压强度两个参数变化对RC框架边节点剪切应力-应变骨架曲线和峰值剪切应力的影响规律.结果表明:基于MCFT可以较好地模拟RC框架边节点的剪切应力-应变关系曲线; RC框架边节点的峰值剪切应力对混凝土抗压强度的变化更为敏感,但当试件的钢筋(HRB400)屈服应力下降幅度超过16.45%时,对钢筋屈服应力的变化更为敏感;当试件的钢筋(HRB400)屈服应力下降幅度超过10%时,节点发生钢筋滑移破坏,此时峰值剪切应力会大幅下降.     

基于核函数强化学习的抗干扰频点分配

针对学习未知动态的干扰图样问题，提出一种基于核函数强化学习的雷达与通信抗干扰频点协作算法。与需要获得干扰模式、参数等先验知识的研究相反，所提算法能够利用过去时隙中频点的使用情况来优化抗干扰频点分配策略。首先，通过核函数的强化学习来应对维度诅咒问题。其次，基于近似线性相关性的在线内核稀疏化方法，确保了抗干扰频点分配算法的稀疏性。最后，仿真结果验证了所提算法的有效性。得益于稀疏化码字对于系统动态特性的学习，所提算法与传统基于Q学习的抗干扰频点分配算法相比，收敛时间更短，并且可以快速规避外部未知干扰源的干扰。     

黄板对茶园昆虫类群的诱捕效果分析

昆虫与植物之间色彩通讯是彼此信息交流的渠道之一，基于害虫趋色性研发的诱虫板作为一种绿色防控手段，已广泛应用于农林害虫的防控和预测预报。为了明确黄色诱虫板在茶园害虫多样性调查和防治中的效果，我们于2018年7月~8月对井冈山大井茶园里的黄色诱虫板的诱捕情况进行了调查研究。研究结果表明：黄板对茶园双翅目、膜翅目、半翅目、鞘翅目和鳞翅目昆虫诱捕效果最佳，直翅目害虫诱捕效果较差，且不同类群间数量差异极其显著。阳面诱捕的昆虫总数量多于阴面（V=1450.5，P=0.0032），不同类群诱捕效果的分析表明：双翅目（Wilcoxon符号秩检验，V=1525，P=0.017）、半翅目（Wilcoxon符号秩检验，V=1233.5，P=0.044）、鳞翅目（Wilcoxon符号秩检验，V=244，P<0.001）、膜翅目（Wilcoxon符号秩检验，V=818.5，p<0.001）双面诱捕数量存在显著差异，且阳面均多于阴面。相关性分析表明半翅目—鳞翅目（r=0.75，P<0.001）、半翅目—膜翅目（r=0.55，P<0.001）、半翅目—鞘翅目（r=0.58，P<0.001）、鳞翅目—膜翅目（r=0.53，P<0.001）、鳞翅目—鞘翅目（r=0.71,P<0.001）、膜翅目—鞘翅目（r=0.63，P<0.001）间诱捕数量上存在正相关。     

轧制道次间插入冷却对特厚钢板组织与性能的影响

使用实验轧机旁冷却装置配合轧机进行轧制实验，研究轧制道次间不同冷却工艺对特厚钢板组织和性能的影响规律.研究结果表明:采用道次间冷却工艺可以在全厚度方向获得组织细化及强韧性提高效果，采用强冷道次间冷却实验钢1/4处晶粒尺寸可细化至10μm，强度为376MPa，-40℃冲击功为169J;心部晶粒尺寸可细化至15μm，强度为360MPa，-40℃冲击功为123J.本工艺可形成470μm厚表层细晶层，晶粒尺寸可细化至5μm;粗轧道次间插入冷却工艺轧制钢板强度和冲击韧性优于中间坯冷却工艺;随冷却强度增加，钢板内部组织明显细化且强度大幅提高.     

知识牵引与数据驱动的兵棋AI设计及关键技术

在分析知识推理型与数据学习型兵棋人工智能(artifical intelligence, AI)优缺点的基础上, 提出了基于知识牵引与数据驱动的AI设计框架。针对框架中涉及的基于数据补全的战场态势感知，基于遗传模糊系统的关键点推理，基于层次任务网的任务规划、计划修复与重规划，基于深度强化学习的算子动作策略优化等关键技术进行深入探讨。结果表明，所提框架具有较强的适应性, 不仅能够满足分队、群队、人机混合等兵棋推演的应用需求, 而且适用于解决一般回合制或即时策略性的博弈对抗问题。     

粉末冶金法制备混杂增强铜基复合材料的增强体竞争析出行为研究

Copper matrix composites reinforced by in situ-formed hybrid titanium boride whiskers (TiB_w) and titanium diboride particles (TiB_2p) were fabricated by powder metallurgy. Microstructural observations showed competitive precipitation behavior between TiB_w and TiB_2p, where the relative contents of the two reinforcements varied with sintering temperature. Based on thermodynamic and kinetic assessments, the precipitation mechanisms of the hybrid reinforcements were discussed, and the formation of both TiB_w and TiB_2p from the local melting zone was thermodynamically favored. The precipitation kinetics were mainly controlled by a solid-state diffusion of B atoms. By forming a compact compound layer, in situ reactions were divided into two stages, where Zener growth and Dybkov growth prevailed, respectively. Accordingly, the competitive precipitation behavior was attributed to the transition of the growth model during the reaction process.     

基于模糊强化学习的双轮机器人姿态平衡控制

针对单轨双轮机器人在静止情况下存在的固有静态不稳定问题, 提出一种基于模糊强化学习(简称为Fuzzy-Q)的控制方法。首先，运用拉格朗日法建立带控制力矩陀螺的系统动力学模型。然后, 在此基础上设计表格型强化学习算法, 实现机器人的稳定平衡控制。最后，针对算法存在的控制精度不高和控制器输出离散等问题, 采用模糊理论泛化动作空间, 改善控制精度, 并使控制输出连续。仿真实验表明, 相较于传统强化学习方法, 所提方法能够显著提高控制精度, 且可以有效抑制外界干扰力矩对系统的影响, 保证系统具有一定的抗干扰能力。     

MADDPG算法并行优先经验回放机制

多智能体深度确定性策略梯度(multi-agent deep deterministic policy gradient, MADDPG)算法是深度强化学习方法在多智能体系统(multi-agent system, MAS)领域的重要运用,为提升算法性能,提出基于并行优先经验回放机制的MADDPG算法。分析算法框架及训练方法,针对算法集中式训练、分布式执行的特点,采用并行方法完成经验回放池数据采样,并在采样过程中引入优先回放机制,实现经验数据并行流动、数据处理模型并行工作、经验数据优先回放。分别在OpenAI多智能体对抗、合作两类典型环境中,从训练轮数、训练时间两个维度对改进算法进行了对比验证,结果表明,并行优先经验回放机制的引入使得算法性能提升明显。