一种基于强化学习的CDN流量调度系统设计方法

针对传统的CDN流量调度系统大多采用启发式方法或规划方法，存在维护成本高，实时性不足等缺点，提出一种基于深度强化学习的CDN流量调度系统设计框架。该框架基于马尔科夫链设计了故障告警网络来触发调度，建立了基于stacking模型的质量评估奖励函数，并在此基础上对流量调度进行定义和建模，构建了基于DQN的深度强化学习模型。最后，通过仿真实验验证了该调度框架的有效性。     

风机分层基础有限元分析与加固方法

在风机扩展基础分层事故现场结构检测的基础上,采用ABAQUS有限元软件计算分析了分层基础在极端荷载工况下的受力和变形状态.结果表明:上层混凝土在基础环底法兰下方拱起形成空腔;空腔区内竖向钢筋产生拉应力,且有应力集中现象;分层面插筋在水平剪力的作用下产生弯折变形,变形程度和水平方向应力值由内圈向外圈递减;上下层混凝土之间发生了相对滑移.依据有限元计算结果,提出了新的加固补强措施,为今后类似工程事故的加固提供参考.     

基于修正斜压场的RC框架边节点剪切性能分析

为研究钢筋屈服强度和混凝土抗压强度对钢筋混凝土(RC)框架边节点剪切性能的影响规律,基于修正斜压场理论(MCFT),对某框架边节点的剪切应力-应变骨架曲线进行数值模拟,并与试验结果进行对比.在验证MCFT算法的精度后,研究钢筋屈服强度和混凝土抗压强度两个参数变化对RC框架边节点剪切应力-应变骨架曲线和峰值剪切应力的影响规律.结果表明:基于MCFT可以较好地模拟RC框架边节点的剪切应力-应变关系曲线; RC框架边节点的峰值剪切应力对混凝土抗压强度的变化更为敏感,但当试件的钢筋(HRB400)屈服应力下降幅度超过16.45%时,对钢筋屈服应力的变化更为敏感;当试件的钢筋(HRB400)屈服应力下降幅度超过10%时,节点发生钢筋滑移破坏,此时峰值剪切应力会大幅下降.     

基于核函数强化学习的抗干扰频点分配

针对学习未知动态的干扰图样问题，提出一种基于核函数强化学习的雷达与通信抗干扰频点协作算法。与需要获得干扰模式、参数等先验知识的研究相反，所提算法能够利用过去时隙中频点的使用情况来优化抗干扰频点分配策略。首先，通过核函数的强化学习来应对维度诅咒问题。其次，基于近似线性相关性的在线内核稀疏化方法，确保了抗干扰频点分配算法的稀疏性。最后，仿真结果验证了所提算法的有效性。得益于稀疏化码字对于系统动态特性的学习，所提算法与传统基于Q学习的抗干扰频点分配算法相比，收敛时间更短，并且可以快速规避外部未知干扰源的干扰。     

基于天然橡胶支座老化时变规律下近海隔震桥梁时变易损性分析

对天然橡胶隔震支座开展海洋环境下的耐久性试验,进而得到其随老化时间变化的性能劣化规律,同时参考已有钢筋混凝土材料在氯离子侵蚀作用下的性能劣化规律,通过SAP2000软件建立近海隔震桥梁的非线性动力分析模型。考虑墩柱单独劣化、支座单独劣化及二者共同劣化三种工况,开展全寿命周期不同时间节点的桥梁时变地震易损性分析,对比分析不同工况下不同破坏状态的构件失效概率。结果表明:在相同工况和破坏状态下,支座易损性均大于墩柱易损性,随着服役年份增加,墩柱易损性增加,支座易损性下降;从工况一至工况三,墩柱在不同破坏状态下的易损性都随着劣化时间增长而呈现不同程度的上升,而隔震支座的易损性则随劣化时间增长而呈现下降的趋势,在工况三下,两者易损性的变化最为显著;无论对于墩柱还是对于橡胶隔震支座,和不考虑劣化的初始值相比,三种工况下的易损性曲线均产生了较大变化,以初始值对应的易损性曲线去评估桥梁全寿命期内的抗震安全性会导致低估了墩柱易损性,而高估了支座的耗能能力,无法真实反映隔震桥梁的真实抗震性能变化情况。     

钢管混凝土劲性骨架拱桥主拱圈外包混凝土的调载技术

劲性骨架混凝土拱桥为跨越山区峡谷的一种重要桥型,随着对更大跨径混凝土拱桥的需求日益迫切,首先就要解决将大体积量混凝土外包在劲性骨架上。在调查大量此类桥型基础上,总结出在浇筑外包混凝土时的几种调载方法,并列举出实际桥例证明其调载效果,得出不同调载方法的优劣及使用范围,及对大跨径钢管混凝土劲性骨架拱桥外包混凝土浇筑的展望。     

钢筋混凝土靶侵彻过程中空腔膨胀响应分区研究

本文以钢筋混凝土动态空腔膨胀理论模型为基础,分析了体积配筋率及混凝土强度对各分区界面速度的影响;提出了侵彻过程中不同速度下,混凝土破裂区、粉碎区区域大小的计算方法,并讨论了配筋率、混凝土强度对各区域大小的影响,得到了侵彻过程中混凝损伤区域的变化规律.利用LS-DYNA有限元软件对钢筋混凝土靶侵彻过程进行了数值模拟,提出以混凝土极限压应变和极限拉应变两阈值为依据,对混凝土靶空腔膨胀响应区域进行识别划分,得到了侵彻过程中混凝土各响应区的区域大小;分析了配筋率、网眼间距等参数对混凝土各响应区域大小的影响.     

采用双经验回放池的噪声流双延迟深度确定性策略梯度算法

为了进一步提高双延迟深度确定性策略梯度算法(TD3)的网络探索性能和收敛速度,提出一种采用基于多步优先和重抽样优选机制的双经验回放池的噪声流TD3算法。该算法在策略网络中的每一层添加噪声流以增加参数的随机性,并引入多步优先经验回放池,将多个连续样本组成一个基础单元进行存储,训练时通过多步截断双Q处理实现对值函数的有效逼近,同时增加一个经验回放池采用重抽样优选机制来存储学习价值更大的样本,双经验回放池的设置可弥补样本多样性不足的问题。在OpenAI Gym平台的Walker2d-v2场景中进行仿真实验,结果表明,与对比算法相比,本文算法获得的回报值有明显改善,网络收敛速度也大大加快。     

针对不可微多阶段算法的环境升级式强化学习方法

多阶段算法的研究目前已取得很大进展，但仍存在2个重要问题。在推理阶段，信息不能从下游反馈到上游。在训练阶段，当整个模型涉及不可微函数时无法进行端到端的训练，因此不同阶段不能联合优化。提出一种新的环境升级式强化学习方法来解决反馈和联合优化问题，该方法的框架结构是通过一个强化学习智能体将下游阶段与上游阶段重新连接起来，利用优化上游阶段的输出来训练智能体，以提高最终性能，同时根据智能体的策略对下游阶段(环境)进行升级，实现智能体策略和环境的联合优化。针对智能体和环境的不同训练需求，还提出了一种基于该框架的训练算法，并在实例分割和人体姿态估计实验中证明了其有效性。     

高陡横坡段桩柱式桥梁双桩基础受力分析

基于高陡横坡段桩柱式桥梁双桩基础承载特性,提出了一种改进有限杆单元计算分析方法.分析了高陡横坡段桩柱式桥梁双桩基础承载机理及受力特性,建立了双桩基础计算分析模型.其次,根据前、后桩与边坡相对位置关系,给出了后桩所受剩余下滑力与前桩所受土压力的比例关系.在传统有限杆单元分析方法基础上,结合陡坡桩受力特征,导得了考虑桩土共同作用与"P-Δ"效应的单元刚度矩阵修正方法,并在此基础上编制了适用于高陡横坡段桩柱式桥梁双桩基础的有限杆单元分析MATLAB计算程序.采用室内模型试验对本文计算方法进行验证,给出了适用于陡坡段桥梁桩基的设计流程图.研究结果表明:本文理论计算值与模型试验实测结果吻合良好,表明本文计算方法正确可行,可为同类工程设计提供参考.