针对无人潜航器的反潜策略研究

近年来无人潜航器对国家海洋国土安全带来的威胁逐渐增大,其低噪声特性和隐蔽入侵方式也给反潜行动带来极大困难。为此,提出了一种两阶段规划算法,用以学习优化反潜策略,在部署阶段,建立了基于不确定性马尔可夫决策过程的反潜资源分配模型,并设计了鲁棒性部署策略强化学习算法,用以求解不确定条件下分配模型的纳什均衡解。在搜索阶段,建立了基于部分可观察马尔可夫决策过程的搜潜模型,并设计了基于多智能体强化学习的搜潜策略学习算法。最后,通过仿真实验验证了本算法与比对算法相比具有更高的性能。     

部分可观测信息条件下系统最佳检修策略分析

针对部分可观测信息条件下的退化系统,提出利用部分可观测马尔可夫决策过程模型解决系统视情维修问题。采用隐马尔可夫模型对系统进行状态评估,得到系统的转移概率和观测概率矩阵;利用比例故障率模型对系统进行可靠性分析,得到系统的故障率和可靠度函数,不仅考虑系统的工作时间,也考虑系统的退化状态。最后,以系统长期运行的最小平均费用率为目标,得到最佳的检测周期和最优的更换策略。实例研究表明,该方法可为保障人员提供科学的维修决策依据。     

基于改进相似性的装备部件剩余寿命预测及经济性储备策略

针对传统基于相似性的剩余寿命(remaining useful lifetime, RUL)预测方法未考虑运行条件差异, 从而影响预测准确性及部件储备策略科学性的问题, 提出一种基于改进相似性的装备部件RUL预测及经济性储备策略。基于提出的改进相似性方法, 区分装备部件的运行条件类别, 通过各类别内服役部件和参考部件的性能状态相似性, 预测服役部件的RUL; 基于RUL预测结果, 以装备部件维修储备总费用最低为目标, 以资源利用率为约束, 建立经济性储备策略决策模型; 采用差分进化算法对模型寻优求解, 得到最优装备部件储备策略。实例分析表明, 所提方法能够有效提升RUL预测的准确性和部件储备策略的科学性, 具备工程应用价值。     

基于强化学习的订单生产型企业的订单接受策略

针对订单生产型企业在订单接受决策过程中的不确定性, 基于强化学习的思想, 在考虑生产成本、延迟惩罚成本以及拒绝成本的前提下, 引入顾客等级这一要素, 从收益管理的角度建立了基于半马尔可夫决策过程的订单接受模型. 在此基础上, 提出了基于 SMART 算法的最优订单接受策略求解方法, 旨在最大化订单生产型企业的长期利润. 仿真实验结果表明: 基于SMART 算法得到的订单接受策略要优于基于先来先服务方法得到的订单接受策略; 同时, 针对考虑顾客等级的仿真实验及数据分析结果, 也验证了引入顾客等级这一要素的必要性和重要性.     

THE BOREL STATE SPACE SEMI-MARKOVDECISION PROCESS WITH EXPECTED TOTAL REWARDS IN A SEMI-MARKOV ENVIRONMENT

1.IntroductionMarkovdecisionprocesses(MDP)candescribeMarkoviansequentialdecisionsystems([12]),amongwhichtherearemanysystemsinstochasticenvironmentsandtheenvironments'effectwillchangetheparametersmodelingthesystem,e.g.3arepairablesysteminastochasticenvironment([3])andqueueingsystemsinvariedstochasticenvironments([4]).ThusMDPinstochasticenvironmelltsoccuriftheoptimalcontrolofsuchsystemsisconsidered.ContinuoustimeMDPandsemi-Markovdecisionprocess(SMDP)inasemi-Markovenvironmentwithdiscountedc…     

基于证据推理和置信规则库的涡扇发动机故障预测

针对某型涡扇发动机故障预测的问题,提出一种基于证据推理和置信规则库的涡扇发动机故障预测模型。为描述涡扇发动机的健康状态,利用证据推理算法融合发动机系统状态信息;结合先验知识建立混合驱动的置信规则库仿真预测模型;采用投影协方差自适应进化策略用于优化模型参数;通过实验验证了模型的有效性。研究结果表明：该方法不仅准确预测涡扇发动机故障风险概率,而且为故障诊断和维修保障提供了有力的支撑。     

电子设备健康状态评估与故障预测方法

针对电子设备的健康性能退化问题,提出一种改进流形学算法与隐半马尔可夫模型(hidden semi Markov model, HSMM)相结合的电子设备健康评估与故障预测方法。首先,在有监督邻域保持投影(supervised neighborhood preserving projection, SNPP)算法中引入非相关约束并加入核函数形成核有监督非相关邻域保持投影(kernel supervised uncorrelated neighborhood preserving projection,KSUNPP)算法,将其用于原始特征的提取,获得有效的特征集作为HSMM的输入进行训练|其次,建立了电子设备健康评估与故障预测模型,该模型用Kullback Leibler (KL)距离来衡量故障程度,实现设备退化程度的评估,又可根据各状态驻留时间,预测出设备故障发生的时间。最后,将该方法应用于某型导弹电子设备的健康评估与故障预测,验证其有效性。     

基于马尔可夫的多功能雷达认知干扰决策建模研究

多功能雷达是现代电磁战场上不可或缺的重要装备, 针对多功能雷达的干扰一直是一个难题。本文在研究多功能雷达信号特点和雷达对抗过程的基础上, 提出了雷达状态联合表征的方法, 将多功能雷达的干扰决策问题建模为一个带收益的马尔可夫决策过程, 设计了认知干扰决策系统, 并通过基于Q-Learning的认知干扰决策算法求解该模型下的最佳干扰策略。通过仿真实验, 证明了基于Q-Learning的认知干扰决策算法能够在缺乏先验经验的情况下学习到最佳干扰策略, 具备“认知”的特性, 并且在不稳定的环境中也具有较强的适应性, 有效支撑了本文所提的干扰决策模型。     

面向用户需求的空天地一体化车载网络任务分配策略

为了提高空天地一体化车载网络(space-air-ground integrated vehicular networks, SAGVN)内用户的网络服务质量体验, 解决不同网络间相互协同的问题, 提出了面向用户需求的SAGVN任务分配策略。基于用户信号强度、时延、网络费用和带宽需求, 利用效用函数理论和层次分析法(analytic hierarchy process, AHP), 构建用户需求和满意度描述框架。将网络任务分配过程抽象为半马尔可夫决策过程(semi Markov decision process, SMDP), 根据用户需求和网络状态, 利用价值迭代算法获得整体用户满意度最大的网络任务分配策略, 利用Q-learning算法得到近似最优策略。实验表明, 相较于传统策略, 所提策略整体用户满意度提高超过30%;在网络拥塞的环境下, 可以有效降低对网络服务需求迫切用户服务请求的拒绝率。     

灰色群组聚类和改进CRITIC赋权的供应商选择VIKOR多属性决策

针对武器装备供应商选择问题, 提出了一种基于灰色群组(grey group clustering, GGC)和改进标准间冲突性相关性(improved criteria importance through intercriteria correlation, ICRITIC)组合赋权的扩展多属性妥协解(VIKOR)决策方法。采用考虑决策专家意见差异程度的群层次分析法对供应商初选指标体系进行降维遴选, 构建武器装备供应商优选指标体系; 结合GGC和ICRITIC组合赋权方法确定主客观权重, 并设计权偏好系数进行加法组合赋权; 基于VIKOR决策方法集结备选供应商折衷排序值。针对不同折衷系数、排序方法和赋权方法从决策灵活性和稳定性两个维度进行对比分析, 验证所提方法的有效性。     

基于SAUBQ学习的知识化制造系统自适应调度策略

针对知识化制造环境下的自适应调度问题,提出基于状态-动作不确定性偏向Q学习（state-action uncertainty bias based Q-learning,简称SAUBQ学习）的知识化制造自适应调度策略. 该策略针对传统Q学习收敛速度慢,训练时间长等问题,引入信息熵的概念定义了状态不确定性测度,据此定义了Q学习动作偏向信息函数,通过对Q学习奖励函数采用启发式回报函数设计,将动作偏向信息利用附加回报的方式融入学习系统,并证明了算法的收敛性和最优策略不变性. 在学习过程中,Q学习根据偏向信息调整搜索空间,减少了Q学习必须探索的有效状态-动作对数目,同时偏向信息根据Q学习结果不断进行调整,避免了不正确的误导. 经仿真实验比较,结果表明,该策略具有对动态环境的适应性和大状态空间下收敛的快速性,提高了调度效率.     

企业联盟投资策略模糊决策分析

针对两个互补型企业构成的企业联盟,同时考虑企业相关性和鼓励投资的激励措施,提出一种投资决策模型;应用模糊优化技术对该投资策略进行决策分析,由此确定了企业联盟获得最大总利润的最优投资策略;实例分析证明了该方法的有效性.是企业联盟确定投资和利润分成可以借鉴的决策方案.     

基于区间灰度的无人机航迹择优评价方法研究

本文给出一种基于区间灰度评价理论的无人机多航迹方案择优方法,提高了不确定飞行环境下,无人机航迹择优的精度和可靠度.针对无人机多航迹方案择优中存在的不确定性和威胁信息获取的不完全性,本文将反映不确定性的区间数,与刻画信息获取量的灰度组成的二元有序对,作为新的评价标度-区间灰度,并定义了决策结果可靠度指标;接着构建了基于区间灰度评价标度的无人机航迹方案择优方法.在无人机航迹规划方案的择优实证分析中,对比仿真了本文方法与区间决策方法,仿真结果表明:本文方法不仅能有效提升最优方案分别与次优和最差方案评价指标的离差,减少决策者的犹豫度;还能提供决策结果的可靠度信息,增加决策信心.     

部分可观测马尔可夫决策过程算法综述

部分可观测马尔可夫决策过程(POMDP)是马尔可夫决策过程(MDP)的扩展,它允许系统的状态信息部分可知。但POMDP的可能应用大部分没有实现,这主要是因为缺乏有效的算法。POMDP的算法分为近似算法和精确算法,精确算法是构造近似算法的基础。介绍了POMDP模型后,对离散时间、有限状态集的POMDP精确算法和近似算法进行了综述,分析了造成POMDP难以求解的主要原因,提出了进一步的研究方向。     

新型深潜救生艇自动对接模拟试验装置研制

通过对比国内外深潜救生艇的研究现状,提出了新型深潜救生艇自动对接模拟试验装置的研制,用来解决海况比较恶劣、失事潜艇有较大的倾斜时的自动对接;对实验用的试验装置—BSAV-II进行了总体设计,包括艇内设备和裙口设备的布置;设计了用以实现BSAV-II六自由度动力定位控制与自动对接控制的测量系统和控制系统。通过水池试验成功实现了有流作用下的水下自动对接,验证了对接控制系统设计的正确性和救生可行性。     

面向目标跟踪的单平台主被动传感器长期调度

以目标跟踪为背景,研究了单平台上主被动传感器的长期调度问题。通过合理、实时地切换主被动传感器,使得有限时域内的跟踪精度和辐射风险达到合理的平衡。将该调度问题构建成部分可观马氏决策过程(partially observable Markov decision process, POMDP)以同步实现目标跟踪和辐射控制。提出以容积采样法估算长期精度收益,以隐马氏模型滤波器推导长期辐射代价。最终将原问题转化成决策树并利用分枝定界法进行求解。仿真结果证明了本方法的有效性。     

考虑退化相关的装备多部件系统维修决策优化模型

针对装备多部件系统维修决策优化问题,考虑分析系统中多部件之间的退化相关性,将系统连续退化过程离散化为有限个状态空间,计算给出系统稳态概率分布。在此基础上,建立长期运行下系统可用度最大为目标的维修决策优化模型,采用改进人工蜂群算法进行求解,以获得各部件最优机会维修阈值、预防性维修阈值和系统最优检测间隔期。最后,通过算例验证了所提模型的可行性和有效性。     

基于物价指数上涨的最优在线租赁决策模型

考虑到现实租赁市场设备租金费用及购买价格随着时间推移总体呈现出持续性上涨特征, 建立了基于物价指数上涨的在线租赁决策模型, 首先分析了该问题的最优离线策略, 其次运用在线算法理论给出了该问题的确定性最优在线租赁策略及其竞争比. 从提高策略的竞争性能角度出发, 基于风险控制思想, 给出了该问题的随机性最优在线租赁策略及其竞争比, 并运用两人零和博弈分析技巧严格证明了此策略是该问题的唯一随机性最优竞争策略. 进一步指出了确定性和随机性最优策略的竞争性能均随着购买价格上涨而下降, 也随着物价指数上涨而降低. 最后, 结合数值分析发现当存在通货膨胀因素时, 最优决策日期相对提前, 但策略的竞争性能显著降低, 这表明物价指数变动对在线租赁决策具有显著影响.     

基于强化学习的战时保障力量调度策略研究

智能化后装保障调度是当前军事领域的研究热点之一,其中复杂多变的战场环境要求战时保障具有良好的自适应性。针对此问题,提出了基于马尔可夫决策过程的强化学习模型,能够主动学习最佳派遣策略,根据历史数据和当前态势预判后续变化。为了考虑不确定事件的影响,在模型求解算法中增加了基于概率统计模型的仿真流程;为了减少随机事件带来的计算复杂性,利用决策后状态变量重新设计了贝尔曼迭代方程;为了解决状态空间的维度灾问题,提出了基于基函数组合的近似函数。仿真实验表明,强化学习能力的引入能够显著提高战时保障调度性能。     

基于退化数据的贮存设备最优检测策略

性能测试是保证设备可靠性的重要手段。早期的维护模型都是围绕定期检测展开研究，不能够很好地反映设备的实际工作情况，且数据来源大都为寿命数据，数据样本少，可信度不高。针对退化过程符合Wiener过程的设备，提出了工作前检测和定期检测相结合的维护决策模型。首先，基于Wiener过程进行退化建模，建立基于Wiener过程的退化模型,然后引入变点的概念，得到设备的寿命分布。最后，结合所提维护决策模型，确定对设备进行最优检测的间隔。