基于AMDP-Q的自主车辆行驶策略求解

结合增广马尔可夫决策过程(AMDP),蒙特卡罗-部分可观察马尔可夫决策过程(MC-POMDP)以及Q学习,提出了AMDP-Q学习(AMDP-Q)算法.算法的主要思想是:首先用一个低维充分统计量表示原信念状态空间,通常使用最大似然状态和信念状态的信息熵作为充分统计量,其组成的空间称为增广状态空间;然后应用参考状态集离散化...     

模拟人类发散思维的测度值马尔可夫理论模型

本文提出测度值马尔可夫决策过程新模型.在此模型下,agent对环境的把握用测度概念来表示,于是agent则根据测度来决定自己的最优行动以得到最优策略,因此本文也提供了测度值马尔可夫决策过程的最优策略算法.该模型是部分可观察马尔可夫决策过程的推广,它反映人类思维的一个重要特征,人们在把握全部状态可能性(即对状态空间进行权衡度量)的态势下,思考问题并选择自己的最优行动.部分可观察马尔可夫决策过程只是它的一种特例.     

电磁环境下无人机干扰雷达通信效用实验研究

为了判断电磁环境下无人机的作战能力,为提高无人机作战能力提供技术支持,对电磁环境下无人机干扰雷达通信效用进行实验研究。给出理想状态下雷达方程,在此基础上通过利用阈值判断电磁干扰中的干扰类型。对电磁环境下无人机干扰雷达通信接收机输入端信干比、干扰噪声比和信号噪声比进行计算,为雷达通信效用实验提供依据。将雷达通信抗干扰改善因子、有效抗干扰改善因子、综合测度雷达通信抗干扰能力、相对自卫距离、相对烧穿距离作为衡量雷达通信效用的指标进行实验研究。通过CPLD/FPGA完成雷达通信接口设计,利用DSP回波信号实时输出,完成实验系统设计。在实验系统中,令无人机在不同等效指标位置产生干扰,依次对雷达通信接收机的输出信号比进行记录,记录各雷达通信效用衡量指标,经多次测量降低误差。结果表明:在无人机与雷达间间隔超过100 km的情况下,雷达通信效用尚可。在无人机与雷达间间隔低于100 km(包括100 km)的情况下,雷达通信效用降低。可见电磁环境下无人机干扰会降低雷达通信效用,在一定间隔下无人机作战能力很强。     

近距空中支援中无人机目标分配问题研究

利用无人机实施近距空中支援作战是当前研究的重点,需针对复杂战场环境对实行多目标火力打击的无人机进行路径优化与目标分配。综合考虑无人机飞行高度、不同武器挂载、目标类型及各项指标、威胁区威胁代价、作战时间代价等因素,构建目标毁伤综合指标提高非对称打击效能,设置威胁区安全阈值提高路径有效性分析,采取自适应权重粒子群协同优化算法求解单无人机单目标航迹总代价,采取0-1规划法求解多无人机对多目标的不平衡任务分配方案,为近距空中支援任务中多无人机对多目标的分配提供决策支撑。     

面向结构状态评估的多尺度损伤模型

为了满足大跨结构健康监测和状态评估的需要,提出了计算结构损伤破坏的微宏观多尺度损伤模型.将结构微损伤变量定义为物质点处应力水平的函数,建立了非线性有限元模型,通过迭代求解来实现微损伤的耦合分析.为了考虑微损伤的累积效应,将结构的宏观损伤定义为微损伤的空间统计平均,选取均匀化遍历函数作为微损伤的空间分布概率密度函数,建立了宏微观损伤的关联模式,通过响应等效的方法来验证宏微观损伤关联模式的有效性.计算结果表明:耦合迭代求解技术可以降低微损伤分析过程中的网格敏感性;结构在均匀化宏观损伤下的响应与在非均匀微损伤下的响应吻合良好.采用多尺度损伤模型,可以有效实现结构的局部微损伤向均匀化宏观损伤的等效转换,有助于提高面向结构状态评估的有限元模型的计算效率.     

FSMC无线通信应用综述

有限状态马尔可夫信道模型(FSMC)在无线通信领域有着十分重要的应用。在许多衰落情况下的信道建模都用到该模型。该模型是基于无后效性的随机过程,马尔可夫过程建立的。在满足马尔可夫性质的条件下,若将接收SNR按与有限个信道状态相应的间隔离散化,则得到有限状态马尔可夫信道模型(FSMC)。总结了到目前为止的科研成果,从对FSMC模型的简介和建立开始,而后给出FSMC的相关表征参数的分析计算方法。还重点介绍了该模型在通信领域的应用,包括无线通信建模和具体到瑞利信道时FSMC的建立和评价。     

无人攻击机编队配系优化算法

以无人攻击机(UCAV)编队协同火力打击为背景,探讨了无人攻击机编队配系优化问题.首先分析了连续马尔可夫链(CTMC)理论描述无人攻击机火力打击的适用性,并利用CTMC理论对无人攻击机的作战过程进行建模,根据无人攻击机的特点构建了多型无人机打击多种目标的作战模型;对无人攻击机协同作战效果进行了预测,给出了效能预测的MATLAB求解框架;采用基于理想点法的决策方法,根据编队协同作战的预测效果对无人攻击机编队配系进行优化.算例分析表明本文的模型能够反映不同类型无人攻击机的打击特性,有效预测编队打击效能并确定最优配系.此方法能够准确描述无人攻击机编队的作战特性,算法便于计算机实现,为无人攻击机编队作战提供决策支持.     

基于改进蒙特卡洛树搜索的无人机目标分配与突防决策方法

针对多无人机任务规划问题,在多种约束与机动动作下,进行目标分配和突防决策统一建模与优化求解方法研究。首先,基于无人机自身优势、目标威胁以及突防概率分别建立目标分配优化函数和突防决策优化函数;然后,利用线性加权法将两者融合,形成多无人机协同任务规划统一目标函数;其次,在强化学习框架下,分阶段构建协同任务规划的状态空间和动作空间,并根据统一目标函数设计奖励函数;提出一种改进的蒙特卡洛树搜索强化学习算法,在统一目标函数最大收益下实现对无人机目标分配和突防决策问题的求解;最后,通过对比仿真实验验证所提出的方法的时效性和最优性。研究结果表明：相较于传统方法,所提出的方法在提升收敛程度的同时,将训练时间减少了15%。     

基于威胁博弈理论的决策级融合模型

针对多传感器信息融合系统中普遍存在的冲突信息环境下的融合系统决策问题,提出了一种新的基于威胁博弈的决策级信息融合模型·该模型将冲突环境下的融合过程视为局部决策空间、策略空间和全局决策空间上的变换过程,并以此构建融合中心的一种结构模型·在融合算法的研究中,以威胁博弈的算法实现融合中心的多传感器交互决策·在应用中将该模型用于丰满水电仿真系统调速器PID模型的参数在线调整·经现场应用表明,该模型可以有效地解决原PID模型参数整定困难而导致的系统转速和频率振荡等问题·     

基于三支理论的无人机对地攻击认知决策方法

针对无人机对地攻击过程的自主化问题,为使无人机能够有效规避突发的地面火力威胁,研究借鉴人类智能的认知决策方法。通过分析无人机的对地攻击过程,建立了对地攻击模型,将无人机对地攻击过程中的机动行为归纳为3种方式,运用描述人脑认知思维的三支决策理论,提出了一种基于三支决策的无人机对地攻击认知决策方法。通过与其他类自主攻击决策方法的对比分析和仿真实验表明,提出的方法能使无人机合理规避攻击过程中突然出现的防空火力单元威胁。     

无人机掩护岸舰导弹突防效果仿真分析

为有效提升岸舰导弹突防能力,采用无人机(unmanned aerial vehicles, UAV)分布式作战对抗敌方舰载雷达。基于雷达探测方程和干扰方程,建立无人机干扰下雷达暴露区计算模型,并对无人机阵位配置情况进行分析。结果表明：无人机的干扰方向、干扰功率及干扰距离对舰载雷达探测性能有重要影响,无人机分布式作战能够有效降低雷达的作战效能,从而为岸舰导弹突防提供有利条件,作为全新的作战样式也为未来研究无人机的战术运用奠定重要理论基础。     

基于马尔可夫决策过程的社团演化干预

社团的演化往往是复杂多变的，如何对这些嵌入在网络中的社团进行个性化干预，使得不同的社团朝着不同的既定方向演化的研究逐渐成为社交网络领域的一个重要问题.在社团演化的干预框架下，基于状态转移视角，提出了基于马尔可夫决策过程的社团演化干预模型.该模型通过对社团状态维度分数与干预目标的综合考虑，确立社团演化过程与马尔可夫决策过程的对应关系，对社团演化中的状态、动作、回报进行精细建模，同时将社团演化期望回报与研究者的奖励相对应，对马尔可夫决策过程求解，实现对社团演化的干预.在不同社团数据集上的实验结果表明，基于马尔可夫决策过程的干预模型能够对社团的演化进行有效的干预.     

基于改进型A*-Markov联合模型的无人机航路规划

实验一种基于改进型A~*算法来对无人机进行任务路径规划.引入了无人机的机动步长、转角限制和飞行高度,有效地缩减了无人机搜索空间,除此之外还引入了地形、任务等约束条件,使航路规划更接近于真实环境.考虑到规划过程中敌方能力的不确定性,以及无人机在航路中的生存概率的不可知性,采用八状态Markov模型评估无人机的飞行状态.该模型与A~*算法结合时在威胁区域内完成任务后,由于时间的积累向外扩展时生存代价值越高,导致迭代次数过多,而同心圆模型越向外扩展时生存代价值越低的优点可避免该问题,因此引入同心圆模型与Markov模型的联合模型.仿真实验结果表明,该方法可以有效地检测航路中飞机的各种状态的概率,以此对整个航路进行评估,并且有效降低了仅采用Markov模型时在威胁区域内完成任务点后规划新航路迭代次数过多的问题.     

无人作战飞机数据链延时对攻击决策的影响及其补偿

数据链是无人作战飞机与地面控制系统之间的纽带,但是数据链延时会使地面操作员对战场态势的判断存在滞后和误差,从而易引起决策不当。在分析了无人作战飞机对地攻击过程中数据链延时对攻击决策影响的基础上,采用Unscented卡尔曼滤波器估计了无人机和机动目标状态,然后采用一种状态外推算法和马尔科夫加速度模型分别对二者的状态进行了预测。仿真结果表明,该方法对数据链延时具有较好的补偿作用,可以减少因数据链延时造成的不良影响。     

基于LMDP的机器人任务规划建模

针对经典规划模型和马尔可夫决策过程(MDP)模型的不足,提出了一种轻量马尔可夫决策过程(LMDP)模型.此模型在MDP模型上作了简化,使其既能描述实际任务中不确定性的特点,又有效降低了状态转移的分支系数,从而适用于大规模的问题.另外,利用经典规划领域的启发函数对LMDP问题进行初始化,能够大大加快收敛速度.最后以机器人酒吧任务为例,将此模型与基于MDP模型的Prost规划器在不同问题规模下进行对比,实验结果表明此模型能有效加快求解速度,并能够更好地适应大规模实际环境.     

保险失效或退保概率的马尔可夫链预测模型

利用连续时间时齐马尔可夫链构建关于保险失效或退保概率的预测模型,用以计算任一时刻处于各个状态的概率,并给出参数估计的方法.由于实际中保单的状态在特定的时刻会发生离散事件,因此使用多阶段的马尔可夫链模型来刻画这一特点,即在发生离散事件的特定时刻,定义一个跳跃矩阵描述该时刻的状态转移情况.将该模型应用到保险公司的寿险失效或退保概率的研究中,通过实际的数据对模型参数进行估计和校准,通过校准的马尔可夫链模型对其寿险失效或退保概率进行预测并得到较好的预测结果.     

基于动态优先级的奖励优化模型

传统的约束马尔可夫决策过程(constrained Markov decision process, CMDP)模型用来解决多目标决策的困难,但该模型缺乏通用性并且只适用于离散环境。为了解决这一问题,提出一种基于CMDP的改进算法CRODP,与强化学习(reinforcement learning, RL)算法结合,将带约束问题建模为拉格朗日公式,其中包含着深度强化学习的策略参数。然后进一步推导出模型参数的更新公式,并将其作为深度强化学习神经网络的损失函数。模型在学习过程中动态调整约束与主要目标之间的权重以确保最终策略符合给定的约束。在若干机器人平台上与基准的深度强化学习算法进行比较,显示本算法得出的最优策略能够更好地满足相应约束。     

基于空间正交曲率信息的三维曲线重构方法分析

面向高性能飞行器结构形态主动监测研究背景,以光纤光栅柔性细杆机敏结构为研究模型对象,侧重于空间正交曲率信息的三维曲线重构方法分析和研究.在简述基于正交分布式光纤光栅传感阵列曲率检测原理基础上,进行空间三维曲线重构方法分析,并给出了详细的算法过程和实现步骤,同时进行了离散曲率连续化方法分析;基于V isual C++开发平台及OpenGL技术,针对方法研究结果与算法分析过程,开发可视化仿真实验环境进行了实验分析与验证,基于3种离散曲率连续化方法进行图形重构效果对比;实验分析结果不仅表明了3维重构方法与实现过程的有效性,而且获得了离散曲率连续化方法上的相关有益结果.     

基于灰色马尔可夫链的农民平均收入实证研究

将灰色理论和离散状态的马尔可夫链相结合,用灰色马尔可夫链对农村居民人均纯收入进行实证研究.针对灰色数据系列首先用GM(1,1)模型进行趋势预测,然后利用马尔可夫状态转移概率矩阵预报方法对其预测值进行二次拟合,得到马尔可夫链预测精度明显高于GM(1,1)模型预测.     

基于灰色马尔可夫模型的专利申请量增长率预测

由于专利申请量年平均增长率受多种因素的影响,本文把专利申请量年平均增长率的变化过程视为一随机过程,将灰色系统理论与离散状态的马尔可夫链相结合,提出了专利申请量年平均增长率变化过程的灰色马尔可夫预测模型。在状态划分过程中,采用均值一标准差分级法进行指标分级与状态划分,在实例分析中,把11年的专利申请量年平均增长率资料划分成五种状态。预测分析结果表明,利用灰色马尔可夫预测模型进行专利申请量年平均增长率的变化过程预测是可行的。