一类事件驱动马氏决策过程的Q学习

对广泛存在的一类事件驱动的平均费用型马尔可夫决策问题,通过分析其模型特征,研究了一种简单的增强型学习算法,不必将事件扩充为系统状态,而只对原始状态的值函数进行学习,减少了计算量和数据存储量。将算法应用于M/M/1排队系统的接纳控制问题,计算机仿真结果表明,算法优于通常的增强型学习和动态规划方法,验证了算法的有效性。     

基于分层马尔可夫决策过程的AUV全局路径规划研究

自主路径规划是自治式水下机器人(AUV)自主能力的重要体现,是保障AUV在大范围复杂海洋环境中自主完成使命作业的关键技术之一。提出了基于马尔可夫决策过程的路径规划方法;并建立了基本的马尔可夫决策模型和结合状态聚类的分层马尔可夫决策模型,同时给出了两种规划的仿真实验及结果分析。实验证明,此类方法能够很好地求解大范围复杂环境内AUV的二维路径规划问题。     

Revisiting the ODE Method for Recursive Algorithms:Fast Convergence Using Quasi Stochastic Approximation

Several decades ago, Profs. Sean Meyn and Lei Guo were postdoctoral fellows at ANU,where they shared interest in recursive algorithms. It seems fitting to celebrate Lei Guo's 60 th birthday with a review of the ODE Method and its recent evolution, with focus on the following themes:The method has been regarded as a technique for algorithm analysis. It is argued that this viewpoint is backwards: The original stochastic approximation method was surely motivated by an ODE, and tools for analysis came much later(based on establishing robustness of Euler approximations). The paper presents a brief survey of recent research in machine learning that shows the power of algorithm design in continuous time, following by careful approximation to obtain a practical recursive algorithm.While these methods are usually presented in a stochastic setting, this is not a prerequisite. In fact,recent theory shows that rates of convergence can be dramatically accelerated by applying techniques inspired by quasi Monte-Carlo.Subject to conditions, the optimal rate of convergence can be obtained by applying the averaging technique of Polyak and Ruppert. The conditions are not universal, but theory suggests alternatives to achieve acceleration.The theory is illustrated with applications to gradient-free optimization, and policy gradient algorithms for reinforcement learning.     

A New Theoretical Framework of Pyramid Markov Processes for Blockchain Selfish Mining

In this paper,we provide a new theoretical framework of pyramid Markov processes to solve some open and fundamental problems of blockchain selfish mining under ...     

决策支持系统中决策问题的识别方法

本文概要地介绍了按决策思维方式进行DSS集成化设计的决策支持过程,并在此基础上,探讨了一类支持制定决策方案(规划与计划)的决策支持系统中,决策问题的发现与构成方法。     

一种快速的测频算法

由于ESPRIT算法结构封闭,不需要搜索过程;而且输入数据阵经过简单的矩阵变换,可以由复数域变换到实数域,利用变换后的实数数据阵的特殊结构,引入基于实数运算的特征值求解过程,其运算复杂度明显减小;再者,ESPRIT算法结构本身便于并行处理等.依据这些特点,基于ESPRIT算法,给出了一种适用于雷达的快速测频算法.仿真结果显示算法测频精度高,运算复杂度小,适用于雷达快速测频.     

ISAR运动补偿的快速方法

本文提出的一种新的ＩＳＡＲ运动补偿方法，是在文献［１］的复相关包给对准及相位中心对准补偿方法基础上进行改进的。这种方法减少了运动补偿的运算量，提高了距离和相位对准的精度，并能显著地改善回波信号起伏时的目标成像质量。     

Two New Methods for Multiattribute Decision Makings with Information Partially Known

ＴｗｏＮｅｗＭｅｔｈｏｄｓｆｏｒＭｕｌｔｉａｔｒｉｂｕｔｅＤｅｃｉｓｉｏｎＭａｋｉｎｇｓｗｉｔｈＩｎｆｏｒｍａｔｉｏｎＰａｒｔｉａｌｙＫｎｏｗｎ⒇ＬＩＤｅｎｇｆｅｎｇＤｅｐａｒｔｍｅｎｔｏｆＢａｓｉｃｓ,ＤａｌｉａｎＮａｖａｌＡｃａｄｅｍｙ,Ｄａｌｉ...     

求解群体多目标决策问题的一种方法

引进了群体多目标决策问题的一种新的最优解概念──s-最优平衡解,它的实际意义是对于每个决策者而言在每个目标下都给出一个让步值.证明了求解s-最优平衡解等价于求解一个对应的单目标优化问题,并在一定条件下s-最优平衡解总是存在的.讨论了具有不同让步值的s-最优平衡解.数值例子表明这个方法对解决群体多目标决策问题具有一定的有效性.     

战术导弹对单个目标射击效能的马氏链决策分析模型

针对多发导弹攻击单个坚固目标时毁伤效能分析与评估这一复杂问题,运用马尔可夫过程理论建立了独立连射方式下多发战术导弹射击效能分析的马氏链模型.对于各发导弹精度、威力相同且不计毁伤积累的射击情形,建立目标毁伤过程的时齐马氏链模型,定量分析目标毁伤状态的变化;对于各发导弹精度、威力不同或考虑目标毁伤积累的射击情形,建立目标毁伤过程的非时齐马氏链模型;当考虑目标恢复时,建立由目标毁伤过程马氏链和目标修复过程马氏链组成的混合马氏链模型.     

一种用于CDMA系统的快速信道估计方法

信道估计是CDMA系统中的关键技术 ,涉及到对用户信号传播信道的幅度、相位和延时的估计。提出了对一个进入CDMA系统的新用户进行快速最大似然多径信道参数估计的方法。实验结果对比表明 ,本方法捕获性能好 ,且捕获的速度更快     

Markov控制过程基于性能势仿真的并行优化

Markov控制过程是研究随机离散事件动态系统性能优化问题的一个重要模型，并在许多实际工程问题中有着广泛的应用。在Markov性能势理论的基础上，我们讨论了一类连续时间Markov控制过程在紧致行动集上的性能优化仿真问题。由于实际系统的状态空间往往非常巨大，通常的串行仿真算法，可能耗时过长，也可能由于硬件限制而无法实现，故我们提出了一种基于性能势的并行仿真优化算法，来寻找系统的最优平稳策略。一个仿真实例表明该算法有较好的运行效率。该算法可应用于大规模实际系统的性能优化。     

一种基于MPLS流量工程的快速重路由算法

重路由技术已成为基于MPLS流量工程(MPLS—TE)中调整流量分布的主要手段。本文在分析了IETF制定的准标准快速重路由算法基础上，设计了一种基于MPLS流量工程的新快速重路由算法NEW—FR，并进行了仿真实验，实验结果和分析表明，该算法具有以下优点：消除了重路由时无共享链路节点对之间资资的双份占用情况、缓和了一次性报文流失序问题、大大降低了重路由切换时延和提高了重路由速度等。     

一种Fuzzy多属性决策模型

实际中的决策问题常常具有许多不确定性。本文建立了一种具有模糊权及模糊属性值的多属性决策模型。在模糊数的排序方法及线性运算法则的基础上，本文给出了该模型的求解方法。各方案的排序是依据其到模糊理想解的模糊距离大小进行的。     

基于性能势的Markov控制过程双时间尺度仿真算法

在基于性能势的随机逼近方法中引入双时间尺度的概念,提出了离散时间Markov控制过程的基于性能势的双时间尺度仿真梯度算法,弥补了传统算法中每步更新算法更新频率过快和更新环更新算法更新频率过慢的不足,并利用三个数值例子来说明双时间尺度更新算法在计算复杂度、收敛速度和收敛精度上的优势.     

一种两层多目标决策方法

一种两层多目标决策方法夏洪胜，盛昭瀚，徐南荣（厦门大学系统科学系，３６１００５）（东南大学管理学院，南京２１００１８）ＡＴｗｏ－ｌｅｖｅｌＭｕｌｔｉｏｂｊｅｃｔｉｖｅＤｅｃｉｓｉｏｎＭａｋｉｎｇＭｅｔｈｏｄＸｉａＨｏｎｇｓｈｅｎｇ（ＸｉａｍｅｎＵｎｉ...     

求解群体多指标决策问题的偏爱度法

对于离散的群体多指标决策问题，本文引进方案的优距数和劣距数，利用它们导出并定义了群体关于方案的偏爱度的计算公式和概念．以此为基础，本文给出一个对离散群体多指标决策问题进行排序的有效方法．     

Markov可修系统的蒙特卡罗方法

假设各部件的寿命分布和修理时间分布都为指数分布,且分布参数已知,本文用蒙特卡罗方法计算了单部件、双部件和三单件构成的串联、并联和串并联系统的可靠度、瞬时可用度、稳态可用度和故障频度等特征数量指标。为了检验蒙特卡罗模拟结果的准确程度,同时给出解析结果与之对比,表明该方法应用的正确性。     

基于概率地图方法的无人飞行器快速航迹规划

在复杂大范围环境下,针对可自主导航的低空飞行无人飞行器,设计了一种基于概率地图方法(PRM)的快速规划方法.先采用启发式策略构造概率地图,通过局部规划算法检测路标地图连通性,再应用图搜索算法规划出路径,最后通过剖面规划等优化手段对航迹进行完善.试验表明该方法具有较高的效率和环境适应性,可在单处理器上进行有效的快速航迹规划.     

一种舰船目标SAR回波的快速仿真方法

为满足合成孔径雷达(synthetic aperture radar,SAR)在海洋遥感的应用需求,提出一种舰船目标SAR成像的快速仿真方法。对成像场景中重点关注的目标进行精确电磁建模,并利用"四路径"模型计算目标与海面的复合散射回波,对海面背景采用散射面元法计算回波;将舰船复合散射回波与海面回波进行合成得到总的SAR回波,利用聚束SAR成像处理方法获得SAR图像。结果表明:该算法避免了对整个成像区域进行复杂的电磁仿真,能够有效降低对海面大场景的电磁计算效率。由于在目标区域采用高频电磁算法,保留了目标的电磁散射的精细结构,为精确模拟SAR回波提供了一种准确而高效的仿真算法。