一种深度强化学习的机械臂控制方法

针对工业液压机械臂末端控制精度受惯性和摩擦等因素影响的问题,提出了一种基于深度强化学习的机械臂控制方法.首先,在机器人操作系统环境下搭建仿真机械臂并进行控制和通信模块设计.然后,对深度确定性策略梯度(DDPG)算法中的Actor-Critic网络进行设计,并基于机械臂逆运动学与深度强化学习奖励机制,设计了一种包含精度指...     

一种机械臂像素级抓取检测方法的研究

目的 针对在平面抓取的场景下,机械臂如何感知目标物体的位置信息并完成抓取作业,提出了一种兼顾检测速度和精度的抓取检测网络。方法 根据抓取检测任务中输入与输出尺寸大小相同的特点,采用语义分割思想设计了抓取检测网络;输入为随机裁剪后的深度图片,输出为同尺寸的抓取置信度、抓取角度和抓取宽度特征图;为了提高平面抓取任务的效率,在综合考虑检测网络速度和精度的情况下,对网络结构进行了改进,除了在网络结构中加入了注意力机制外,还使用U-net和Deeplabv3算法替换了网络的主体结构;通过对比实验认为加入注意力机制的检测网络在检测速度和检测精度上平衡得较好,能够实现抓取任务,将抓取位姿传输给ROS系统,通过一系列的坐标变换和运动规划进行了抓取作业。结果 添加注意力机制后,检测网络的推理时间仍为毫秒级,最大抓取置信度提高了7.2%;采用U-net和Deeplabv3的网络检测速度较慢,U-net网络的抓取置信度Q_max提高了18.8%,Deeplabv3网络的准确率A_cc提高了12.8%;由于抓取检测网络应同时考虑检测速度和精度,因此加入注意力机制的检测网...     

基于触觉阵列感知的机器人稳定抓取判别方法

针对传统的单点压力传感器获取的接触力无法完备反映机器人的抓取接触状态,难以实现准确的机器人抓取状态判别的问题,基于触觉阵列传感器的多点感知特性,提出一种高效高准确率的机器人稳定抓取判别方法．首先,采集机器人抓取属性各异物体时的接触分布力信息,建立分布力与触觉图像的映射,构建机器人抓取触觉图像数据集;基于多层感知机框架建立机器人抓取状态判别模型,实现机器人抓取状态的分类．然后,通过训练并对多层感知机在不同模型层数与节点数下的模型性能进行优选,得到抓取状态判别模型的最优参数,进而与多种基于学习的抓取判别算法进行对比．结果表明：所提出的抓取状态判别方法具有99.74%的判别准确率,平均耗时为2.3 ms,在判别精度和速度上均优于基线算法;通过实物抓取实验,该方法的判别准确率达到94%,充分证明其对数据集外物体的稳定抓取判别具有较强的鲁棒性．     

基于视觉定位的七轴机械臂目标抓取研究

针对机器人结合机器视觉在面对特定物体进行抓取任务时,系统设计工作量大、可移植性差的问题,提出基于机器人操作系统(ROS),结合手眼的七轴机械臂目标抓取方法,在ROS框架下利用协作机器人FRANKA PANDA结合RGBD摄像头进行目标抓取。创建了RGBD摄像头的xacro机器人模型,利用RViz进行三维模型的可视化操作;应用MoveIt!软件对RViz和Dazebo进行联合仿真;将ROS获取的图像信息发送给OpenCV库进行图像处理及物体定位,然后将物体坐标信息发还给ROS进行机械臂抓取任务。结果表明,该方法简单有效,以ROS为基础设计的抓取方法可移植性强,解决了面对复杂多样的物体,机器人系统需进行大规模控制改动的问题。     

基于抓取模式识别的欠驱动灵巧手抓取方法

针对桌面上单个物体场景的抓取任务,提出一种基于抓取模式识别的欠驱动灵巧手自主抓取方法．受人类抓取策略启发,基于四种典型抓取模式建立物体的抓取模式数据集,并通过深度学习预测物体的抓取模式和抓取区域,利用图像处理获得抓取角度,从而简化欠驱动灵巧手的抓取规划．深度学习算法在测试集中的识别准确率达98.70%,对未知物体的识别准确率达82.70%,具有较好的泛化能力．当执行自主抓取时,深度学习方法的不准确性通过欠驱动手的自适应性得到了一定的补偿．通过UR3e机械臂搭载欠驱动灵巧手对24个物体进行抓取实验,在120次抓取中平均成功率为90.80%．实验结果表明所提方法能适应不同形状大小的物体,具备抓取实用性．     

基于深度学习和激光多普勒测振技术的机械臂电机故障时频尺度诊断方法

机械臂电机振动信号的采集效果较差,影响时频特性分析过程,导致故障诊断效果与精度较差,为此提出基于深度学习和激光多普勒测振技术的机械臂电机故障时频尺度诊断方法。使用激光多普勒测振技术与小波阈值去噪算法,建立机械臂电机振动信号采集系统,获取并重构故障信号;提取电机振动信号的时域、频域等尺度特征,引入人工神经网络建立一个具备学习能力的故障诊断模型,将提取的机械臂电机故障时域、频域等尺度特征输入诊断模型中,输出分类诊断结果,即可完成机械臂电机故障时频尺度诊断。结果表明：利用该方法开展电机故障诊断时,检测结果与实际电机故障类型之间偏差较小,诊断效果好、精度高。     

基于改进CenterNet的机械臂抓取检测

在机械臂的抓取检测中,基于Anchor-based的方法需要考虑很多超参数的选择和设计,难以有效提高算法整体性能.针对该问题,本文将抓取检测转换为关键点检测问题,基于CenterNet提出一种改进的抓取检测模型.首先,该模型重点解决寻找抓取框中心点的问题,其本质是对中心点进行关键点估计,从而降低抓取检测的复杂程度;其次...     

基于完备抓取构型和多阶段网络的软体手抓取

视觉引导的软体手抓取依赖视觉输出正确的抓取位置、抓取角度和抓取深度,为此提出了面向多手指软体手的完备抓取构型数学模型和多任务损失函数,设计了基于"锚点"旋转框的两阶段深度学习网络,实现了从图像到软体多手指抓取指令的直接映射.通过公开数据库和自建数据库分析了网络模型的性能表现.研究结果表明:多任务损失函数和基于"锚点"旋转框的两阶段网络模型有效提高了多输出抓取检测的准确率和机器人抓取的成功率.最后,构建了机器人软体手抓取系统,抓取实验结果表明:所提方法对视觉定位误差具有一定的抓取稳健性,可成功抓取不同种类的水果,能够达到96%的抓取成功率,对水果皮的抓取也具有很好的泛化能力.     

基于深度强化学习的区域化视觉导航方法

针对移动机器人在分布式环境中的导航问题,提出一种基于深度强化学习的区域化视觉导航方法.首先,根据分布式环境特征,在不同区域内独立学习控制策略,同时构建区域化模型,实现导航过程中控制策略的切换和结合.然后,为使机器人具有更好的目标导向行为,在区域导航子模块中增加奖励预测任务,并结合经验池回放奖励序列.最后,在原有探索策略...     

基于多模态深度神经网络的抓取检测方法

针对机器人抓取检测任务中对未知物体抓取检测精度低的问题,本文提出了一种多模态深度神经抓取检测模型。首先,在RGB和深度两个通道中引入残差模块以进一步提升网络的特征提取能力。接着,引入多模态特征融合模块进行特征融合。最终通过全连接层回归融合特征以得到最佳抓取检测结果。实验结果表明,在Cornell抓取数据集上,本文方法的图像拆分检测精度达到95.7%,对象拆分检测精度达到94.6%。此外,本文还通过消融实验证明了引入残差模块可以提高网络抓取检测性能。     

一种基于深度强化学习的SDN路由算法

为解决软件定义网络(SDN)中的流量工程(TE)问题,提出了一种深度强化学习路由(DRL-Routing)算法.该算法使用较全面的网络信息来表示状态,并使用一对多的网络配置来进行路由选择,奖励函数可以调整往返路径的网络吞吐量.仿真结果表明,DRL-Routing可以获得更高的奖励,并且经过适当的训练后,能使各交换机之间...     

基于深度强化学习的分布式能源系统运行优化

分布式能源系统凭借其高效、环保、经济、可靠、和灵活等特点成为中国能源未来发展的重要方向。目前中国的很多分布式能源系统经济效益较差,主要原因是能源系统没有良好的运行策略。提出了一种基于深度强化学习的分布式能源系统运行优化方法。首先,对分布式能源系统的各个设备进行数学建模;其次,深入阐述了强化学习的基本原理、深度学习对强化学习的结合原理及一种基于演员评论家算法的分布式近端策略优化(distributed proximal policy optimization, DPPO)算法流程,将分布式能源系统运行优化问题转化为马尔可夫决策过程(Markov decision process, MDP);最后,采用历史的数据对智能体进行训练,训练完成的模型可以实现对分布式能源系统的实时优化,并对比了深度Q网络(deep Q network, DQN)算法和LINGO获得的调度策略。结果表明,基于DPPO算法的能源系统调度优化方法较DQN算法和LINGO得到的结果运行费用分别降低了7.12%和2.27%,可以实现能源系统的经济性调度。     

基于强化学习的多机器人编队导航

针对多机器人系统在未知环境编队导航过程中遇到较长障碍物时,顺时针绕障和逆时针绕障的不同选择会给导航效率带来很大影响的问题,提出了一种三层强化学习方法。由高层的基于“条件-行为对”的在线学习适应环境障碍物的动态变化,中层采用角色交叉包含式控制结构保持队形,底层采用离线式常规强化学习机制获得避碰规则。仿真实验结果表明,由于只在高层保持在线学习,使学习空间得以缩小,学习时间得以缩短。该方法为复杂环境下的多机器人编队导航提供了一种有效的自主学习策略。     

一种基于深度强化学习的室内声学行为识别方法

对声学行为识别的研究目前主要依赖于特定用户的数据,且需要过滤异常值,导致较难获取可用于训练的数据集.提出了一种基于梅尔频谱图与Google AudioSet中提取的embedding的新策略,保证了模型的泛化能力,摆脱了依赖特定用户数据的限制.使用深度强化学习方法对11种常见室内行为进行识别,动态控制数据分布,解决数据不平衡问题.总体识别准确率达到87.5%,对每个行为的识别准确率均超过了83%.     

深度强化学习的通用插件研究综述

深度强化学习的通用插件是一种可附加于大部分原生算法之上,并与其他种类插件兼容的算法类型。根据环境的不同,原生算法加入合适的插件后形成了不同的变体,并在训练速度、稳定性等方面取得了更好的效果。根据各类变体包含的通用插件在训练流程中的共性,将它们分为了6类,包括通用网络模型、内在奖励、经验回放、自我博弈、模仿学习和课程学习。综述了这6类算法中常用的通用插件,介绍了它们的应用场景和在深度强化学习中的主要作用,提出了未来的研究重点：1)提高经验利用效率;2)设计和训练出通用神经网络架构;3)提高算法在稀疏奖励环境的探索效率;4)提高算法在现实中应对各种突发状况的能力。     

基于再励学习的歼击机安全着陆横侧向协调控制

基于大系统递阶控制思想,提出了一种运用再励学习算法设计歼击机自动着陆横侧向协调控制系统的方法.将再励学习算法引入歼击机着陆阶段的横侧向子系统的协调控制中,对滚转通道和航向通道的控制器参数进行在线寻优,提高了在线补偿神经网络消除非线性系统逆误差的能力,有效地改善了歼击机着陆阶段横侧向控制子系统的鲁棒性能.通过将这种方法应用于某型歼击机自动着陆控制的实时仿真研究,仿真结果表明了本文方法的有效性和可行性.     

基于深度强化学习与流固耦合技术的鱼类自主游动行为模拟

鱼类自主游动的模拟问题一直是仿生学、鱼类行为学以及生态水力学等诸多学科共同关注的重要难题。建立一种基于流固耦合数值模拟技术与深度强化学习算法的智慧鱼体自主行为决策平台,可以实现鱼体在不同周围环境条件下以最优决策方案完成游泳任务。该平台采用深度强化学习算法实现鱼脑功能,模拟其不断学习和最终决策;通过浸没边界-Lattice Boltzmann方法对流场及鱼体运动进行实时模拟,可为鱼体提供丰富的训练样本并执行鱼脑决策。基于该平台对鱼类典型捕食运动以及卡门游动进行训练并分析其训练效果。仿真结果表明：在捕食游动问题中,具有不同初始位置偏角的鱼体均能以最优轨迹到达目标点;在卡门游动问题中,鱼体能自主调节尾拍频率,使之接近涡街脱落频率,进而从卡门涡场中吸收能量,以稳定步态在涡街中运动。在鱼类自主游动问题的研究方面,该决策平台较传统物理实验具有更强大的复杂流场适应性,并可为水利工程、生态环境工程等领域的数字孪生提供技术支持。     

基于强化学习的特征选择方法及材料学应用

随着大数据、人工智能以及高性能计算的快速发展, 数据驱动的新材料研发成为研究热点. 在对材料数据进行数据挖掘的过程中, 需要对特征集合进行预处理, 通过减少无关冗余特征, 不仅可以避免模型过拟合, 还能提高模型的可解释性. 基于此, 提出了一种基于强化学习的特征选择(feature selection based on reinforcement learning, FSRL) 算法, 将封装式特征选择抽象成机器学习模型和环境互动的过程, 并根据利益最大化准则将对应特征加入特征子集中. 同时, 为了提高模型的预测精度, 还提出一种基于符号变换的特征构造方法来生成新的特征. 最后, 将所提出方法应用到非晶合金材料的分类预测任务和铝基复合材料的回归任务中. 实验结果表明, FSRL 算法的分类准确率最高提升了 2.8%, 而在回归任务中, 基于特征构造的 FSRL 算法使得预测精度最高提升了 22.9%.     

考虑电动汽车充放电的智慧社区强化学习能源优化调度策略

为提高智慧社区能源系统(smart community energy system, SCES)运行的经济性,引入了电动汽车作为储能设备,并在此基础上提出了一种基于强化学习的新型智慧社区能源系统运行优化调度策略。首先,基于各能源设备运行机理构建了新型智慧社区能源系统模型,该模型考虑了电动汽车作为储能设备入网运行对负荷和供需平衡的影响。其次,将电动汽车分为耗能组和储能组,分别作为用电负荷和储能设备参与系统运行。分析了新型智慧社区能源系统多种能源设备的能量耦合关系,进而建立了电动汽车及各能源设备的非线性约束条件,并重新设计了算法的状态空间、动作空间以及奖励函数。再次,运用基于深度双Q网络(double deep Q network, DDQN)的新型智慧社区能源优化调度策略解决能源系统运行优化问题。最后,以某社区为例,仿真验证了所提策略可有效提高智慧社区能源系统运行的经济性。     

对称和非对称的启发式多Agent再励学习方法

针对解决对传统的多A gen t再励学习算法中,A gen t只能独立学习、不能合作学习的问题和启发式算法中只考虑了单个A gen t而没有推广到多A gen t的情况,给出了对称和非对称环境下的基于启发式的多A gen t再励学习算法。该算法基于A gen t之间的通信来获取其它A gen t的历史信息,以及动作选择策略,结合启发式算法思想,达到A gen t在学习过程中的合作的目的,最终提高学习的效率。以2个A gen t的2个状态3个动作选择为例,表明该算法的收敛速度高于传统分布式再励学习算法的收敛速度。