基于中美基金项目数据的深度学习领域研究热点对比分析

与传统研究成果类型不同，基金项目数据中蕴含的潜在情报更具有战略性和前瞻性。本文使用文本挖掘方法，对中美深度学习领域基金项目数据进行挖掘与分析，从资助强度、发展态势、主题聚类及热度演化角度进行分析，对比中美深度学习领域研究热点的异同及热点演化情况。研究发现，中美深度学习领域基金项目数量自2010年后呈上升趋势，发展势头较好，且两国均出台相关政策支持该领域发展。但中美两国在研究的侧重方向上有所不同，美国侧重深度学习基础理论、算法研究，中国在深度学习更关注应用层面的落地情况。在应用层面上，美国更重视生物医学、经济领域、图像识别领域及硬件设备应用，中国不仅重视生物医学领域、同时使用深度学习相关算法对地学领域、多媒体领域的数据应用较多。新兴研究方向上，对深度学习硬件设备及应用方向成为美国的近年来研究热点方向，而中国较新的研究热点方向在于将深度学习应用到生物信息领域。未来我国应加大科研经费的投入，支持人工智能领域的自主创新发展；发挥在地学领域应用、图像和计算机视觉、多媒体领域、以及中医领域应用的科技布局优势，形成成果转化新生态；应关注和加强对理论算法的研究，提高技术实力并掌握科技主动权；对软硬件及...     

因果推理引导的复杂花纹织物缺陷视觉检测深度学习方法

AI视觉质量检测是两化融合的先导场景,是复杂产品质量管控的重要手段.本文以复杂花纹织物为对象,提出因果推理引导的产品缺陷视觉检测深度学习方法,从而解决复杂背景干扰下的视觉检测难题.首先,构建复杂背景干扰下的缺陷检测结构因果模型,并提出阻断背景特征干扰的因果干预策略.其次,在因果干预策略的基础上建立缺陷特征敏感性神经网络(defect feature-sensitive neural network, DFSNN),包括两个特征提取模块(分别以同视角的无缺陷、有缺陷面料图像作为输入).然后,提出了因果关系敏感性学习模块,其差分两个特征提取模块的输出,并通过最大化输出差分来构建因果敏感损失函数,从而实现训练过程中对背景特征的阻断和对缺陷特征的敏感性学习.实验结果表明, DFSNN可有效减弱背景图案的混淆干扰,保持95%的缺陷识别准确率.     

基于视觉推理的机器人多物体堆叠场景抓取方法

基于视觉的机器人抓取方法是研究智能机器人抓取问题的重要思路.本文提出了一种基于机器视觉推理的适用于多物体堆叠场景的机器人抓取方法,算法包含了场景理解和抓取规划两个步骤.在第一步的场景理解中,本文的算法包含两个主要部分:视觉操作关系推理和抓取部位检测.在视觉操作关系推理中,本文提出了一种基于深度卷积网络的视觉操作关系网络(Visual Manipulation Relationship Network, VMRN),以对物体和操作关系进行实时推理.在视觉操作关系网络中,通过设计物体对池化层,实现了物体检测和操作关系推理的端对端训练,提升了算法的速度和性能.在第二步的抓取部位检测中,本文提出了基于有向锚点框的全卷积视觉抓取部位检测网络,实现了对物体抓取部位的实时检测,并在康奈尔抓取数据集上取得了目前最高的精度.在抓取规划中,通过结合场景深度信息和抓取部位检测结果,获取当前被抓取物体的抓取点和对应的抓取向量,并通过坐标系变换将Kinect坐标系的抓取向量映射为机器人坐标系的抓取向量,完成当前抓取.实验结果表明,本文提出的机器人抓取方法能够在多物体堆叠环境下按照正确顺序完成抓取任务,并成功抓取目标物体.     

基于深度强化学习的机械装备剩余使用寿命预测方法

随着机械装备发展的日益大型化和复杂化,其使用安全性和可靠性也越来越受到重视.剩余使用寿命(remaining useful life, RUL)预测技术,通过分析设备的运行数据,预测设备还能正常运行的时间,利用该技术可有效提升设备运行的安全性和可靠性,同时可为设备的后续维修决策提供关键依据.本文提出一种基于深度强化学习(deep reinforcement learning, DRL)的RUL预测方法,首先通过自编码器(autoencoder, AE)对机械装备的原始信号进行特征提取,利用提取到的特征构成强化学习的状态变量,通过设置合适的动作空间和奖励函数训练强化学习模型,使其能依据样本间的时序相关性对装备的RUL进行准确预测.与其他方法相比,强化学习方法的时序交互决策逻辑可以自然地保留样本间的时序依赖关系,降低了RUL预测的波动性.最后利用涡轮发动机数据集CMPASS对提出的方法进行实验验证,所提出的方法在RMSE和Score两项指标上均优于目前多种RUL预测方法,且所提出方法对于接近退化末期的装备预测效果有明显提升.     

基于深度强化学习的不完美信息群智夺旗博弈

复杂环境中群智博弈问题是近年来的研究热点之一.为解决不完美信息条件下多智能体夺旗博弈问题,本文提出了一种基于多智能体双重决斗深度Q网络(multi-agent dueling double deep Q-network, MAD3QN)以及图注意力网络(graph attention network, GAT)的多智能体夺旗博弈深度强化学习算法(G-MAD3QN).该算法在实现多智能体在迷宫地图中路径规划的同时,建模不完美信息条件下多智能体合作与竞争关系,从而确定夺旗博弈策略.在实验中,本文基于二维迷宫环境,考虑智能体观测信息不完美条件,将G-MAD3QN算法与多智能体深度Q网络(multi-agent deep Q-network, MADQN)、MAD3QN等多智能体深度强化学习的基线算法进行对比,从而验证了在二对二夺旗博弈中本文G-MAD3QN算法的有效性.     

基于多尺度卷积网络的非朗伯光度立体视觉方法

光度立体视觉作为一种精细三维测量技术广泛应用于三维重构、缺陷检测、生物医疗等领域,但传统反射模型对材质真实物理特性的反映能力有限,对于如光亮金属等具有非线性光反射特性的非朗伯表面适应性不佳,极大地限制了该技术的进一步应用.本文提出了一种基于深度学习多尺度卷积架构的光度立体视觉算法,实现了对非透明材质表面在任意光照条件下的高精度法向量恢复.算法在深度网络中设计了多尺度卷积结构,小尺寸卷积核强化了模型在光度物理原理上的表达,使得模型在细节预测上具备优势,大尺寸卷积核鼓励深度网络利用邻域特征,提升模型克服阴影和区分多种材质的能力.为进一步处理任意光照条件的问题,算法设计了对入射光照向量空间的多分辨三维极坐标划分方法,在整合输入图像信息的同时,充分发挥了多尺度卷积的效能.实验结果表明,多尺度卷积深度学习架构有效集成了光度原理和深度学习二者的优势,在保留精细三维形貌恢复能力的同时,极大提高了针对非朗伯表面的适应性,为光度技术的广泛应用提供了有力的技术支持.     

基于自适应多特征融合的双重图像退化修复网络

当前图像修复方法大多局限于处理某个单一特定任务,如超分辨率、去噪、着色等,很少有网络模型同时具备处理双重退化的能力.而现存可以解决多重图像退化问题的算法普遍结构复杂、训练时间长、人力成本较大.本文提出一种基于自适应多特征融合的双重退化修复网络(adaptive multi-feature fusion dual degradation restoration network, AMFNet),利用自引导模块(SGM)融合图像的多尺度信息,有效去除了图像中的部分缺陷;使用带有空洞卷积的编码解码器模块巩固图像的语义信息,实现了中间图像的着色;引入带有自适应多特征融合模块(AMF)的中间信息传输机制(ITM)链接以上两大结构,自适应选择保留网络递进过程的图像特征以避免有用信息的丢失.实验结果表明,基于自适应多特征融合的双重图像退化修复网络模型视觉生成效果最优,通过在CelebA和Landscape数据集上的测试分析,其结构相似度(SSIM)与感知图像补丁相似度(LPIPS)优于同类方法,而峰值信噪比(PSNR)则远超同类方法高达5 dB.     

快速评估颗粒污泥性能的无锚实例分割方法

现有的Anammox颗粒污泥性能评估方法中,生化反应等效测定的方法较为精确但耗时长,基于图像颜色建模的方法足够快但不够精确.因此本研究基于实例分割任务,提出一种新的结合颗粒污泥视觉特征(如颗粒污泥颜色、尺寸、粗糙度等)进行性能评估的模型,使其能够在快速评估的同时保证较高精度.首先设计采样方案,收集颗粒污泥图像后进行图像标注,进而构建颗粒污泥图像数据集.针对图像场景中样本不均衡和小目标信息难提取的难点,本研究对无锚实例分割方法BlendMask进行改进,在主干网络上结合可变形卷积提取小目标信息,在头部网络上提出自适应样本选择策略平衡样本,并重新设计了后处理、损失函数与数据增强等模块,使改进后的BlendMask方法能快速精确提取图像场景中的颗粒污泥个体.然后获取颗粒污泥的视觉特征,设计视觉特征与性能的关联模型,判别输入图像的性能类别.相比之前的研究,本文提出的方法能够快速精确地获得颗粒污泥的性能评估.最后比较了所提出改进的BlendMask方法和先进方法在颗粒污泥图像分割和性能评估方面的表现,实验结果表明,改进的BlendMask和性能评估模型精度分别提升了3.93%和1.49%,方法取...     

时空上下文融合的无人艇海面目标跟踪

视觉感知作为无人艇环境感知的重要组成部分,为无人艇智能控制提供十分重要的外界信息.准确、鲁棒且实时的海面目标跟踪算法可以有效提升无人艇的智能化水平.海面目标跟踪面临着几个独特的挑战:目标尺度变化极大、目标视角变化极大、目标抖动剧烈.为了解决上述海面目标跟踪任务中面临的三个难点,本文提出了一种时空上下文融合的目标跟踪算法,该算法结合了深度网络多尺度检测的图像空间上下文信息和相关滤波跟踪的视频时间上下文信息,实现了实时、精确且鲁棒的目标跟踪效果.最后,以无人艇在东海、南海实际作业场景中采集的图像数据作为跟踪算法的测试集,验证了该跟踪算法的有效性.     

基于RBF神经网络的烧结终点预测模型

本文提出一种基于径向基函数(RBF)神经网络的烧结终点预测模型.该模型首先采用改进的最近邻聚类算法确定径向基函数中心,接着应用递推最小二乘法训练网络的权值.通过现场采集数据对该模型进行仿真,其实验结果表明,该模型具有较好的学习能力和泛化能力,为烧结终点的预测提供了一种新的解决方法.     

BP网络学习能力与泛化能力满足的不确定关系式

分析BP网络过拟合出现时网络学习能力及泛化能力与其他影响因素之间的内在联系, 引入复相关系数描述样本复杂性程度; 遵循计算不确定性原理和神经网络结构设计的最简原则, 类比信息传递过程中的一般测不准关系式, 建立了BP网络过拟合出现时, 反映网络学习能力的训练样本集的训练相对误差与表征泛化能力的网络对检验样本集的测试相对误差之间满足的不确定关系式; 通过模拟多种不同类型函数的BP网络过拟合数值模拟实验, 确定了关系式中过拟合参数q的取值范围一般为7×10^−3~7×10^−2; 依据不确定关系式, 导出了在用复相关系数描述样本复杂性和满足给定逼近误差要求下, 网络具有较佳泛化能力的隐节点数的计算公式, 并验证了其合理性; 指出BP网络应用于给定样本集的训练过程中, 为改进泛化能力的训练最佳停止方法.     

基于时空图注意力模型的动态软测量建模方法

近年来深度学习由于其特征提取和非线性拟合等方面的优势,在软测量建模中得到了广泛的研究.而深度学习模型是一种黑箱模型,其预测结果难以解释,而且很难将关于过程的先验知识引入模型,这些缺点阻碍了它在实际工业过程中的应用.另外,工业过程数据是具有高度非线性和动态性的时间序列,其本质上反映的是过程随机变量随时间不断变化的趋势,其包含了重要的流程信息,因此在软测量建模过程中引入过程的动态信息是十分必要的.本文提出了一种时空图注意力模型(temporal-spatial graph attention networks, TSGAT),并将其应用在复杂动态工业过程的软测量建模.该方法通过给定变量间结构图来为模型引入先验知识,利用图注意力网络构建变量间的显式的非线性关系,并利用图注意力网络信息聚合的能力对每个时间步的数据完成图上的特征提取,再使用长短期记忆人工神经网络提取时序特征,进而完成对质量变量的预测.为了验证所提方法的有效性和优越性,将该方法应用在实际工业案例合成氨过程中的高低温转换器单元一氧化碳含量的软测量建模,实验结果表明,该模型不仅能够引入先验知识,而且具有较高的预测精度.     

基于深度强化学习与演化计算的风-水-火混合增强智能调度

火电、水电和风电是我国电力工业系统的三大能源主体,根据风-水-火发电互补特性,建立联合优化调度模型对于降低电力系统运行成本以及促进新能源消纳具有重要意义.然而梯级水电站间的时空耦合性、风电的不确定性以及风-水-火多能源相互关联的复杂约束使得联合调度模型求解较为困难.因此,本文提出了一种基于深度强化学习(deep reinforcement learning, DRL)与演化计算的混合增强智能优化框架.该框架首先利用深度强化学习与风-水-火联合调度模型进行交互,并根据交互数据对联合调度模型复杂规律进行持续学习,优化自身控制策略,提高智能体泛化能力.此后,在解决实际调度问题时,为进一步提升算法的个性化能力,利用演化计算算法(particle swarm optimization, PSO)在经过训练的DRL上进一步优化调度方案,实现风-水-火联合调度的快速决策.算例分析表明,所提出的混合增强智能优化框架求解速度快、寻优能力强,提升了DRL优化性能的鲁棒性,提高了风-水-火系统运行的经济性及风电消纳能力.     

使用三层神经元网络的先验信息新学习方法

提出一种使用三层神经元网络的先验信息的新学习方法. 通常, 当神经元网络被用于函数逼近时, 没有考虑权之间的关系而独立地学习, 这样, 学习的结果往往不理想. 其原因是在学习中权是相互影响的. 为了克服这一问题, 首先, 给出了一些有关权的先验信息, 然后基于此提出部分权学习和其余权由精确数学方程计算的新学习方法. 这方法在权的学习中几乎保持精确数学结构. 另外, 使用不等式先验信息的学习方法也被提出了. 无论使用不等式还是等式先验信息的学习, 因网络权的自由度被限制而加快了学习速度并保证误差较小. 数值仿真的结果支持提出方法.     

基于特征识别的增强现实跟踪定位算法

文中提出一种在场景自然特征识别基础上采用关键帧匹配的增强现实跟踪注册算法,实现了基于计算机视觉的户外大场景范围内的实时跟踪定位.算法针对关键帧匹配中的宽基线特征匹配问题,提出采用随机树的模式分类方法实现场景自然特征的离线训练和在线实时精确匹配.同时采用Kalman滤波器对参数估计结果进行平滑解决视觉跟踪定位中的抖动问题.以该算法为核心构建出基于视频透视式头盔显示器的移动增强现实系统,并将其成功应用于圆明园大水法景观的数字重现.真实场景实验验证表明,该方法具有实时、鲁棒的优点,适用于户外跟踪定位.     

紧致化神经网络的鲁棒性分析

深度神经网络(deep neural network, DNN)目前已经在很多视觉识别任务中达到了超越人类性能的表现.然而,将深度神经网络部署到真实场景的终端设备面临着两个挑战:首先,目前的深度神经网络模型非常耗费计算资源和内存,很难直接应用在资源受限的终端设备上;其次,真实场景的数据往往受到各种各样噪声的影响,因此部署在真实场景的模型应该拥有良好的鲁棒性(robustness).近年来出现了很多对深度神经网络进行压缩和加速的方法以适应真实场景的资源受限终端,而对这些压缩模型的鲁棒性分析也得到了越来越多的关注.本文首次对神经网络剪枝、量化及知识蒸馏等常用的压缩算法进行对抗鲁棒性及噪声鲁棒性分析,总结了不同压缩算法对神经网络鲁棒性的影响.并对目前同时解决神经网络鲁棒性及模型大小问题的一些方案进行了整理与分析,展望了该领域未来研究的技术挑战与可能的发展方向.     

流数据驱动的多层非线性动力学网络重构

现实世界中许多复杂的非线性动力学系统需要用多层网络来描述.如何从观测到的流数据中揭示多层非线性动力学网络结构的重构问题是对动力学系统研究的核心问题之一.虽然学者们提出了许多从静态数据中重构多层动力学网络结构的方法,但是它们很难从流数据中重构多层网络结构.由于该问题的困难性,截止目前,还没有适用于流数据的多层非线性动力学网络重构模型及其优化算法.针对此,本文提出流数据驱动的多层动力学网络重构框架,称为OMNR(online multilayer network reconstruction). OMNR首先建立了流数据驱动的在线多层非线性动力学网络重构模型,然后提出一种基于FTRL(follow-the-regularized-leader)的在线学习方法来优化该模型. OMNR每次只考虑一个事例来更新网络结构,非常适合处理流数据.而且, OMNR空间复杂度非常低,适合大数据任务.最后,在多层网络的Lorenz和R?ssler动力学系统上验证了OMNR可以有效地解决流数据驱动的多层动力学网络重构问题,填补了流数据驱动的多层非线性动力学网络重构技术的空白.     

一种自适应小波网络的构造及其学习算法

基于小波框架的时频局部化性质和自适应投影算法,提出了一个新的构造和训练小波网络的学习算法,精确地刻画了有限维Hilbert空间自适应投影算法的指数收敛性.该算法充分地利用了包含在训练数据中的时频信息,迭代地确定小波网络隐层结点的个数和网络的权系数,较好地解决了小波网络的结构优化问题. 通过应用于信号的表示与去噪,进一步证实了该算法是简单和有效的.     

嫁接用苗生长状态无损测量技术的研究

利用机器视觉技术对蔬菜幼苗的生长特征信息进行了无损检测,该研究技术是定量化研究植物生长规律的关键技术之一,并为蔬菜自动化生产过程中的嫁接、移栽、间苗等作业提供必要的技术理论依据.该研究通过在温室内设计了一套计算机视觉系统,对多株群体蔬菜苗的生长进行了长时间、连续、快速的无损检测,并利用VB6.0编制了图像处理软件,提取了蔬菜幼苗的外部形态特征,经过图像处理软件分析得到蔬菜幼苗的日生长变化规律,发现蔬菜苗在夜间的生长率明显高于白天.研究表明,采用机器视觉及图像处理技术可以快速、准确地监测出蔬菜幼苗的外部形态特征量,能够对蔬菜生长状态进行直观测量,实现对蔬菜幼苗生长规的定量化研究,为蔬菜生产过程中相关作业的自动化提供可靠的理论依据.     

基于连续化制备的核壳结构压感纤维阵列式精准轮廓识别垫

记录和理解外界压力刺激对于人与周围环境交互的研究和智能机器人的开发具有重要意义.现有的压力传感设备多为刚性结构难以自然贴附于物体表面,且低密度传感单元使得物体压力特征信息的获取受到限制,一种可适形、全覆盖、高密度的压力传感与分析系统亟待研究.本文采用湿法纺丝工艺连续化制备了芯层为混纺导电芯材,包层为碳纳米管掺杂的聚氨酯的核壳结构压感纤维,通过缝纫、刺绣方式在织物表面构筑经纬结构的交叉点压力传感阵列.结合阵列数据采集实时捕获压力图谱帧,基于深度学习卷积神经网络驱动的算法模型,实现了物体轮廓识别垫对环境物体的轮廓精准分类识别.该识别系统准确率高达99.4%,证明了其在提取物体的压力信息和揭示物体的形态特征的应用潜能.