鸽子强化学习过程中内部学习状态的动态建模研究

经典Q-learning强化学习模型中学习率为一固定参数,无法有效反映认知学习的动态过程。提出了一种将学习速率表征为时变参数的Q-Learning强化学习模型,给出了利用近期历史行为数据估计阶段性学习速率的方法。为了评估验证该模型的性能,设计了条件刺激与操作行为奖励无关→相关→无关三个阶段动态试验范式,用以观察和分析鸽子在随机强化、固定强化,以及固定强化关系消退等不同条件下的学习行为变化过程,采用动物触屏行为系统完成了3只鸽子颜色刺激-啄屏抉择认知训练,利用训练过程中不同session的行为数据对动态学习率进行了最小二乘估计。分析结果表明:可以获得更小的行为预测误差,误差下降收敛的速度更快,同时学习率的动态变化过程可以有效的反映动物认知行为训练过程中的内在学习状态。     

信鸽视顶盖中间层ON-OFF神经元在空间统一白噪声刺激下的编码

感知系统神经科学的一个基本目标是刻画刺激和神经元响应之间的功能性关系。空间统一白噪声（spatial uniform white noise,SUN）刺激包含了丰富的时间变化信息,SUN 刺激下的神经响应揭示了其时间编码属性。基于视网膜神经节细胞-视顶盖（retinal ganglion cells - optic tectum,RGC-OT）神经回路的信息整合假设,本文提出了信鸽视顶盖浅中层 ON-OFF 神经元 SUN 刺激响应的双滤波器半波整流模型,用于 SUN 刺激响应的预报。为解决凸优化问题,利用二次曲线对半波整流进行近似,将双滤波器模型转换为广义二次模型（generalized quadratic model,GQM）,然后进行优化,预报结果表明二次模型相比较传统的线性-非线性-泊松分布（linear nolinear possion,LNP）模型,获得了更好的预报效果。该结果也验证了 OT 神经元以不同的通路进行时变的亮度增强和降低的信息处理的假设。