| 结合视觉显著性与眼跳概率模型的视频注视点序列预测 |
| |
| 引用本文： | 罗灵兵,冯辉,胡波,王祺尧.结合视觉显著性与眼跳概率模型的视频注视点序列预测[J].复旦学报(自然科学版),2019,58(4). |
| |
| 作者姓名： | 罗灵兵 冯辉 胡波 王祺尧 |
| |
| 作者单位： | 复旦大学信息科学与工程学院电子工程系,上海200433;复旦大学智慧网络与系统研究中心,上海200433;复旦大学信息科学与工程学院电子工程系,上海200433;复旦大学智慧网络与系统研究中心,上海200433;复旦大学信息科学与工程学院电子工程系,上海200433;复旦大学智慧网络与系统研究中心,上海200433;复旦大学信息科学与工程学院电子工程系,上海200433;复旦大学智慧网络与系统研究中心,上海200433 |
| |
| 基金项目： | 国家重点基础研究发展计划 |
| |
| 摘 要： | 视觉注意力相关研究中,基于图像的视觉显著图预测研究较多,而针对视频的注视点序列预测研究相对较少.在充分考虑视频场景的动态特征与人眼视觉特性基础上,提出了一种同时利用视频底层与高层特征的注视点序列预测模型.使用隐马尔可夫模型(HMM)对注视点的转移序列进行建模,其中注视点的位置作为隐藏状态.首先,采用卷积神经网络(CNN)获得视频的视觉显著图,并将视频帧的显著值作为HMM的观测概率,表征注视点所在区域所能成功引起人视觉注意的程度;然后,使用视觉心理学中基于莱维飞行的眼跳概率模型对HMM状态的转移概率进行建模;最后,通过维特比算法推断整个视频最有可能产生的注视点序列.在HOLLYWOOD2数据集上进行视频的注视点序列预测实验,并和相关算法进行比较.实验结果表明:本文提出的模型的预测结果在Hausdorff距离与平均欧氏距离两项指标上都更优.
|
| 关 键 词： | 注视点序列 隐马尔可夫模型 视觉显著性 卷积神经网络 |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
|
