基于多模态信息联合判断的驾驶员危险行为监测系统

危险驾驶是引发交通事故的主要原因,严重威胁公众的人身和财产安全.车辆在行驶过程中,各种环境因素复杂多变,严重干扰了驾驶员危险行为监测系统的识别精度;现有的驾驶员危险行为监测检测系统主要是通过眨眼和打哈欠的频率来判断驾驶员是否出现危险驾驶行为,忽略了表情、动作以及视线方向等多个重要信息.针对这些问题,提出了一种基于多模态信息联合判断的驾驶员危险行为监测系统,该系统使用分布在驾驶舱3个不同位置的近红外图像作为输入,解决了光照强度变化和视角盲区问题;设计了一种基于多任务学习的深度神经网络,该网络可以同时完成人脸检测、表情识别以及危险动作分类等任务,极大地提升了系统的识别精度,提升了运行效率.实验证明,所提出系统的识别准确率为96.2％,运行速度为81 fps,性能优于目前常用的算法.