基于HMM的融合多模态的事件检测

事件检测是视频语义分析中的一大难题。在视频中有多种语义丰富的模态信息,融合多模态信息可以帮助准确的检索出所需的事件。提出了一种基于HMM有效融合多模态对象的足球视频语义分析方法。首先从视频中抽取音频流,然后基于CHMM将音频分类。接着根据时间对应关系将音频对象与视频流融合,然后在相应的视频流镜头中基于DHMM融合多种模态对象实现精彩事件如射门、犯规及一般事件的检测,对射门事件进一步结合比分字幕的出现检测进球事件。另外,对DHMM模型的结构、参数初始值尤其是参数约束条件进行了详细地描述。实验证实提出的算法具有较好的效率。