一种面向互联网应用的多路实时流媒体同步合成方案

针对互联网流视频协作直播应用,以多路实时流媒体应用系统为背景,提出了一种基于RTMP(real-time messaging protocol)协议的多路音视频实时同步合成方案。首先,在采集端以同一基准为多个数据流添加自定义的时间戳;其次,基于阈值同步多路数据流,并实现基于时域的自适应加权平均多路音频混合和基于像素域的多画面合成,生成一路音频流和视频流;最后,将生成的音频流和视频流同步复用,推流直播。该方案无需全网同步时钟与反馈机制,算法复杂度低,并有效解决了直播中网络延迟、抖动、时钟偏移、数据丢失等问题。试验表明,其可满足多路实时流媒体网络直播中的同步、合成及实时性需求。