三维投影变换辅助的云游戏编码优化算法 |
| |
引用本文: | 王一帆,王昊,孙浩楠,尘原,霍俊彦,王豪,张伟.三维投影变换辅助的云游戏编码优化算法[J].西安交通大学学报,2023(12):20-29. |
| |
作者姓名: | 王一帆 王昊 孙浩楠 尘原 霍俊彦 王豪 张伟 |
| |
作者单位: | 1. 西安电子科技大学通信工程学院;2. 阿里巴巴集团;3. 鹏城实验室人工智能研究中心 |
| |
基金项目: | 国家自然科学基金资助项目(62101409,62171353); |
| |
摘 要: | 针对传统视频压缩技术无法对云游戏视频中复杂的全局相机旋转以及剧烈变化的大范围运动进行很好的运动估计与补偿的问题,提出了一种三维投影变换辅助的编码优化算法,以提高云游戏视频的编码效率。分析了三维游戏场景下一点投影到二维平面的详细空间变换过程,在此基础上通过建立约束进行最优化估计构建了虚拟相机的内参估计算法。利用估计的内参,结合相机运动信息,基于图像单应性理论生成了与待编码帧平行的辅助参考帧,利用其更新参考帧列表参与编码。由于生成的辅助参考帧与待编码帧之间只有平移运动,所以更有利于传统的运动估计和补偿。实验结果表明:与原始的高效视频编码(HEVC)相比,所提算法在云游戏视频上可以实现平均8.14%的BD-rate增益,一定程度上缓解了云游戏对网络带宽的高需求;特别地,在仅有相机旋转的情况下,BD-rate可达-24.68%,同时编码时间平均缩短5.34%;与HEVC-SCC相比,所提算法的BD-rate性能增益超过20%。
|
关 键 词: | 云游戏编码 三维投影变换 内参估计 参考帧生成 |
|
|