《IPTV VR技术产业白皮书 》(2017年)(10)
发布时间:2018-01-03 文章来源:众视DVBCN
4.1.1 基于视点的全景视频魔方编解码
基于视点的全景视频魔方方案利用全景视频播放和显示局部视场角的特性,结合了视点自适应、MCTS(Motion-Constrained Tile Sets)编码、多分辨率和多Tile划分,把VR全景视频描述成魔方形态,终端播放根据用户头部朝向和芯片的解码能力约束进行最优化的视频分辨率/Tile的选择、解码、渲染和显示。
图9 VR全景视频魔方编解码系统
全景视频播放的最优化主要受限于解码器的解码能力与网络传输性能,为了获取最佳的体验效果,通过建立如下的目标函数
其中表示解码的Tile,表示全景视频魔方,比如原始12K全景视频处理形成的8K/4K/2K组合的全部Tile集。表示基于视点的解码渲染输出,该函数值越大,表示通过解码这些Tile获取的用户体验越好。为了获取目标函数的最优值,可以从如下考虑:
1)根据终端HMD设备的分辨率和视场角确定视点包含的Tile范围;
2)在网络能力允许的条件下,获取更多视点内高分辨率的Tile;
3)在解码能力允许的下,解码更多高分辨率的Tile用于显示。