发布时间：2018-01-03 文章来源：众视DVBCN

 

    4IPTV VR系统技术要求

 

    4.1 IPTV VR关键技术:基于OMAF视点全景视频魔方框架

 

    在VR全景视频应用场景中，VR全景视频把现场清晰(高分辨率、大景深)、完整(无死角无遮挡无裂痕)地记录下来，由用户自己决定看怎样的画面，它的核心是超高分辨率(8K以上)。IPTV VR系统如何实现对超高分辨率全景视频的传输和解码，并适配用户所用网络、终端、HMD能力的提升而提供更高更好的体验，是开展高体验VR全景视频业务的挑战。

 

    全景视频覆盖360度视场，而人眼的视角范围通常约为120度，因此人眼视角下看到的有效球面信号约为球面全景信号的27%。现有的VR终端设备(如电视、VR眼镜)可支持的视角大约在90°~110°之间，良好的视觉体验需要局部视场角输出的视频分辨率达到高清甚至4K分辨率，这就要求全景视频的分辨率远高于4K，达到8K甚至16K以上。

 

    全视角传输方案是将 360 度环绕的画面都传输给终端，当用户头部转动观看特定视角的画面时，终端即时(Just-in-time)完成包括码流解析、视频解码和画面渲染等处理。VR画面在相同单眼可视分辨率情况下，由于帧率、位深、360度全景等原因，码率要比普通TV视频大很多，一般是普通TV视频的5至10倍。这种方案特点是视角切换时画面过渡平滑，兼容行较好，但是对IPTV系统网络传输高带宽低时延、超高分辨率视频解码和渲染输出三个方面的能力提出了高难度的挑战。具体而言，如果将360度全景视频通过经纬图映射成常规的二维视频进行编码、传输、解码和呈现，首先由于分辨率的显著增加，编码处理能力和网络传输带宽将成数倍增加;更为严重的是在终端解码上需要解码超高分辨率的全视角视频内容，而呈现给用户的只是其中一部分内容，终端解码资源存在浪费，而终端解码能力正是目前开展超高分辨率全景视频业务的最短板。

 

    围绕这三个部分的挑战，，业界展开大量的研究，比如Facebook率先提出把经纬图重新映射到立方体的转换，使用多点投影的方式来进行二者之间的像素点切换。将经纬图顶部的25%转换为一个立方体面，将底部的25%转换为另一个面，中间的50%转换为四个面。通过这样的映射转换，每帧的像素数量减少了25%，从而提高了编码端的效率，并有效的降低了解码端的能力需求。为了进一步降低网络传输的浪费，近期基于动态视点(Field of View)的全景视频自适应传输方案成为热点和共识。如Facebook提出了金字塔模型，金字塔模型的底部为高质量用户视角区域，随着金字塔高度的上升，其他区域通过亚采样降低分辨率。当用户切换视角时，不是给用户看该金字塔其他表面的低质量视频，而是切换到另一个视角为底部高质量内容的金字塔模型视频。从而在不降低视窗质量的条件下，降低全景视频的码率。HHI提出了基于视频分块(Tile)的全景视频传输方案，思路是根据用户的观看视点和视角，只传输和解码FOV内的内容，采用部分传输和部分解码的方式减轻对网络带宽和终端解码的压力。