闲梦江南梅熟日，夜船吹笛雨萧萧，人语驿边桥。梦里不知身是客，人们在互道晚安时，不忘加一句好梦。VR虚拟现实技术，意图是带给用户梦境般身临其境的感觉。怀着忐忑激动的心情，兴致冲冲的购买了一套VR设备，却在用过几次后扔到角落吃灰，相信不少童鞋有过类似经历。看不清楚，像隔了一层纱？画面模糊，一点也不清晰？视频画面品质不够真实，成为虚拟现实走向造梦空间的最大阻碍。

在爱奇艺有一群追逐梦想的”工匠”，致力于为用户提供身临其境的观影体验，不断创新，反复打磨，利用技术不断加持，在8K VR直播方案上做了很多优化，实现了码率降低75%，端到端挥手延迟降低到3秒，移动画面延迟降低到0秒，领跑行业的解决方案。

随着5G技术的发展，VR直播将是一个重点的应用项目，5G价值在于高带宽和低延迟，采用创新“采编播”技术架构,利用4K/8K全景拍摄技术构建直播现场影像。通过5G-CPE环境实现数据快速传输同步，利用爱奇艺云提供计算能力完成视频编辑转码，最终通过爱奇艺VR一体机实现4K/8K全景直播。将为用户提供更加沉浸，码率更高的观影体验。

VR视频多数都是球形模型，观看的时候视野只能看到球形上的局部区域，视野能覆盖的区域取决于FOV大小与视野的纵横比，以常见水平方向90度视野纵横比1:1为例：当头部不转动，目视正前方，视野中的区域只有整个VR视频的1/8，水平方向1/4，竖直方向1/2；最坏的情况下，转动头部方向正对极点，视野中的区域为整个视频区域的1/4。

8K、12K、16K分辨率的必要性

VR设备为了呈现最优显示效果，视野区域能覆盖的像素越高越好，以常见4K分辨率视频源为例，视野中只有1K左右分辨率的区域，这个1K左右的图片呈现出来只能达到普通视频的720P效果；为了达到普通视频1080P效果，VR视频源至少需要8K分辨率；考虑到目前2K、3K屏成为VR设备的标配，对超大分辨率的VR视频源需求越来越强烈。

整体流程

爱奇艺8K直播整体流程可分为现场采集推流、云端编码、CDN传输、终端播放4个环节。

现场采集推流指技术团队通过8K摄像机采集会场360度全景信号，编码为码率80Mbps的8K H.265直播信号，回传到直播云编码服务器。

云端编码对8K全景直播信号进行前处理和编码，生产适合传输和终端播放的编码格式。

然后直播云CDN传输将已经编码的直播流进行分发到用户最近的边缘服务器。

最后在终端进行VR全景直播流的下载解码渲染播放。

8K分辨率高达7680x3840，是1080P的16倍，码率是60Mbps到120Mbps左右，这对直播从采集到播放的直播链路各环节，都是一次挑战。

技术挑战

首先是码率高，直播流需要从网络下载，码率越高直播视频加载的时间就越长，用户等待的时间就越长，卡顿也会越多。

第二是有效传输利用率低，全景信号拼接使用等距投影，相当于把球体地球仪球面上的点，展开为一幅矩形世界地图。在VR设备中，用户看到的图像仅仅是全景视频画面的一个小部分，即使用户没有转动视角，那些视角外的大量图像像素也会被编码传输到终端播放设备，这是极大的浪费。另外，现在主流芯片解码能力还是4K，更加需要针对VR视频设计一套性价比高的涵盖编码、传输、解码的端到端技术方案。

第三是传输延迟大，这和码率高有直接关系。只有在用户头部转动时，零延时切换视野内的画面，才能让用户切身体会到VR虚拟现实的空间沉浸感，这就对8K VR直播低时延有极高的要求。在降低码率的同时，我们也使用了一些额外技术来降低这类延迟。

解决方案

整体技术方案如下图所示，使用该方案后，码率降低75%，端到端挥手延迟降低到3秒，移动画面延迟降低到0毫秒。

使用VR设备观看图像时，只会看到一个小矩形的区域。当头部转动时，会移动到另一个尺寸相同的矩形区域。这个矩形区域称为视野(FOV, field-of-view)。视野内的图像画面，我们称为ROI(region-of-interest)。ROI决定了用户能体验到的画面品质，ROI区域外的图像由于用户看不到从而不会带来任何收益。

因此我们在直播编码器前处理环节将完整全景画面分割成N * N个子画面（如图示），例如分辨率是7680x3840的全景视频画面，切割成4*4=16个子画面，每个子画面分辨率1920x960。用户使用VR设备播放的时候，只传输ROI的画面，终端也只解码ROI的画面。

如下图，16个子画面是tile0，tile1，…，tile15，ROI是{tile0，tile1，tile2，tile4，tile5，tile6，tile8，tile9，tile10}，终端只会下载ROI对应的码流。

头部转动时画面的延迟称为移动画面延迟（Motion-To-Photon Latency）。头部转动时ROI变化，终端缓存的buffer不再有效，移动画面延迟对应重新下载新ROI下的buffer的耗时。通过同时生产一路将完整全景画面缩小后的低质量画面，移动画面延迟优化为0ms没有延时。在网络下行差或者网络抖动的时候，播放低质量画面兜底，而一旦高质量ROI下载完成，便会优先呈现，保证直播画面清晰度和流畅度。

N * N+1路画面之间用PTS严格同步，为了加快处理速度，直播云开发的并行处理程序能满足8K60帧视频的实时分割、编码。解码、画面前处理、编码全部使用硬件加速，每个模块间通过纹理内存传递，无需置换到内存成本，达到单机同时运行17路1080p H.265编码并发或者65路540p H.265编码并发。N*N+1路码流除了PTS严格同步，关闭场景检测来严格对齐I帧，使用Closed GOP、1s GOP size来降低直播延时。

经过编码后的8K码流，总码率是30Mbps左右，通过直播云就近多点直播树回源、预推，快速分发到终端。由于用户在观看过程中随时可能转动视角，为了降低延时，我们设计了分块同源技术，保障终端设备在播放过程中只需从就近一台CDN边缘节点下载数据，极大降低终端设备与CDN间建立连接的次数。

目前，爱奇艺已完成多场大型活动VR直播项目，包括北京国际电影节、北京世界园艺博览会等。

未来爱奇艺也会在VR直播中提供支持环绕杜比全景声音的观赏体验，通过三维空间音效将用户更好的融入到直播现场中。

创作场景

我们都是追梦人——爱奇艺 8K VR 直播技术方案