WebRTC 实时视频处理——基础美颜与视频超分实践

在 GMTC 深圳 2019 大会上，高纯讲师做了《WebRTC 实时视频处理——基础美颜与视频超分实践》主题演讲，主要内容如下。

演讲简介：

随着 HTML5 标准在主流浏览器内核的实现，Web 平台拥有了空前强大的多媒体处理能力。以 WebRTC 为代表的音视频实时通讯技术获得广泛应用，随着各种新的应用场景的出现，Web 平台实时视频处理的需求也越来越迫切。

本次分享将基于 W3C 和 Khronos 的现有 Web 标准，介绍 Web 平台实时视频美颜的实现方法，以及基于深度学习的视频超分实现方法。介绍通过对 Tensorflow.js 输入输出接口的定制实现超分处理流程的 GPU 加速，将基于 Tensorflow.js 的视频超分性能提升 3 倍左右。最后对 Web 平台深度学习的发展进行探索和展望。

内容大纲：

1. 应用背景与 HTML5 简介

2. Web 平台并行计算标准

3. (1) WebGL/WebGL Compute

4. (2) WebGPU

5. (3) WebCL

6. 基于 WebGL 的基础美颜实现

7. (1) 美颜实现涉及的相关 Web 模块

8. (2) 主要步骤

9. (3) 处理性能

10. Web 视频超分探索

11. (1) Web 平台主要深度学习工具箱

12. (2) 基于 Tensorflow.js 的超分实现

13. (3) Tensorflow.js 接口定制

14. (4) 基于改进的 Tensorflow.js 的超分实现

15. (5) 性能分析

16. Web 平台深度学习展望

17. (1) 深度学习 W3C 标准展望

18. (2) 基于 NPU 和定制 WebRuntime 的深度学习实践

听众受益点：

1. 了解如何基于 HTML5 现有标准实现高效实时视频处理

2. 了解 Web 平台深度神经网络的应用及优化

3. 了解浏览器内核原理

前沿亮点：

1. Web 实时视频处理细节

2. Web Engine 性能优化

知识储备：

Web 开发技术基础或视频技术基础

讲师介绍：

高纯，声网 Agora 高级架构师。

高纯，声网 Agora 高级架构师。2010 年至 2018 年任职于英特尔亚太研发中心开源技术中心，曾参与 MeeGo Browser、Chromium/Blink 内核、Crosswalk Web Runtime、Chrome OS、Android N 等多个开源 Web Engine 以及 OS 项目的研发。2019 年加入声网，从事 Web Runtime 及 Web 平台音视频处理技术的研究工作。

完整演讲 PPT 下载链接：

https://gmtc.infoq.cn/2019/shenzhen/schedule