即构联合创始人：5G+AI 将是音视频的下一突破点 | 视频

随着 5G 时代的来临，更低的延迟、更大的带宽，给蓬勃发展中的音视频技术带来了更大的机遇。5G 的边缘云计算适于大数据量的转发，而音视频本身就是实时数据的转发，可以说，音视频技术与 5G 的场景非常契合。成立以来，即构自研的语音视频引擎在语音的前处理、网络自适应和跨平台兼容性等方面达到了国际顶尖水平，目前已链接了全球 5 亿+的终端用户，端对端的超低延迟达到 80 毫秒。

站在 5G 的时间节点上，作为行业的先行者，即构如何看待这一机遇与挑战？又是如何规划的？在 QCon 2019 全球软件开发大会（上海站）上，InfoQ 有幸采访到了即构科技联合创始人兼技术负责人蒋宁波，就音视频的当下与未来进行了深入探讨。以下是视频采访的全部内容，为方便读者查看，视频下方文字为主要采访内容。

InfoQ：蒋老师，您好！您可以介绍一下您的工作经历，以及联合创立即构的原因吗？

蒋宁波：在 2015 年成立即构之前，我在腾讯工作，当时主要负责 QQ 底层的基础建设，还有安全工作，包括输出安全能力服务给外部企业。成立即构的原因是，我们原先的团队在腾讯就是做 QQ 音视频的，当时我们看到，音视频行业的应用越来越广泛，很多交流方式都变成音视频的方式，外面很多企业也有音视频的需求。而当时国内提供音视频服务的服务商非常少，更别说专业的服务商了。我们也在想，我们有这么多年的经验积累，怎么样去把它平台化、服务更多的企业，这就是我们当时成立即构的原因。

InfoQ：您所在的团队主要负责哪一领域？

蒋宁波：我在即构主要负责 SDK 的研发、售前架构，以及技术支持，主要是 SDK 的设计与封装，包括如何考虑到易用性，从售前架构而言更多的是对创新方案的设计，还有技术支持的工作，就是对接客户的接入等等。总的来说，整个团队就是让客户更快速、更方便地接入即构的音视频能力，得到专业的音视频技术。

InfoQ：据您的观察，目前国内的音视频技术已经进入到哪一发展阶段？可以详细讲解一下它的发展过程吗？

蒋宁波：从最近这么多年我们做音视频的经验来看，音视频技术现在已经处于广泛应用的阶段，这主要和整体环境、科技的提升有很大的关系。像硬件设备、网络的提升，甚至是生活环境、工作环境都发生了变化，对音视频的互动需求越来越强。从我们近几年服务的客户来看，音视频在政企政务、高校、金融、泛娱乐甚至是在线医疗、在线教育、IoT 这些行业都有很深的融合。

说到发展过程，可以从两个方面来看。从技术上讲，这几年，音视频信号基本上是（经历）从模拟向数字化发展、协议分层的过程。早期，音视频的信号都是模拟信号，经过一个数字化的过程，到现在，家用的数字电视基本上都已经是数字信号了。最近几年，互联网高速发展，一些新技术、新标准出现，像协议、容器，甚至 Codec 都出现了分层，都有很严格的边界，技术路线大概是这样一个思路。从应用场景来看，更早以前，音视频应用的领域非常少，都是一些很专业的领域，比如电台、视频会议。而近几年，它与各行各业都做了比较深的融合，就像我前面说的，跟泛娱乐、在线教育、医疗（融合）基本上已经深入到生活中的点点滴滴，跟水和电差不多。我们现在看到的很多都应用了音视频，就像我们现在的拍摄其实也是跟音视频相关。基本上，可以从这两个方面来看它的发展过程。

InfoQ：近几年，大众对社交娱乐的需求增长很快，即时通信有了很多新形态。就即构而言，2016 年推出了全球首创的直播连麦技术。2017 年，即构又在全球首推了 32 路视频通话等。在业务逻辑和技术实现上来讲，即构的技术和传统音视频技术的差异在哪？存在哪些技术难点？

蒋宁波：传统音视频技术主要针对一些固定的应用场景，比如传统会议的厂商。它是针对固定的场景，而且它对设备有固定的要求，比如固定的麦克风、音箱之类的，甚至有更严格的要求，比如说会议间，可能连房间都有固定的声学设计，甚至于网络方面，为了网络保障要拉专线，这是传统厂商（的做法）。而即构做的是音视频的云服务，我们要适配不同的场景、不同的网络、不同的设备，这正是我们要应对的难点。比如，在不同的使用场景，像实时通话场景或娱乐场景，对音质、延迟的要求都不一样，这就要求我们的 SDK 要具有适配不同场景的能力。再比如国内外的通话，我们也不可能全部拉专线来保障，这需要调度和路由，这要求我们要有非常好的路由的一些算法，这里面有好多技术难点。

InfoQ：目前，即构已经链接了全球 5 亿+的终端用户，端对端的超低延迟是 80 毫秒。即构是如何保证音视频互动的低时效、高清流畅的？又是如何应对海量高并发的？

蒋宁波：低时效就是低延迟，低延迟和高清总的来说是一个系统的工程，它不是一个点，不是说某项技术做得好就 OK 了。音视频的整个链条从采集、前处理、编码、传输、解码、后处理、渲染……在整个过程中，我们经常是每个细节都要一点一点地抠。只有把每个细节都做到极致，才能保证整个链条上，延迟做到最低，数据采集做到最好。比如说一些数据的前处理，你要减少内存跟显存的来回拷贝，每一个细节都要抠。不同的场景，你的路由也要不同地去做选择，甚至说网络高峰和网络低峰的时候，同样的两个人，在深圳和上海做一个视频通话，可能路由都会有很大的差别。

InfoQ：我们了解到，即构自研的语音视频引擎在语音的前处理、网络自适应和跨平台兼容性等方面已经达到了国际顶尖水平，这项技术给用户带来了哪些好处？

蒋宁波：这要分开来讲，用户有两种类型，一种是终端用户，也就是通常意义上真正使用音视频的用户，也可以说是 C 端用户；另一种是我们服务的企业客户。二者的体验需求是不一样的。对终端用户来说，他们希望使用音视频时能够很流畅、很高清。总的来说，用得爽就是最好的体验。这是从 C 端用户去考虑，当然，你的技术做得好，就能得到更高质量的音视频（体验）。对企业客户来说，除了说你可以提供好的技术让他去保障他的用户能得到好的体验以外，企业也是希望我们提供的服务是稳定、方便、容易接入的。那么，对于我们本身而言，除了做好我们的技术，我们 SDK 的设计就要足够简单，整个系统接入要足够好，系统的监控也要足够好。即构的整套系统都是从 0 开始自研做起的，我们对整个系统有较强的把控性，这也是为什么我们能快速响应客户需求，首创出许多场景的原因，包括我们对新需求的响应和新场景的创新，这也是我们的一个技术优势。

InfoQ：一项技术火了以后会引来一些新的入局者。那么，即构在这其中的核心竞争力是什么？

蒋宁波：我们公司一直以来的定位是提供专业的音视频服务，本身也是以技术为本，以专业的技术服务全球客户，让整个行业、各个领域都能用到真正专业的音视频技术，这是我们的立足之本。说到有更多的入局者，其实也说明了这个领域是有前景的，只要竞争是良性的，我们觉得就是好的，就能推动这个行业的发展，推动技术的更新迭代。这也是我们会经常和从业者，包括竞争对手进行技术交流的原因，我们希望整个竞争是良性的竞争，希望和所有从业者一起推动整个音视频往更大的方向发展，让更多的领域得到音视频的能力。

InfoQ：即构是如何构建自己的音视频技术生态的？

蒋宁波：目前，我们也在考虑做一个类似于“X+音视频”的生态。我们也在找上下游的各种合作商，去打通音视频的能力。未来希望大家一起把这个生态做大，服务更多的企业和用户。

InfoQ：除了应用场景的迭代，音视频技术的下一个突破点是什么？

蒋宁波：从我们的经验来判断，下一个突破点可能会是 5G 与 AI 的结合方面。5G 这种边缘云的计算很适合大数据量的转发，而音视频本身就是做这种数据量的转发，就是实时数据的转发。它很契合 5G 的场景，包括 5G 的更低延迟、更大带宽，可能会给音视频带来更多的应用。再加上 AI 的进入，可能会引入更多新玩法、新场景，或者一些互动方式，包括我们现在也做了类似音视频+AI 的审核能力。只要接入即构一家，就会自动带上音视频传输和 AI 审核的能力。

InfoQ：未来三到五年，即构还会关注哪些领域？

蒋宁波：近期三到五年内，我们将会关注出海、在线医疗，甚至 5G，这些领域都会去看。

InfoQ：您如何看待 5G 对音视频的影响，它将带来哪些机遇和挑战？

蒋宁波：我们是很看好 5G 的，我们公司在 5G 也投入了很多。5G 会提供更低的延迟，更大的带宽，它的应用场景，比如说更大的带宽能支持 4K、8K 低延迟的数据传输，甚至是 AR、VR 的数据传输。比如更低延迟，就会针对一些需要更低延迟的视频互动这种场景的需求，像远程手术的延迟一定要极低的，你的每一个动作可能那边都要立即给你视频反馈，这种就能够在 5G 场景下去落地，这是 5G 带来的机遇。

说到挑战，不只是音视频，整个互联网行业都一样。在 5G 上，包括针对 4K、8K 的视频，首先要有技术储备。因为一旦 5G 的边缘节点、基站全部铺开以后，相信肯定会有很多人创业，很多新的玩法、需求都会立即上来，这时候你的技术储备要快速地应对这些需求。我们公司在这方面投入也很大，我们建立了自己的 5G 实验室。在高清视频方面，比如 4K 视频，车载、360 度的情景视频的传输上，现在都有实例 demo，都已经很成熟地在线上跑了。

专家介绍：

蒋宁波，即构科技联合创始人兼技术负责人。原腾讯即通部门开发主管，负责 QQ 底层平台建设、QQ 多端跨平台安全技术、QQ 表情研发等，在语音视频技术全终端跨平台领域有超过 14 年的研发经验。2015 年联合创办即构科技，自研语音视频引擎，为全球提供清晰稳定的实时音视频云服务，主要负责创新场景的方案设计、头部客户的运营支持和创新技术的探索实践，帮助企业快速获得实时通讯能力。

更多国内外一线技术大咖分享请持续关注 QCon 全球软件开发大会，访问官网与技术大咖面对面交流实践心得。