写点什么

实时互动场景应用指数级增长,背后的 RTC 技术发展到哪里了?

  • 2018-09-12
  • 本文字数:2284 字

    阅读完需:约 7 分钟

随着 5G 的逐步落地,几乎每个人都相信,随时可用、高清、流畅的音视频通话即将到来。同时,我们看到,实时互动技术催生的“爆款”、风口和实用场景增长迅猛,比如之前的狼人杀、视频社交、互动连麦直播,过去一年还有在线抓娃娃、HQ 直播答题、连麦小游戏,同时还有金融、可穿戴、机器人、电商等行业应用场景。

但是,你知道这背后实时互动技术到底发展到了什么阶段,正在攻克哪些技术上的难关呢? 从音视频角度来看,决定音视频通话质量的,一个是网络,另一个是编解码。本文将从这两个角度对技术发展趋势进行详细剖析和解读,并将对实时互动技术催生的创新场景角度进行介绍。

软件定义网络提升跨网实时传输质量

网络面临的主要问题一个是基础建设,另一个是跨网通信,带宽提升、5G 落地可以帮我们解决基础设施建设的问题,但跨网通信仍然是一个问题。

这里的跨网通信障碍在行业人士眼里指的是“四跨”,是指跨国、跨运营商、跨地域、跨时段的网络传输质量存在波动的问题。互联网从业者则提出一种覆盖网络(overlay network)技术来解决这个问题,其最重要的实现就是 VoIP。近年来,随着直播的火热,实时音视频对网络低延迟的要求又提升了一个层次,随之而来的是 SD-RTN™解决方案,它通过 SDN+UDP 技术,能够显著的降低延迟,减少丢包,进而改善通信质量。这方面最新的进展则是融合 SD-RTN™,以共享方式搭建 SD-RTN™,可以降低建设 SD-RTN™的成本。

声网的 SD-RTN™就是当前最新实时网络技术的一个代表,从官网的性能测试数据可以看到,它在跨国、跨洲等情况下比传统 P2P 网络延迟降低了 50% 左右。

下一代编解码标准仍处战国时代

在编解码方面,我们请教了声网 Agora 首席科学家钟声老师,他分别在美国博通公司、海信集团芯片公司、声网公司等主要从事图像处理、图像压缩、模式识别和计算机视觉算法以及芯片架构设计的研究,在美国和中国拥有多项专利,并且曾是标准组织 MPEG/JVT (H.264) 与 INCITS 主要成员,可以说是编解码方面的权威。

今年上半年,在音视频编解码领域发生了一件大事,就是 AOM 联盟发布了 AV1 标准的 1.0 版,其执行董事兼创始董事会成员 Gabe Frost 表示,桌面浏览器会在今年就开始支持 AV1,到 2020 年几乎所有新型硬件都会支持 AV1. 这对 HEVC/H.265 编解码形成了强劲的挑战。

钟声表示,AV1 视频编码比 H.265 标准能够进一步降低 30% 左右的码率,但其编码复杂性也高出几十倍甚至更多。可以预测其会先在 on-demand 的视频收看中应用,比如 NetFlix、Youtube、Amazon 等可能最先推出 AV1 格式的高清、超高清电影,而且接收端也要有相应的芯片解码支持。AV1 在 RTC 中的应用也会依赖于芯片对 AV1 编解码的支持,尤其是高效的编码器复杂度较高。NetFlix、Youtube、Amazon、Apple 等公司的大力推进很可能会促使芯片公司也加快其主流手机、电视、PC 机芯片对 AV1 编解码的支持。

下一代的编解码标准仍然处在战国时代,其中大部分标准首要考虑的就是对 RTC 流媒体播放的支持,特别是抗丢包的支持。钟声介绍说,声网也自研了新一代音频编码算法 Agora SOLO™,主要是为了增强在实时互联网上传输音频信号时对网络丢包的对抗能力而设计的。公共互联网通常会因传输线路拥堵、延时过大等原因导致数据丢失,SOLO™的音频压缩编码算法是针对网络的这个特性来设计的。他们测试的结果表明其能达到对抗 70% 的抗丢包率。适用基于互联网的实时音视频通信、直播等应用。

RTC 快速发展的本质是实时互动需求逐渐强烈

将网络和编解码、音视频采集等等整合起来的代表技术就是 WebRTC,近年来,随着实时互动需求和技术的发展,RTC 成为 WebRTC 技术的延伸和补充。RTC 在网络、编解码和音视频采集领域都有重要的技术突破。另外,上半年斯坦福大学的实验室还发布了将网络和编解码整合起来的新一代通信技术 Satisfy,在这方面未来我们仍然有提升的空间。

在声网 Agora 创始人 &CEO 赵斌看来,RTC 技术快速发展的本质是人类对“实时”与“互动”的需求逐渐强烈。伴随着多个垂直领域的场景创新和深度应用,RTC 将成为全球最受关注的实用技术之一。RTC 已经在很多行业领域持续输出爆款,比如直播、社交、游戏、教育等,以社交为例,声网支撑了全球 80% 的社交直播平台。对于 RTC 技术催生的各类应用场景的发展情况,赵斌也进行了介绍。

“吃鸡”的语音对讲到直播连麦、直播答题组队开黑,狼人杀,再到最近有望成为风口的后狼人杀产品“剧本杀”,都是已经被市场印证过的实时通信的应用场景。“休闲类小游戏”、“竞技类游戏”的社交性需求都很强,需要实时语音增强社交属性,进而提升玩家的游戏时长和用户粘性。

同时,游戏、社交、直播正在发生更大的融合,并且出现了很多新的场景,比如对战连麦小游戏、互动视频电商等独特品类。

而当下火热的人工智能也可以和实时音视频结合起来,未来几年互联网实时视频传输会有十倍以上的增长,人工智能可以用来提升用户对音视频内容消费的体验。机器学习如何有效地帮助达到极低延时、极高流畅度、极高画质以及高效的运维服务值得深入的研究。这也是声网目前最关注的研究方向。

结束语

2018 RTC 实时互联网大会即将开始,据赵斌介绍,此次大会上会公布 RTC 和 AI 结合的一些技术进步,也会在编解码方面有更多的技术上的突破。如果你想了解以上技术细节,还想了解更多嘉宾精彩分享,快来点击阅读原文或者扫描下方二维码预定专属大会门票,您将会听到来自 Google、声网、WebRTC、Twitch、新浪微博、华为、腾讯、Cocos、陌陌、花椒直播、VIPKID、Bilibili、沪江、招商银行等知名互联网公司的技术领袖、音视频技术大咖、产品创新专家,以及来自亚洲各地区的 2500 名开发者,将共同与您交流分享。

2018-09-12 08:221280
用户头像
张晓楠 InfoQ总编辑

发布了 144 篇内容, 共 100.2 次阅读, 收获喜欢 378 次。

关注

评论

发布
暂无评论
发现更多内容

第三期3天AI进阶实战营-Day1任务卡

IT蜗壳-Tango

11月日更

架构训练营毕业总结

Clarke

架构实战营

NEJ Build太慢怎么办?试试MOOC NEJ吧,只需两步,提升70%构建性能!

有道技术团队

算法

web技术分享| WebRTC 实现屏幕共享

anyRTC开发者

大前端 Web 音视频 WebRTC 屏幕共享

让华为举步维艰,Android曾距离成为国产系统仅一步之遥!

Jackpop

系统架构面临的三大挑战,看 Kubernetes 监控如何解决?

阿里巴巴云原生

阿里云 Kubernetes 云原生 系统架构

工厂模式——猫粮公司的演进

蝉沐风

Java 设计模式 工厂模式 工厂方法模式

【Flutter 专题】19 图解【分享页面】底部对话框

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 11月日更

Android端信号处理总结

轻口味

android 音视频 11月日更

Redis 日志篇:AOF 与 RDB 让数据持久化不丢失

码哥字节

redis 后端 Redis 核心技术与实战 11月日更

把选择题变成问答题

FunTester

Java Python 测试 FunTester

[ 工程师书单推荐] - 年轻人,你渴望力量吗?

baiyutang

11月日更

尝鲜Windows 11一个月,被这3项巨变圈粉了....

Jackpop

基于消息队列 RocketMQ 的大型分布式应用上云最佳实践

阿里巴巴云原生

阿里云 RocketMQ 云原生 消息队列 上云

【设计模式】第十篇 - 外观模式 - 我来组成头部

Brave

设计模式 外观模式 11月日更

苏丹2021年10月25政变断网事件

郑州埃文科技

毕业总结

Geek_ywh40v

如何免费下载学术文献?

Jackpop

Apache RocketMQ 荣获 2021 中国开源云联盟优秀开源项目

阿里巴巴云原生

Apache 开源 RocketMQ 资讯

【LeetCode】有效的完全平方数Java题解

Albert

算法 LeetCode 11月日更

算法入门-插入排序

ES_her0

11月日更

架构实战营毕业总结

技术是伙伴

iOS开发:用XIB拖控件关联时报错:“Could not insert new outlet connection…”解决方法

三掌柜

11月日更

CSS架构之Theme层

Augus

CSS 11月日更

一部亚马逊4.5高分的领域经典,首次落地中国

博文视点Broadview

Python代码阅读(第52篇):返回列表的头部和尾部

Felix

Python List Code 列表 阅读代码

新书 | 这绝对是读起来最有趣的计算机科普绘本

图灵教育

少儿编程 绘本 逻辑启蒙

Apache APISIX 在腾讯云智能钛平台中的落地实践

API7.ai 技术团队

腾讯云 网关 API网关 Apache APISIX

架构实战营 王者荣耀商城异地多活架构设计

💤 ZZzz💤

架构实战营

实验室lims系统解决方案

低代码小观

实验室管理系统 企业管理 LIMS实验室信息管理系统 LIMS系统 信息管理系统

☕【Java技术指南】「序列化系列」深入挖掘FST快速序列化压缩内存的利器的特性和原理

洛神灬殇

11月日更 FST 快速序列化

实时互动场景应用指数级增长,背后的RTC技术发展到哪里了?_语言 & 开发_张晓楠_InfoQ精选文章