AICon上海|与字节、阿里、腾讯等企业共同探索Agent 时代的落地应用 了解详情
写点什么

拍乐云 CEO 赵加雨:音视频领域的发展与挑战 | QCon

  • 2021-06-23
  • 本文字数:2307 字

    阅读完需:约 8 分钟

拍乐云 CEO 赵加雨:音视频领域的发展与挑战 | QCon

疫情过后,人们对在线课堂、视频会议等音视频服务的需求显著上升,对音视频的使用体验、产品质量也有了更高的要求。拍乐云作为实时通信云服务提供商,需要用专业的技术满足用户在不同场景、设备上的需求,采用不同的策略应对多样化的网络环境,才能不断提升用户在观看音视频过程中的体验。


InfoQ 记者有幸在QCon 2021 全球软件开发大会上,采访到了拍乐云的创始人 &CEO 赵加雨,由他亲自为我们讲解音视频领域的发展与挑战。


以下是视频采访内容,为方便读者查看,视频下方也附上了文字内容。


00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    InfoQ:非常感谢您参加 QCon 2021 的视频采访。首先,请您做一个简单的自我介绍。


    赵加雨:我曾经在 WebEx 工作了 14 年,17 年从美国回来后就加入了网易,担任网易云信的 CTO。2 年后出来创业,创立了拍乐云


    InfoQ:您一直在做专业视频音频方面,所以我对您的工作经验非常感兴趣。之前在网上看到您有聊到音视频领域的昨天、今天和明天,那在这里能和我们再进一步谈谈音视频领域里技术的演进过程吗?


    赵加雨:音视频领域经过这十几年的发展也是在快速演进的,这里可以从多个纬度来讨论。在我 2003 年最开始做视频会议的时候,那时的音视频还是以语音为主,视频还是低清的,但这之后视频就逐渐变得越来越高清。

     

    从设备角度来说,刚开始很多都是在 PC 上使用,随着移动互联网的发展,更多的移动设备也接入进来。

     

    另外,起初视频会议的使用场景一般就是在电脑上开会,但现在已经发展到了有各种场景都会使用音视频,包括娱乐、在线教育等等。

     

    从技术的角度来说,近几年也有 AI 与音视频的结合,这些都是非常好的发展。

     

    InfoQ:音视频技术以及处理流程都比较复杂,处理过程中包含编码、数据存储、弱网处理等等,所以能请您简单介绍一个实时音视频系统的处理流程是怎样的吗?

     

    赵加雨:比如说我们两个人是线上通话的,我们都需要听到对方的声音,看到对方的画面,这里就涉及到一个链路。一般情况下,系统会采集音频和视频,接下来会有一个前处理,前处理可能会完成美声、美颜和其他的一些视频优化。接下来,视频要经过编码再进入到网络传输,在互联网传输的过程中又需要实现网络加速。服务端分发后,需要有一个接收端,接收端收到数据包后会应用一些抗弱网的技术来保障质量,最后完成视频解码并在用户面前播放。

     

    InfoQ:音视频处理流程有这么多环节,各个环节的关键技术是怎样的?

     

    赵加雨:因为音视频都非常强调两高一低,尤其是在低时延的情况下,因此我们要求所有通话都最好能控制在 400 毫秒以内。同时,低时延的限制导致技术人员在各个环节都要把很多性能方面的问题调整到最优点。就像之前提到的,从采集到前处理,从编码到服务端,这里的每个链条都要考虑两高一低,最终实现一个真正的高清流畅的低时延视频通话效果。

     

    InfoQ:在各个环节中有哪些难点,它们分别是什么?

     

    赵加雨:这里一般会面临两大难点。第一个是网络环境是多种多样的,比如不同的网络环境里可能有很多弱网,所以在这些场景里就要考虑到抗弱网。

     

    第二个是视频运行的设备也是多种多样的,比如各种手机设备、低端或高端设备等等,但我们还是要在各个设备上都做到表现最优。

     

    所以,多样化的网络环境和多元化的设备,给音视频的处理带来了各种挑战。

     

    InfoQ:我了解到拥塞控制是保证音视频质量的一个关键环节,能谈谈你们在这方面的理解和解决方案吗?

     

    赵加雨:其实可以从两个维度来探讨拥塞控制。第一是要知道有哪些拥塞控制的方式,这里可能涉及到几十种策略算法,而且在各个环节都会有不同策略的算法来帮助技术人员处理对应的情况,所以首先是要知道这个工具箱里有这么多工具。

     

    第二点是在面对真实的弱网环境时,不同的弱网环境适用的拥塞控制策略不同,所以应该具体情况具体分析,采取合适的抗弱网算法,而使用这些算法最终都是为了保证两高一低的音视频体验。

     

    所以,不能为了抗弱网而抗弱网,丢弃了两高一低,一定要避免在错误的地方使用错误的工具,从而带来负向效果。

     

    InfoQ:从势能上看,整个音视频这个行业进入了快速增长期。那么从技术上来看,目前行业面临的挑战在哪里?

     

    赵加雨:在我看来,因为这次疫情,音视频变得更下沉,又变得更上浮。这里可以这样理解,下沉的意思是说有更多的场景和人来使用音视频,对应的设备种类也增加了。因此低端设备就变多了,差的网络变多了,这就是一种挑战。

     

    而上浮则代表着有更专业、高端的场景也开始需要音视频,比如怎样让音视频更高清、更有沉浸感和互动感,这些方面也出现了更多的需求。所以,比起过去,音视频的应用场景是在不断拓宽的,需求也变得更多样了。

     

    InfoQ:您觉得音视频行业未来的趋势会是怎样的?

     

    赵加雨:未来,音视频一定会随着新的技术以及大环境,包括 IT、基建等等来同步迭代。在音视频领域里,有很多东西是几十年都没有变过,也有很多东西在持续迭代。随着 AR、VR、AI 这些新技术的出现,以及 5G 的商用,音视频也一定会和它们有更多的结合,在更多场景里出现。

     

    InfoQ:最后想问问您的创业,音视频的创业赛道非常激烈,您在几年创业过程里有什么感触?

     

    赵加雨:我原来做了将近 20 年的技术,这两年创业的过程也看到了这个赛道里激烈的竞争。从自己的工作体会来说,现在会看到各种客户不同的场景、不同的问题,这个很有意思。

     

    以前只是专注把技术做深,离市场很远。现在带着一群专业的技术人员去解决客户面临的问题,一方面是积累专业的技术,一方面也缩短客户反馈的链路。在解决问题过程里,会有非常多的成就感。

     

    虽然这个赛道竞争很激烈,但我们也坚信要把音视频产品的质量做到最优,这样才能在市场获得发展的机会。所以我们希望在技术上做到极致,在产品上追求极简,把产品做好,给客户带来最好的产品,最终在市场上占领一席之地。

    2021-06-23 13:105814

    评论 1 条评论

    发布
    用户头像
    视频放错了吧
    2021-06-18 09:10
    回复
    没有更多了
    发现更多内容

    ps神经滤镜是干什么的,神经滤镜的功能和作用

    Rose

    Photoshop 2023下载 ps神经滤镜 Neural Filters滤镜

    运行Adobe软件遇到“Adobe app is not available”怎么解决

    Rose

    Adobe软件

    iMovie for Mac(专业视频剪辑工具) v10.3.6中文版

    Rose

    Mac视频剪辑软件 iMovie中文版 iMovie下载 iMovie Mac破解版

    名不虚传!字节技术官甩出的"保姆级"数据结构与算法笔记太香了

    做梦都在改BUG

    Java 数据结构 算法 LeetCode

    火山引擎DataTester:如何使用A/B测试优化全域营销效果

    字节跳动数据平台

    AB testing实战 ab测试 A/B测试

    AIGC背后的技术分析 | 图像风格迁移

    TiAmo

    AIGC 图像风格迁移

    阿里逆天级调优方案,内部这套Java性能调优实战宝典,堪称教科书

    做梦都在改BUG

    Java 性能优化 JVM 性能调优

    Github标星67.9k的微服务架构以及架构设计模式笔记我粉了

    做梦都在改BUG

    Java 架构 微服务 设计模式

    浅析 Redis 中 String 数据类型及其底层编码

    做梦都在改BUG

    redis 数据结构 string

    从传统 IT 容灾转向“全栈云容灾”|什么是更适合政企的云

    云布道师

    阿里云

    Photoshop2023硬件要求,PS2023最低配置要求

    Rose

    PS2023 PS2023系统要求 Photoshop2023硬件要求 神经滤镜Neural Filters

    Nautilus Chain开启全球行,普及Layer3概念加速其采用

    鳄鱼视界

    MacOS高效iOS代码编写工具|AppCode 2023 激活版v2023.2 兼容M1/M2/intel

    Rose

    AppCode中文 AppCode 2023破解 AppCode密钥 iOS/macOS开发

    完美!京东资深架构师爆肝纯手打700页架构进阶宝典我粉了

    做梦都在改BUG

    Java 架构 亿级流量

    如何编写一个健壮的 npm 包 | 京东云技术团队

    京东科技开发者

    npm npm chalk-next 企业号 5 月 PK 榜

    顺丰科技携手飞桨自研“智能外呼机器人”,为客户打造优质服务体验

    飞桨PaddlePaddle

    nlp 语音识别 百度飞桨

    OpenHarmony创新赛 | 赛事宣讲会日期重磅官宣!为你带来超详尽的赛事攻略

    OpenHarmony开发者

    OpenHarmony

    首站中科院!百度商业AI技术创新大赛开启巡回宣讲

    百度Geek说

    人工智能 百度 企业号 5 月 PK 榜

    Spring Validated 校验框架,让你的项目更简洁,提升开发效率

    做梦都在改BUG

    Java spring Validated

    万字长文详述ClickHouse在京喜达实时数据的探索与实践 | 京东云技术团队

    京东科技开发者

    数据库 flink Clickhouse 企业号 5 月 PK 榜

    恭喜又一名小伙伴上岸大厂

    冰河

    程序员 互联网 架构师 大厂Offer 上岸大厂

    字节Java全能手册火了!多线程/网络/性能调优/框架啥都有

    做梦都在改BUG

    Java 微服务 Spring Cloud socket

    如何做好需求管理?华为云需求管理利器CodeArts Req解读

    华为云PaaS服务小智

    云计算 产品经理 需求管理 华为云

    百度营销首创CPQL模式,破解汽车营销线索难题

    极客天地

    选择小程序第三方开发框架,你需要知道这些

    没有用户名丶

    Iframe在Vue中的状态保持技术 | 京东云技术团队

    京东科技开发者

    html Vue iframe 跨域 iframe 企业号 5 月 PK 榜

    开源堡垒机和免费商业堡垒机哪个用的更香?

    行云管家

    开源 网络安全 免费堡垒机

    2D CAD设计软件CADintosh X 激活版

    真大的脸盆

    Mac Mac 软件 CAD绘图 CAD设计 cad

    优质高效!阿里甩出SpringBoot巅峰之作,进阶不二之选

    做梦都在改BUG

    Java Spring Boot 框架

    TDengine 成功“晋级” Percona Live 2023 银牌赞助商,开发者驻足关注

    爱倒腾的程序员

    PAI-Diffusion中文模型全面升级,海量高清艺术大图一键生成

    阿里云大数据AI技术

    人工智能 模型 Stable Diffusion 企业号 5 月 PK 榜

    拍乐云 CEO 赵加雨:音视频领域的发展与挑战 | QCon_QCon_孔迪扬_InfoQ精选文章