写点什么

2021 全球互联网通信云大会(WICC)亮点回顾:AI 赋能音视频,开发者生态服务将驱动行业未来发展

  • 2021-08-05
  • 本文字数:4332 字

    阅读完需:约 14 分钟

2021全球互联网通信云大会(WICC)亮点回顾:AI赋能音视频,开发者生态服务将驱动行业未来发展

7 月 24 日,由极客邦和融云联合举办的第三届全球互联网通信云大会(WICC 2021)在北京召开。上千位开发者相聚在大会现场,演讲场场爆满,还有近万人通过网络直播的形式,共同参与到这场大会中。

 

近一两年来,音视频行业得到了极大的发展,音视频技术已成为互联网信息服务的基础设施。无论是开发者还是普通用户,都能清楚地看到,视频已成为新的、重要的交互途径。视频直播和 WebRTC 的应用让我们能够更快地适应瞬息万变的世界,实时视频应用和远程呈现的重要性得到了进一步的提升。

 

融云每年都会举办全球互联网通信云大会(WICC),希望通过 WICC ,向行业普及前沿技术,以及各种应用实践案例,推动通信云行业的发展。

 

本次大会设置了上午的高峰论坛和下午三场技术分论坛,亮点主要集中在三个方面:第一,为促进产学研用的深度融合,构建了成效显著的交流互动平台;第二,为更好地建设开发者服务生态,提供了有益的解决方案;第三,分享音视频技术在在线教育、社交泛娱乐等多个垂直场景的最佳实践和思考,为开发者带来了新技术和新视野。

 

产学研用深度融合

 

在主论坛上,来自清华大学计算机科学与技术系的长聘教授孙立峰为大会带来了《互联网音视频服务:从 AI 赋能到智慧内生》的主题演讲。

 


孙教授的演讲,从产学研合作角度分享了 AI+音视频里面的思考和所做的一些工作,主要围绕:为什么互联网音视频的挑战让我们引入 AI,AI 如何让音视频性能得到提升,以及该领域未来有哪些演进途径等。

 

上图这些数据传达出来的信息,大家可以看到:音视频已经是互联网上主导的流量;音视频服务正在改变我们的生活和工作,以及产生新的产业格局和形态。互联网的音视频服务已经逐渐成为互联网基础服务设施。音视频变得重要,促进了业界和学界不断进行技术的创新,从而带动产业的提升和创新。

 


云-边-端协同已经成为大规模互联网音视频的基础架构,共同提供了音视频服务所需的存储、计算和网络资源。现在动辄数十万量级服务器资源部署、千万级的每日上传内容数量、亿级的用户终端数量,这种大规模带来的是整个系统的复杂性急剧增加。

 

在这种情况下,关注系统的动态性显得更为重要:比如 CDN 的服务质量、对云上资源的利用率、端到端的网络状态,这些动态性难以保证音视频服务的质量。用户行为的动态性决定音视频流的传输流向和资源需求,例如当有大主播上线,会导致对系统资源的需求发生急剧变化。而底层网络缺乏对视频类型、画面内容、用户主观质量的感知,难以满足用户对服务质量的要求。

 

所以,互联网音视频服务的挑战,我们可以总结为大规模复杂系统的决策问题。在云端,我们要决定视频转码和调度;在边侧,我们要决定部署哪些流行度高的内容,用户接入到哪个边缘节点来保障质量;在端侧,根据网络变化选择什么码率、拥塞控制策略。

 

目前的感知和决策,靠的是一些简单的、不精确的模型上得到的一些规则,很难达到优化的目标。所以,清华大学将 AI 的方法引入到了音视频服务领域,来提供更好的体验。他们将深度学习和(深度)强化学习使用到了音视频领域的感知智能和决策智能中,极大地减少了云厂商视频分发的接入成本和回源成本,提高了视频链路的利用率,同时还能满足不延迟、不卡顿的要求。

 

清华大学利用 CNN+LSTM 的深度神经网络,使用边缘节点的输入参数,时序预测边缘节点的 QoS 变化,选择汇聚节点,同时预测直播间的流行度,进行实时调度。这套方法部署到了华为的边缘云上,回源成本减少 30%以上,且无卡顿恶化。由于视频画面内容的不同,码率的提升对视频主观质量的增强有显著的差异,所以我们需要传输更高质量的视频而非更高码率。清华利用深度神经网络基于视频历史画面预测未来视频主观质量,在实时视频通信场景下,能将视频质量提升 18%-25%;在 CDN 调度方面,基于深度强化学习的方法能将 QoE 提升 5%,且同时将成本降低 24%......

 

目前上述多种基于深度学习和深度强化学习的视频传输优化算法已经在 GitHub 上开源。

 


除孙立峰教授外,大会还邀请了北京大学副教授张行功博士,天津大学智能与计算学部教授王晓飞,中国科学院声学研究所研究员、博士生导师李晓东等,这几位教授立足于各自领域的尖端学术成就,为大会分别带来了《16K 沉浸式视频技术》、《5G 时代的边缘智能与云边协同》和《通信声学新进展》的技术分享,这些技术实现将为 5G 下通信云的产业发展释放无限潜能,让未来的通信场景变得无处不在。

 

建设开发者服务生态

 

近年来,开发者服务生态建设的热度持续上升。在开发者服务生态方面,融云联合创始人兼 CTO 杨攀在高峰论坛上发表了《以通信为核心的开发者服务生态探索》的主题演讲,围绕着开发者需要什么样的服务和业务,分享了融云关于开发者服务生态的思考。

 

融云于 2014 年成立,开创了通信云服务,是一个全新的服务品类。从 IM 如何实现不丢消息,到弱网下如何提高音视频质量,再到音视频服务如何实现全球覆盖……在这个过程中,融云的思考不断迭代升级。杨攀指出:中国的开发者服务产业尚处于早期阶段,随着市场竞争的日趋激烈,人力成本将持续走高,企业要想优化成本结构,提升效率,就需要寻求与第三方 to B 厂商合作来进行工作替代,因此,开发者服务行业迟早会迎来爆发阶段。

 


在演讲中,杨攀分享了构建开发者服务生态的一些经验。

 

现在中国移动互联网业务席卷全球,杨攀认为,出海业务经历这么多年的发展,除了解决技术这一基础问题之外,还有相当多的其它问题需要开发者去考虑,其中就包括文化和法律法规。合规涉及的细节非常之多。在个人隐私方面国内出台了《信息安全技术 个人信息安全规范》,国外的法规有 GDPR、CCPA、HIPAA 等。

 

做全球业务的时候,开发者一定要注意 App 是否有违背相关法规的行为,或者 App 集成的第三方 SDK 是否有收集用户隐私。在国内可能因触犯用户隐私法规而受到相关处罚;在国外还有可能会被罚到“倾家荡产”,导致公司直接关闭。所以,在全球化过程中,通信云厂商应提醒开发者时刻保持内容合规与安全的意识,避免因触碰“红线”让企业遭受难以承受的损失。

 

合规化方面,概括起来包括个人隐私、数据安全、数据主权、内容安全和通信安全等。除了关注各种隐私、安全法规外,融云还为开发者在文档里提供了现成的说明参考模板。在内容安全上,融云的系统满足了内容审核多样性、多语言支持、多种审核模式的要求,而且还针对不同业务类型提供了不同的审核模型。另外,融云还以登陆凭证认证、链路安全、平台安全管理等措施,保障用户通信安全。

 

在应对开发者的全栈化需求方面,平台需要支持的技术栈越来越多:Flutter、React Native、Unity、uni-app、H5、Electron、Mini Program、Windows、Linux。不同的技术栈服务的是不同的业务场景,而这些不同的技术栈,还得考虑不同平台、不同版本的兼容性问题,厂商需要做不同的交叉验证。杨攀介绍道:“你在用一个开箱即用的业务的时候,实际上背后有非常多隐藏的细节,被融云这样的厂商所封装起来。”

 

从服务开发者实践角度来看,也有几个趋势值得注意。

 

一是要提供场景化能力,就是将业务逻辑抽象出来,封装出这一场景的最佳实践供用户使用。演讲中,杨攀以语聊房场景举例,使用融云封装的 SDK,只需 30 分钟就可以完成功能的集成。

 

二是要提供模块化能力,开发者在开发一个 App 的过程中,有时甚至需要集成二十几个 SDK,比如 IM 里的红包、表情、地图、语音转文字、翻译等,音视频中的美颜、美声、白板模块等,而这些原来都需要开发者自己去找第三方厂商沟通、付费。融云将这些专业、垂直领域厂商的功能与自身的通信能力对接,以模块化的形式提供,开发者无需再去对接多个供应商,从而能进一步地提升开发效率。

 

三是要提供集成化能力。集成化能力实际也是帮开发者降低开发成本,同样是产业发展的一个大趋势。以整合 Android 推送整合为例,原来开发者需要自己整合华为 HMS、小米、魅族、OPPO、vivo、FCM 等各种推送平台来保证推送到达率,但现在融云帮助开发者对接好了所有厂商,开发者可以直接使用这个集成好的功能。

 

在开发者服务生态建设方面,大会专门以《开发者生态》为主题展开了高峰对话,“对话”由蒋涛老师主持,由融云联合创始人兼 CTO 杨攀、DCloud CTO 崔红保、以及支流科技联合创始人温铭三位业界顶级大咖出任对话嘉宾。

 

 

“对话”围绕中国开发者生态演变进程的回顾与展望,通过三位 Top 级开发者嘉宾对于自己开发历程的分享和互动,在开发者如何驱动行业创新方面贡献了真知灼见。其中,最为一致的观点是:新技术背后的高水平开发者供不应求,中国开发者需要创新生态建设。开发者要不断跟随技术崛起的脚步,多渠道获取进阶技能。“对话”带来的全新思考和借鉴经验,将有益于打造技术与开发者生态对接的平台,进而推动产业应用的发展。

 

行业最佳实践和思考

 

在服务开发者的具体实践方面,本次大会围绕音视频技术及其场景化的解决方案,设立了三场技术分论坛,即:“网络传输与系统架构”、“RTC 新技术与应用”以及“场景化赋能与创新”。讲师们从不同技术领域、不同维度和不同场景带来了自有核心技术和最佳实践的分享。

 

在“网络传输与系统架构”中,支流科技联合创始人温铭的《Apache APISIX:如何做到七层网络流量的统一技术方案》,融云首席架构师李淼的《融云构建全球一体化网络的设计解析》,Akamai 中国区资深技术顾问程希的《全球 API 加速网络构建》,Telstra 资深解决方案顾问徐艳涛的《SDN 全球一体化人工智能网络——为您的实时数据传输保驾护航》,大家分享了如何实现高可靠、高质量、高并发和低延迟的音视频通信体验。

 

在“RTC 新技术与应用”中,除了中国科学院声学研究所研究员李晓东、北京大学副教授张行功博士的演讲分享外,亮亮视野产品负责人张昊阳分享了 RTC 技术在 AR 智能可穿戴设备行业的落地应用;商汤科技技术总监赵代平介绍了 AI 图像分割技术及种类,还带来了许多 AI 产品的展示;融云视频算法专家黄震坤则带来了基于人工智能的 ROI 视频编码的技术分享,重点介绍了在弱网环境下用人工智能中的目标检测和背景建模对视频压缩进行优化的方案。

 

在“场景化赋能与创新”中,荔枝高级音频工程师马朋飞、融云高级架构师臧其龙、好未来直播中台产品负责人冯权成、获得场景视频商业产品总经理任哲、依图科技语音架构师王芳,分别通过直播场景下高音质优化、语聊房场景化 SDK 设计、实时音视频在教育场景的应用实践、面向企业及教育机构的高质量音视频通信以及语音技术在内容安全方面的实践与趋势,分享了核心技术和最佳实践。

 

结语

 

2021 WICC 全球互联网通信云大会已圆满落幕。大会上的演讲场场精彩,为行业实践提供了切实可行的解决方案,同时也指引了未来技术方向和发展趋势。讲师们精辟入理的讲解获得了开发者的高度认可,我们提供了回看合集,可以让大家重温演讲内容:

 


2021-08-05 10:233406

评论

发布
暂无评论
发现更多内容

百度网盘企业版数据快速上云,数据流转平台 CloudFlow 加速大模型训练迭代

Baidu AICLOUD

数据迁移 百度网盘 数据流转

非凸招聘,只等你了

非凸科技

招聘 金融 秋招

重回极简:华为如何走向全面智能化?

脑极体

AI

EIP、VIP、RIP的区别

天翼云开发者社区

rip EIP

解析淘宝商品评论API返回值中的用户互动与社交元素

技术冰糖葫芦

API Gateway API 接口 API 测试 pinduoduo API

华为云,调出AI原生三原色

脑极体

AI

华为Mate XT 非凡大师 大屏阅读 海量好书非凡体验尽在掌握

最新动态

k8s 中的 Ingress 简介

不在线第一只蜗牛

Kubernetes 容器 云原生

图片压缩格式自适应,真的很省流量!

七牛云

流量 带宽 音视频技术 图片压缩

分享3款开源、免费的Avalonia UI控件库

不在线第一只蜗牛

开源 UI

赋能私有化沟通:定制即时通讯与音视频系统助推企业数字化转型

BeeWorks

Kyutai 开源对话模型 Moshi;李飞飞空间智能公司已筹集超过 2.3 亿美元丨 RTE 开发者日报

声网

What industries are likely to benefit the most from WiFi 7 advancements?

wallyslilly

ipq9574 IPQ5332

安全无忧:私有化即时通讯软件提升企业内部信息安全的必然选择

BeeWorks

Springboot+Shiro+Mybatis+mysql实现权限安全认证

快乐非自愿限量之名

MySQL 数据库 sql Spring Boot

smardaten无代码这么牛逼?逻辑编排不用代码!

Yan-英杰

代码 无代码 smardaten

全球首个!百度智能云4款产品率先通过大模型平台应用系统ISO/IEC 42001认证

Geek_2d6073

为什么要使用CDN?CDN有什么优点?

Ogcloud

CDN CDN加速 CDN技术 CDN网络加速

低代码革命:加速云原生时代的端到端产品创新

EquatorCoco

云原生 低代码

基于LangChain手工测试用例转App自动化测试生成工具

测试人

人工智能 软件测试

赋能企业沟通:2024年专业IM即时通讯软件的重要性不可小觑!

BeeWorks

🎊 NFTScan 浏览器上线三周年并推出 NFTScan OAT 活动!

NFT Research

NFT\ NFTScan

震撼揭秘:2024年企业最受欢迎的IM即时通讯工具全面分析!

BeeWorks

一种面向混合云平台基于LSTM预测模型的资源池配额方法。

天翼云开发者社区

云平台 预测模型 LSTM

ShareSDK 扩展业务功能设置

MobTech袤博科技

开发者

得物自建 Redis 无人值守资源均衡调度设计与实现

得物技术

数据库 redis 后端

一文详解腾讯云可观测平台 APM 采样方案

腾讯云可观测平台

应用性能监控 腾讯云可观测平台

提高预算管理问责制,打造商业伙伴关系

智达方通

企业管理 企业管理工具 财务管理 全面预算管理系统 预算管理

.NET全局静态可访问IServiceProvider(支持Blazor)

快乐非自愿限量之名

.net

我在Marscode用了3天,转行成为Python程序员

豆包MarsCode

Python 人工智能 程序员 AI

2021全球互联网通信云大会(WICC)亮点回顾:AI赋能音视频,开发者生态服务将驱动行业未来发展_AI&大模型_Tina_InfoQ精选文章