写点什么

音视频媒体 QoS 保障机制

  • 2020-02-04
  • 本文字数:1409 字

    阅读完需:约 5 分钟

音视频媒体QoS保障机制

低延迟连麦技术

目前大多数的互动直播都是主播与观众的一对多模式,观众与主播的互动主要通过使用文字、点赞、礼物等方式进行。在这种模式下,主播和观众的互动性不够直观和及时。考虑到直播时观众若能与主播进行实时的音视频互动,将会大大提高用户的参与感、增加用户粘性,目前很多直播平台都支持或者正在开发支持观众和主播连麦互动的功能,这也是目前各直播平台主要的竞争技术点之一。



连麦的简单过程如下:


  • 主播正常开始直播,观众进入房间观看主播直播画面(普通直播);

  • 直播过程中,想要连麦互动的观众发起连麦请求,进入连麦申请列表;

  • 主播从连麦申请列表中选择一名或多名观众进行连麦互动,主播可以看到并听到连麦观*众的声音画面;观众也可以看到并听到主播和其他观众的声音画面(连麦直播);

  • 连麦结束,恢复原来的主播单人直播模式。


由此可知,“连麦”要求主播和上麦的观众能够展开实时的音视频互动,这对音视频的延时和同步提出了很高的要求。

那么它该如何实现呢?

音视频实验室互动直播 SDK 针对以下几个方面持续地进行优化:


首先,在上麦时刻,基于 SDK 的秒进房特性(在另外一篇 SDK 介绍文章《音视频实验室:服务于 130+客户的直播 SDK 是怎样炼成的》中有详细介绍),连麦观众能够实现快速进房间,主播也能够快速看到上麦观众的音视频画面。

其次,在编解码端,我们对编码器效率的持续优化使得编码器耗时更小,在同等质量下码率更低,从而需要传输的数据量更小,更有利于延迟的减少;对于视频编码,我们支持 IOS、Android、PC 三端的硬件编解码,使得编码耗时更低;同时也支持软、硬件编码实时互相切换,调整更灵活,响应及时。

接着,在传输端,我们采用基于实时性很高的 UDP 协议而优化的私有的 UDT 协议,而不是直播行业常用的 RTMP、HLS、FLV 等方式,从而减小了延迟,适合于对实时性要求高的应用场景。


小科普:


RTMP、HLS、FLV 等传输协议是基于 TCP 的上层协议。TCP 协议的几次握手挥手过程和丢包重传特性都会使得延迟无法降到很低,尤其当网络有丢包和抖动时,延迟变得更加不可控。


UDP 协议就没有这些繁琐的过程,因此它有非常高的实时性,延迟能够达到 1s 以下,因此一般用在视频会议、监控、IP 电话等实时场景。但 UDP 是简单不可靠的传输方式,本身没有 QoS 的保障机制,存在丢包和乱序现象,必须要额外增加网络 QoS 机制来保证传输的质量。



我们自研的 UDT 协议通过一系列策略优化,既保证了网络 QoS 抗性,也保证了连麦场景下能够有较高的实时性:


在流控层,连麦场场景下,专门调测一组低延迟的、对音视频质量无明显影响的编解码参数和网络传输控制参数。


在接入层,依托腾讯在全球强大的服务器部署,利用智能的接入分配策略,实现最优的就近接入、跨地域、跨运营商优化接入。


基于上述几个方面的优化,音视频实验室互动直播 SDK 的连麦场景实现了最低可达到 400ms,普通网络下平均 600+ms 的低延迟连麦体验,在兼顾低延迟的同时还能保证抗性能抗最大 45%的网络丢包:


结语

本文简单介绍了最近很火的互动直播基本情况和技术特性,接着对音视频实验室互动直播 SDK 及其音视频核心技术特点进行了分享(点击阅读原文按钮,可查看上篇直播 SDK 技术揭秘)。


针对音视频实验室互动直播 SDK 现有的高性能,我们还将持续深入地优化、精益求精,以实现更丰富多样的功能性、更强的网络适应性,和更优质的音视频体验。


本文转载自腾讯多媒体实验室公众号。


原文链接:https://mp.weixin.qq.com/s/BmLeVbM5wsZUKVcCH1skbw


2020-02-04 20:381115

评论

发布
暂无评论
发现更多内容

电商卖家如何利用API获取用户行为数据

技术冰糖葫芦

API 文档 API 策略

国际盛会 | 蔚蓝创造亮相KEY ENERGY 2024能源展

科技热闻

SD-WAN对云服务的影响

Ogcloud

SD-WAN 企业网络 SD-WAN组网 SD-WAN服务商 SDWAN

比特币价格突破62000美元,近一个月涨幅超过40%

区块链软件开发推广运营

dapp开发 区块链开发 链游开发 NFT开发 公链开发

对比传统主机,云主机贵吗?是否值得购买?

一只扑棱蛾子

云主机

MCtalk·CEO对话×影刀RPA丨不确定的周期,越要找到确定的竞争优势

ToB行业头条

从 0 开始构建知识图谱的 5 个启动建议

悦数图数据库

知识图谱

面试官:说说volatile底层实现原理?

王磊

Java 面试

立即报名|3 月 8 日北京,稳定性 & 可观测沙龙来了!

阿里巴巴云原生

阿里云 容器 微服务 云原生

可用于智能客服的完全开源免费商用的知识库项目

不在线第一只蜗牛

架构 开源项目 技术栈 智能客服

AI PC的风刮到企业里,看英特尔vPro怎么做到的

E科讯

深度解析:Allure报告如何提升你的测试效率?

测试人

软件测试 自动化测试 测试开发

超越传统模式:商品企划系统如何助力鞋服品牌创新突围?

第七在线

小红书笔记详情API入门指南

技术冰糖葫芦

API 文档

SD-WAN网络中,CPE设备的重要性与选择

Ogcloud

SD-WAN 企业网络 SD-WAN组网 SD-WAN服务商 SDWAN

杭州悦数受邀参加《大模型驱动的智能知识图谱》标准首次专家研讨会

悦数图数据库

盘点6个最受欢迎的 Vue.js UI 库

秃头小帅oi

什么是渗透测试?有哪些类型?

小齐写代码

『双向奔赴,绿动未来』 ——能效电气2024新品发布会

极客天地

商用AI PC,能帮企业带来什么?

E科讯

跳槽必看MySQL索引:B+树原理揭秘与索引优缺点分析

王中阳Go

数据库 面试 金三银四 跳槽

IDC 中搭建 Serverless 应用平台:通过 ACK One 和 Knative 玩转云资源

阿里巴巴云原生

阿里云 云原生 容器服务

SD-WAN技术:是挑战还是机遇?

Ogcloud

SD-WAN 企业网络 SD-WAN组网 SD-WAN服务商 SDWAN

长期有效!开放原子基金会联合龙蜥社区推出的「人人都可以参与开源」学习赛上线

OpenAnolis小助手

开源 操作系统 龙蜥社区 开放原子 人人都可以参与开源

集成专栏丨解析WSDL自动生成API

inBuilder低代码平台

开源 低代码 集成 连接器

文心一言 VS 讯飞星火 VS chatgpt (204)-- 算法导论15.3 3题

福大大架构师每日一题

福大大架构师每日一题

检测LED单元板的好坏的方法

Dylan

LED display LED显示屏 led显示屏厂家

音视频媒体QoS保障机制_文化 & 方法_腾讯多媒体实验室_InfoQ精选文章