写点什么

腾讯课堂点播上云客户端实践总结

  • 2020-01-19
  • 本文字数:4368 字

    阅读完需:约 14 分钟

腾讯课堂点播上云客户端实践总结

一、课堂腾讯云点播 HLS 播放

1. HLS 浅析

(1) HLS 协议


点播业务目前用的是 HLS 协议。HLS 协议全称是 HTTP Live Streaming,它是一个由苹果提出的基于 HTTP 的流媒体网络传输协议。HLS 协议规定:


  • 视频的封装格式是 TS;

  • 视频编码格式为 H264,音频编码格式为 MP3、AAC 或者 AC-3;

  • 除了 TS 视频文件本身,还定义了用来控制播放的 m3u8 文件。


HLS 的工作流程如下图(来源苹果官网)所示:



  • Server

  • Server 获取媒体输入流,Media 编码 MPEG-4(H.264 video 和 AAC audio),然后打包到 MPEG-2 (MPEG-2 transport stream)的传输流中,传输流会经过 Stream segmenter,MPEG-2 传输流会被分散为小片段然后保存为一个或多个系列的 .ts 格式的媒体文件。

  • Distribution

  • Stream segmenter 会创建一个索引文件,通常会包含这些媒体文件的一个列表,也能包含元数据,一般都是一个.m3u8 的列表,列表元素会关联一个 URL 用于客户端访问,然后按序去请求这些 URL。

  • Client

  • Client 主要接受 Client 客户端请求并提供相关联的资源给客户端。


(2)HLS 的 index 文件


index 文件就是 m3u8 文本文件,如下图(来源苹果官网)所示。客户端播放 HLS 视频流的逻辑是先下载一级 Index file,它里面记录了二级索引文件(Alternate-A、Alternate-B、Alternate-C)的地址,然后客户端再去下载二级索引文件,二级索引文件中记录了 TS、dk 的下载地址,这样客户端就可以按顺序下载 TS、dk 文件并连续播放。



以企鹅辅导为例,一级 index(master_playlist.m3u8)文件如下图所示:



  • #EXTM3U —表明该文件是一个 m3u8 播放列表文件,必须在第一行给出;

  • #EXT-X-VERSION:3 —播放列表文件的版本,现在主流版本是 3;

  • #EXT-X-STREAM-INF —不同码率的数据流 ;

  • PROGRAM-ID=0 —唯一标记;

  • BANDWIDTH=92166 —这个值是十进制整数代表每秒钟的比特率,这个值必须是整个播放列表中码率的峰值;

  • RESOLUTION=384x288 —视频流的分辨率。


二级 index(对应任意一个清晰度)文件如下图所示:



  • #EXT-X-KEY —媒体文件有可能要被加密,该标签描述了如何解密媒体文件;

  • METHOD —包括 NONE、AES-128、和 SAMPLE-AES。如果该值是 NONE 或播放列表没有定义该标签,表示媒体段没有被加密。如果设置了 NONE,则其他属性不会出现。其中 AES-128 表示媒体是由 AES-128 标准构造的的 128bit 的 key,和密码块链接(CBC)和 PKCS7 加密组成的,URI 参数必须出现在 METHOD 后面;

  • URI —描述了如何获取 key 文件;

  • IV —IV 可以不存在,如果没有 IV 则使用序列号作为 IV 进行编解码,将序列号的高位赋到 16 字节的 buffer 中,左边补 0,如果有 IV,则将该值作为 16 字节的 16 进制数;

  • #EXT-X-MEDIA-SEQUENCE —m3u8 播放列表中第一个出现的媒体段的序列号;

  • #EXT-X-TARGETDURATION —该标签描述了媒体段的最大时长,EXTINF 后面的实际媒体段时长不能超过这个标签描述的值,否则会引起错误;

  • #EXTINF —该标签描述了媒体段的时长,在 3.0 版本后时长可以是浮点数,否则必须是整数。

2. 播放器本地代理

(1) 播放器直连 Server


以企鹅辅导为例,播放器直连远端 Server 的播放流程如下图所示:



该流程存在一些缺点,比如:用户播放视频的时候可能等待的时间较长,造成流量的浪费,无法做缓存、预加载等优化策略等。


(2) 通过本地代理播放


基本流程如下图所示:



企鹅辅导详细流程如下图所示:



具体流程可以概括为:


  • 启动本地代理服务器(一期采用 mongoose);

  • 视频源地址传给本地代理服务器;

  • 将视频源地址转换成本地代理服务器(127.0.0.1)的地址作为播放器的视频源地址;

  • 播放器向本地代理服务器发送请求;

  • 本地代理服务器截取这个请求,再根据解析出来请求的信息向远端服务器发起请求;

  • 本地代理服务器开始接受数据,写入文件并将文件数据再返回到播放器;

  • 播放器接收到这些数据之后播放。


目前是使用 mongoosehttps://github.com/cesanta/mongoose)来实现本地 Http Server,在这里简单介绍一下 mongoose。


mg_mgr:用于管理连接、事件等的 Manager ;mg_connection:单个连接,保存了连接信息。


主要用法步骤


  1. 调用 mg_mgr_init 进行初始化;

  2. 调用 mg_bind,第 2 个参数为需要监听的端口号,第 3 个参数为处理请求的 handler;

  3. 调用 mg_set_protocol_http_websocket 将上一步返回的 mg_connection 与内建的 http handler 绑定。这样我们的 handler 才能收到 http 事件;

  4. 通过一直调用 mg_mgr_poll 接收请求。


(3) Cache 功能


使用本地代理一个重要作用就是 Cache。


  1. 首先缓存 m3u8 文件内容;

  2. 当播放器请求第 1 个 ts 分片,异步请求下一个 ts 分片并缓存数据;

  3. 当播放器请求分片 data 时,内存有就内存返回,内存没有就向远端 Server 请求。


缓存淘汰


假定用户经常看的视频不能优先淘汰,那么用 LFU 淘汰策略即可。每个缓存块设置一个 count,缓存命中一次就 count++,触发淘汰的时候,把 count 最小的先淘汰。


流量控制


例如用户只看了视频前面一点,就暂停了,那么后面的视频不再下载等,具体细节后续文章将会详细说明。


seek


播放视频的时候,用户会拖动进度条进行 seek,与 mp4 文件不同,对于 hls 文件 ffplay 会根据 seek 的 position,向本地服务器请求 seek 的 position 所在的 ts 分片。

3. 腾讯课堂云点播在线播放时序图解析


如上图所示:


  • 第一步通过业务 get_token 协议拿到防盗链需要的 Key。这里需要注意的是防盗链的 Key 顺序一定要按照腾讯云文档中的顺序,带 KEY 防盗链的视频播放地址的校验工具;

  • 第二步通过腾讯云 getplayinfo 协议拿到播放的链接,这里的链接 master 和 transcodelist 都会返回;

  • 第三步在请求的 URL 中拼接 voddrm.token 参数,用于鉴权;

  • 第四步将请求的 URL 透传给教育自研的播放器 ARMPlayer,ARMPlayer 会启动本地代理,请求数据/解码/渲染。课堂采用的是 HLS 加密 [1],所以播放的时候还需要通过 DK(密钥)进行 TS 解密。

4. 课堂腾讯云点播本地播放时序图解析


如上图所示:


  • 第一步启动本地代理,通过上层透传的本地存储的 URL,读取 DB 中的指定清晰度的 m3u8 链接和指定清晰度的 m3u8 的内容;

  • 第二步改写 m3u8 链接和 DK/TS 的域名为:127.0.0.1;

  • 第三步请求本地 DK 和 TS 数据;

  • 第四步解密/解封装/渲染。

二、课堂腾讯云点播优化

1. 首帧优化

首帧的主要耗时点有:


  • master.m3u8 透传给 FFmpeg,FFmpeg 会串行拉取 3 个清晰度的 m3u8 及第 1 个 TS 分片;

  • DNS 解析耗时高;

  • 每个清晰度.m3u8 大小是 400kb 左右,拉取慢;

  • DK 和 TS 每次都需要拉取。



点播首帧优化前请求流程

这里面可能会涉及到一些问题,下面给出它们的解决方案。

问题 1:master.m3u8 透传给 FFmpeg,FFmpeg 会串行拉取 3 个清晰度的 m3u8 及第 1 个 TS 分片。



指定清晰度.m3u8


解决方案:


  • getplayinfo 协议直接获取指定清晰度 m3u8,减少 master.m3u8 ->清晰度.m3u8 的网络请求;

  • 播放器从 master.m3u8 改为指定清晰度.m3u8 透传给 FFmpeg,减少 avformat_find_stream_info 串行拉取 3 个清晰度和第 1 个 TS 分片的耗时。


问题 2:DNS 解析耗时高。



DNS 缓存


解决方案


  • 增加 DNS 结果缓存模块,缓存“{域名: IP}”;

  • 视频播放时,直接查表,取出域名对应的 IP 地址。


问题 3:每个清晰度.m3u8 大小是 400kb 左右,拉取慢


解决方案


  • 预加载;

  • 预加载策略

  • 预加载学生报名直播课结束 1 周内的 m3u8 数据和指定位置的 TS、DK。


问题 4:DK 和 TS 每次都需要拉取



本地代理缓存


解决方案


播放器设计了一个本地代理层,播放器不直连远端 server,而是通过本地代理层发出请求,通过本地代理层实现缓存和读取本地资源进行播放。

2. 播放成功率优化

对于播放成功率,最主要是要完善监控系统以及对出现的问题各个击破,目前遇到的主要问题和解决方式如下:



主要问题和解决方式 1



主要问题和解决方式 2

3. 播放体验优化

  • ffplay 音视频同步;

  • 企鹅辅导录播多路视频流精确对齐。



精确 Seek 流程

4. 下载优化

  • 下载成功率

  • 因为教育自研的播放器下载和播放底层库共用,所以除了播放出现的类似问题,下载方面我们还针对存储、写磁盘、安全性做了优化,已下载视频采取 DB 分级映射缓存。

  • 下载速度

  • 因为 HLS 是由无数个 TS 和 DK 构成,如果是单线程下载,每次请求一个 TS 和 DK 地址都将重新建立连接,所以这里我们采用的是多线程以及播放缓存复用逻辑。

5. 缓冲优化

这里存在两个问题,下面来做出解决方案。


问题 1:旧播放器在读数据 -> 解封装 -> 解码 -> 渲染链路上均出现过因为抖动而出现的缓冲。



缓冲区


解决方案


  • 帧缓冲区,抵抗网络抖动和解码抖动;

  • 显示缓冲区,抵抗渲染抖动。


问题 2:旧播放器是顺序存储同时没有异步请求后面的 TS 分片和 DK。



多线程和存储


解决方案


  • 顺序存储和 Seek 之后的非顺序存储;

  • 多线程异步请求。

6. 安全性优化

  • 防盗链,腾讯云防盗链主要有 2 种形式 Referer 防盗链和 Key 防盗链,目前课堂采用的是 Key 防盗链,腾讯云防盗链[2];

  • HLS 加密;

  • 水印。

三、课堂腾讯云点播踩过的坑

因为腾讯课堂不仅是新生成或上传的视频要上云,同时对于之前存量的几百万 MP4 视频要重新转码上传到云上,这个过程中容易踩到不少坑。这里提供一些常见的问题以及解决方案。

1. 转码出的视频清晰度不全

这里主要有 2 个原因:机构上传的视频清晰度较低,低转高不一定能转码出来,其次 1080p 不一定能转成功。


解决方案


  • 后台重新转码;

  • 客户端健壮性,对于清晰度缺少的视频播放和下载采用降级策略,降级到最近的清晰度最清晰的视频。

2. 获取腾讯云播放链接是通过 getplayinfo 接口

回包中包括 master.m3u8 和 transcodelist 两个信息,出现 master.m3u8 包含的清晰度个数和 transcodelist 清晰度个数不一致。


解决方案:后台重新转码。

3. 播放提前结束或 seek 不准确

HLS 标准中的 EXTINF 标志的切片时间总和和 TS 分片实际的时间总和不一致,导致播放提前结束和 Seek 不准确。


解决方案:后台重新转码

4. 录播视频经过腾讯云转码出现拉伸

机构上传的原视频不是标准的 720,腾讯云重新转码会出现拉伸。


解决方案:后台重新转码。

5. 播放一直加载中

因为存量视频从原来的 MP4 视频切到 HLS,偶现从后台拉到的用户上一次 MP4 播放进度同步到 HLS,超过了 HLS 视频总时长, 播放一直 loading


解决方案:客户端容错, 超过视频总时长将 Position 置为 0。


除了上面视频本身可能会出现的坑,还有客户端灰度期间兼容两种视频源同时存在切换、Next 学位和普通课程、回放分段视频切换等也容易踩坑。目前课堂建立了完善的监控,第一时间发现解决问题。


从辅导到课堂,直播回放全量上云,各项数据和用户体验都有了很大的提升,欢迎大家一起参与腾讯课堂点播上云,一起为教育点播保驾护航!


参考资料


[1] HLS 加密:https://cloud.tencent.com/document/product/266/9638


[2] 腾讯云防盗链:https://cloud.tencent.com/document/product/266/14047


本文转载自公众号云加社区(ID:QcloudCommunity)。


原文链接


https://mp.weixin.qq.com/s/JdyL3VriaFegcoQcDj6KsQ


2020-01-19 15:085598

评论

发布
暂无评论
发现更多内容

将 NGINX 部署为 API 网关,第 2 部分:保护后端服务

NGINX开源社区

nginx 安全 Backend Developer api 网关 模块

EasyNLP发布融合语言学和事实知识的中文预训练模型CKBERT

阿里云大数据AI技术

深度学习 开源 语言模型 企业号十月PK榜

质量切入点都在哪儿呢?

QE_LAB

质量保障 敏捷精益

开源依赖管理的最佳实践

SEAL安全

开源许可证 开源安全 软件供应链安全 开源安全与治理 10月月更

vcluster -- 基于虚拟集群的多租户方案

Se7en

Kubernetes 云原生

web前端开发培训学习合适吗?

小谷哥

MobLink Android 快速集成

MobTech袤博科技

Gradle sdk moblink

@全体开发者, 华为云1024程序员节精彩开启!

华为云开发者联盟

华为云 企业号十月 PK 榜

需求吞吐量半年提升 65%,500强企业这样做|ONES 研发管理大师课

万事ONES

前端编程培训学习就业有前途吗?

小谷哥

上干货 | 园区智慧物联管理解决方案

AIRIOT

物联网 智慧园区 低代码开发 园区解决方案

从零手写react-router

helloworld1024fd

JavaScript

长安链源码分析之网络模块 net-liquid(4)

音视频开发进阶——YUV与RGB的采样与存储格式

ZEGO即构

音视频开发

大数据开发培训机构有哪些?

小谷哥

链表专项之环形链表

lovevivi

c 数据结构 10月月更

Vue组件入门(九)v-model 自定义修饰符

Augus

Vue 3 10月月更

从零开始实现一个Promise

helloworld1024fd

JavaScript

C# Timer控件学习,使用Timer解决按钮幂等性问题

IC00

C# 学习 程序员 上位机 10月月更

前端培训学习好就业吗?

小谷哥

AntDB数据并行加载工具的实现

亚信AntDB数据库

大数据 AntDB AntDB数据库 企业号十月PK榜 企业号十月 PK 榜

数字化的一切都会在安全沙箱里面

FN0

云计算 安全性 沙箱

K8S 故障排错新手段:kubectl debug实战

BoCloud博云

容器 云原生 k8s

ThreadLocal 源码分析-扩容和get方法

zarmnosaj

10月月更

时间复杂度与空间复杂度

lovevivi

c 数据结构 10月月更

数据结构学习,数组和数组矩阵的三种压缩

IC00

学习 数据结构 算法 学习笔记 10月月更

重磅来袭 | 尚硅谷数据湖Hudi视频教程发布

小谷哥

js 和 css 是如何影响DOM树构建的?

CoderBin

CSS JavaScript 前端 DOM 10月月更

社招前端经典手写面试题合集

helloworld1024fd

JavaScript

云图说|AppCube零代码,开启无码新生活

华为云开发者联盟

低代码 零代码 华为云 企业号十月 PK 榜

一句口诀教你辨别索引失效七大场景

华为云开发者联盟

数据库 后端 索引 华为云 企业号十月 PK 榜

腾讯课堂点播上云客户端实践总结_安全_云加社区_InfoQ精选文章