HarmonyOS开发者限时福利来啦!最高10w+现金激励等你拿~ 了解详情
写点什么

为什么 K8s 需要 Volcano?

  • 2019-11-20
  • 本文字数:2090 字

    阅读完需:约 7 分钟

为什么K8s需要Volcano?

Volcano 是基于 Kubernetes 的批处理系统,源自于华为云开源出来的。Volcano 方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。


为什么 K8s 需要 Volcano

K8s 自带的的资源调度器,有一个明显的特点是:依次调度每个容器。但在 AI 训练或者大数据,这种必须多个容器同时配合执行的情况下,容器依次调度是无法满足需要的,因为这些计算任务包含的容器们想要的是,要么同时都成功,要么就都别执行。


比如,某个大数据应用需要跑 1 个 Driver 容器+10 个 Executor 容器(对应 AI 训练的话,就是 1 个 PS 容器+10 个 Worker 容器)。如果容器是一个一个的调度,假设在启动最后一个 executor 容器(对应 AI 是 Worker 容器)时,由于资源不足而调度失败无法启动,那么前面的 9 个 executor 容器虽然运行着,其实也是浪费的。


AI 训练也是一样的道理,必须所有的 Worker 同时运行,才能进行训练,坏一个,其他的容器就等于白跑。而 GPU 被容器霸占着却不能开始计算,成本是非常高的。


所以当你的(1)总体资源需求<集群资源的时候,普通的 K8s 自带调度器可以跑,没问题。但是当(2)总体资源需求>集群资源的时候,K8s 自带调度器会因为随机依次调度容器,使得部分容器无法调度,从而导致业务占着资源又不能开始计算,死锁着浪费资源。那么场景(1)和场景(2)谁说常态呢?不用说,肯定是(2)了,谁能大方到一直让集群空着呢对吧。这种情况就必须需要增强型的 K8s 资源调度器 Volcano 了。

资源调度领域

当用户向 K8s 申请容器所需的计算资源(如 CPU、Memory、GPU 等)时,调度器负责挑选出满足各项规格要求的节点来部署这些容器。通常,满足各项要求的节点并非唯一,且水位(节点已有负载)各不相同,不同的分配方式最终得到的分配率存在差异,因此,调度器的一项核心任务就是以最终资源利用率最优的目标从众多候选机器中挑出最合适的节点。


除了资源维度上的要求,实际调度中还有容灾和干扰隔离上的考虑:比如同一应用的容器不允许全部部署到同一台节点上,很多应用会要求每台节点上只允许有一个实例。另外,某些应用组件之间还存在互斥关系(如资源争抢),严重影响应用的性能,因此也不允许它们被部署到同一台节点上。这些限制条件的引入,使得想新写一款调度器,能替代原生 K8s 调度器并不容易。

算法分析

Volcano 首先要解决的问题就是 Gang Scheduling 的问题,即一组容器要么都成功,要么都别调度。这是最基本的用来解决资源死锁的问题,可以很好提高集群资源利用率(在高业务负载时)。


除此之外,它还提供了多种调度算法,例如 priority 优先级,DRF(dominant resource fairness), binpack 等。 我们今天就是挖一挖 Volcano 内部的各种调度算法实现。


3.1 Gang Scheduling


这种调度算法,首先是有’组’的概念,调度结果成功与否,只关注整一’组’容器。


具体算法是,先遍历各个容器组(代码里面称为 Job),然后模拟调度这一组容器中的每个容器(代码里面称为 Task)。最后判断这一组容器可调度容器数是否大于最小能接受底限,可以的话就真的往节点调度(代码里面称为 Bind 节点)。



3.2 DRF(dominant resource fairness)


这种调度算法,主要是 Yarn 和 Mesos 都有,而 K8s 没有,需要补齐。概括而言,DRF 意为:“谁要的资源少,谁的优先级高”。这样可以满足更多的作业,不会因为一个胖业务,饿死大批小业务。注意:这个算法选的也是容器组(比如一次 AI 训练,或一次大数据计算)。



3.3 binpack


这种调度算法,目标很简单:尽量先把已有节点填满(尽量不往空白节点投)。具体实现上,binpack 就是给各个可以投递的节点打分:“假如放在当前节点后,谁更满,谁的分数就高”。因为这样就能尽量将应用负载靠拢至部分节点,非常有利于 K8s 集群节点的自动扩缩容功能。注意:这个算法是针对单个容器的。



3.4 proportion(Queue 队列)


Queue 功能是 Yarn 调度器有的功能,K8s 需要补齐。不过我对 Queue 这个取名有些不太满意。因为它实际是用来控制集群总资源分配比例的。比如某厂有 2 个团队,共享一个计算资源池。管理员设置:A 团队最多使用总集群的 60%,B 团队最多使用总集群的 40%。投递的任务量,超过该团队的可用资源怎么办?那就排队等呗,所以特性取名 Queue。



3.5 最终权重


由于 Volcano 的调度算法插件实在太多,每个插件的决策又有可能互相干扰。所以为了在各个算法间做权衡,又给插件设置了权重,这样可以控制每种调度算法插件的影响因子。比如 NodeOrder 算法里面,就是在优选阶段(注:K8s 调度,分预选阶段和优选阶段。预选就是排除不符合的节点。优选就是给所有符合的节点打分)给节点打分的算法。各个算法有自己的权重可以配置。

Volcano

Volcano 项目的前身是 Kube-Batch,一个带着想解决 K8s 不支持 Gang Scheduling 问题初衷的项目。后来由于 AI 和大数据等业务领域也开始对 K8s 有述求,团队成员希望有一种喷薄而出的感觉,所以带上具体场景实践经验,重新将项目命名为 Volcano–火山,希望能够推动 K8s 在各个场景下向火山一样热烈绽放。


项目地址


添加小助手微信,加入【容器魔方】技术社群。



2019-11-20 19:133880

评论

发布
暂无评论
发现更多内容

系统服务-技术专题-并发模型粗浅分析探讨

洛神灬殇

并发编程

一周信创舆情观察(4.19~4.25)

统小信uos

音频技术及行业的发展

Emotion

音频技术

基于 HLS 创建 Golang 视频流服务器

天黑黑

音视频 HLS 声网 Go 语言

站在车顶才能维权?中汽协基于区块链放“大招”!

CECBC

特斯拉

本科学历,杭州工作4年,三个月学习入职阿里,薪资涨幅达到50%

比伯

Java 编程 程序员 架构 计算机

区块链赋能的Web 3.0时代将是一番怎样的景象?

CECBC

区块链

从字节跳动到火山引擎(一) | Redis 云原生实践

redis 字节跳动 Kubernetes 云原生 火山引擎

击破行业痛点,区块链赋能智慧物流高速发展

CECBC

区块链

Kubernetes入门——Kubernetes实现应用的高可用

百度开发者中心

Kubernetes k8s入门 #技术课程#

华为云云原生数据库GaussDB加速创新,企业核心数据上云信赖之选

华为云开发者联盟

数据库 云原生 华为云 GaussDB(for openGauss) 全密态安全

5.1特辑|为何显示有票你却抢不到?技术揭秘12306如何保证车票不超卖

华为云开发者联盟

数据库 GaussDB(for Redis) 五一 12306 数据强一致性

海南新场景!数字人民币在三亚完成首单离岛免税购物

CECBC

海口免税

uni-app rtc插件集成指南及常见问题--iOS

anyRTC开发者

uni-app ios 音视频 WebRTC RTC

高并发系列:架构优化之细说负载均衡

Coder的技术之路

负载均衡 高并发 高并发优化 负载均衡架构

跨湖跨仓场景下如何实现海量数据分钟级分析

华为云开发者联盟

大数据 数据湖 数据分析 华为云FusionInsight MRS HetuEngine

CrossOver for Mac 怎么用?

懒得勤快

行业洞察 | 风口上的互联网医疗,如何赢得下半场?

澳鹏Appen

人工智能 大数据 医疗方案 智能医疗 医疗AI

编曲混音必备法宝——FL三大效果器简介

奈奈的杂社

000 ES suggest-英文

小林-1025

es7

anyRTC 音视频 uni 插件集成步骤

anyRTC开发者

uni-app android 音视频 WebRTC sdk

区块链技术赋能不动产登记,让群众办事更便利

CECBC

区块链

干了八年的阿里面试官,给大家分享我面试时最爱问的Java面试题

Java架构师迁哥

复习一周 成功拿到字节Offer 我也惊呆了

学Java关注我

Java 面试 程序人生 编程语言 计算机

Android 设备音视频兼容性适配

网易云信

WebRTC

江西组织部干部人事综合管理平台建设,干部管理系统

【Java面试】30个 Java 集合面试必备的问题和答案 ​

Java架构师迁哥

阿里云 ARMS 3.0 重磅发布云拨测,Gartner APM 魔力象限产品解读

阿里巴巴中间件

阿里云 Gartner 可观测

云图说|数据可视化管理,搭载数据安全黑科技!华为数据安全中心,助你保障云上数据安全!

华为云开发者联盟

数据安全 华为云 云图说 DSC 数据安全中心 云上数据

领域驱动设计(DDD)在百度爱番番的实践

百度Geek说

中台 微服务 领域驱动设计DDD

Rust从0到1-集合-Vector

rust 集合 Collections vecotr

为什么K8s需要Volcano?_架构_华为云原生团队_InfoQ精选文章