燃爆上海 5·23-24,AICon 大模型实战风暴,50+ 干货一网打尽,100% 日程上线 了解详情
写点什么

Gödel:字节跳动在离线混部统一调度系统

  • 2023-12-07
    北京
  • 本文字数:785 字

    阅读完需:约 3 分钟

Gödel:字节跳动在离线混部统一调度系统

2023 年 10 月 30 日至 11 月 1 日,SoCC 2023 将在美国加州 Santa Cruz 举行。字节跳动基础架构-编排调度团队的研究成果被 SoCC 2023 接收,并受邀进行现场报告。


SoCC 会议全称 Annual ACM Symposium on Cloud Computing,是云计算领域顶级会议之一,同时也是 ACM 所有会议当中唯一一个同时被 SIGMOD 和 SIGOPS 赞助的顶会,代表了当前云计算领域在学术界、工业界和开源社区的前沿水平。


SoCC 会议伴随着云计算的兴起而成立,至今已经举办到第 14 届。该会议每年吸引全球顶级研究机构和知名大公司投稿,对系统创新性、完整性、和有效性等方面都要求很高。今年,会议论文的接收率只有 30%。


Gödel: Unified Large-Scale Resource Management and Scheduling at ByteDance


Gödel 是字节跳动基础架构-编排调度团队自主研发、面向大规模云原生基础设施管理的在离线统一调度系统。


字节跳动旗下业务线在过去几年的飞速发展中对计算资源的需求与日俱增,在数据中心的不断膨胀和对计算资源的差异化需求中,原生的 Kubernetes 调度器对于各种在离线业务负载统一托管、资源统一运营都带来了一系列挑战。


在此背景下,Gödel 调度系统应运而生。和 Kubernetes 原生调度器相比,Gödel 能同时在一套集群环境支持各类在离线、机器学习负载混合调度,同时具有高吞吐(up to 10X)、高弹性(sub-minute 资源流转)、高资源利用率(up to 60%)等特点,更好地满足了字节各业务间混合部署、资源并池等部署要求。在满足各形态业务负载 SLA 要求的同时,为计算集群资源统一运营提供了通用平台,进而提高了字节数据中心的资源利用率和任务灵活性,达到降本增效的目的。



Gödel 论文与现场报告将于 10 月底正式亮相 SoCC 2023。届时,字节跳动基础架构团队也将发布该论文的对应解读文章,欢迎持续关注。


目前,字节跳动在离线混部的另一核心组件——资源管控系统 Katalyst 已开源,点击了解社区【编程挑战】!



2023-12-07 11:421465
用户头像

发布了 21 篇内容, 共 10.9 次阅读, 收获喜欢 13 次。

关注

评论

发布
暂无评论
发现更多内容

基础设施 NFTScan 正式发布 Avalanche 网络 NFT 浏览器

NFT Research

区块链 NFT web3 数据基础设施 Avalanche

云安全将进入黄金时代 - Gartner 报告解读

HummerCloud

云计算 云安全 Gartner

中国CRM要超车,没有弯道

ToB行业头条

数据库改造方案 | 同花顺、弘源泰平真实案例分享

TDengine

数据库 tdengine 时序数据库

JPEX推出竞猜世界杯冠军球队活动,质押平台通证赢奖金

股市老人

leetcode 220. Contains Duplicate III 存在重复元素 III(困难)

okokabcd

LeetCode 数据结构与算法

React源码分析7-state计算流程和优先级

goClient1992

React

阿里大牛强力推荐:springboot实战派文档,采用知识点+实例的形势,深入了解

Geek_0c76c3

数据库 spring 开源 程序员 架构

React源码分析8-状态更新的优先级机制

goClient1992

React

基于 openEuler 22.09 版本构建的 NestOS 全新发布!

openEuler

镜像 操作系统 openEuler

啃透Alibaba这份面试通关宝典,信心倍增!我成功拿下今年第15个Offer

Geek_0c76c3

Java 数据库 开源 程序员 架构

腾讯强推Spring Security速成笔记太香了!认证授权一键搞定

程序知音

Java 架构 spring security 后端技术 Spirng

idea启动build过慢

拾光师

IDEA 10月月更

在 Go 语言中使用 exec 包执行 Shell 命令

宇宙之一粟

Shell Go 语言 10月月更

一文带你玩转ProtoBuf

王中阳Go

Go 微服务 RPC protobuf 10月月更

太神了!阿里p7大佬总结的Java面试心得,起始—进阶—突击,一应俱全!

Geek_0c76c3

Java 数据库 开源 程序员 架构

打造面向工业4.0的智能工厂01|云边协同架构助力视觉AI缺陷检测应用构建

EMQ映云科技

AI 物联网 IoT emqx 10月月更

鹅厂二面,nginx回忆录

有态度的马甲

阿里全新推出:微服务突击手册,把所有操作都写出来了|超清PDF

程序知音

Java 微服务 阿里 SpringCloud 后端技术

《数字经济全景白皮书》证券财富管理篇 重磅发布

易观分析

金融 证券

太强了!阿里巴巴最新开源303页Spring全家桶高级笔记,深入瓦解源码

Geek_0c76c3

Java 开源 程序员 架构 开发

技术内幕 | StarRocks Pipeline 执行框架(上)

StarRocks

数据库

运维监控管理平台 TASKCTL 流程启动的3种不同模式

敏捷调度TASKCTL

大数据 数据仓库 自动化运维 TASKCTL DevOps工具

从零手写react-router

helloworld1024fd

JavaScript

TDengine 3.0 中如何编译、创建和使用自定义函数

TDengine

数据库 tdengine 开源 时序数据库

阿里老表总结的“JVM核心笔记”,让我瞬涨7K!

程序知音

Java 架构 性能优化 JVM 后端技术

人工智能软件及服务细分市场数据监测报告合集

易观分析

人工智能 报告

Dataphin V3.6版来了!多项能力升级,助力企业提升全链路数据治理能力

瓴羊企业智能服务

京东的“618”高并发秒杀终极版教程!(Java语言设计)

程序知音

Java 架构 并发编程 高并发 后端技术

实践了上万次,原来这些才是敏捷测试需要遵循的原则

敏捷开发

敏捷 测试 单元测试

从 0 到 1 上手阿里云服务器 ECS(四)

六月的雨在InfoQ

Docker 阿里云 容器技术 ECS 10月月更

Gödel:字节跳动在离线混部统一调度系统_云计算_字节跳动云原生_InfoQ精选文章