写点什么

揭秘微信背后万级机器的管理者 Yard 平台

  • 2019-09-14
  • 本文字数:656 字

    阅读完需:约 2 分钟

揭秘微信背后万级机器的管理者Yard平台

ArchSummit深圳2018大会上,文杰讲师做了《揭秘微信背后万级机器的管理者 Yard 平台》主题演讲,主要内容如下。


演讲简介


微信作为一款国民 App,每天承载着数百亿条的消息收发,而支撑着微信功能的后台服务也多达数万个,如何确保这些在线服务的稳定可用和可控,是资源管理系统面临的一大挑战。


与此同时,随着 AI 技术的方兴未艾,围绕着微信所开展的机器学习与数据挖掘的离线作业也日渐增多,对内部计算、存储、网络等资源提出了大量的需求,如何充分利用好服务器资源,高效调度各类计算作业,合理编排不同维度的资源组合也是资源调度系统的一个重要目标。


本主题阐述了微信的资源调度系统 Yard 如何利用容器技术解决在线服务与离线作业混合运行的各种问题挑战,分享微信后台在资源隔离、作业调度、容灾设计等方面的成功实践和思考。

演讲提纲

  • 背景

  • 微信后台资源管理发展历程

  • 在线服务和离线作业的资源抢夺战

  • 微信资源调度系统 Yard

  • 系统架构

  • 资源隔离的“舍”与“得”

  • 调度的 AI

  • 网红 Docker 在 Yard 中的应用

  • 踩过的“坑”与“坑”外的思考

  • 成果展示 &未来展望


讲师介绍


文杰


腾讯 微信技术架构部专家工程师


2005 年入职腾讯,曾参与主导搜索引擎,分布式存储,分布式计算等多个项目的整体架构;2013 年加入微信,现任技术架构部下大数据平台团队负责人,主导微信两项基础平台:微信资源调度 Yard 平台和微信流量实验 X 平台的研发;在分布式设计,高可用架构,任务调度,搜索引擎,高性能服务,大数据计算等领域有浓厚兴趣和实践经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 17:101715

评论

发布
暂无评论
发现更多内容

涨姿势了,这 4 个场景可用 CSS 完全取代 JS ~

掘金安东尼

前端 11月月更

运维进阶训练营 -W03H

b1a2e1u1u

运维

【LeetCode】分割数组Java题解

Albert

算法 LeetCode 11月月更

opensd开源啦 !这套自动化部署OpenStack工具你值得拥有

openEuler

开源 操作系统 openEuler OpenStack

麒麟信安携手 openEuler 支撑国家电网首批数字换流站试点项目安全高效运行

openEuler

Zebec Chain有望成为公链赛道新兴生力军,地平线计划持续进击

小哈区块

2022-11-11:设计一个最大栈数据结构,既支持栈操作,又支持查找栈中最大元素。 实现 MaxStack 类: MaxStack() 初始化栈对象 void push(int x) 将元素 x 压

福大大架构师每日一题

Java 算法 福大大

定了,2022双11 技术进化开启新未来

阿里技术

双11

Java实现List中集合的元素进行排序

共饮一杯无

Java List 11月月更

算法题学习---链表中环的入口结点

桑榆

算法题 11月月更

初探Apollo远程服务配置中心

闫同学

阿波罗 11月月更 apllo 远程配置中心

【愚公系列】2022年11月 微信小程序-app.json配置属性之networkTimeout

愚公搬代码

11月月更

汽车产业“芯事”何解?

易观分析

汽车芯片

部署和体验Helm(2.16.1版本)

程序员欣宸

Kubernetes Helm 11月月更

探知数字化研发1-前言篇

薛飞

数字化 软件研发

计算机网络:随机访问介质访问控制之令牌传递协议

timerring

令牌桶 11月月更

Vue基础学习(四)

Studying_swz

Vue 11月月更

Python进阶(二十五)Python读写文件

No Silver Bullet

Python 文件读写 11月月更

Vivado安装和使用

芯动大师

Verilog FPGA系统 vivado 11月月更

类继承

Maybe_fl

Zebec Chain有望成为公链赛道新兴生力军,地平线计划持续进击

西柚子

Java Web(五)Web

浅辄

tomcat javaWeb 11月月更

深入Redis数据结构和底层原理

闫同学

redis 缓存 11月月更

Vue基础学习(五)

Studying_swz

Vue 11月月更

SAP UI5 数据绑定中的工厂函数

汪子熙

SAP Fiori SAP UI5 ui5 11月月更

1.6k Star!可以优雅的使用Git了。。。

Jackpop

聚焦银行APP用户体验,易观千帆GX指数即将独家首发

易观分析

易观

Python进阶(二十六)多线程实现同步的四种方式

No Silver Bullet

Python 多线程 11月月更

一款超好用的Json编辑工具

Jackpop

CSS的学习笔记(五)

lxmoe

CSS 前端 学习笔记 11月月更

Go-MySQL-Driver,让Go语言拥抱MySQL

闫同学

Go MySQL 11月月更

揭秘微信背后万级机器的管理者Yard平台_ArchSummit_文杰_InfoQ精选文章