写点什么

揭秘微信背后万级机器的管理者 Yard 平台

  • 2019-09-14
  • 本文字数:656 字

    阅读完需:约 2 分钟

揭秘微信背后万级机器的管理者Yard平台

ArchSummit深圳2018大会上,文杰讲师做了《揭秘微信背后万级机器的管理者 Yard 平台》主题演讲,主要内容如下。


演讲简介


微信作为一款国民 App,每天承载着数百亿条的消息收发,而支撑着微信功能的后台服务也多达数万个,如何确保这些在线服务的稳定可用和可控,是资源管理系统面临的一大挑战。


与此同时,随着 AI 技术的方兴未艾,围绕着微信所开展的机器学习与数据挖掘的离线作业也日渐增多,对内部计算、存储、网络等资源提出了大量的需求,如何充分利用好服务器资源,高效调度各类计算作业,合理编排不同维度的资源组合也是资源调度系统的一个重要目标。


本主题阐述了微信的资源调度系统 Yard 如何利用容器技术解决在线服务与离线作业混合运行的各种问题挑战,分享微信后台在资源隔离、作业调度、容灾设计等方面的成功实践和思考。

演讲提纲

  • 背景

  • 微信后台资源管理发展历程

  • 在线服务和离线作业的资源抢夺战

  • 微信资源调度系统 Yard

  • 系统架构

  • 资源隔离的“舍”与“得”

  • 调度的 AI

  • 网红 Docker 在 Yard 中的应用

  • 踩过的“坑”与“坑”外的思考

  • 成果展示 &未来展望


讲师介绍


文杰


腾讯 微信技术架构部专家工程师


2005 年入职腾讯,曾参与主导搜索引擎,分布式存储,分布式计算等多个项目的整体架构;2013 年加入微信,现任技术架构部下大数据平台团队负责人,主导微信两项基础平台:微信资源调度 Yard 平台和微信流量实验 X 平台的研发;在分布式设计,高可用架构,任务调度,搜索引擎,高性能服务,大数据计算等领域有浓厚兴趣和实践经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 17:101699

评论

发布
暂无评论
发现更多内容

云原生动态周报 | Google推出VM Manager

华为云原生团队

Docker 开源 云原生 华为云

大背景 (28天写作 Day25/28)

mtfelix

28天写作 新能源汽车 新能源革命 碳中和

时间约束帮助我写作

Justin

方法论 创意 习惯养成 28天写作

日记 2021年2月2日(周二)

Changing Lin

个人感悟 2月春节不断更

厚积薄发!华为云7篇论文被AAAI收录,2021年AI行业技术风向标看这里!

华为云开发者联盟

人工智能 卷积网络 远程监督 域泛化 油气储集层收集

话题讨论|过年回家你带电脑吗?

熊斌

话题讨论 28天写作

第十周 学习总结

简简单单

挖矿区块链_什么是挖矿 带你详细了解挖矿基础知识

v16629866266

Python 中 sorted 如何自定义比较逻辑

zikcheng

Python sorted cmp

就算知道了答案,真的会改变吗?「幻想短篇 25/28」

道伟

28天写作

Elasticsearch 写一致性原理

escray

七日更 28天写作 死磕Elasticsearch 60天通过Elastic认证考试 2月春节不断更

华为云FusionInsight助力宇宙行打造金融数据湖新标杆

华为云开发者联盟

数据湖 云原生 存储 FusionInsight 华为云

传统线程同步通信技术

武哥聊编程

Java 多线程 28天写作

安卓开发交流!一线互联网移动架构师筑基必备技能之Java篇,Android岗

欢喜学安卓

android 程序员 面试 移动开发

【WOW.js】Animate.css的黄金搭档

德育处主任

CSS 动画 js 28天写作 2月春节不断更

第三章: 产品解决方案作业

让时间说真话

产品经理 产品经理训练营

第三章:产品解决方案作业

让时间说真话

产品经理

史上最清晰的Tarjan算法详解

华为云开发者联盟

算法 静态分析 语法树 Tarjan 数据流

OpenAI将k8s扩展至7500个节点以支持机器学习;Graph Diffusion Network提升交通流量预测精度

京东科技开发者

区块链 开源

前端面试必备ES6全方位总结

我是哪吒

程序员 面试 大前端 ES6 2月春节不断更

不要在nodejs中阻塞event loop

程序那些事

node.js Event 事件循环 程序那些事 nodejs event

第十周 模块分解作业

简简单单

第三章:产品解决方案作业

让时间说真话

产品经理

第五周作业

oooh-la

产品经理训练营第0期-第三次作业

孙行者

第0期 产品经理训练营 问题

挖矿系统APP源码搭建

luluhulian

持续交付

lidaobing

持续交付 28天写作

高性能缓存 Caffeine 原理及实战

vivo互联网技术

Java Caffeine 本地缓存

ModelArts AI Gallery与HiLens Kit联合开发丨行人社交距离风险提示Demo

华为云开发者联盟

华为云 modelarts hilens 行人 社交距离

持续进步的不二法宝-PDCA

Ian哥

28天写作

安卓开发软件有哪些?分析Android未来几年的发展前景,吐血整理

欢喜学安卓

android 程序员 面试 移动开发

揭秘微信背后万级机器的管理者Yard平台_ArchSummit_文杰_InfoQ精选文章