写点什么

Cindy Sridharan 谈调度器的意义以及为何 imgix 选择了 Nomad

  • 2017-07-31
  • 本文字数:1488 字

    阅读完需:约 5 分钟

Imgix 的工程师 Cindy Sridharan 撰写了一篇综述,讨论了采用 Kubernetes 和 HashiCorp 公司的 Nomad 等容器调度器(container scheduler)的目的;为了应对在程序打包、部署和生命周期等方面遇到的技术挑战,Imgix 决定在架构中加入调度器;Imgix 最终选择 Nomad 作为调度器:作者在文中对 Kubernetes 和 Nomad 进行了对比分析,大体描述了最终的技术实践。原文纲要:

  1. 为何 Google 当年使用了调度器
  2. Google 当年的探索在多大程度上解决了其他人的问题
  3. 为什么即使容器数量不多,也应该使用调度器
  4. 在现有架构上增添调度器的挑战
  5. 在混合环境上运行调度器
  6. 为什么 Imgix 选择了 Nomad,而不是 Kubernetes
  7. 还需解决的问题
  8. 新工具引进的新问题
  9. 未来的发展方向

Sridharan 表示,现在的开发比十年前要复杂许多。即使核心商业逻辑很简单,考虑到高可靠性、高可用性、客户满意度、快速创新、持续交付、快速反馈和持续迭代的问题,可靠的标准化工具变得至关重要。很多组织会学习 Google 这种业界独角兽的实践。但其局限性在于:

“人人都可用的 Google 架构”只是指那些能够解决组织眼下问题的技术。

容器调度器最初由 Google 的 Borg(白皮书)发扬光大。十余年来,Google 一直将所有服务都放在容器中运行,由Borg 管理集群。由于 Docker 的成功,容器化不再是大型组织的专利,反过来促使了 Kubernetes 的诞生。

调度器乍一看很吓人,仿佛大大超出大部分组织的工程能力:实际上,调度器可以改变游戏规则,大大改变传统的软件生命周期管理手段。调度器带来的灵活性和即时效益不可估量。

Sridharan 表示,Imgix 团队在探索调度器技术时,遇见了三个挑战:

  • 打包——为了打包不同语言写作的程序,调度器需要支持类 POSIX 标准(虽然 Docker 容器接近 POSIX,但仍有局限性)
  • 部署——不存在标准的与语言无关的方式来部署那些通过静态链接的二进制包或一系列更为复杂的软件包
  • 生命周期——构建分布式系统时需要考虑单点失效、功能降级(degraded application functionality)、服务级别目标(service level objective, SLO)和服务级别协议(SLA)

虽然在架构中加入调度器的成本不低,imgix 最终还是选择了 Nomad 作为调度器。在选择技术时,由于 Kubernetes 和 Docker 关系紧密(如果选用,imgix 需要修改现有程序的打包方法)和 Kubernetes 的网络问题,imgix 最终没有选择 Kubernetes。Nomad 可以部署多种程序,包括静态连接的二进制包;同时,Nomad 与服务发现程序 Consul 良好兼容(imgix 的技术栈依赖 Consul)。

在选择新工具时,特别是在选择运维工具时,很重要的一点是要选择可以无缝加入到现有基础设施的工具,尽量避免修改现有的东西。

Sridharan 说,Nomad 赢得竞争的原因有:

  • 对现有打包方法的修改最小,兼容 Consul 服务发现
  • 开发者可以制定程序的操作语义
  • “运维大众化”,即不同的程序共享类似的作业文件,无论程序使用什么语言,不管是长时间运行还是批量操作,工程师都可以迅速了解部署的细节
  • 操作简单:例如,部署在每个节点上的 Nomad 仅为一个二进制文件。不过 Nomad 目前还存在一些问题,包括缺乏访问控制列表(ACL),这个问题可以通过使用入口网关或 HAProxy 反向代理来解决。其他问题还包括没有配额选项、优先级控制,以及超额请求集群资源等

本文的全文集群调度器可在Medium 中查看,Twitter 上的讨论可以在这里找到。

查看英文原文:“Cluster Schedulers”: Cindy Sridharan on the Purpose of Schedulers, and Why imgix Chose Nomad


感谢薛命灯对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2017-07-31 19:001234

评论

发布
暂无评论
发现更多内容

Obsidian一个不错的软件

IT蜗壳-Tango

8月日更

分片上传Minio存储服务的问题集锦[推荐收藏]

liuzhen007

8月日更

架构实战营第一期 -- 模块五作业

clay

架构实战营

Linux之ab命令

入门小站

Linux

老用户运营从哪里切入?

boshi

运营 私域运营

JVM集合之类加载子系统

阿Q说代码

JVM 加载 类加载器 双亲委派 8月日更

敏捷实践 | 分不清Kanban和看板的只剩你了……

LigaAI

Scrum Kanban 敏捷开发 看板

在线文字图标logo文章封面图生成工具

入门小站

工具

iOS开发:Xcode自带的模拟器常用快捷键的使用

三掌柜

8月日更 8月

spring 大事务

Rubble

8月日更

netty系列之:自定义编码和解码器要注意的问题

程序那些事

Java Netty 程序那些事

低代码:时代的选择

华为云开发者联盟

云计算 软件开发 低代码 硬件 IT系统

蔚来事故背后,“致命弯道”在辅助驾驶和自动驾驶之间

脑极体

如何实现分布式锁,聊聊你的想法?

卢卡多多

redis 分布式锁 8月日更

【LeetCode】合并两个排序的链表Java题解

Albert

算法 LeetCode 8月日更

手撸二叉树之单值二叉树

HelloWorld杰少

数据结构与算法 8月日更

AI+云原生,把卫星遥感虐的死去活来

华为云开发者联盟

AI 容器 云原生 k8s 遥感影像

Java筑基 - JNI到底是个啥

码农参上

Java jni 8月日更

三分钟快速了解 Cglib 动态代理

4ye

Java 后端 cglib 代理模式 8月日更

Ansible 管理 Windows 机器配置过程。

耳东@Erdong

windows ansible 8月日更

基于AOP和HashMap原理学习,开发Mysql分库分表路由组件!

小傅哥

小傅哥 hashmap 分库分表 aop 数据散列

Python代码阅读(第12篇):初始化二维数组

Felix

Python 编程 Code Programing 阅读代码

vue入门:http客户端axios

小鲍侃java

8月日更

架构1期模块五作业

五只羊

架构实战营

有效管理数据安全性—— Pulsar Schema 管理

Apache Pulsar

Apache Pulsar StreamNative schema

前端之算法(七)动态规划

Augus

算法 8月日更

网络攻防学习笔记 Day108

穿过生命散发芬芳

网络安全 8月日更

模块五作业

老实人Honey

架构训练营

【设计模式】状态模式

Andy阿辉

C# 编程 后端 设计模式 8月日更

聊一聊这些年看过的动漫

箭上有毒

8月日更

【Flutter 专题】64 图解基本 TextField 文本输入框 (一)

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 8月日更

Cindy Sridharan谈调度器的意义以及为何imgix选择了Nomad_DevOps & 平台工程_Daniel Bryant_InfoQ精选文章