写点什么

Datadog 使用大规模 Kubernetes 集群的艰辛之路

  • 2020-01-02
  • 本文字数:1518 字

    阅读完需:约 5 分钟

Datadog使用大规模Kubernetes集群的艰辛之路

来自 Datadog 的Laurent Bernaille柏林举行的Velocity会议上讨论了运维大型自管理 Kubernetes 集群所面临的挑战。Bernailed 聚焦在如何配置弹性和可扩展的控制平面,为何和如何频繁地循环更新证书,以及在 Kubernetes 中使用网络插件实现高效通信的必要性。


传统的架构方式会将所有的 Kubernetes master 组件都放到同一台服务器上,并且至少有三台这样服务器来保持高可用性。但是,这些组件有不同的职责,不能或者不需要以相同的方式进行扩展。举例来说,调度器(scheduler)和控制器(controller)是无状态的组件,这使得它们很易于扩展。但是,etcd 是有状态的,需要数据的冗余备份。同时,像调度器这样的组件会与一个选举机制协作,确保只有一个实例是处于激活状态的。Bernaille 认为扩展调度器并没有什么意义。


因此,Datadog 决定将 Kubernetes 组件切分到不同的服务器上,这些服务器有不同的资源并配置自定义的扩展策略。对于像 API 服务器这样的组件,他们在该组件之前放置了一个负载均衡器,从而能够正确地分配请求。而对于 etcd 服务器,他们也对其进行了拆分,形成了一个专门的 etcd 集群,只用来处理 Kubernetes 事件。



Bernaille 指出,Kubernetes 在所有的组件通信时会使用加密和 x509 证书。所以,为了避免出现证书的问题,比如证书过期,Datadog 决定每天都轮流更新证书。但是,轮流更新证书是一项很具挑战性的任务,因为 Kubernetes 需要在不同的组件和服务器上安装和使用不同的证书。同时,Datadog 意识到在每次轮流更新之后,他们必须要重新启动像 API 服务器这样的组件。因此,Datadog 决定将每天的证书轮流更新自动化并把该任务交给HaschiCorp Vault来实现。


但是,鉴于kubelet按需生成证书的运行方式,Datadog 决定在 kubelet 的每日轮流更新中采用一种例外规则。尽管存在挑战和复杂性,但是 Bernaille 依然建议要频繁地轮流更新证书。这不是一项简单的任务,不过用户能够避免将来在证书过期时出现问题,更糟糕的是在日志中可能并没有证书过期的明显标志。



Bernaille 提到,Datadog 还面临网络方面的挑战,因为需要大量的服务器来运行他们的平台。Bernaille 花了一些时间阐述 Kubernetes 节点会有一个 IP 地址的范围,它们被用来给 pod 分配 IP 地址。因此,对于小型集群来说,使用静态路由实现 pod 之间的通信能够运行地非常好。但是,对于中等规模的集群来说,一种有效的方式就是使用网络覆盖(networking overlays),在这种方式中,节点通过隧道进行通信。在 Datadog,有效的方式是在整个网络中,为 pod 分配一个可路由的 IP。通过这种方式,到 pod 的通信是直接连接的,不再需要像 kube-proxy 这样的中介。GCP以IP别名的方式支持该模型AWS也以弹性网络接口(elastic network interface,ENI)的形式提供了支持,对于企业的内建集群,用户可以使用像Calico这样的工具。


最后,Bernaille 讨论了跨不同集群的通信。默认情况下,在 Kubernetes 中,当一个外部请求到达集群时,Kubernetes 会通过 kube-proxy 来路由流量。但是,如果请求到达了一个不正确的节点,目标 pod 并没有运行,那么 kube-proxy 必须将请求重定向到正确的节点。有种替代方案是创建一个外部流量策略或者使用ingress控制器,但是该方案并不适用于大规模集群。因此,Datadog 借助AWS中的ALB ingress控制器针对 HTTP 通信实现了原生路由。



Bernaille 最后说,他们在 DNS、有状态应用和应用部署方面还面临着其他的挑战,但是他没有足够的时间来深入讨论这些话题。不过,他推荐观看Jerome Petazzoni关于Kubernetes内部核心的演讲以及更早的关于Datadog使用Kubernetes艰辛之路的演讲


原文链接:


Kubernetes the Very Hard Way With Large Clusters at Datadog


2020-01-02 09:002874

评论

发布
暂无评论
发现更多内容

现在学C4D还是Blender好?这俩有啥区别?

Finovy Cloud

blender C4D

行业盛会丨九科信息亮相第十一届中国电子信息博览会(CITE2023),与您共享科技盛宴

九科Ninetech

苹果电脑软件应用打开出现意外退出、崩溃问题解决办法

互联网搬砖工作者

5 大手段,打造单一可信源代码托管平台|极狐GitLab DevSecOps 助力 SLSA 落地之源代码篇

极狐GitLab

DevOps DevSecOps 源代码 安全审计 SLSA

详解 Flink Catalog 在 ChunJun 中的实践之路

袋鼠云数栈

flink

关于FTP文件传输协议说明,带你了解更详细的文件传输协议

镭速

漫谈 ChatGPT 与问答式 BI

观远数据

数据分析 BI ChatGPT

PCB拼版对SMT组装的影响,华秋一文告诉你

华秋电子

阿里内部都在疯传!企业级Spring Boot 项目开发实战教程,我先肝了

程序知音

Java 微服务 springboot java架构 Java进阶

华秋PCB生产工艺分享 | 第十一道之成型

华秋电子

面试官:谈谈分布式一致性机制

Java永远的神

程序员 分布式 微服务 后端 架构师

关于 IDP 的五大认知误解

SEAL安全

IdP 平台工程

智慧公共厕所,重构城市公共服务的新模式@光明源智慧公厕

光明源智慧厕所

智慧城市

干货分享|金融机构如何通过标签画像实现精细化客户运营?

索信达控股

EMQ&阿里云Lindorm联合方案:解决物联网关键业务场景数据处理难题

EMQ映云科技

阿里云 物联网 IoT 数据处理 企业号 4 月 PK 榜

面试还不懂Netty,看这篇文章就够了!

程序员小毕

Java 程序员 后端 Netty 架构师

精选2023年大厂高频Java面试真题集锦(含答案),面试一路开挂

程序知音

java面试 java架构 Java进阶 后端技术 Java面试八股文

OpenSea交易平台开发NFT系统部署技术

薇電13242772558

NFT

GOPS 全球运维大会来了,龙蜥社区邀您一起了解“系统运维”

OpenAnolis小助手

开源 操作系统 内核 龙蜥社区 GOPS全球运维大会

携多款产品亮相“深圳先进制造业集群展”,华秋积极探索发展机遇

华秋电子

Redis崩吗?来一起搞定 Redis 实践中的常见问题!

Steven

redis

【福利】ChatGPT免费体验期延长,商用版正式开启预约!

BeeWorks

选择低代码,帮企业数字化转型提交一份满分答卷

加入高科技仿生人

软件开发 低代码 数字化 数字转型

EasyMR 安全架构揭秘:如何管理 Hadoop 数据安全

袋鼠云数栈

大数据

NLP专栏简介:数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等

汀丶人工智能

人工智能 自然语言处理 深度学习 关系抽取 命名实体识别

APP频繁改版惹人烦?火山引擎VeDI来帮忙

字节跳动数据平台

数字化 企业数字化 企业号 4 月 PK 榜 APP改版

MobTech ShareSDK|分享报错怎么办

MobTech袤博科技

新旧版本功能对比 | v1.5.0 全新升级

BinTools图尔兹

数据库 社区版 版本更新

Datadog使用大规模Kubernetes集群的艰辛之路_软件工程_Christian Melendez_InfoQ精选文章