QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

如何不停机将数百个 ZooKeeper 实例迁移到 Kubernetes

  • 2020-05-06
  • 本文字数:2347 字

    阅读完需:约 8 分钟

如何不停机将数百个ZooKeeper实例迁移到Kubernetes

最近,我们在不停机的情况下将数百个 ZooKeeper 实例迁移到了 Kubernetes。我们利用了强大的 Kubernetes 特性(例如端点)简化了迁移过程,那些想要跟我们一样进行 Zookeeper 迁移的人可以在这篇文章里找到答案。文章的末尾列出了进行迁移所需的网络条件。

传统的 ZooKeeper 迁移方法

ZooKeeper 是很多分布式系统的基础,它为这些系统提供了一个强大的平台,让它们可以聚在一起形成集群。它提供了一种比较基础的方法来形成集群:每个服务器实例都有一个配置文件,文件里列出了集群成员的主机名和数字 ID,所有的服务器都有相同的集群成员列表,如下所示:


server.1=host1:2888:3888server.2=host2:2888:3888server.3=host3:2888:3888
复制代码


每台服务器都有一个叫作 myid 的文件,用来指明它在列表中对应的是哪个数字 ID。


集群可以随意添加和移除服务器,只要没有违反这个关键规则:每台服务器必须能够与配置文件中列出的仲裁服务器通信。传统的 ZooKeeper 服务器迁移步骤主要包括:


  1. 启动一台新主机,在服务器列表配置中加入“server.4=host:4…”;

  2. 更新已有主机上的配置文件,添加新的服务器条目,或删除已退役的主机;

  3. 滚动重启旧主机(3.4x 版本分支不提供动态服务器配置功能);

  4. 更新客户端的连接串。


这种方法的缺点是需要修改大量的配置文件并进行滚动重启,这种方式可能无法进行可靠的自动化。在将 ZooKeeper 迁移到 Kubernetes 之前,我们也考虑过这种方法,但后来找到了一种更简单的方法。这种方法更为安全,因为根据我们的经验,每一次新的首领选举都存在一个小风险,就是有可能会让依赖它们的系统崩溃。

新的迁移方法

我们将已有的 ZooKeeper 服务器包装成 Kubernetes 服务,然后使用相同的 ZooKeeper ID 进行从服务器到 Pod 的一对一替换。这只需要一次滚动重启就可以重新配置现有的 ZooKeeper 实例,然后逐一关闭服务器。不过,我们不打算深入讨论如何为 ZooKeeper 配置 Kubernetes 拓扑,也不打算深入讨论底层的状态就绪检查机制,因为有很多方法可以实现这些操作。


我们将分五个步骤进行迁移:


  1. 确保为 ZooKeeper 集群的迁移做好准备;

  2. 在 Kubernetes 中创建 ClusterIP 服务,将 Zookeeper 包装成服务;

  3. 修改 ZooKeeper 客户端,让它们连接到 ClusterIP 服务;

  4. 配置 ZooKeeper 服务器实例,让它们可以基于 ClusterIP 服务地址执行点对点事务;

  5. 通过 Kubernetes Pod 运行 ZooKeeper 实例。


对于下面的每一个步骤,我们都将提供一个基础设施拓扑关系图。为了便于理解,这些图只包含两个 ZooKeeper 实例(在现实当中一般不会创建少于三个节点的集群)。

准备好先决条件

我们从一个可运行的 ZooKeeper 集群开始,确保主机上的服务能够与 Kubernetes 集群通信。文末介绍了几种方法。



图 1:初始状态,一个包含两个实例的 ZooKeeper 集群和一些客户端

创建 ClusterIP 服务

为每个 ZooKeeper 服务器创建一个具有匹配端点的 ClusterIP 服务,可以让客户端端口(2181)和集群内部端口(2888、3888)通过。完成之后,就可以通过这些服务主机名连接到 ZooKeeper 集群。Kubernetes ClusterIP 服务在这个时候很有用,因为它们提供了可以作为后端 Pod 负载均衡器的静态 IP 地址。我们用它们进行从服务到 Pod 的一对一映射,相当于为每个 Pod 提供了一个静态的 IP 地址。



图 2:可以通过 ClusterIP 服务访问我们的集群(ZooKeeper 仍然运行在物理硬件上)

重新配置客户端

在可以通过 Kubernetes ClusterIP 服务连接到 ZooKeeper 集群之后,接下来就可以重新配置客户端了。如果你在 ZooKeeper 连接串中使用了 CNAME 记录,那么请修改 DNS 记录。如果客户端在连接失败时不会重新解析 DNS 条目,那么就重新启动客户端。如果没有使用 CNAME 记录,那么就需要使用新的连接串,并重新启动客户端。在这个时候,新旧连接串都可以使用。



图 3:客户端现在通过 ClusterIP 服务实例与 ZooKeeper 集群通信

重新配置 ZooKeeper 实例

接下来,我们将让 ZooKeeper 服务器通过 ClusterIP 服务进行点对点通信。为此,我们将结合 ClusterIP 服务的地址来修改配置文件。这里还需要配置 zk_quorum_listen_all_ips 标志,如果没有这个,ZooKeeper 实例将无法成功绑定到主机接口上不存在的 IP 地址,因为它是一个 Kube 服务 IP。


server.1=zk1-kube-svc-0:2888:3888server.2=zk2-kube-svc-1:2888:3888server.3=zk3-kube-svc-2:2888:3888zk_quorum_listen_all_ips: true
复制代码


滚动重新启动这些主机,后面就可以开始准备用 Pod 替换主机了。



图 4:ZooKeeper 实例现在通过 ClusterIP 服务与其他实例通信

使用 Pod 替代 ZooKeeper 主机

我们将进行以下这些步骤,每次操作一台服务器:


  1. 选择一台 ZooKeeper 服务器及其相应的 ClusterIP 服务;

  2. 关闭服务器上的 ZooKeeper 进程;

  3. 使用与被关闭的 ZooKeeper 具有相同服务器列表配置和 myid 文件的 Pod;

  4. 等待,直到 Pod 中的 ZooKeeper 启动,并与其他 ZooKeeper 节点的数据同步。


就这样,ZooKeeper 集群现在运行在 Kubernetes 中,并带有之前所有的数据。



图 5:经过替换后的集群。ZK1 运行在一个 Pod 中,而 ZK2 不需要知道发生了什么

网络先决条件

要顺利完成这些步骤,需要确保一些网络设置符合条件。你需要确保:


  1. 可以从所有需要连接到 ZooKeeper 的服务器重新路由 Kubernetes Pod 的 IP 地址;

  2. 所有连接到 ZooKeeper 的服务器必须能够解析 Kubernetes 服务主机名;

  3. 所有需要连接到 ZooKeeper 的服务器必须运行 kube-proxy,让它们能够访问 ClusterIP 服务。


这些可以通过几种方式来实现。我们使用了一个内部网络插件,类似于 Lyft 的插件,或者 AWS 插件,可以直接将 AWS VPC IP 地址分配给 Pod,而不是使用虚拟叠加网络,所以可以从任意实例重新路由 Pod 的 IP。叠加网络(如 flannel)也是可以的,只要所有的服务器都可以连接到叠加网络。

英文原文

ZooKeeper to Kubernetes Migration


2020-05-06 13:498354
用户头像
小智 让所有人认同的文字称不上表达

发布了 408 篇内容, 共 395.0 次阅读, 收获喜欢 1983 次。

关注

评论

发布
暂无评论
发现更多内容

联想首次详解绿色智城数字孪生平台 破解城市双碳升级难点

科技大数据

“只跑一趟”,小区装维任务主动推荐探索

鲸品堂

运维

托管式服务网络:云原生时代的应用体系架构进化

阿里巴巴云原生

阿里云 云原生 服务网格

华为nova 10系列支持应用安全检测功能 筑牢手机安全防火墙

科技汇

基于Netty,徒手撸IM(一):IM系统设计篇

JackJiang

网络编程 Netty 即时通讯 im开发

能源势动:电力行业的碳中和该如何实现?

脑极体

可视化任务编排&拖拉拽 | Scaleph 基于 Apache SeaTunnel的数据集成

Apache SeaTunnel

数据同步 数据集成 可视化开发 数据集成平台 拖拉拽

使用 BlocConsumer 同时构建响应式组件和监听状态

岛上码农

flutter ios 安卓 移动端开发 7月月更

整理混乱的头文件,我用include what you use

华为云开发者联盟

c++ 开发 C语言 技能

上线首月,这家露营地游客好评率高达99.9%!他是怎么做到的?

天天预约

小程序 SaaS 线上预约 预约工具 露营

解密函数计算异步任务能力之「任务的状态及生命周期管理」

阿里巴巴云原生

阿里云 Serverless 云原生 函数计算

智洋创新与华为签署合作协议,共同推进昇腾AI产业持续发展

极客天地

一文掌握数仓中auto analyze的使用

华为云开发者联盟

数据库 sql 后端 analyze

使用 MyBatis 操作 Nebula Graph 的实践

NebulaGraph

mybatis 图数据库 Nebula Graph

应用实践 | 蜀海供应链基于 Apache Doris 的数据中台建设

SelectDB

数据库 数据中台 Apaache Doris

玩转gRPC—深入概念与原理

闫同学

gRPC 网络协议 后端开发

linux实战清理挖矿病毒kthreaddi

入门小站

Linux

python小知识-python泛函数

AIWeker

Python python小知识 7月月更

实战模拟│JWT 登录认证

经验分享 JWT 开发语言 7月月更 跨域认证

HUAWEI nova 10系列发布 华为应用市场筑牢应用安全防火墙

最新动态

在线文本行固定长度填充工具

入门小站

工具

多模输入事件分发机制详解

OpenHarmony开发者

Open Harmony

赋能数字经济 福昕软件出席金砖国家可持续发展高层论坛

联营汇聚

广电五舟与华为签署合作协议,共同推进昇腾AI产业持续发展

极客天地

在线SQL转Excel(xls/xlsx)工具

入门小站

工具

CANN算子:利用迭代器高效实现Tensor数据切割分块处理

华为云开发者联盟

人工智能 算子 迭代器

扩展你的KUBECTL功能

mengzyou

Kubernetes DevOps kubectl krew

DevEco Device Tool 3.0 Release带来5大能力升级,让智能设备开发更高效

HarmonyOS开发者

HarmonyOS

湘江鲲鹏加入昇腾万里伙伴计划,与华为续写合作新篇章

极客天地

服务线上治理

阿泽🧸

微服务 7月月更

如何不停机将数百个ZooKeeper实例迁移到Kubernetes_容器_Paul Furtado_InfoQ精选文章