写点什么

Kubernetes 上是否运行数据库,取决于哪些因素?

  • 2020-05-19
  • 本文字数:2122 字

    阅读完需:约 7 分钟

Kubernetes 上是否运行数据库,取决于哪些因素?

如今,越来越多的应用部署在 Kubernetes 上的容器中,因此 Kubernetes 也被称为「云端的 Linux」。尽管在应用层(application layer)的容器化有了大量增长,但数据层(data layer)在容器化方面得到的关注并不多。这很正常,因为容器化工作流本来就需要足够的弹性,才能应对重启、扩展、虚拟化和其他限制。所以处理数据库的可持久化、对应用程序其他层的高可用性和数据库的冗余等方面,有非常具体的要求。这就使得数据库在分布式环境中运行起来很有挑战性。


然而,数据层得到更多关注,是因为很多开发者想要像处理 应用层技术栈一样,处理数据层基础架构。运维人员希望使用的同样的工具来运维数据库和应用程序,而且数据层和应用层能达到相同的收益:跨不同环境的快速启动和可重复自动完成。在这篇文章中,我们将探讨什么时候,以及哪些类型的数据库可以在 Kubernetes 上有效运行。


在深入探讨 Kubernetes 上运行数据库的注意事项之前,我们先简单回顾一下 Google Cloud 平台(GCP)上运行数据库都有哪些选项,以及这些数据库的最佳用法。


  • 完全托管的数据库。包括 Cloud Spanner、Cloud Bigtable 和 Cloud SQL 等。这些都是低运维成本的选则,因为 Google Cloud 会承担很多日常维护的工作,如备份、补丁和扩展等。开发者或运维人员无需人为干预,只要创建一个数据库,构建自己的 APP,然后交给 Google Cloud 进行扩展。这也意味着你可能无法使用到自己想要的数据库版本、扩展或某种类型的数据库。

  • 在虚拟机上自行操作的数据库。也可称为「全运维选项」,构建数据库、扩展数据库、管理可靠性、配置备份等通通需要自行设定。这虽然工程量巨大,但所有的功能和数据库类型的选择都在自己的掌握之中。

  • 在 Kubernetes 上运行的数据库。在 Kubernetes 上运行数据库更接近于全运维选项,但是可以从 Kubernetes 提供的自动化功能中,享受一些好处,以支持数据库应用程序的运行。话虽如此,但需要记住的是,Pods(数据库应用容器)是瞬时性的,所以数据库应用重启或故障切换的可能性较大。此外,由于容器化后增加了抽象功能,一些数据库管理任务,如备份、缩放、调优等,都是不一样的。

在 Kubernetes 上运行数据库的技巧

如果选择走 Kubernetes 路线,你需要思考运行哪些数据库,以及当通盘考虑前文讲到权衡时数据库运行状况。由于 Pods 至关重要,因此发生故障转移事件的可能性,比传统部署或完全托管的数据库要高。如果这个数据库内置支持分片(sharding)、故障选举(failover election)和复制等设计(例如 ElasticSearch、Cassandra 或 MongoDB),那么在 Kubernetes 上运行会更简单。一些开源项目提供自定义资源和控制器,来帮助管理容器化的数据库。


接下来,考虑数据库在应用和业务的上下游中起到的作用。存储更多临时的和缓存层的数据库更适合 Kubernetes。这种类型的数据层通常在应用中更有弹性,整体体验更好。


最后,确保你了解数据库中可用的复制模式。异步传输模式可能会出现数据丢失,因为数据库事务(transaction)可能会被提交到主要数据库,而不会提交到次要数据库。因此,一定要明确是否会产生数据丢失,以及在自己的应用程序中,有多少数据丢失是可以接受的。


在评估了以上这些方面后,你最终会得到一个类似于这样的决策树。


如何在 Kubernetes 上部署数据库?

现在,让我们深入了解一下如何使用 StatefulSets 在 Kubernetes 上部署数据库。借助 StatefulSet,你的数据可以存储在 Persistent Volume 上,将数据库应用程序与持久化存储解耦,因此当重新创建一个 pod(如数据库应用程序)时,所有的数据依然存在。此外,当在 StatefulSet 中重新创建一个 pod 时,它将保持相同的名称,所以你会有一个一致的端点来连接。持久数据和一致的命名是 StatefulSets 最大的两个特点。你可以查看 Kubernetes 文档了解更多细节。


如果你要运行一个不完全适合 Kubernetes 承载的数据库类型(如 MySQL 或 PostgreSQL),可以考虑使用 Kubernetes Operators 或包含其他改进特性的数据库项目,使得数据库适合容器化环境运行。Operator 会帮助你启动这些数据库,并执行数据库维护任务,如备份和复制。特别是对于 MySQL 来说,可以参考 Oracle MySQL Operator 和 Crunchy Data for PostgreSQL。


Operator 借助自定义资源和控制器,通过 Kubernetes API 来暴露 特定操作。例如,使用 Crunchy Data 执行备份,只需执行 pgo backup [cluster_name] 即可。要添加一个 Postgres 副本,使用 pgo scale cluster [cluster_name]。


还有一些其他项目你可能会感兴趣,比如 PostgreSQL 的 Patroni。这些项目进一步用到了 Operator。它们围绕着各自的数据库构建了许多工具,从而可以在 Kubernetes 内部进行操作。可能包括的补充功能是,如分片、主从选举,以及故障转移功能,这些功能都是在 Kubernetes 中成功部署 MySQL 或 PostgreSQL 所需的。。


虽然在 Kubernetes 中运行数据库获得了越来越多的关注,但它远不是一门精确的科学。在这个领域还有很多工作要做,随着技术和工具的发展,在 Kubernetes 中运行数据库将成为常态。


如果你准备好了,可以访问 GCP Marketplace,它提供了易于部署的 SaaS、虚拟机和容器化数据库解决方案和 Operators,可以在任何地方部署到 GCP 或 Kubernetes 集群。


原文链接


2020-05-19 19:341752

评论 3 条评论

发布
用户头像
典型手里有个锤子....... k8s 定位是app层级. 数据管理层面有比k8s更适合的运维工具 . 知道我不能干什么与知道我能干什么一样重要.
2020-05-20 11:37
回复
用crd来抽象一切资源是PaaS趋势,k8s定位是PaaS。
2020-06-03 14:51
回复
用CRD自定义扩展来保证数据库服务的周期是已经不错的方案,能一次用程序搞定,一次开发全部通用不好吗?不干重复的事。
2020-06-03 14:53
回复
没有更多了
发现更多内容

NNB牛气冲天系统软件开发搭建

有哪些适合大型系统的项目开发管理工具?

万事ONES

项目管理 研发管理 ONES

七月上

卢卡多多

7月日更

初探 Redis 客户端 Lettuce:真香!

vivo互联网技术

Java 数据库 redis redis cluster lettuce

Docker 超详细版(基础+进阶)

若尘

Docker 容器 镜像

Swarm挖矿APP系统开发

获客I3O6O643Z97

挖矿挖什么币好 ipfs和swarm哪个更有价值

PHA项目挖矿平台系统开发App

获客I3O6O643Z97

挖矿矿池系统开发案例 PHA矿机挖矿 PHA质押挖矿

免费分享Spring与SpringMVC开发的优秀图书

Java入门到架构

Java spring Java书籍推荐

周一来了

IT蜗壳-Tango

7月日更

通过运行期类型检查实现泛型算法

喵叔

7月日更

SUN太阳币APP系统开发方案

乐挖矿场软件系统开发案例

每天学习10个实用Javascript代码片段(四)

devpoint

JavaScript node,js 7月日更

计算机基础知识 -- 位,字节,字符

转山转水

PowerShell 括号和别名

耳东@Erdong

PowerShell 7月日更

秒懂!进制和位运算

Ayue、

位运算 二进制

模块一

吴科🍀

Pandas高级教程之:GroupBy用法

程序那些事

Python 数据分析 pandas

filecoin矿工的收益有哪些?

fil fil收益 ipfs挖矿

DOGT狗狗通证软件系统开发公司

Rust从0到1-智能指针-Rc<T>

rust 智能指针 引用计数 smart pointer Rc<T>

校友小程序图片安全审核方案与security.imgSecCheck不能校验超过1M图片的解决思路

CC同学

IPFS分布式存储矿机挖矿系统开发

获客I3O6O643Z97

挖矿 ipfs如何挖矿

深入理解搜索引擎——详解query理解

药老算法

搜索引擎 nlp query纠错 语义分析 意图识别

一文看懂filecoin挖矿的成本到底有哪些?

IPFS fil成本 fil挖矿

【Flutter 专题】89 图解基本 Overlay 悬浮新手引导

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 7月日更

淘悠优软件系统开发内容

模块8作业

梦寐凯旋

#架构实战营

八千里路云和月 | 从零到大数据专家学习路径指南

王知无

作业1

🐻🐻

架构师训练营第 1 期 作业一

Python OpenCV 之图像梯度,Sobel 算子、Scharr 算子和 laplacian 算子

梦想橡皮擦

7月日更

Kubernetes 上是否运行数据库,取决于哪些因素?_数据库_Benjamin Good_InfoQ精选文章