构建企业级 Kubernetes 平台，你需要的工具都在这里！

Kubernetes 已经成为业界公认的容器编排事实标准，它几乎无所不在。现在已经很难遇到一个从未了解 Kubernetes 这一技术的 IT 从业者。软件开发、测试以及基础设施都在其“业务范围”内。

在创建一个生产就绪的 Kubernetes 平台之前，你需要准备好将应用程序从传统环境中迁移出来，而这绝不是一项简单的任务。你需要一个 etcd 数据库、kube-controller、kube-scheduler、证书、core-DNS 等。它还要投入资源和时间来调研以确定合适的组件组合以及可靠、自适应的测试方法以便在交换或增强组件时可以快速更改。

除了创建环境和管理流程之外，公司战略战术的规划也格外重要。很少有公司仅仅为了满足基础设施的需求而开始采用容器。你的容器环境设计和技术栈更可能需要支持新旧计算形态，同时要避免重复使用资产、资源和费用。（技术栈和设计的功能示例如下图）

图 1 搭建容器技术栈

图 2 容器环境设计

管理和自动化

Rancher 是一个开源的企业级 Kubernetes 管理平台，为企业用户提供 Kubernetes-as-a-Service (Kubernetes 即服务)，它简洁直观的界面风格及操作体验，极大程度解决了业界遗留已久的 Kubernetes 原生 UI 易用性不佳以及学习曲线陡峭的问题。通过使用 Rancher，你可以远离手动创建 Kubernetes 集群的痛苦并且可以一键自动设置集群。它还提供一套 K8s 集群所需的功能集，包括配置、访问控制、全局 DNS、灾备和恢复、监控、日志以及集群升级。使用 Ansible 将可以为 K8s 节点配置 CentOS VMs。

日志和监控

Rancher 具有内置的 FluentD 部署，可用于构建 EFK 堆栈。可以将每个集群配置为把 FluentD 日志推送到 Elasticsearch 实例。

Kibana 是一个开源的可视化平台，可以极为方便地查看和搜索 Elasticsearch 日志。

Elasticsearch Github repo：

https://github.com/helm/charts/tree/master/stable/elasticsearch

Prometheus 是一个收集监控指标的优质方案，Prometheus server 可用于存储时间序列数据，alert-manager 可用于管理告警，node-exporter 可从节点导出指标，Kube-state-metrics 可以为所有 k8s 对象生成指标。

Prometheus Github repo：

https://github.com/helm/charts/tree/master/stable/prometheus

然而，Prometheus 缺少用户界面，因此需要 Grafana，这是一个数据可视化工具。它能够连接到 Prometheus server，提供监控用的图表和 dashboard。

Grafana Github repo：

https://github.com/helm/charts/tree/master/stable/grafana

持久化存储

在 Kubernetes 里的一切都是动态的和无状态的，这违背了传统存储方案的原则。因此，选择一个可行的持久化存储方案是你将面临的其中一个难题。市场上有许多流行的解决方案，如 Ceph、Rook、StarageIO 以及 Portworx。

其中，Portworx 具有数据移动性、高可用性、平台独立性、持久卷的动态加密配置。在 worker 节点上，我们建议 anotherdisk（vmdk）通过 Portworx 创建存储池。Portworx 配备了名为 stork 的智能调度程序，可以通过仅在几个工作节点上安装 Portworx 来节省许可成本。

你可以使用这个 helm chart 部署 Portworx：

https://github.com/portworx/helm/tree/master/charts/portworx

容器安全

容器安全在一直不断发展，由于 pod 的动态特性，让容器内发生的所有进程和通信具有可见性和可控制变得至关重要。Neuvector 可以提供主机和 pod 的连续运行时保护，它可以通过扫描 Kubernetes 集群、节点、pod 以及容器镜像来保护容器不受安全漏洞的影响。此外，还有一个附带的优势是能够为集群提供 docker 和 kubernetes 基准。它还能通过学习 pod/service 的良好行为来成为网络防火墙，并且基于此动态创建安全策略。当 service 在“保护模式”中时，它能够防止任何未经授权的进程或网络通信为该 pod 或服务运行。

你可使用这个 helm chart 部署 Neuvector：

https://github.com/neuvector/neuvector-helm

负载均衡

一旦应用程序部署在 K8S 集群中后，有几个选项可以将它们暴露到集群外部。另一个需要考虑的因素是，如果你是将应用程序从传统基础架构迁移到容器中来，并且希望保留回滚的状态或想要在传统环境中保留现在已经迁移到 K8S 集群中的服务。

AVI Networks 可以提供软件定义的负载均衡器，它有一个控制平面和一个服务平面。这一负载均衡器提供负载均衡、流量管理、弹性伸缩以及端到端的自动化 K8S 服务。AVI 在 K8S 云上将服务引擎部署为 PODS，它可以处理南北流量（即客户端和服务器之间的流量），以及 K8S 服务的负载均衡。

每次在 K8S 云中创建 ingress 时，AVI 都配置了 DNS 服务器和 IPAM 池，可以自动创建虚拟服务。它将从 IPAM 分配一个 IP，创建一个 DNS 入口并且配置后端的 pod 池。AVI 同时能够通过 ingress 的注释添加各种 HTTP 策略以及网络安全策略的功能。

CI/CD 工具

由于所有东西及其依赖项都被打包到容器中，因此 Kubernetes 可以使得持续部署成为现实，它还能从特定的工作节点中调度工作负载。而滚动更新策略可以零停机执行持续部署。

Jenkins 是一个十分出色的持续集成和镜像构建的工具，它提供与 Gitlab、Nexus、JFrog artifactory、SonarQube、Neuvector、Fority、Helm 和 Rancher 进行进行集成，以构成一个完整的 CI/CD 流水线。

Helm 打包整个应用程序栈到 chart 中，包括应用程序所需的 pod、服务、secert、ingress、持久化存储等。Helm 还能在跨不同环境的情况下保持部署一致。（如下图）

图 3 容器组件

总而言之，现在有很多方法可以帮助构建 Kubernetes 平台，将应用程序部署在 K8S 集群中变得比以往任何时候都更容易。我希望这能让你更好地了解需要关注的领域以及知道哪些工具或平台能够让 K8S 集群在企业中成为现实。