Kubernetes NetworkPolicy 工作原理浅析

Kubernetes 能够把集群中不同 Node 节点上的 Pod 连接起来，并且默认情况下，每个 Pod 之间是可以相互访问的。但在某些场景中，不同的 Pod 不应该互通，这个时候就需要进行访问控制。那么如何实现呢？

简介

Kubernetes 提供了 NetworkPolicy 的 Feature，支持按 Namespace 和按 Pod 级别的网络访问控制。它利用 label 指定 namespaces 或 pod，底层用 iptables 实现。这篇文章简单介绍 Kubernetes NetworkPolicy 在 Calico 上的工作原理。

1 控制面数据流

Network Policy 是一种 kubernetes 资源，经过定义、存储、配置等流程使其生效。以下是简要流程：

• 通过 kubectl client 创建 network policy 资源；

• calico 的 policy-controller 监听 network policy 资源，获取到后写入 calico 的 etcd 数据库；

• node 上 calico-felix 从 etcd 数据库中获取 policy 资源，调用 iptables 做相应配置。

2 资源配置模板

Network Policy 支持按 Pod 和 Namespace 级别的访问控制，定义该资源可以参考以下模板。

指定 pod 标签访问

我们要对 namespace 为 myns，带有"role: backend"标签的所有 pod 进行访问控制：只允许标签为"role: frontend"的 Pod，并且 TCP 端口为 6379 的数据流入，其他流量都不允许。

指定 namespaces 标签访问

我们要对标签为"role: frontend"的所有 Pod 进行访问控制：只允许 namespace 标签为"user: bob"的各 Pod，并且 TCP 端口为 443 的数据流入，其他流量都不允许。

3 NetworkPolicy 数据结构定义

看完上边的示例，想必大家对 NetworkPolicy 的资源对象有一定的了解。接下来我们具体看下 Kubernetes 对该接口的定义：

简而言之，该资源指定了“被控制访问 Pod”和“准入 Pod”两类 Pod，这可以从 spec 的 podSelector 和 ingress-from 的 Selector 进行配置。

接下来我们就看下 Kubernetes+Calico 的 Network policy 实现细节。

4 测试版本

以下是测试中使用的组件版本：

• kubernetes:

• - master: v1.9.0

• - node: v1.9.0

• calico:

• - v2.5.0

• - calico-policy-controller

(quay.io/calico/kube-policy-controller:v0.7.0)

5 运行配置

calico 侧，除基本配置外的新建资源：

• service-account: calico-policy-controller

• rbac:

• - ServiceRole: calico-policy-controller

• - ServiceRoleBinding: calico-policy-controller

• deployment: calico-policy-controller

Kubernets 侧，新建 network policy 资源；

6 运行状态

在原有正常工作的 Kubernetes 集群上，我们新加了 calico-policy-controller 容器，它里面主要运行 controller 进程：

• calico-policy-controller:

• - 进程

• 

• - 端口:

• 

我们可以看到，启动了 controller 进程，该进程 Established 两个端口：6443 对应的 kubernetes api-server 端口；2379 对应的 calico etcd 端口。

7 Calico-felix 对 policy 的配置

数据包走向

下图是 calico 流量处理流程(从这里找到)。每个 Node 的 calico-felix 从 etcd 数据库拿下来 policy 信息，用 iptables 做底层实现，最主要的就是：cali-pi-[POLICY]@filter 这个 Chain。

Network Policy 报文处理过程中使用的标记位：

0x2000000: 是否已经经过了 policy 规则检测，置 1 表示已经过

符号解释：

from-XXX: XXX 发出的报文； tw: 简写，to wordkoad endpoint； to-XXX: 发送到 XXX 的报文； po: 简写，policy outbound； cali-: 前缀，calico 的规则链； pi: 简写，policy inbound； wl: 简写，workload endpoint； pro: 简写，profile outbound； fw: 简写，from workload endpoint； pri: 简写，profile inbound。

下面通过访问“禁止所有流量”策略的 Pod，来观察对应的 iptables 处理：

流量进入前

流量进入后

可以看到，DROP 的 pkts 由 0 变成了 3。即该数据包经过 MARK、cali-pi-default.web-deny-all 两个 target 处理，被标记符合“拒绝”条件，流经到 DROP 被丢弃。

8 流程分析案例

以下是一个“禁止所有流量进入”的测试案例，通过它看下整体流程。

模型

DENY all traffic to an application

查看 app-web 的标签

在 default 的 namespace 下创建了一个名称为 web 的 service。它的 IP 和标签如下：

配置 policy

首先通过 kubectl 查看 k8s 资源：

再次，通过 calicoctl 和 etcdctl 查看 calico 资源：

查看 felix 进行 network policy 配置的日志

增加 && 删除 Policy

查看 node 上的 iptables 规则

从另一 pod 上访问该服务

可见，访问该 service 的 80 端口失败；ping 所对应的 Pod 试试：

Ping 该 Pod 也是失败，达到了“禁止所有流量进入”的预期。

9 总结

Kubernetes 的 NetworkPolicy 实现了访问控制，解决了部分网络安全的问题。但截至现在，Kubernetes、Calico 对其支持尚未完全，部分特性(egress 等)仍在进行中；另一方面 calico 的每个 Node 上配置大量 iptables 规则，加上不同维度控制的增加，导致运维、排障难度较大。所以对网络访问控制有需求的用户来讲，能否使用还需综合考虑。

本文转载自公众号 360 云计算（ID：hulktalk）。

原文链接：

https://mp.weixin.qq.com/s/a1pa2IeVFWKpfWmzzXiIiQ