Kubernetes 網(wǎng)絡模型的核心要求之一是每個 Pod 都應該有自己的 IP 地址，并且集群中的每個 Pod 都應該能夠使用這個 IP 地址與其進行通信。有多個網(wǎng)絡提供商（flannel、calico、canal 等）實現(xiàn)了這種網(wǎng)絡模型。

在 kubernetes 中設置網(wǎng)絡有多種方法，容器運行時也有多種選項。在這篇文章中，我將使用 Flannel作為網(wǎng)絡提供程序， 使用 Containerd作為容器運行時。

一、背景概念

1.容器網(wǎng)絡：非常簡短的概述

有一些非常好的帖子解釋了容器網(wǎng)絡的工作原理。對于上下文，我將在這里使用涉及 Linux 橋接網(wǎng)絡和數(shù)據(jù)包封裝的單一方法進行非常高層次的概述。在這里跳過細節(jié)。

2.同一主機上的容器

在同一主機上運行的容器可以通過其 IP 地址相互通信的方式之一是通過 Linux 橋。在 kubernetes（和 docker）世界中， 創(chuàng)建了veth（虛擬以太網(wǎng)）設備來實現(xiàn)此目的。該 veth 設備的一端插入容器網(wǎng)絡命名空間，另一端連接到 主機網(wǎng)絡上的Linux 橋。同一主機上的所有容器都將這一 veth 對的一端連接到 linux 網(wǎng)橋，并且它們可以通過網(wǎng)橋使用其 IP 地址相互通信。Linux 網(wǎng)橋還分配有一個 IP 地址，并充當從 pod 發(fā)往不同節(jié)點的出口流量的網(wǎng)關。

3.不同主機上的容器

在不同主機上運行的容器可以通過其 IP 地址相互通信的方法之一是使用數(shù)據(jù)包封裝。Flannel 通過 vxlan支持此功能，它將原始數(shù)據(jù)包包裝在 UDP 數(shù)據(jù)包中并將其發(fā)送到目的地。

在 kubernetes 集群中，flannel 在每個節(jié)點上創(chuàng)建一個 vxlan 設備和一些路由表條目。發(fā)往不同主機上的容器的每個數(shù)據(jù)包都會經(jīng)過 vxlan 設備并封裝在 UDP 數(shù)據(jù)包中。在目的地，檢索封裝的數(shù)據(jù)包并將數(shù)據(jù)包路由到目標 Pod。

注意：這只是配置容器之間網(wǎng)絡的方式之一。

4.什么是 CRI？

CRI（容器運行時接口）是一個插件接口，允許 kubelet 使用不同的容器運行時。各種容器運行時都實現(xiàn)了 CRI API，這允許用戶在其 kubernetes 安裝中使用他們選擇的容器運行時。

5.什么是CNI？

CNI 項目包含一個 規(guī)范，為 Linux 容器提供基于插件的通用網(wǎng)絡解決方案。它還包含各種插件，在配置 Pod 網(wǎng)絡時執(zhí)行不同的功能。CNI 插件是遵循 CNI 規(guī)范的可執(zhí)行文件，我們將在下面的帖子中討論一些插件。

二、為 Pod IP 地址的節(jié)點分配子網(wǎng)

如果所有 Pod 都需要有一個 IP 地址，那么確保整個集群中的所有 Pod 都具有唯一的 IP 地址非常重要。這是通過為每個節(jié)點分配一個唯一的子網(wǎng)來實現(xiàn)的，從該子網(wǎng)為 Pod 分配該節(jié)點上的 IP 地址。

1.節(jié)點 IPAM 控制器

當nodeipam作為選項傳遞給 kube-controller-manager 的 --controllers命令行標志時，它會從集群 CIDR（集群網(wǎng)絡的 IP 范圍）為每個節(jié)點分配一個專用子網(wǎng) (podCIDR)。由于這些 podCIDR 是不相交的子網(wǎng)，因此它允許為每個 pod 分配唯一的 IP 地址。

當 kubernetes 節(jié)點首次向集群注冊時，會為其分配一個 podCIDR。要更改分配給集群中節(jié)點的 podCIDR，需要取消注冊節(jié)點，然后重新注冊節(jié)點，并將任何配置更改首先應用于 kubernetes 控制平面。podCIDR可以使用以下命令列出節(jié)點。

$ kubectl get no <nodeName> -o json | jq '.spec.podCIDR'
10.244.0.0/24

2.Kubelet、容器運行時和 CNI 插件 - 如何將它們拼接在一起

當 pod 被調度到節(jié)點上時，會發(fā)生很多事情來啟動 pod。在本節(jié)中，我將僅關注與為 pod 配置網(wǎng)絡相關的交互。

在節(jié)點上調度 Pod 后，以下交互將導致配置網(wǎng)絡并啟動應用程序容器。

3.容器運行時和 CNI 插件之間的交互

每個網(wǎng)絡提供商都有一個 CNI 插件，容器運行時會調用該插件來在 pod 啟動時為其配置網(wǎng)絡。使用containerd作為容器運行時， Containerd CRI插件調用CNI插件。每個網(wǎng)絡提供商還會在每個 kubernetes 節(jié)點上安裝一個代理來配置 pod 網(wǎng)絡。安裝網(wǎng)絡提供商代理后，它要么隨 CNI 配置一起提供，要么在節(jié)點上創(chuàng)建一個配置，然后 CRI 插件使用該配置來確定要調用哪個 CNI 插件。

CNI 配置文件的位置是可配置的，默認值為/etc/cni/net.d/. CNI 插件需要由集群管理員發(fā)送到每個節(jié)點上。CNI 插件的位置也是可配置的，默認值為/opt/cni/bin。

如果使用containerd作為容器運行時，則可以在containerd配置[plugins."io.containerd.grpc.v1.cri".cni]部分 下指定CNI配置和CNI插件二進制文件的路徑。

由于我們在這里將 Flannel 稱為網(wǎng)絡提供商，因此我將稍微討論一下 Flannel 的設置方式。Flanneld 是 Flannel 守護進程，通常install-cni作為 守護進程集和init 容器安裝在 kubernetes 集群上。容器在每個節(jié)點上install-cni創(chuàng)建 CNI 配置文件。/etc/cni/net.d/10-flannel.conflistFlaneld 創(chuàng)建一個 vxlan 設備，從 apiserver 獲取網(wǎng)絡元數(shù)據(jù)并監(jiān)視 Pod 上的更新。創(chuàng)建 Pod 時，它會為整個集群中的所有 Pod 分配路由，這些路由允許 Pod 通過其 IP 地址相互連接。有關Flannel工作原理的詳細信息，推薦參考官方描述。

Containerd CRI Plugin 和 CNI 插件之間的交互可以可視化如下：

如上所述，kubelet 調用 Containerd CRI 插件來創(chuàng)建 pod，Containerd CRI 插件調用 CNI 插件為 pod 配置網(wǎng)絡。網(wǎng)絡提供商 CNI 插件調用其他基礎 CNI 插件來配置網(wǎng)絡。CNI 插件之間的交互如下所述。

三、CNI 插件之間的交互

有各種 CNI 插件可以幫助配置主機上容器之間的網(wǎng)絡。在這篇文章中，我們將參考 3 個插件。

Flannel CNI 插件當使用 Flannel 作為網(wǎng)絡提供者時，Containerd CRI 插件 使用CNI 配置文件 - /etc/cni/net.d/10-flannel.conflist.

$ cat /etc/cni/net.d/10-flannel.conflist
{
"name": "cni0",
"plugins": [
  {
    "type": "flannel",
    "delegate": {
    "ipMasq": false,
      "hairpinMode": true,
      "isDefaultGateway": true
    }
  }
]
}

Fannel CNI 插件與 Flanneld 結合使用。當 Flaneld 啟動時，它會從 apiserver 獲取 podCIDR 和其他網(wǎng)絡相關詳細信息，并將它們存儲在文件中 - /run/flannel/subnet.env.

FLANNEL_NETWORK=10.244.0.0/16 
FLANNEL_SUBNET=10.244.0.1/24
FLANNEL_MTU=1450 
FLANNEL_IPMASQ=false

Flannel CNI 插件使用其中的信息/run/flannel/subnet.env來配置和調用橋接 CNI 插件。

1.橋接 CNI 插件

Flannel CNI 插件使用以下配置調用 Bridge CNI 插件：

{
  "name": "cni0",
  "type": "bridge",
  "mtu": 1450,
  "ipMasq": false,
  "isGateway": true,
  "ipam": {
    "type": "host-local",
    "subnet": "10.244.0.0/24"
  }
}

當 第一次調用Bridge CNI 插件"name": "cni0"時，它會使用配置文件中指定的內容創(chuàng)建一個 Linux 橋。然后，它為每個 pod 創(chuàng)建一個 veth 對 - 該對的一端位于容器的網(wǎng)絡命名空間中，另一端連接到主機網(wǎng)絡上的 linux 橋。使用 Bridge CNI 插件，主機上的所有容器都連接到主機網(wǎng)絡上的 linux 橋。

配置 veth 對后，Bridge 插件會調用主機本地 IPAM CNI 插件。使用哪個 IPAM 插件可以在 CNI 配置中配置 CRI 插件用于調用 flannel CNI 插件。

2.主機本地 IPAM CNI 插件

Bridge CNI 插件 使用以下配置調用主機本地 IPAM CNI 插件：

{
  "name": "cni0",
  "ipam": {
    "type": "host-local",
    "subnet": "10.244.0.0/24",
    "dataDir": "/var/lib/cni/networks"
  }
}

主機本地 IPAM（IP 地址管理）插件從 - 中返回容器的 IP 地址，并將subnet分配的 IP 存儲在主機上本地指定的目錄下。文件包含分配了 IP 的容器 ID。dataDir/var/lib/cni/networks/<network-name=cni0>/<ip>/var/lib/cni/networks/<network-name=cni0>/<ip>

調用時，主機本地 IPAM 插件返回以下有效負載

{
  "ip4": {
    "ip": "10.244.4.2",
    "gateway": "10.244.4.3"
  },
  "dns": {}
}

小結

Kube-controller-manager為每個節(jié)點分配一個podCIDR。節(jié)點上的 Pod 會根據(jù) podCIDR 中的子網(wǎng)值分配一個 IP 地址。由于所有節(jié)點上的 podCIDR 都是不相交的子網(wǎng)，因此它允許為每個 pod 分配唯一的 IP 地址。

Kubernetes 集群管理員配置并安裝 kubelet、容器運行時、網(wǎng)絡提供商代理并在每個節(jié)點上分發(fā) CNI 插件。當網(wǎng)絡提供商代理啟動時，它會生成 CNI 配置。當 pod 被調度到節(jié)點上時，kubelet 會調用 CRI 插件來創(chuàng)建 pod。在containerd的情況下，Containerd CRI插件然后調用CNI配置中指定的CNI插件來配置pod網(wǎng)絡。所有這些都會導致 Pod 獲得 IP 地址。

參考：https://ronaknathani.com/blog/2020/08/how-a-kubernetes-pod-gets-an-ip-address/