[[403388]]

在這篇指南中，你將獲得使用 Kubernetes 和 Istio 使用 GitOps 進(jìn)行漸進(jìn)式交付(Progressive Delivery)的實際經(jīng)驗。

介紹

Demo: https://github.com/stefanprodan/gitops-istio

GitOps 是什么?

GitOps 是一種進(jìn)行持續(xù)交付的方式，它使用 Git 作為聲明性(declarative)基礎(chǔ)設(shè)施和工作負(fù)載(workloads)的真實來源。對于 Kubernetes，這意味著使用 git push 而不是 kubectl apply/delete 或 helm install/upgrade。

在這個 workshop 中，您將使用 GitHub 來托管配置存儲庫，并將 Flux 作為 GitOps 交付解決方案。

什么是漸進(jìn)式交付?

漸進(jìn)交付是高級部署模式(如金絲雀canaries、功能標(biāo)志feature flags和A/B測試A/B testing)的總稱。漸進(jìn)交付技術(shù)通過讓應(yīng)用程序開發(fā)人員和 SRE 團(tuán)隊對爆炸半徑blast radius進(jìn)行細(xì)粒度控制，從而降低在生產(chǎn)中引入新軟件版本的風(fēng)險。

在這個 workshop 中，您將使用 Flagger 和 Prometheus 為您的應(yīng)用程序自動執(zhí)行 Canary 發(fā)布和 A/B Testing。

準(zhǔn)備工作

您將需要具有 LoadBalancer 支持的 Kubernetes 集群 v1.16 或更高版本。出于測試目的，您可以使用帶有 2 個 CPU 和 4GB 內(nèi)存的 Minikube。

使用 Homebrew 安裝 flux CLI：

brew install fluxcd/tap/flux 

macOS AMD64/ARM64、Linux AMD64/ARM 和 Windows 的二進(jìn)制文件可在 flux2 release page 下載。

驗證您的集群是否滿足前提條件：

flux check --pre 

使用 Homebrew 安裝 jq 和 yq：

brew install jq yq 

Fork 這個倉庫并克隆它：

git clone https://github.com/<YOUR-USERNAME>/gitops-istio 
cd gitops-istio 

Cluster bootstrap

使用 flux bootstrap 命令，您可以在 Kubernetes 集群上安裝 Flux 并將其配置為從 Git 存儲庫管理自身。如果集群上存在 Flux 組件，則 bootstrap 命令將在需要時執(zhí)行升級。

通過指定您的 GitHub 存儲庫 fork URL 來引導(dǎo) Flux：

flux bootstrap git \ 
  --author-email=<YOUR-EMAIL> \ 
  --url=ssh://git@github.com/<YOUR-USERNAME>/gitops-istio \ 
  --branch=main \ 
  --path=clusters/my-cluster 

上面的命令需要 ssh-agent，如果您使用的是 Windows，請參閱 flux bootstrap github 文檔。

在引導(dǎo)時，F(xiàn)lux 生成一個 SSH key 并打印 public key。為了用 git 同步你的集群狀態(tài)，你需要復(fù)制 public key 并使用 write 創(chuàng)建一個 deploy key 訪問你的 GitHub 倉庫。在 GitHub 上轉(zhuǎn)到 Settings > Deploy keys 點擊 Add deploy key， 勾選☑️ Allow write access，粘貼 Flux public key 并單擊 Add key。

當(dāng) Flux 訪問你的存儲庫時，它會做以下事情：

• 安裝 Istio operator
• 等待 Istio 控制平面準(zhǔn)備好
• 安裝 Flagger、Prometheus 和 Grafana
• 創(chuàng)建 Istio 公共網(wǎng)關(guān)
• 創(chuàng)建 prod 命名空間namespace
• 創(chuàng)建負(fù)載測試器(load tester) deployment
• 創(chuàng)建前端(frontend) deployment 和金絲雀canary
• 創(chuàng)建后端(backend) deployment 和金絲雀canary

使用 Istio 引導(dǎo)集群時，定義 apply 順序很重要。對于要使用 Istio sidecar 注入的應(yīng)用程序 pod，Istio 控制平面必須在應(yīng)用程序之前啟動并運行。

在 Flux v2 中，你可以通過定義對象之間的依賴關(guān)系來指定執(zhí)行順序。例如，在 clusters/my-cluster/apps.yaml 中我們告訴 Flux，apps 的協(xié)調(diào)取決于一個 istio-system ：

apiVersion: kustomize.toolkit.fluxcd.io/v1beta1 
kind: Kustomization 
metadata: 
  name: apps 
  namespace: flux-system 
spec: 
  interval: 30m0s 
  dependsOn: 
    - name: istio-system 
  sourceRef: 
    kind: GitRepository 
    name: flux-system 
  path: ./apps 

首先觀測 Flux 安裝 Istio，然后觀測 demo apps：

watch flux get kustomizations 

您可以使用以下命令跟蹤 Flux reconciliation 日志：

flux logs --all-namespaces --follow --tail=10 

Istio 定制和升級

您可以使用位于 istio/system/profile.yaml 的 IstioOperator 資源自定義 Istio 安裝：

apiVersion: install.istio.io/v1alpha1 
kind: IstioOperator 
metadata: 
  name: istio-default 
  namespace: istio-system 
spec: 
  profile: demo 
  components: 
    pilot: 
      k8s: 
        resources: 
          requests: 
            cpu: 10m 
            memory: 100Mi 

修改 Istio 設(shè)置后，您可以將更改推送到 git，F(xiàn)lux 將在集群上應(yīng)用它。Istio operator 將根據(jù)您的更改重新配置 Istio 控制平面。

當(dāng)新的 Istio 版本可用時，update-istio GitHub Action workflow 工作流將打開一個pull request，其中包含升級 Istio Operator 所需的清單更新。新的 Istio 版本通過 e2e workflow 在 Kubernetes Kind 上進(jìn)行測試，當(dāng) PR 合并到主分支時，F(xiàn)lux 將在集群內(nèi)升級 Istio。

應(yīng)用程序引導(dǎo)

當(dāng) Flux 將 Git 存儲庫與您的集群同步時，它將創(chuàng)建前端/后端部署(frontend/backend deployment)、HPA 和一個金絲雀對象canary object。Flagger 使用 canary 定義創(chuàng)建了一系列對象：Kubernetes deployments、ClusterIP services、Istio 目標(biāo)規(guī)則(destination rules)和虛擬服務(wù)(virtual services)。這些對象在網(wǎng)格(mesh)上公開(expose)應(yīng)用程序，并推動金絲雀分析(canary analysis)和推廣(promotion)。

# applied by Flux 
deployment.apps/frontend 
horizontalpodautoscaler.autoscaling/frontend 
canary.flagger.app/frontend 
 
# generated by Flagger 
deployment.apps/frontend-primary 
horizontalpodautoscaler.autoscaling/frontend-primary 
service/frontend 
service/frontend-canary 
service/frontend-primary 
destinationrule.networking.istio.io/frontend-canary 
destinationrule.networking.istio.io/frontend-primary 
virtualservice.networking.istio.io/frontend 

檢查 Flagger 是否成功初始化了金絲雀：

kubectl -n prod get canaries 
 
NAME       STATUS        WEIGHT 
backend    Initialized   0 
frontend   Initialized   0 

當(dāng) frontend-primary 部署上線時，F(xiàn)lager 會將所有流量路由到主 Pod，并將 frontend 部署 scale 到零。

使用以下命令查找 Istio 入口網(wǎng)關(guān)(ingress gateway)地址：

kubectl -n istio-system get svc istio-ingressgateway -ojson | jq .status.loadBalancer.ingress 

打開瀏覽器并導(dǎo)航到入口地址，您將看到前端 UI。

金絲雀發(fā)布

Flagger 實現(xiàn)了一個控制循環(huán)，該控制循環(huán)在測量關(guān)鍵性能指標(biāo)(如 HTTP 請求成功率、請求平均持續(xù)時間和 pod 運行狀況)的同時，逐步將流量轉(zhuǎn)移到金絲雀。在分析 KPI 的基礎(chǔ)上，將金絲雀升級或中止，并將分析結(jié)果發(fā)布到 Slack。

金絲雀分析由以下任何對象的更改觸發(fā)：

部署 PodSpec(容器鏡像、命令、端口、環(huán)境等)

ConfigMaps 和 Secrets 作為卷(volumes)掛載或映射到環(huán)境變量

對于不接收恒定流量的工作負(fù)載，F(xiàn)lagger 可以配置一個 webhook，當(dāng)它被調(diào)用時，將啟動一個目標(biāo)工作負(fù)載的負(fù)載測試。canary 配置可以在 apps/backend/canary.yaml 上找到。

從 GitHub 拉取更改：

git pull origin main 

要觸發(fā)后端應(yīng)用程序的金絲雀部署，請碰撞容器鏡像：

yq e '.images[0].newTag="5.0.1"' -i ./apps/backend/kustomization.yaml 

提交和推送更改：

git add -A && \ 
git commit -m "backend 5.0.1" && \ 
git push origin main 

告訴 Flux 拉取更改或等待一分鐘讓 Flux 自行檢測更改：

flux reconcile source git flux-system 

觀測 Flux 將您的集群與最新提交進(jìn)行協(xié)調(diào)：

watch flux get kustomizations 

幾秒鐘后，F(xiàn)lager 檢測到部署修訂(deployment revision)已更改并開始新的 rollout：

$ kubectl -n prod describe canary backend 
 
Events: 
 
New revision detected! Scaling up backend.prod 
Starting canary analysis for backend.prod 
Pre-rollout check conformance-test passed 
Advance backend.prod canary weight 5 
... 
Advance backend.prod canary weight 50 
Copying backend.prod template spec to backend-primary.prod 
Promotion completed! Scaling down backend.prod 

在分析過程中，Grafana 可以監(jiān)控金絲雀的進(jìn)程。您可以通過端口轉(zhuǎn)發(fā)訪問儀表板：

kubectl -n istio-system port-forward svc/flagger-grafana 3000:80 

Istio 儀表板的 URL 是 http://localhost:3000/d/flagger-istio/istio-canary?refresh=10s&orgId=1&var-namespace=prod&var-primary=backend-primary&var-canary=backend

請注意，如果在金絲雀分析(canary analysis)期間對部署應(yīng)用了新的更改，F(xiàn)lagger 將重新啟動分析階段。

A/B 測試

除了加權(quán)路由(weighted routing)，F(xiàn)lagger 還可以配置為根據(jù) HTTP 匹配條件將流量路由到金絲雀。在 A/B 測試場景中，您將使用 HTTP headers 或 cookie 來定位用戶的特定部分。這對于需要會話(session)關(guān)聯(lián)的前端應(yīng)用程序特別有用。

您可以通過指定 HTTP 匹配條件和迭代次數(shù)來啟用 A/B 測試：

analysis: 
  # schedule interval (default 60s) 
  interval: 10s 
  # max number of failed metric checks before rollback 
  threshold: 10 
  # total number of iterations 
  iterations: 12 
  # canary match condition 
  match: 
    - headers: 
        user-agent: 
          regex: ".*Firefox.*" 
    - headers: 
        cookie: 
          regex: "^(.*?;)?(type=insider)(;.*)?$" 

上述配置將針對 Firefox 用戶和擁有內(nèi)部 cookie 的用戶運行兩分鐘的分析。前端配置可以在 apps/frontend/canary.yaml 中找到。

通過更新前端容器鏡像觸發(fā)部署：

yq e '.images[0].newTag="5.0.1"' -i ./apps/frontend/kustomization.yaml 
 
git add -A && \ 
git commit -m "frontend 5.0.1" && \ 
git push origin main 
 
flux reconcile source git flux-system 

Flager 檢測到部署修訂已更改并開始 A/B 測試：

$ kubectl -n istio-system logs deploy/flagger -f | jq .msg 
 
New revision detected! Scaling up frontend.prod 
Waiting for frontend.prod rollout to finish: 0 of 1 updated replicas are available 
Pre-rollout check conformance-test passed 
Advance frontend.prod canary iteration 1/10 
... 
Advance frontend.prod canary iteration 10/10 
Copying frontend.prod template spec to frontend-primary.prod 
Waiting for frontend-primary.prod rollout to finish: 1 of 2 updated replicas are available 
Promotion completed! Scaling down frontend.prod 

您可以通過以下方式監(jiān)控所有金絲雀：

$ watch kubectl get canaries --all-namespaces 
 
NAMESPACE   NAME      STATUS        WEIGHT 
prod        frontend  Progressing   100 
prod        backend   Succeeded     0 

基于 Istio 指標(biāo)的回滾

Flagger 使用 Istio 遙測提供的指標(biāo)來驗證金絲雀工作負(fù)載。前端應(yīng)用 analysis 定義了兩個指標(biāo)檢查：

metrics: 
   - name: error-rate 
     templateRef: 
       name: error-rate 
       namespace: istio-system 
     thresholdRange: 
       max: 1 
     interval: 30s 
   - name: latency 
     templateRef: 
       name: latency 
       namespace: istio-system 
     thresholdRange: 
       max: 500 
     interval: 30s 

用于檢查錯誤率(error rate)和延遲的 Prometheus 查詢，位于 flagger-metrics.yaml。

在金絲雀分析期間，您可以生成 HTTP 500 errors 和高延遲(high latency)來測試 Flagger 的回滾。

生成 HTTP 500 errors：

watch curl -b 'type=insider' http://<INGRESS-IP>/status/500 

生成延遲：

watch curl -b 'type=insider' http://<INGRESS-IP>/delay/1 

當(dāng)失敗的檢查次數(shù)達(dá)到金絲雀分析閾值(threshold)時，流量將路由回主服務(wù)器，金絲雀縮放為零，并將推出(rollout)標(biāo)記為失敗。

$ kubectl -n istio-system logs deploy/flagger -f | jq .msg 
 
New revision detected! Scaling up frontend.prod 
Pre-rollout check conformance-test passed 
Advance frontend.prod canary iteration 1/10 
Halt frontend.prod advancement error-rate 31 > 1 
Halt frontend.prod advancement latency 2000 > 500 
... 
Rolling back frontend.prod failed checks threshold reached 10 
Canary failed! Scaling down frontend.prod 

您可以使用針對 Prometheus、Datadog 和 Amazon CloudWatch 的自定義指標(biāo)檢查來擴(kuò)展分析。

有關(guān)為 Slack、MS Teams、Discord 或 Rocket 配置 canary 分析警報的信息，請參閱文檔。