在 Kubernetes 環(huán)境中，多租戶是指在開發(fā)和測試等環(huán)境中，多個(gè)團(tuán)隊(duì)、應(yīng)用程序或用戶之間共享一個(gè)大型集群，主要是為了降低管理多個(gè)集群的成本和運(yùn)營開銷。多租戶正在成為平臺(tái)團(tuán)隊(duì)部署 Kubernetes 基礎(chǔ)設(shè)施的基本要求。

使用 Kubernetes 命名空間實(shí)現(xiàn)多租戶

到目前為止，實(shí)現(xiàn)多租戶的最流行的方法是使用 Kubernetes 命名空間。Kubernetes 命名空間提供了一種簡單的方法來劃分一組資源，例如 Pod、服務(wù)和部署，這些資源只能在該命名空間內(nèi)訪問。

平臺(tái)團(tuán)隊(duì)通常管理和操作集群，并具有完全集群級(jí)別的權(quán)限。它們通過創(chuàng)建一個(gè)或多個(gè)特定于每個(gè)團(tuán)隊(duì)、應(yīng)用程序、用戶的命名空間，并限制作為開發(fā)人員、DevOps 工程師和應(yīng)用程序所有者的最終用戶對(duì)這些命名空間的訪問來實(shí)現(xiàn)多租戶。最終用戶只能執(zhí)行特定于他們擁有所有權(quán)的命名空間的操作。這適用于絕大多數(shù)多租戶用例。在這里，vcluster 框架可能很有用。

使用 Vcluster 開源框架的多租戶

在某些極端情況下，限制最終用戶僅訪問命名空間不太合理，因?yàn)樽罱K用戶需要訪問集群范圍對(duì)象（如 CRD、入口控制器、集群 API 服務(wù)器等），來進(jìn)行日常開發(fā)工作。通常，參與開發(fā)自定義資源和自定義控制器以擴(kuò)展 Kubernetes API、準(zhǔn)入控制器以實(shí)現(xiàn)變異和驗(yàn)證 Webhook ，以及其他可能需要自定義 Kubernetes 配置服務(wù)的用戶需要集群級(jí)訪問權(quán)限。虛擬集群（vcluster）是一個(gè)開源框架，旨在解決這個(gè)問題。vcluster 本質(zhì)上是一個(gè)可以在物理集群中創(chuàng)建的虛擬集群。

默認(rèn)情況下，Vcluster 在每個(gè)虛擬集群實(shí)例的主機(jī)集群命名空間中安裝 K3s 集群（可選為 k0s、k8s 和 EKS），并安裝 API 服務(wù)器、控制器管理器、存儲(chǔ)后端和（可選）調(diào)度程序等核心 Kubernetes 組件。最終用戶與虛擬群集 API 服務(wù)器交互并獲得對(duì)虛擬群集的完全訪問權(quán)限，但是仍保持資源隔離和安全性，因?yàn)樗麄儍H限于主機(jī)命名空間，并且無權(quán)訪問主機(jī)群集 API 服務(wù)器。平臺(tái)團(tuán)隊(duì)在主機(jī)群集中創(chuàng)建命名空間，為主機(jī)命名空間配置資源配額和策略，創(chuàng)建虛擬群集實(shí)例，并將虛擬群集移交給最終用戶。

部署 Vcluster 之前要回答的關(guān)鍵問題

雖然為一小組最終用戶部署 vcluster 相當(dāng)簡單，但在進(jìn)行大規(guī)模 vcluster 部署之前，平臺(tái)團(tuán)隊(duì)必須要清晰的了解以下問題，并圍繞 vcluster 實(shí)施其他解決方案，才能滿足其組織的自動(dòng)化、安全性、治理和合規(guī)性要求：

1、如何為每個(gè)命名空間創(chuàng)建主機(jī)級(jí)命名空間和資源配額，并將其映射到內(nèi)部用戶、團(tuán)隊(duì)？

平臺(tái)團(tuán)隊(duì)仍然需要命名空間級(jí)多租戶的解決方案，因?yàn)楸仨毾葎?chuàng)建主機(jī)命名空間才能部署 vcluster 實(shí)例。

2、如何自動(dòng)執(zhí)行 vcluster 的生命周期管理以應(yīng)對(duì)大規(guī)模使用？

平臺(tái)團(tuán)隊(duì)需要解決諸如創(chuàng)建、修改、刪除虛擬集群實(shí)例、向最終用戶公開虛擬集群 API 服務(wù)器（使用入口或負(fù)載均衡器）、將虛擬集群 Kubeconfig 文件安全地分發(fā)給最終用戶以及升級(jí)虛擬集群實(shí)例 （K3）， 以應(yīng)對(duì)軟件更新和安全漏洞等問題。

3、如何確保每個(gè)虛擬集群中僅運(yùn)行已批準(zhǔn)和授權(quán)的群集范圍服務(wù)？是否在每個(gè)虛擬集群中部署它們？如何保證沒有漂移？

這些服務(wù)通常包括安全插件、日志記錄、監(jiān)控、服務(wù)網(wǎng)格、入口控制器、存儲(chǔ)插件等。

4、如何在命名空間級(jí)別為主機(jī)命名空間創(chuàng)建網(wǎng)絡(luò)策略？

由于物理群集可能在多個(gè) BU 和應(yīng)用程序團(tuán)隊(duì)之間共享，因此仍然需要此級(jí)別的網(wǎng)絡(luò)隔離，這需要在主機(jī)命名空間之間進(jìn)行網(wǎng)絡(luò)隔離。

5、如何在每個(gè)虛擬集群中實(shí)施 OPA 等安全策略？是否需要在每個(gè)虛擬群集中部署這些策略？

大多數(shù)平臺(tái)團(tuán)隊(duì)會(huì)根據(jù)其安全團(tuán)隊(duì)的建議標(biāo)準(zhǔn)化一組安全策略，并將其部署到每個(gè)集群中，來保持安全狀況。

6、如何檢索每個(gè)虛擬集群的 Kubectl 審核日志？

對(duì)于某些組織來說，Kubectl 審計(jì)是一項(xiàng)關(guān)鍵要求，無論在什么樣的環(huán)境中都是如此。

7、如何處理成本分配？

由于資源由不同的開發(fā)團(tuán)隊(duì)共享，因此它們可能屬于不同的成本中心，平臺(tái)團(tuán)隊(duì)需要實(shí)施適當(dāng)?shù)陌创鎯?chǔ)容量使用計(jì)費(fèi)策略，來進(jìn)行成本分配。

8、如何讓其他開發(fā)人員工具（如ArgoCD）與vcluster一起工作？

像ArgoCD這樣的GitOps工具需要集群訪問才能部署應(yīng)用程序，必須在ArgoCD中配置每個(gè)vcluster實(shí)例，以便最終用戶利用ArgoCD GitOps部署。這可能適用于其他常用工具，例如可觀測性、日志記錄和監(jiān)視工具。

9、每個(gè) vcluster 實(shí)例會(huì)產(chǎn)生哪些額外的資源和運(yùn)營開銷？

每個(gè)虛擬集群本質(zhì)上都是一個(gè) K3s/K8s 集群，其中包含所有附加組件，例如安全插件、日志記錄插件、監(jiān)控插件、入口控制器等。當(dāng)部署更多虛擬集群實(shí)例時(shí)，每個(gè) vcluster Kubernetes 資源和加載項(xiàng)可能會(huì)產(chǎn)生大量開銷。同樣，由于每個(gè)虛擬集群本質(zhì)上都是一個(gè) Kubernetes 集群，因此平臺(tái)團(tuán)隊(duì)可能會(huì)產(chǎn)生額外的開銷來管理這些集群，來進(jìn)行 Kubernetes 版本更新、補(bǔ)丁管理和附加組件管理。

10、vcluster 是否與實(shí)際生產(chǎn)環(huán)境相匹配？

對(duì)于某些組織，開發(fā)環(huán)境必須與生產(chǎn)環(huán)境緊密匹配。vcluster 支持其他發(fā)行版，例如 K8s 和 EKS，但平臺(tái)團(tuán)隊(duì)必須檢查它是否等效于為接近生產(chǎn)環(huán)境的用例運(yùn)行獨(dú)立集群。例如，EKS 支持許多高級(jí)功能，包括第三方 CNI、各種存儲(chǔ)類、自動(dòng)擴(kuò)展、IRSA 和附加組件，這些功能在虛擬 EKS 集群中可能不可用。

結(jié)論

對(duì)于大多數(shù)平臺(tái)團(tuán)隊(duì)來說，基于命名空間的多租戶以及圍繞命名空間生命周期管理、安全性和成本控制的額外自動(dòng)化，可以解決其多租戶用例。vcluster 解決了 Kubernetes 命名空間多租戶中的一個(gè)特定差距，沒有集群級(jí)別權(quán)限的最終用戶可以訪問其虛擬集群中的集群范圍對(duì)象。平臺(tái)團(tuán)隊(duì)必須在內(nèi)部驗(yàn)證其最終用戶是否存在此類要求，根據(jù)其安全性、合規(guī)性和治理要求，進(jìn)行徹底的成本效益分析，并圍繞它實(shí)施額外的自動(dòng)化操作，以確保它的成功部署。