K8s和其他容器編排平臺(tái)正在迅速下沉到主流的基礎(chǔ)設(shè)置中，對于大多數(shù)面向業(yè)務(wù)的應(yīng)用，從傳統(tǒng)的數(shù)據(jù)中心遷移到容器部署還算獨(dú)立和簡單。然而，當(dāng)遇到需要像數(shù)據(jù)庫或快速數(shù)據(jù)分析工作負(fù)載這樣要求更高的核心應(yīng)用時(shí)，事情不那么簡單了。

首先，應(yīng)用容器化對底層基礎(chǔ)設(shè)施提出了更高的要求，包括網(wǎng)絡(luò)、存儲(chǔ)和容錯(cuò)。雖然K8s在這些方面取得了很大的進(jìn)步，但無論是在本地還是云場景中運(yùn)行，應(yīng)用仍然會(huì)出現(xiàn)性能下降的問題。其次，即使是中等規(guī)模的應(yīng)用，K8s網(wǎng)絡(luò)也不能為其提供低且可預(yù)測的延遲。

我們認(rèn)為一個(gè)平穩(wěn)運(yùn)行的IT系統(tǒng)所需的CPU、帶寬和存儲(chǔ)容量，對于優(yōu)化部署很重要。所以，了解數(shù)據(jù)在系統(tǒng)中的路徑，可以揭示出低于預(yù)期性能的潛在來源及其解決方案。

為容器化工作負(fù)載提供存儲(chǔ)的三種方法

私有云和并置設(shè)備/存儲(chǔ)集群

雖然本地存儲(chǔ)通常是功能最豐富、拓展最便捷的方式的存儲(chǔ)方式，但在容器原生的部署下可能就不那么完美了。在這些本地實(shí)例中，存儲(chǔ)與K8s系統(tǒng)并行存在，K8s通過一個(gè)容器存儲(chǔ)接口(CSI)插件將應(yīng)用與存儲(chǔ)連接起來，其工作原理是將應(yīng)用程序容器直接連接到外部存儲(chǔ)，完全繞過K8s控制的網(wǎng)絡(luò)。

容器存儲(chǔ)軟件

以容器形式誕生并使用容器實(shí)施的解決方案，具有專為容器而生的優(yōu)勢。這些產(chǎn)品采取了 "功能優(yōu)先 "的方法，這有助于確保IT團(tuán)隊(duì)保留精簡配置和重復(fù)數(shù)據(jù)刪除等功能。然而，無論是在規(guī)模上還是在生產(chǎn)中，性能再次取決于數(shù)據(jù)路徑。這些解決方案通過存儲(chǔ)控制器提供對存儲(chǔ)設(shè)備的訪問，而存儲(chǔ)控制器本身是作為容器實(shí)現(xiàn)的，所以整個(gè)數(shù)據(jù)路徑都要經(jīng)過K8s網(wǎng)絡(luò)，影響延遲。

在K8s中原生運(yùn)行的軟件定義存儲(chǔ)

市場上有一些純軟件定義的存儲(chǔ)選擇，其中只有少數(shù)幾個(gè)在K8s中原生運(yùn)行。其中包括獨(dú)立的裸機(jī)軟件定義存儲(chǔ)產(chǎn)品，這些產(chǎn)品被移植到K8s中使用，也支持私有云和混合云部署。

K8s中原有的軟件定義存儲(chǔ)利用上述兩種方法的優(yōu)點(diǎn)來實(shí)現(xiàn)最佳性能以和擴(kuò)展。它是容器原生的，根據(jù)實(shí)現(xiàn)方式，有些將數(shù)據(jù)路徑與K8s隔離，因此性能比僅容器存儲(chǔ)軟件方法中的CSP更好。

這使數(shù)據(jù)中心架構(gòu)師能夠獲得最好的傳統(tǒng)本地架構(gòu)和僅容器存儲(chǔ)的最佳效果。為了確保延遲可預(yù)測性，數(shù)據(jù)路徑在K8s之下——在容器和NVMe SSD之間——從內(nèi)核移動(dòng)到客戶端設(shè)備驅(qū)動(dòng)程序，再到目標(biāo)驅(qū)動(dòng)，然后直接訪問NVMe驅(qū)動(dòng)。

用這種方式，客戶端是完全獨(dú)立的，不需要跨客戶端通信就可以直接與目標(biāo)通信。這種方式，減少了網(wǎng)絡(luò)跳躍點(diǎn)數(shù)量和通信線路的數(shù)量，使得該模式可以用于大規(guī)模環(huán)境，其中連接的數(shù)量是域大小的小倍數(shù)。

Elasticsearch 應(yīng)用程序

幾個(gè)允許系統(tǒng)在K8s中原生運(yùn)行的用例，展示了軟件定義的方法的好處。例如歐洲、中東和非洲地區(qū)的一家主要電信供應(yīng)商為大型K8s中的Elasticsearch試用了三種存儲(chǔ)方法。外部的、基于iSCSI的SDS是可擴(kuò)展的，但延遲在毫秒級(jí)，導(dǎo)致索引性能更差，而K8s原生的存儲(chǔ)解決方案則無法滿足數(shù)百個(gè)節(jié)點(diǎn)的規(guī)模要求。這兩種方法都導(dǎo)致了最終用戶的體驗(yàn)明顯變差。第三種方法是基于NVMe的可擴(kuò)展SDS，使用嵌入K8s節(jié)點(diǎn)的NVMe驅(qū)動(dòng)器，結(jié)合原生集成到 K8s 控制和管理平面，實(shí)現(xiàn)了顯著更好的性能和延遲。

K8s的 NVMe 原生共享存儲(chǔ)的系統(tǒng)架構(gòu)，具有裸機(jī)性能

CI/CD 應(yīng)用

在另一個(gè)例子中，一家頂級(jí)網(wǎng)絡(luò)公司在一個(gè)擁有數(shù)萬個(gè)節(jié)點(diǎn)的數(shù)據(jù)中心的CI/CD應(yīng)用程序中，在K8s中原生運(yùn)行了一個(gè)SDS，為編譯、構(gòu)建和本地測試提供一個(gè)強(qiáng)大的控制環(huán)境。圖1顯示了SDS的基于NVMe 的客戶端和橫向擴(kuò)展架構(gòu)是如何實(shí)現(xiàn)CI/CD工作負(fù)載向K8s的過渡，同時(shí)保留了裸機(jī)性能。

當(dāng)在K8s下運(yùn)行時(shí)，該方法用特權(quán)容器控制客戶端和目標(biāo)設(shè)備驅(qū)動(dòng)程序的部署，使數(shù)據(jù)路徑不受K8s環(huán)境的容器化性質(zhì)的影響，并將所有控制和管理平面組件轉(zhuǎn)移到基于原生容器API的操作。在這家頂級(jí)網(wǎng)絡(luò)公司的生產(chǎn)環(huán)境中，應(yīng)用程序性能比裸機(jī)情況高15%-20%，因?yàn)榇鎯?chǔ)軟件將多個(gè)遠(yuǎn)程N(yùn)VMe驅(qū)動(dòng)器聚集在一個(gè)虛擬卷中，呈現(xiàn)給運(yùn)行應(yīng)用程序的容器。

通往成功的優(yōu)秀數(shù)據(jù)路徑

尋找合適的存儲(chǔ)來滿足應(yīng)用程序?qū)蓴U(kuò)展性和性能的需求并不是一個(gè)放之四海而皆準(zhǔn)的方法。當(dāng)存儲(chǔ)架構(gòu)師通過了解數(shù)據(jù)路徑的含義，為容器選擇存儲(chǔ)時(shí)，能夠在容器化混合部署中讓應(yīng)用更加流暢，獲得可擴(kuò)展、高性能、敏捷的存儲(chǔ)。