維護(hù)眾多服務(wù)需要巨大的努力，手動(dòng)操作已不再可行。以微博的動(dòng)態(tài)推送功能為例，僅遠(yuǎn)程過(guò)程調(diào)用（RPC）服務(wù)就接近40種。這些服務(wù)接口的性能和需求各不相同，一些接口雖然處理請(qǐng)求量大，但響應(yīng)迅速，稱為輕量級(jí)接口；另一些接口處理的請(qǐng)求量較少，但響應(yīng)時(shí)間較長(zhǎng)，稱為重量級(jí)接口。

例如，在微博的動(dòng)態(tài)推送中，計(jì)數(shù)接口的響應(yīng)時(shí)間極短，僅需2至3毫秒，而動(dòng)態(tài)獲取接口的響應(yīng)時(shí)間則超過(guò)200毫秒。服務(wù)集群的規(guī)模差別明顯，擴(kuò)展所需的服務(wù)器數(shù)量也大相徑庭。比如微博的A/B測(cè)試服務(wù)可能只需增加幾臺(tái)服務(wù)器即可應(yīng)對(duì)增長(zhǎng)，而動(dòng)態(tài)推送服務(wù)可能需要增加上百臺(tái)服務(wù)器。另外，在擴(kuò)展服務(wù)時(shí)，還需注意服務(wù)間的相互依賴性，確保所有依賴的服務(wù)都有足夠的處理能力。例如，微博的動(dòng)態(tài)推送業(yè)務(wù)在擴(kuò)展時(shí)不僅依賴于現(xiàn)有的服務(wù)器容量，還依賴于用戶關(guān)系和卡片服務(wù)的容量是否充足。

容量規(guī)劃系統(tǒng)的作用是根據(jù)各個(gè)微服務(wù)部署集群的最大容量和線上實(shí)際運(yùn)行的負(fù)荷，來(lái)決定各個(gè)微服務(wù)是否需要彈性擴(kuò)縮容，以及需要擴(kuò)縮容多少臺(tái)機(jī)器。

容量評(píng)估一般集群的容量評(píng)估都是通過(guò)線上實(shí)際壓測(cè)來(lái)確定的，那么該如何進(jìn)行線上壓測(cè)呢？都需要注意哪些關(guān)鍵點(diǎn)呢？

1. 選擇合適的壓測(cè)指標(biāo)

在進(jìn)行性能測(cè)試時(shí)，我們通常關(guān)注兩大類指標(biāo)：系統(tǒng)指標(biāo)和服務(wù)指標(biāo)。系統(tǒng)指標(biāo)包括CPU使用率、內(nèi)存使用量、磁盤I/O和網(wǎng)絡(luò)帶寬等，而服務(wù)指標(biāo)涉及到接口的平均響應(yīng)時(shí)間、P999延遲（即99.9%的請(qǐng)求在這個(gè)時(shí)間內(nèi)得到響應(yīng)）和錯(cuò)誤率。然而，這些指標(biāo)并不總是能夠準(zhǔn)確地反映系統(tǒng)在負(fù)載下的表現(xiàn)。例如，低CPU使用率不一定意味著接口響應(yīng)時(shí)間就是健康的，而高CPU使用率也不一定導(dǎo)致接口性能不佳。同樣，服務(wù)指標(biāo)如平均響應(yīng)時(shí)間也可能掩蓋實(shí)際問(wèn)題，比如在壓測(cè)中即使只有少量的請(qǐng)求響應(yīng)時(shí)間延長(zhǎng)，平均值也可能看起來(lái)不變。

基于我的經(jīng)驗(yàn)，除了監(jiān)控上述指標(biāo)之外，還應(yīng)該檢查接口的慢請(qǐng)求比例，即超過(guò)特定響應(yīng)時(shí)間閾值的請(qǐng)求占總請(qǐng)求的比例。例如，在對(duì)微博的動(dòng)態(tài)推送接口進(jìn)行壓測(cè)時(shí)，我們關(guān)注的是響應(yīng)時(shí)間超過(guò)1秒的請(qǐng)求的比例，如果這一比例超過(guò)1%，則應(yīng)停止壓測(cè)。這是因?yàn)槿绻?9%的請(qǐng)求能在1秒內(nèi)完成，用戶體驗(yàn)通常不會(huì)受到太大影響。對(duì)大多數(shù)在線服務(wù)而言，保持慢請(qǐng)求比例在1%以下是服務(wù)質(zhì)量的基本標(biāo)準(zhǔn)，因此這個(gè)指標(biāo)可以作為一個(gè)有效的壓測(cè)性能指標(biāo)。

2. 壓測(cè)獲取單機(jī)的最大容量

要確定一個(gè)服務(wù)器集群能處理的最大負(fù)載，我們首先需要知道單個(gè)服務(wù)器能承受的最大負(fù)載，然后這個(gè)數(shù)值乘以集群中服務(wù)器的總數(shù)。獲取單臺(tái)服務(wù)器最大負(fù)載的方法通常分為兩種：?jiǎn)螜C(jī)壓測(cè)和集群壓測(cè)。單機(jī)壓測(cè)可以通過(guò)復(fù)現(xiàn)實(shí)際流量的日志或復(fù)制實(shí)時(shí)流量到一個(gè)服務(wù)器上來(lái)進(jìn)行。而集群壓測(cè)則是通過(guò)逐步減少集群中的服務(wù)器數(shù)量來(lái)增加單個(gè)服務(wù)器上的負(fù)載，從而測(cè)試每臺(tái)服務(wù)器的極限。

根據(jù)我的經(jīng)驗(yàn)，集群壓測(cè)更為可靠，因?yàn)樗谜鎸?shí)的線上流量進(jìn)行測(cè)試，可以得到更準(zhǔn)確的單臺(tái)服務(wù)器負(fù)載極限。但是，集群壓測(cè)可能會(huì)對(duì)實(shí)際運(yùn)行中的服務(wù)造成影響，因此通常在流量較低的時(shí)段進(jìn)行。此外，為了便于及時(shí)應(yīng)對(duì)可能出現(xiàn)的問(wèn)題，這類壓測(cè)一般安排在工作日進(jìn)行。

在集群壓測(cè)中，我們會(huì)監(jiān)控慢請(qǐng)求的比例，并在這一比例達(dá)到1%時(shí)停止壓測(cè)。此時(shí)，我們可以用停止壓測(cè)時(shí)的每臺(tái)服務(wù)器平均每秒查詢數(shù)（QPS）作為單臺(tái)服務(wù)器的最大容量指標(biāo)。但是，僅僅使用QPS作為衡量標(biāo)準(zhǔn)并不總是準(zhǔn)確的，因?yàn)樗灰欢芡耆从撤?wù)器的真實(shí)負(fù)載情況。例如，如果有兩個(gè)服務(wù)器，其QPS相同，但一個(gè)主要處理響應(yīng)時(shí)間低于100毫秒的請(qǐng)求，另一個(gè)處理的請(qǐng)求響應(yīng)時(shí)間都超過(guò)50毫秒，則后者對(duì)服務(wù)器的負(fù)載更重。即使兩臺(tái)服務(wù)器的QPS都是100，處理更多慢請(qǐng)求的服務(wù)器可能已經(jīng)無(wú)法處理更高的QPS，而另一臺(tái)則可能還有余力。

圖片

因此，一種更為精確的方法來(lái)衡量單個(gè)服務(wù)器的容量是通過(guò)對(duì)不同響應(yīng)時(shí)間段的請(qǐng)求賦予加權(quán)值，這種方法稱為區(qū)間加權(quán)。每個(gè)時(shí)間段的請(qǐng)求都有不同的權(quán)重，反映了它們對(duì)服務(wù)器負(fù)載的實(shí)際影響：更長(zhǎng)的響應(yīng)時(shí)間獲得更高的權(quán)重。例如，響應(yīng)時(shí)間在0到10毫秒之間的請(qǐng)求權(quán)重為1，10到50毫秒為2，50到100毫秒為4，100到200毫秒為8，200到500毫秒為16，超過(guò)500毫秒的為32。根據(jù)這種加權(quán)方法，前述兩種情況下服務(wù)器的容量可以計(jì)算為第一種情況的請(qǐng)求（8個(gè)請(qǐng)求×權(quán)重1）+（50個(gè)請(qǐng)求×權(quán)重2）+（30個(gè)請(qǐng)求×權(quán)重4）+（10個(gè)請(qǐng)求×權(quán)重8）+（2個(gè)請(qǐng)求×權(quán)重16）等于340，而第二種情況下的計(jì)算為（2個(gè)請(qǐng)求×權(quán)重2）+（10個(gè)請(qǐng)求×權(quán)重4）+（50個(gè)請(qǐng)求×權(quán)重8）+（20個(gè)請(qǐng)求×權(quán)重16）+（8個(gè)請(qǐng)求×權(quán)重32）等于1020。通過(guò)這種方式，我們可以得到在壓測(cè)終止時(shí)刻，經(jīng)過(guò)區(qū)間加權(quán)計(jì)算得到的單個(gè)服務(wù)器的最大容量。

3. 實(shí)時(shí)獲取集群的運(yùn)行負(fù)荷

為了估算集群的總負(fù)荷，首先，我們需要通過(guò)壓力測(cè)試確定單個(gè)服務(wù)器的最大處理能力。將這個(gè)數(shù)值乘以集群中服務(wù)器的數(shù)量，就能得出整個(gè)集群的最大處理能力。接下來(lái)，為了判斷是否需要對(duì)集群進(jìn)行擴(kuò)展，關(guān)鍵在于準(zhǔn)確估算當(dāng)前集群的實(shí)際運(yùn)行負(fù)載。

由于直接計(jì)算每個(gè)服務(wù)器的負(fù)載并將它們加總的方法在大規(guī)模集群（例如超過(guò)千臺(tái)服務(wù)器）中效率低下，因此采用了一種更高效的方法。這種方法涉及收集每臺(tái)服務(wù)器在不同響應(yīng)時(shí)間區(qū)間的請(qǐng)求數(shù)量，然后將這些數(shù)據(jù)發(fā)送到一個(gè)中心處理點(diǎn)進(jìn)行整合。在這個(gè)中心點(diǎn)，對(duì)同一集群中不同服務(wù)器在各個(gè)響應(yīng)時(shí)間區(qū)間的請(qǐng)求數(shù)據(jù)進(jìn)行匯總，從而得到整個(gè)集群在各個(gè)時(shí)間區(qū)間的請(qǐng)求分布情況。利用這些分布數(shù)據(jù)并結(jié)合區(qū)間加權(quán)的計(jì)算方法，就能有效估算出集群的整體運(yùn)行負(fù)荷。

調(diào)度決策

在容量評(píng)估過(guò)程中，了解集群的最大容量與實(shí)際運(yùn)行負(fù)載是關(guān)鍵。這兩個(gè)數(shù)據(jù)點(diǎn)可用于形成有效的調(diào)度策略。類似于監(jiān)控水庫(kù)的水位，這種策略涉及實(shí)時(shí)監(jiān)測(cè)集群的資源利用情況。如果集群的負(fù)載超過(guò)了預(yù)設(shè)的警戒線，類似于水庫(kù)的水位過(guò)高，就需要采取措施來(lái)減輕負(fù)擔(dān)，比如通過(guò)擴(kuò)容或重新分配資源。

相反，如果負(fù)載低于某個(gè)閾值，像是水庫(kù)水位過(guò)低，那么可以選擇減少資源，以優(yōu)化成本和效率。這樣的方法確保集群負(fù)載始終保持在理想狀態(tài)，既不過(guò)載也不閑置。通過(guò)將集群的最大容量與實(shí)際運(yùn)行負(fù)荷的比值作為“水位線”，可以有效地實(shí)時(shí)監(jiān)控和調(diào)整集群的運(yùn)行狀態(tài)。

圖片

在調(diào)度決策時(shí)候，就可以根據(jù)水位線來(lái)做決定。你可以看到下面圖中劃分了兩條線，一條是安全線，一條是致命線。當(dāng)集群的水位線位于致命線以下時(shí)，就需要立即擴(kuò)容，在擴(kuò)容一定數(shù)量的機(jī)器后，水位線回到安全線以上并保持一段時(shí)間后，就可以進(jìn)行縮容了。

圖片

1. 擴(kuò)容策略：在決定增加多少機(jī)器時(shí)，通常根據(jù)集群現(xiàn)有規(guī)模的比例來(lái)進(jìn)行。例如，可以選擇每次擴(kuò)展總機(jī)器數(shù)的30%，然后重新評(píng)估集群的負(fù)載情況。這種按比例擴(kuò)容的方法適用于各種規(guī)模的集群，能確保擴(kuò)容后的負(fù)載仍然保持在安全范圍內(nèi)。
2. 縮容策略：當(dāng)集群的負(fù)載在安全水平上維持一定時(shí)間后，可以考慮縮容以節(jié)約成本?？s容的時(shí)機(jī)和頻率可根據(jù)業(yè)務(wù)特點(diǎn)決定。例如，如果業(yè)務(wù)流量通常在一小時(shí)內(nèi)回落，可以在負(fù)載維持在安全線以上一個(gè)小時(shí)后開(kāi)始縮容?？s容過(guò)程中采取逐步減少的方式，如每隔五分鐘按照一定比例（例如10%、30%、50%）逐步減少機(jī)器，以避免因過(guò)快縮容導(dǎo)致負(fù)載突然增加。總結(jié)：容量評(píng)估方面，首先要通過(guò)壓測(cè)獲取集群的最大容量，并實(shí)時(shí)采集服務(wù)調(diào)用的數(shù)據(jù)以獲取集群的實(shí)時(shí)運(yùn)行負(fù)荷，這樣就可以獲取集群的實(shí)時(shí)水位線。而調(diào)度決策方面，主要是通過(guò)水位線與致命線和安全線對(duì)比來(lái)決定什么時(shí)候該擴(kuò)縮容。而擴(kuò)縮容的數(shù)量也是有講究的，擴(kuò)容的機(jī)器數(shù)一般按照集群機(jī)器數(shù)量的比例來(lái)，而縮容一般采取逐步縮容的方式以免縮容太快導(dǎo)致反復(fù)擴(kuò)容。