在分析了負(fù)載均衡的算法種類之后，我們現(xiàn)在來介紹一下動態(tài)負(fù)載均衡。主要是通過對負(fù)載均衡器的介紹，來理解這個概念?；诩訖?quán)輪詢的算法，我們可以擴展負(fù)載均衡的動態(tài)性能，那么，更加具體詳細(xì)的解釋，還是讓我們?yōu)g覽文章吧。

動態(tài)反饋負(fù)載均衡

當(dāng)客戶訪問集群資源時,提交的任務(wù)所需的時間和所要消耗的計算資源是千差萬別的,他依賴于很多因素｡例如:任務(wù)請求的服務(wù)類型､當(dāng)前網(wǎng)絡(luò)帶寬的情況､以及當(dāng)前服務(wù)器資源利用的情況等等｡一些負(fù)載比較重的任務(wù)需要進行計算密集的查詢､數(shù)據(jù)庫訪問､很長響應(yīng)數(shù)據(jù)流;而負(fù)載比較輕的任務(wù)請求往往只需要讀一個小文件或者進行很簡單的計算｡

對任務(wù)請求處理時間的不同可能會導(dǎo)致處理結(jié)點利用率的傾斜(Skew),即處理結(jié)點的負(fù)載不均衡｡有可能存在這樣的情況,有些結(jié)點已經(jīng)超負(fù)荷運行,而其他結(jié)點基本是閑置著｡同時,有些結(jié)點已經(jīng)忙不過28來,有很長的請求隊列,還不斷地收到新的請求｡反過來說,這會導(dǎo)致客戶長時間的等待,而集群整體的服務(wù)質(zhì)量下降｡因此,有必要采用一種機制,使得負(fù)載均衡器能夠?qū)崟r地了解各個結(jié)點的負(fù)載狀況,并能根據(jù)負(fù)載的變化做出調(diào)整｡

具體的做法上采用了基于負(fù)反饋機制的動態(tài)負(fù)載均衡算法,該算法考慮每一個結(jié)點的實時負(fù)載和響應(yīng)能力,不斷調(diào)整任務(wù)分布的比例,來避免有些結(jié)點超載時依然收到大量請求,從而提高單一集群的整體吞吐率｡

在集群內(nèi),負(fù)載均衡器上運行服務(wù)端監(jiān)控進程,監(jiān)控進程負(fù)責(zé)監(jiān)視和收集集群內(nèi)各個結(jié)點的負(fù)載信息;而每個結(jié)點上運行客戶端進程,負(fù)責(zé)定時向負(fù)載均衡器報告自身的負(fù)載狀況｡監(jiān)控進程根據(jù)收到的全部結(jié)點的負(fù)載信息來進行同步操作,既對將要分配的任務(wù)按照權(quán)值的比例重新進行分布｡權(quán)值的計算主要根據(jù)各個結(jié)點的 CPU利用率､可用內(nèi)存以及磁盤I/O狀況計算出新的權(quán)值,若新權(quán)值和當(dāng)前權(quán)值的差值大于設(shè)定的閥值,監(jiān)控器采用新的權(quán)值對集群范圍內(nèi)的任務(wù)重新進行分布,直到下一次的負(fù)載信息同步到來之前｡負(fù)載均衡器可以配合動態(tài)權(quán)值,采用加權(quán)輪詢算法來對接受的網(wǎng)絡(luò)服務(wù)請求進行調(diào)度｡

加權(quán)輪詢調(diào)度

加權(quán)輪詢調(diào)度(Weighted Round-Robin Scheduling)算法用相應(yīng)的權(quán)值表示結(jié)點的處理性能｡該算法根據(jù)權(quán)值的高低順序并按照輪詢的方式將任務(wù)請求分配到各結(jié)點｡權(quán)值高的結(jié)點比權(quán)值低的結(jié)點處理更多的任務(wù)請求,相同權(quán)值的結(jié)點處理相同份額的請求｡加權(quán)輪詢的基本原理可描述為:

假設(shè)某集群內(nèi)有一組結(jié)點N={N0,N1,…,Nn-1},W(Ni)表示結(jié)點Ni的權(quán)值,一個指示變量i表示上一次選擇的服務(wù)器,T(Ni)表示結(jié)點Ni當(dāng)前所分配的任務(wù)量｡

∑T(Ni)表示當(dāng)前同步周期需要處理的任務(wù)總量｡

∑W(Ni)表示結(jié)點的權(quán)值總和｡

則: W(Ni)/∑W(Ni)=T(Ni)/∑T(Ni)

表示任務(wù)的分配是按照各個結(jié)點權(quán)值占權(quán)值總數(shù)的比例來進行分配｡

權(quán)值計算

當(dāng)集群的結(jié)點初次投入系統(tǒng)中使用時,系統(tǒng)管理員根據(jù)結(jié)點的硬件配置情況對每個結(jié)點都設(shè)定一個初始權(quán)值DW(Ni)(通常根據(jù)結(jié)點的硬件配置來定義,硬件配置越高的結(jié)點默認(rèn)值越高),在負(fù)載均衡器上也先使用這個權(quán)值｡然后,隨著結(jié)點負(fù)載的變化,負(fù)載均衡器對權(quán)值進行調(diào)整｡

動態(tài)權(quán)值是由結(jié)點運行時各方面的參數(shù)計算出來的｡我們在實驗中選取了最重要的幾項,包括:CPU資源､內(nèi)存資源､當(dāng)前進程數(shù)､響應(yīng)時間等信息作為計算公式的因子｡結(jié)合每個結(jié)點當(dāng)前的權(quán)值,可以計算出新的權(quán)值的大小｡動態(tài)權(quán)值的目的是要正確反映結(jié)點負(fù)載的狀況,以預(yù)測結(jié)點將來可能的負(fù)載變化｡對于不同類型的系統(tǒng)應(yīng)用,各個參數(shù)的重要程度也有所不同｡典型的Web應(yīng)用環(huán)境下,可用內(nèi)存資源和響應(yīng)時間就非常重要;如果用戶以長的數(shù)據(jù)庫事務(wù)為主,則CPU使用率和可用內(nèi)存就相對重要一些｡為了方便在系統(tǒng)運行過程中針對不同的應(yīng)用對各個參數(shù)的比例進行適當(dāng)調(diào)整,我們?yōu)槊恳粋€參數(shù)設(shè)定一個常量系數(shù)Ri,用來表示各個負(fù)載參數(shù)的重要程度,其中∑Ri=1｡因此,任何一個結(jié)點Ni的權(quán)值公式就可以描述為:

LOAD(Ni)=R1*Lcpu(Ni)+R2*Lmemory(Ni)+R3*Lio(Ni)+R4*Lprocess(Ni)+R5*Lresponse(Ni)

其中:Lf(Ni)表示結(jié)點Ni當(dāng)前某一項參數(shù)的負(fù)載值｡上述公式中依次表示為:CPU使用率､內(nèi)存使用率､磁盤I/O訪問率､進程總數(shù)以及響應(yīng)時間｡

例如,在Web服務(wù)器集群中,我們采用以系數(shù){0.1,0.4,0.1,0.1,0.3},這里認(rèn)為服務(wù)器的內(nèi)存和請求響應(yīng)時間較其他參數(shù)重要一些｡若當(dāng)前的系數(shù)Ri不能很好地反映應(yīng)用的負(fù)載,系統(tǒng)管理員可以對系數(shù)不斷地修正,直到找到貼近當(dāng)前應(yīng)用的一組系數(shù)｡

另外,關(guān)于采集權(quán)值的周期值,雖然很短的周期可以更確切地反映各個結(jié)點的負(fù)載,但是很頻繁地采集(如1 s 1次或者多次)會給負(fù)載均衡器和結(jié)點帶來負(fù)擔(dān),也可能增加不必要的網(wǎng)絡(luò)負(fù)荷｡另外,由于采集器是在采集時刻進行負(fù)載計算的,經(jīng)實驗證明,負(fù)載均衡器反映出來各個結(jié)點的負(fù)載信息會出現(xiàn)劇烈的抖動,負(fù)載均衡器無法準(zhǔn)確捕捉結(jié)點真實的負(fù)載變化趨勢｡因此解決這些問題,一方面要適當(dāng)?shù)卣{(diào)整采集負(fù)載信息的周期,一般在5~10 s;另一方面,可以使用移動均均線或者是滑動窗口來避免抖動,使得負(fù)載均衡器收集到的負(fù)載信息表現(xiàn)為均滑曲線,這樣在負(fù)反饋機制的調(diào)整效果上就會比較好｡

負(fù)載均衡器的動態(tài)權(quán)值采集程序周期性地運行,若缺省權(quán)值不為0,則查詢該結(jié)點的各負(fù)載參數(shù),并計算出動態(tài)權(quán)值LOAD(Ni)｡我們引入以下權(quán)值計算公式,結(jié)合結(jié)點的初始權(quán)值和采集的動態(tài)權(quán)值來計算最終的權(quán)值結(jié)果｡

Wi=A*DW(Ni)+B*(LOAD(Ni)-DW(Ni))1/3

在公式中,如果動態(tài)權(quán)值恰好等于初始權(quán)值,最終權(quán)值不變,則說明系統(tǒng)的負(fù)載狀況剛好達到理想狀況,等于初始權(quán)值DW(Ni)｡如果動態(tài)權(quán)值計算結(jié)果高于初始權(quán)值,最終權(quán)值變高,則說明系統(tǒng)負(fù)載很輕,負(fù)載均衡器將會增加分配給該結(jié)點的任務(wù)比率｡如果動態(tài)權(quán)值低于初始權(quán)值,最終權(quán)值變低,說明系統(tǒng)開始處于重載狀況,負(fù)載均衡器將會減少對該結(jié)點分配的任務(wù)｡在實際使用中,若發(fā)現(xiàn)所有結(jié)點的權(quán)值都小于他們的DW(Ni),則說明當(dāng)前個集群處于超載狀態(tài),這時需要加入新的結(jié)點到集群中來處理部分負(fù)載;反之,若所有結(jié)點的權(quán)值大大高于DW(Ni),則說明當(dāng)前系統(tǒng)的負(fù)載都比較輕｡

結(jié)語

網(wǎng)絡(luò)負(fù)載均衡是集群作業(yè)調(diào)度系統(tǒng)的具體實現(xiàn)｡由于其處理的作業(yè)單元是TCP/IP協(xié)議下的網(wǎng)絡(luò)連接,因此可以采用面向網(wǎng)絡(luò)連接的集中基本調(diào)度算法｡考慮集群負(fù)載不均衡的可能,采取了動態(tài)獲取服務(wù)節(jié)點的權(quán)值并使用負(fù)反饋機制調(diào)整負(fù)載均衡器對網(wǎng)絡(luò)服務(wù)請求的分布,以適應(yīng)服務(wù)節(jié)點在運行過程中資源的變化｡實踐證明,采用動態(tài)均衡在集群系統(tǒng)的整體吞吐量方面有所提高,特別是在集群各個節(jié)點性能不一,集群提供的網(wǎng)絡(luò)服務(wù)程序所訪問的資源多樣化的情況下,負(fù)反饋機制的效果尤其明顯｡在其他類型的集群中,負(fù)反饋機制的動態(tài)負(fù)載均衡也能夠得到很好的應(yīng)用,只是負(fù)載均衡器所處理的作業(yè)單元不同于網(wǎng)絡(luò)連接,而具體的負(fù)載算法上也將有所不同｡