從數(shù)據(jù)均分談負(fù)載均衡服務(wù)的本質(zhì)
在大型的數(shù)據(jù)中心,會存在著服務(wù)器和網(wǎng)絡(luò)的龐大到可怕的數(shù)據(jù)交換工作。如果沒負(fù)載均衡服務(wù)的支持,那么這么一個處理工作怎么能做到井井有條呢?所以負(fù)載均衡也是我們現(xiàn)在網(wǎng)絡(luò)工作中必須要考慮到的一個內(nèi)容?,F(xiàn)在我們就來討論一下這個問題。
談IDC機(jī)房的負(fù)載均衡服務(wù)
大部分的個人網(wǎng)站在一開始或許只是跟幾十人上百人共享的一個虛擬主機(jī)空間,然后隨著內(nèi)容的增加和訪問量的增長,虛擬主機(jī)的帶寬、空間已經(jīng)不能滿足需求,站長就得開始考慮為網(wǎng)站購置一臺獨(dú)立的服務(wù)器,使用100M共享甚至是10M獨(dú)享帶寬;而當(dāng)網(wǎng)站繼續(xù)發(fā)展,訪問的用戶也已經(jīng)遍布大江南北,站長又得考慮電信網(wǎng)通的互通問題,在南方和北方各放置一臺服務(wù)器作為鏡像站點(diǎn),或是采用雙線接入;當(dāng)這個網(wǎng)站訪問量更大時,一味的增加帶寬和設(shè)置鏡像站點(diǎn)無疑會使網(wǎng)站運(yùn)營成本劇增,加上單個服務(wù)器本身也有性能和線程的瓶頸,在并發(fā)訪問量較大并且集中在一臺服務(wù)器的時候,“Server too busy"就出現(xiàn)了,而這時站長應(yīng)該采用什么方式使得網(wǎng)站在高訪問量的時候仍然擁有較好的訪問效果呢?
我們之前討論過CDN,其實(shí)CDN除了加速之外,也具有分流的效果,因此在負(fù)載均衡領(lǐng)域也有不少應(yīng)用,其實(shí)基本上緩存(Cache)+鏡像技術(shù)都有分流作用,但是如何分流還是需要一個負(fù)載均衡設(shè)備進(jìn)行引導(dǎo),所以,我們今天專門討論負(fù)載均衡技術(shù)。
關(guān)于負(fù)載均衡服務(wù):
負(fù)載均衡服務(wù)能夠平衡服務(wù)器群中的所有的服務(wù)器和應(yīng)用之間的通信負(fù)載,根據(jù)實(shí)時響應(yīng)時間進(jìn)行判斷,將任務(wù)交由負(fù)載最輕的服務(wù)器來處理,以實(shí)現(xiàn)真正的智能通信管理和最佳的服務(wù)器群性能。負(fù)載均衡技術(shù)控制第四層到第七層的應(yīng)用/內(nèi)容,從而對不同類型的客戶和應(yīng)用實(shí)現(xiàn)了優(yōu)先級劃分和差別服務(wù),使用第七層智能會話恢復(fù)技術(shù),同時可以檢測出HTTP 400,500和600系列的錯誤。它透明地將交易重新定向到另一臺服務(wù)器,從而使系統(tǒng)能夠完成該交易。服務(wù)器故障切換和多重冗余特性可以讓通信繞過故障點(diǎn),從而使網(wǎng)站始終保持運(yùn)行和可訪問性。
基于特定服務(wù)器軟件的負(fù)載均衡服務(wù)
很多網(wǎng)絡(luò)協(xié)議都支持“重定向"功能,例如在HTTP協(xié)議中支持Location指令,接收到這個指令的瀏覽器將自動重定向到Location指明的另一個URL上。由于發(fā)送Location指令比起執(zhí)行服務(wù)請求,對Web服務(wù)器的負(fù)載要小的多,因此可以根據(jù)這個功能來設(shè)計(jì)一種負(fù)載均衡的服務(wù)器。
任何時候Web服務(wù)器認(rèn)為自己負(fù)載較大的時候,它就不再直接發(fā)送回瀏覽器請求的網(wǎng)頁,而是送回一個Location指令,讓瀏覽器去服務(wù)器集群中的其他服務(wù)器上獲得所需要的網(wǎng)頁。
在這種方式下,服務(wù)器本身必須支持這種功能,然而具體實(shí)現(xiàn)起來卻有很多困難,例如一臺服務(wù)器如何能保證它重定向過的服務(wù)器是比較空閑的,并且不會再次發(fā)送Location指令,Location指令和瀏覽器都沒有這方面的支持能力,這樣很容易在瀏覽器上形成一種死循環(huán)。
因此這種方式實(shí)際應(yīng)用當(dāng)中并不多見,使用這種方式實(shí)現(xiàn)的服務(wù)器集群軟件也較少。有些特定情況下可以使用CGI(包括使用FastCGI或mod_perl擴(kuò)展來改善性能)來模擬這種方式去分擔(dān)負(fù)載,而Web服務(wù)器仍然保持簡潔、高效的特性,此時避免Location循環(huán)的任務(wù)將由用戶的CGI程序來承擔(dān)。
基于DNS的負(fù)載均衡
由于基于服務(wù)器軟件的負(fù)載均衡需要改動軟件,因此常常是得不償失,負(fù)載均衡服務(wù)最好是在服務(wù)器軟件之外來完成,這樣才能利用現(xiàn)有服務(wù)器軟件的種種優(yōu)勢。最早的負(fù)載均衡技術(shù)是通過DNS服務(wù)中的隨機(jī)名字解析來實(shí)現(xiàn)的,在DNS服務(wù)器中,可以為多個不同的地址配置同一個名字,而最終查詢這個名字的客戶機(jī)將在解析這個名字時得到其中的一個地址。因此,對于同一個名字,不同的客戶機(jī)會得到不同的地址,他們也就訪問不同地址上的Web服務(wù)器,從而達(dá)到負(fù)載均衡的目的。
例如如果希望使用三個Web服務(wù)器來回應(yīng)對www.ghq.net的HTTP請求,就可以設(shè)置該域的DNS服務(wù)器中關(guān)于該域的數(shù)據(jù)包括有與下面例子類似的結(jié)果:
www1 IN A 192.168.1.1
www2 IN A 192.168.1.2
www3 IN A 192.168.1.3
www IN CNAME www1
www IN CNAME www2
www IN CNAME www3
此后外部的客戶機(jī)就可能隨機(jī)的得到對應(yīng)www的不同地址,那么隨后的HTTP請求也就發(fā)送給不同地址了。#p#
DNS負(fù)載均衡的優(yōu)點(diǎn)是簡單、易行,并且服務(wù)器可以位于互聯(lián)網(wǎng)的任意位置上,當(dāng)前使用在包括Yahoo在內(nèi)的Web站點(diǎn)上。然而它也存在不少缺點(diǎn),一個缺點(diǎn)是為了保證DNS數(shù)據(jù)及時更新,一般都要將 DNS的刷新時間設(shè)置的較小,但太小就會造成太大的額外網(wǎng)絡(luò)流量,并且更改了DNS數(shù)據(jù)之后也不能立即生效;第二點(diǎn)是DNS負(fù)載均衡無法得知服務(wù)器之間的差異,它不能做到為性能較好的服務(wù)器多分配請求,也不能了解到服務(wù)器的當(dāng)前狀態(tài),甚至?xí)霈F(xiàn)客戶請求集中在某一臺服務(wù)器上的偶然情況。
反向代理負(fù)載均衡
使用代理服務(wù)器可以將請求轉(zhuǎn)發(fā)給內(nèi)部的Web服務(wù)器,使用這種加速模式顯然可以提升靜態(tài)網(wǎng)頁的訪問速度。因此也可以考慮使用這種技術(shù),讓代理服務(wù)器將請求均勻轉(zhuǎn)發(fā)給多臺內(nèi)部Web服務(wù)器之一上,從而達(dá)到負(fù)載均衡服務(wù)的目的。這種代理方式與普通的代理方式有所不同,標(biāo)準(zhǔn)代理方式是客戶使用代理訪問多個外部Web服務(wù)器,而這種代理方式是多個客戶使用它訪問內(nèi)部Web服務(wù)器,因此也被稱為反向代理模式。
實(shí)現(xiàn)這個反向代理能力并不能算是一個特別復(fù)雜的任務(wù),但是在負(fù)載均衡中要求特別高的效率,這樣實(shí)現(xiàn)起來就不是十分簡單的了。每針對一次代理,代理服務(wù)器就必須打開兩個連接,一個為對外的連接,一個為對內(nèi)的連接,因此對于連接請求數(shù)量非常大的時候,代理服務(wù)器的負(fù)載也就非常之大了,在最后反向代理服務(wù)器會成為服務(wù)的瓶頸。
例如,使用Apache的mod_rproxy模塊來實(shí)現(xiàn)負(fù)載均衡功能時,提供的并發(fā)連接數(shù)量受Apache本身的并發(fā)連接數(shù)量的限制。一般來講,可以使用它來對連接數(shù)量不是特別大,但每次連接都需要消耗大量處理資源的站點(diǎn)進(jìn)行負(fù)載均衡,例如搜尋。
使用反向代理的好處是,可以將負(fù)載均衡和代理服務(wù)器的高速緩存技術(shù)結(jié)合在一起,提供有益的性能,具備額外的安全性,外部客戶不能直接訪問真實(shí)的服務(wù)器。并且實(shí)現(xiàn)起來可以實(shí)現(xiàn)較好的負(fù)載均衡策略,將負(fù)載可以非常均衡的分給內(nèi)部服務(wù)器,不會出現(xiàn)負(fù)載集中到某個服務(wù)器的偶然現(xiàn)象。
基于NAT的負(fù)載均衡技術(shù)
網(wǎng)絡(luò)地址轉(zhuǎn)換為在內(nèi)部地址和外部地址之間進(jìn)行轉(zhuǎn)換,以便具備內(nèi)部地址的計(jì)算機(jī)能訪問外部網(wǎng)絡(luò),而當(dāng)外部網(wǎng)絡(luò)中的計(jì)算機(jī)訪問地址轉(zhuǎn)換網(wǎng)關(guān)擁有的某一外部地址時,地址轉(zhuǎn)換網(wǎng)關(guān)能將其轉(zhuǎn)發(fā)到一個映射的內(nèi)部地址上。因此如果地址轉(zhuǎn)換網(wǎng)關(guān)能將每個連接均勻轉(zhuǎn)換為不同的內(nèi)部服務(wù)器地址,此后外部網(wǎng)絡(luò)中的計(jì)算機(jī)就各自與自己轉(zhuǎn)換得到的地址上服務(wù)器進(jìn)行通信,從而達(dá)到負(fù)載分擔(dān)的目的。
地址轉(zhuǎn)換可以通過軟件方式來實(shí)現(xiàn),也可以通過硬件方式來實(shí)現(xiàn)。使用硬件方式進(jìn)行操作一般稱為交換,而當(dāng)交換必須保存TCP連接信息的時候,這種針對OSI網(wǎng)絡(luò)層的操作就被稱為第四層交換。支持負(fù)載均衡服務(wù)的網(wǎng)絡(luò)地址轉(zhuǎn)換為第四層交換機(jī)的一種重要功能,由于它基于定制的硬件芯片,因此其性能非常優(yōu)秀,很多交換機(jī)聲稱具備400MB-800MB的第四層交換能力。
使用軟件方式來實(shí)現(xiàn)基于網(wǎng)絡(luò)地址轉(zhuǎn)換的負(fù)載均衡則要實(shí)際的多,除了一些廠商提供的解決方法之外,更有效的方法是使用免費(fèi)的自由軟件來完成這項(xiàng)任務(wù)。其中包括Linux Virtual Server Project中的NAT實(shí)現(xiàn)方式,或者本文作者在FreeBSD下對natd的修訂版本。一般來講,使用這種軟件方式來實(shí)現(xiàn)地址轉(zhuǎn)換,中心負(fù)載均衡器存在帶寬限制,在100MB的快速以太網(wǎng)條件下,能得到最快達(dá)80MB的帶寬,然而在實(shí)際應(yīng)用中,可能只有40MB-60MB的可用帶寬。