Nginx負載均衡器排障實錄
原創(chuàng)【51CTO.com獨家特稿】這段時間,公司的web架構(gòu)要升級,考慮用負載均衡;初期準(zhǔn)備采用LVS+Keepalived,我比較有自信,剛剛在一個客戶的局域網(wǎng)里實現(xiàn)了這個,所以直接把腳本移過來了;然而,杯具開始了,發(fā)現(xiàn)LVS怎么也實現(xiàn)不了后端二臺web的轉(zhuǎn)發(fā)。
后來關(guān)于此問題我請教了田逸兄,他懷疑我們的網(wǎng)絡(luò)環(huán)境太復(fù)雜了,因為牽涉到內(nèi)外網(wǎng)的問題,我們的每臺機器上有5條靜態(tài)路由,2個gateway,直接導(dǎo)致了LVS的不成功;我們試圖跟network Engeneer溝通,結(jié)果是網(wǎng)絡(luò)不能做一絲一毫改動,所以白白測試了二天。
后來改用了Nginx負載均衡器,5分鐘就解決了問題,真真切切的體會到了Nginx對網(wǎng)絡(luò)的依賴較小,理論上只要ping得通,網(wǎng)頁訪問正常,nginx就能連得通。為了以防萬一,我采用的是Nginx+keepalived高可用架構(gòu)。
在這里,我不是神話Nginx,只是說這是一種解決問題的方法而矣,LVS也有適用的場合,穩(wěn)定性方面是眾所周知的,所以只要提到web層的負載均衡,我就想到LVS,但LVS不僅僅是;如果網(wǎng)絡(luò)環(huán)境比較復(fù)雜的朋友們,不妨換種思路解決問題。
當(dāng)然用了Nginx后,大問題暫時沒有;小問題就都來了,首先是SSL,這個目前支持得算是比較好的,在負載均衡器上開啟ssl功能,監(jiān)聽443端口,將證書放在Nginx代理上,非后面的web服務(wù)器,輕構(gòu)解決掉問題,詳細見以下http.conf配置文件
- server
- {
- listen 443;
- server_name www.cn7788.com;
- ssl on;
- ssl_certificate /usr/local/nginx/keys/www.cn7788.com.crt;
- ssl_certificate_key /usr/local/nginx/keys/www.cn7788.com.key;
- ssl_protocols SSLv3 TLSv1;
- ssl_ciphers ALL:!ADH:!EXPORT56:RC4+RSA:+HIGH:+MEDIUM:-LOW:-SSLv2:-EXP;
- }
但問題又來了,這么有個問題,跑在后方 apache 上的應(yīng)用獲取到的IP都是Nginx所在服務(wù)器的IP ,或者是本機 127.0.0.1 。最明顯就是查看 apache 的訪問日志。就會見到來來去去都是內(nèi)網(wǎng)的IP;雖然可以通過Nginx日志來判斷客戶的client,但有些考慮不周全的應(yīng)用,例如 Tattertools (一個博客程序) 就會犯誤,后臺的訪問日志死活顯示訪客數(shù) 1,ip來自 127.0.0.1。這時候就要想辦法來處理了。你可以通過修改 nginx proxy 的參數(shù)令后端應(yīng)用獲取到Nginx 發(fā)來的請求報文獲取到外網(wǎng)的IP。
- proxy_set_header Host $host;
- proxy_set_header X-Real-IP $remote_addr;
- proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
這僅僅只是讓Nginx獲到到外網(wǎng)IP,Apache未必買帳呢,即Aapche端也需要設(shè)置,搜尋了一下,發(fā)現(xiàn)了apache這一個來自第三方的mod 配合Nginx proxy 使用。
說明:http://stderr.net/apache/rpaf/
下載:http://stderr.net/apache/rpaf/download/
最新版本是 mod_rpaf-0.6.tar.gz
安裝也相當(dāng)簡單。
# tar zxvf mod_rpaf-0.6.tar.gz 下載后解壓# cd mod_rpaf-0.6
Apache 的目錄按自己的環(huán)境修改,并選擇相應(yīng)的安裝方式:
#/usr/local/apache/bin/apxs -i -c -n mod_rpaf-2.0.so mod_rpaf-2.0.c
完成后會在 http.conf 的 LoadModule 區(qū)域為你多加了一行。
LoadModule mod_rpaf-2.0.so_module modules/mod_rpaf-2.0.so 經(jīng) apache 2.2.6 的實驗,使用這一行啟動 apache 的時候會報錯的。
所以改為:
LoadModule rpaf_module modules/mod_rpaf-2.0.so
并在下方添加
- RPAFenable On
- RPAFsethostname On
- RPAFproxy_ips 127.0.0.1 192.168.1.101 192.168.102
#填寫Nginx所在的內(nèi)網(wǎng)IP,Nginx的內(nèi)網(wǎng)地址必寫,不然一樣失敗的,這問題花了幾個小時測試;有幾個代理服務(wù)器的IP就寫幾個代理服務(wù)器的IP
RPAFheader X-Forwarded-For
保存退出后重啟apache,再看看 apache 的日志內(nèi)容?不再是來來去去的那幾個IP了吧,呵呵。
另外這里來個小插曲,我做的某個小項目本為是基于Nginx的1+3架構(gòu),突然要加一臺機器是windows2003系統(tǒng),專門作存放圖片及 PDF等,但項目的要求是能在nginx后的三臺web上有顯示圖片及pdf下載的需求;當(dāng)時迷糊了下,因為程序是用到的Zend Framwork,所以一直用正則作跳轉(zhuǎn);后來才想明白,IE程序是先在nginx負載均衡器上提申請,所以nginx.conf是做分發(fā)而非正則跳轉(zhuǎn),此時最前端的nginx,既是負載勻衡器也是反向代理,明白這個就好做多了,語法如下;另外注意location /StockInfo與location ~^/StockInfo的差異性,Nginx默認(rèn)的是正則優(yōu)先的,by the way,proxy_pass支持直接寫IP的方式。
- upstream mysrv {
- ip_hash;
- server 192.168.110.62;
- server 192.168.110.63;
- }
- upstream myjpg {
- server 192.168.110.3:88;
- }
- server
- {
- listen 80;
- server_name web.tfzq.com;
- proxy_redirect off;
- location ~ ^/StockInfo{
- proxy_pass http://myjpg;
- }
再說下Nginx下的并發(fā),這是個容易讓人誤會的概念?,F(xiàn)在Nginx的文章滿天飛,好像只要一涉及到web并發(fā),就非將Apache換成nginx不可,其實完全沒這必要;在內(nèi)存足夠的情況,Apache的抗并發(fā)能力也是很強的。玩了幾年nginx了,遇到的最大并發(fā)也是以前在北京維護的CDN之廣告網(wǎng)站,大約在3000-5000之間(這種情況建議用Nginx),一般的資訊類金融網(wǎng)站也就100多,電子商務(wù)網(wǎng)站1100左右,web層的并發(fā)壓力并沒有想象中的大;相反,我感覺文件和數(shù)據(jù)層的壓力越來越大,單個NFS服務(wù)器越來越難受了,所以我后期準(zhǔn)備布署moosefs;而mysql數(shù)據(jù)庫我一般用的是主從復(fù)制,壓力也不小,目前只是從二方面來解決此問題:一、用公司最好的服務(wù)器來作數(shù)據(jù)庫服務(wù)器;二、盡可能的優(yōu)化,如果壓力持續(xù)增長的話,后期我考慮從架構(gòu)級方面優(yōu)化了。對于一個網(wǎng)站而言,建議多從架構(gòu)極的觀念來看問題和解決問題。
今天一直測試網(wǎng)站的響應(yīng)時間是用Linux/unix下工具httping,今天同事找了個專業(yè)網(wǎng)站給我,發(fā)現(xiàn)很好用,特的拿出來與大家共享http://tools.pingdom.com,可以測試個幾十次然后取平均值,這樣得出的結(jié)果較為精準(zhǔn);系統(tǒng)運維工作本來就是一個細膩活,有時短短幾行代碼,說不定就要調(diào)試幾天;而有時維護的服務(wù)器日志,經(jīng)常是十幾萬行,看得人心花繚亂...痛并快樂著,這也是算是目前工作的心態(tài)吧。
【51CTO.com獨家特稿,非經(jīng)授權(quán)謝絕轉(zhuǎn)載,合作媒體轉(zhuǎn)載請注明原文出處及作者!】