對于網(wǎng)絡(luò)上面很重要的一部分內(nèi)容——在線游戲來說，服務(wù)器的負(fù)載均衡是非常非常重要的。數(shù)以萬計(jì)的用戶同時(shí)在一個(gè)平臺上進(jìn)行游戲，那么數(shù)據(jù)的交換和傳遞，以及每一個(gè)用戶的瀏覽速度，游戲質(zhì)量都是有一定標(biāo)準(zhǔn)的。那么，我們就來以QQ的在線游戲?yàn)槔?，說一下這方面的負(fù)載均衡問題。

近日在與業(yè)內(nèi)人士討論時(shí),提到QQ游戲的實(shí)現(xiàn)方式并不是我原來所想的那樣,于是,今天又認(rèn)真抓了一下QQ游戲的包,結(jié)果確如這位兄弟所言,QQ 游戲的架構(gòu)與我當(dāng)初所設(shè)想的那個(gè)架構(gòu)相差確實(shí)不小｡下面,我重新給出QQ***在線的技術(shù)實(shí)現(xiàn)方案,并以此展開,談?wù)劥笮驮诰€系統(tǒng)中的負(fù)載均衡機(jī)制的設(shè)計(jì)｡

從QQ游戲的登錄及游戲過程來看,QQ游戲中,也至少分為三類服務(wù)器｡它們是:

***層:登陸/賬號服務(wù)器(Login Server),負(fù)責(zé)驗(yàn)證用戶身份､向客戶端傳送初始信息,從QQ聊天軟件的封包常識來看,這些初始信息可能包括"會話密鑰"此類的信息,以后客戶端與后續(xù)服務(wù)器的通信就使用此會話密鑰進(jìn)行身份驗(yàn)證和信息加密;

第二層:大廳服務(wù)器(估且這么叫吧, Game Hall Server),負(fù)責(zé)向客戶端傳遞當(dāng)前游戲中的所有房間信息,這些房間信息包括:各房間的連接IP,PORT,各房間的當(dāng)前在線人數(shù),房間名稱等等｡

第三層:游戲邏輯服務(wù)器(Game Logic Server),負(fù)責(zé)處理房間邏輯及房間內(nèi)的桌子邏輯｡

從靜態(tài)的表述來看,以上的三層結(jié)構(gòu)似乎與我以前寫的那篇文章相比并沒有太大的區(qū)別,事實(shí)上,重點(diǎn)是它的工作流程,QQ游戲的通信流程與我以前的設(shè)想可謂大相徑庭,其設(shè)計(jì)思想和技術(shù)水平確實(shí)非常優(yōu)秀｡具體來說,QQ游戲的通信過程是這樣的:

1.由Client向Login Server發(fā)送賬號及密碼等登錄消息,Login Server根據(jù)校驗(yàn)結(jié)果返回相應(yīng)信息｡可以設(shè)想的是,如果Login Server通過了Client的驗(yàn)證,那么它會通知其它Game Hall Server或?qū)⑼ㄟ^驗(yàn)證的消息以及會話密鑰放在Game Hall Server也可以取到的地方｡總之,Login Server與Game Hall Server之間是可以共享這個(gè)校驗(yàn)成功消息的｡一旦Client收到了Login Server返回成功校驗(yàn)的消息后,Login Server會主動(dòng)斷開與Client的連接,以騰出socket資源｡Login Server的IP信息,是存放在QQGame\config\QQSvrInfo.ini里的｡

2.Client收到Login Server的校驗(yàn)成功等消息后,開始根據(jù)事先選定的游戲大廳入口登錄游戲大廳,各個(gè)游戲大廳Game Hall Server的IP及Port信息,是存放在QQGame\Dirconfig.ini里的｡Game Hall Server收到客戶端Client的登錄消息后,會根據(jù)一定的策略決定是否接受Client的登錄,如果當(dāng)前的Game Hall Server已經(jīng)到了上限或暫時(shí)不能處理當(dāng)前玩家登錄消息,則由Game Hall Server發(fā)消息給Client,以讓Client重定向到另外的Game Hall Server登錄｡重定向的IP及端口信息,本地沒有保存,是通過數(shù)據(jù)包或一定的算法得到的｡如果當(dāng)前的Game Hall Server接受了該玩家的登錄消息后,會向該Client發(fā)送房間目錄信息,這些信息的內(nèi)容我上面已經(jīng)提到｡目錄等消息發(fā)送完畢后,Game Hall Server即斷開與Client的連接,以騰出socket資源｡在此后的時(shí)間里,Client每隔30分鐘會重新連接Game Hall Server并向其索要***的房間目錄信息及在線人數(shù)信息｡

3.Client根據(jù)列出的房間列表,選擇某個(gè)房間進(jìn)入游戲｡根據(jù)我的抓包結(jié)果分析,QQ游戲,并不是給每一個(gè)游戲房間都分配了一個(gè)單獨(dú)的端口進(jìn)行處理｡在QQ游戲里,有很多房間是共用的同一個(gè)IP和同一個(gè)端口｡比如,在斗地主一區(qū),前50個(gè)房間,用的都是同一個(gè)IP和Port信息｡這意味著,這些房間,在QQ游戲的服務(wù)器上,事實(shí)上,可能是同一個(gè)程序在處理!!!QQ游戲房間的人數(shù)上限是400人,不難推算,QQ游戲單個(gè)服務(wù)器程序的用戶承載量是2萬,即QQ的一個(gè)游戲邏輯服務(wù)器程序最多可同時(shí)與2萬個(gè)玩家保持TCP連接并保證游戲效率和品質(zhì),更重要的是,這樣可以為騰訊省多少money 呀!!!哇哦!QQ確實(shí)很牛｡以2萬的在線數(shù)還能保持這么好的游戲品質(zhì),確實(shí)不容易!QQ游戲的單個(gè)服務(wù)器程序,管理的不再只是邏輯意義上的單個(gè)房間,而可能是許多邏輯意義上的房間｡其實(shí),對于服務(wù)器而言,它就是一個(gè)大區(qū)服務(wù)器或大區(qū)服務(wù)器的一部分,我們可以把它理解為一個(gè)龐大的游戲地圖,它實(shí)現(xiàn)的也是分塊處理｡而對于每一張桌子上的打牌邏輯,則是有一個(gè)統(tǒng)一的處理流程,50個(gè)房間的50*100張桌子全由這一個(gè)服務(wù)器程序進(jìn)行處理(我不知道QQ游戲的具體打牌邏輯是如何設(shè)計(jì)的,我想很有可能也是分區(qū)域的,分塊的)｡當(dāng)然,以上這些只是服務(wù)器作的事,針對于客戶端而言,客戶端只是在表現(xiàn)上,將一個(gè)個(gè)房間單獨(dú)羅列了出來,這樣作,是為便于玩家進(jìn)行游戲以及減少服務(wù)器的開銷,把這個(gè)大區(qū)中的每400人放在一個(gè)集合內(nèi)進(jìn)行處理(比如聊天信息,"向400人廣播"和"向2萬人廣播",這是完全不同的兩個(gè)概念，那么具體的負(fù)載均衡問題我們也會分開來談)｡

4.需要特別說明的一點(diǎn)｡進(jìn)入QQ游戲房間后,直到點(diǎn)擊某個(gè)位置坐下打開另一個(gè)程序界面,客戶端的程序,沒有再創(chuàng)建新的socket,而仍然使用原來大廳房間客戶端跟游戲邏輯服務(wù)器交互用的socket｡也就是說,這是兩個(gè)進(jìn)程共用的同一個(gè)socket!不要小看這一點(diǎn)｡如果你在創(chuàng)建桌子客戶端程序后又新建了一個(gè)新的socket與游戲邏輯服務(wù)器進(jìn)行通信,那么由此帶來的玩家進(jìn)入､退出､逃跑等消息會帶來非常麻煩的數(shù)據(jù)同步問題,俺在剛開始的時(shí)候就深受其害｡而一旦共用了同一個(gè)socket后,你如果退出桌子,服務(wù)器不涉及釋放socket的問題,所以,這里就少了很多的數(shù)據(jù)同步問題｡關(guān)于多個(gè)進(jìn)程如何共享同一個(gè)socket的問題,請去google以下內(nèi)容:WSADuplicateSocket｡

以上便是我根據(jù)***的QQ游戲抓包結(jié)果分析得到的QQ游戲的通信流程,當(dāng)然,這個(gè)流程更多的是客戶端如何與服務(wù)器之間交互的,卻沒有涉及到服務(wù)器彼此之間是如何通信和作數(shù)據(jù)同步的｡關(guān)于服務(wù)器之間的通信流程,我們只能基于自己的經(jīng)驗(yàn)和猜想,得出以下想法:

1.Login Server與Game Hall Server之前的通信問題｡Login Server是負(fù)責(zé)用戶驗(yàn)證的,一旦驗(yàn)證通過之后,它要設(shè)法讓Game Hall Server知道這個(gè)消息｡它們之前實(shí)現(xiàn)信息交流的途徑,我想可能有這樣幾條:a. Login Server將通過驗(yàn)證的用戶存放到臨時(shí)數(shù)據(jù)庫中;b. Login Server將驗(yàn)證通過的用戶存放在內(nèi)存中,當(dāng)然,這個(gè)信息,應(yīng)該是全局可訪問的,就是說所有QQ的Game Hall Server都可以通過服務(wù)器之間的數(shù)據(jù)包通信去獲得這樣的信息｡

2.Game Hall Server的***房間目錄信息的取得｡這個(gè)信息,是全局的,也就是整個(gè)游戲中,只保留一個(gè)目錄｡它的信息來源,可以由底層的房間服務(wù)器逐級報(bào)上來,報(bào)給誰?我認(rèn)為就如保存的全局登錄列表一樣,它報(bào)給保存全局登錄列表的那個(gè)服務(wù)器或數(shù)據(jù)庫｡

3.在QQ游戲中,同一類型的游戲,無法打開兩上以上的游戲房間｡這個(gè)信息的判定,可以根據(jù)全局信息來判定｡

以上關(guān)于服務(wù)器之間如何通信的內(nèi)容,均屬于個(gè)人猜想,QQ到底怎么作的,恐怕只有等大家中的某一位進(jìn)了騰訊之后才知道了｡呵呵｡不過,有一點(diǎn)是可以肯定的,在整個(gè)服務(wù)器架構(gòu)中,應(yīng)該有一個(gè)地方是專門保存了全局的登錄玩家列表,只有這樣才能保證玩家不會重復(fù)登錄以及進(jìn)入多個(gè)相同類型的房間｡

在前面的描述中,我曾經(jīng)提到過一個(gè)問題:當(dāng)?shù)卿洰?dāng)前Game Hall Server不成功時(shí),QQ游戲服務(wù)器會選擇讓客戶端重定向到另位的服務(wù)器去登錄,事實(shí)上,QQ聊天服務(wù)器和MSN服務(wù)器的登錄也是類似的,它也存在登錄重定向問題｡

那么,這就引出了另外的問題,由誰來作這個(gè)策略選擇?以及由誰來提供這樣的選擇資源?這樣的處理,便是負(fù)責(zé)負(fù)載均衡的服務(wù)器的處理范圍了｡由 QQ游戲的通信過程分析派生出來的針對負(fù)責(zé)均衡及***在線系統(tǒng)的更進(jìn)一步討論,將在下篇文章中繼續(xù)｡