沒有最多，只有更多！

誰也沒有料到，淘寶會在2011年11月11日（光棍節(jié)）那天創(chuàng)下史無前例的電子商務(wù)單日銷售記錄。在經(jīng)過前期投入數(shù)億元大手筆的廣告宣傳后，2011年11月10日23點，淘寶人就在緊張地期待著2011“光棍節(jié)”的結(jié)果。

去年11月11日凌晨剛剛開始的8分鐘內(nèi)，淘寶商城支付寶交易額突破1億元，20分鐘實現(xiàn)2億交易額，1小時實現(xiàn)4.39億交易額。淘寶商城官方數(shù)據(jù)顯示，“光棍節(jié)”期間訂單數(shù)突破2000萬單，“支付寶”交易額突破33.6億，為去年同日交易量的近4倍；而淘寶網(wǎng)、淘寶商城“支付寶”交易總額突破了52億，這個數(shù)字超過購物天堂香港6天的零售總額。

事實上，去年11月11日當天除了淘寶銷售及市場人員在密切關(guān)注交易情況外，一支幕后隊伍——技術(shù)團隊也一直在緊張地盯著交易結(jié)算的峰值。阿里集團共享技術(shù)平臺核心系統(tǒng)研發(fā)產(chǎn)品經(jīng)理何燕鋒就是其中的一員。好在一切都平安地度過了。

頂住“光棍節(jié)”瘋狂沖擊

忽如一夜春風來，千樹萬樹梨花開。談到“光棍節(jié)”以及隨后的“12.12”兩次單日高交易量，何燕鋒認為是CDN內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)確保了淘寶應(yīng)對交易峰值和大交易量的實現(xiàn)。

“淘寶CDN內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)承擔了‘光棍節(jié)’將近90%以上的訪問，當天的流量達到了800Gbps的帶寬。目前淘寶在全國布了100多個點，用戶訪問和交易時，不需要從主數(shù)據(jù)庫調(diào)用圖片等，而是只需要就近從CDN系統(tǒng)上調(diào)用即可。這樣大大提高了消費者的瀏覽速度”何燕鋒說，“2012年淘寶的CDN節(jié)點部署將會接近300個，每個節(jié)點服務(wù)的帶寬是10Gbps，屆時用戶會有更好的體驗。”。

在杭州市華數(shù)機房，DOSERV記者看到了部署在這里的淘寶CDN節(jié)點機，這也是淘寶首批部署的低功耗CDN節(jié)點機之一，主要針對通過杭州廣電接入互聯(lián)網(wǎng)的用戶。

淘寶CDN節(jié)點是一個小型的服務(wù)器集群，由存儲系統(tǒng)、調(diào)度系統(tǒng)和網(wǎng)絡(luò)系統(tǒng)組成。其中，調(diào)度系統(tǒng)由兩臺基于英特爾至強的服務(wù)器組成，負責把用戶的請求分發(fā)給緩存系統(tǒng)中的不同服務(wù)器，讓它們響應(yīng)請求；網(wǎng)絡(luò)系統(tǒng)則由兩臺交換機組成雙鏈路，確保系統(tǒng)的可靠性；緩存系統(tǒng)則由7個2U機架組成，存放在一個機柜中，每個2U機架里部署了4個刀片，而每個刀片上有2臺單獨的基于英特爾凌動（ATOM）處理器的低功耗服務(wù)器。這樣存儲系統(tǒng)總計有56臺服務(wù)器組成。

低功耗所以更高效

由于CDN節(jié)點托管在華數(shù)機房，一般而言，一個機柜能最多只能承受2200瓦的功耗，二十多臺服務(wù)器的功耗就超過了2200瓦的閥值。那淘寶CDN節(jié)點的存儲系統(tǒng)是如何將56臺服務(wù)器存放在一個機柜中的呢？何燕鋒介紹，由于采用了英特爾低功耗處理器作為服務(wù)器的“芯”，所以大大降低了服務(wù)器的功耗。普通處理器的功耗為80瓦左右，而ATOM處理器只有13瓦，因而即使是在2U機架中部署了8臺服務(wù)器，總功耗才200瓦，7個機柜就是1400多瓦，遠沒有達到一個機柜的功耗上限。

而淘寶CDN節(jié)點服務(wù)器之所以能做到如此低的功耗，原因在于淘寶聯(lián)合超微和英特爾對服務(wù)器進行了全方位的“改造”。用何燕鋒的話來說，就是完全針對CDN加速的需要，將不需要的功能和配件全部舍棄了。同時針對CDN屬于I/O密集型的特點，采用英特爾低功耗處理器替代傳統(tǒng)的服務(wù)器處理器，弱化了CPU的計算能力，強化了輸入輸出能力。

另外考慮到熱插拔的需要，服務(wù)器的硬盤和系統(tǒng)通過一個主板隔離開，一旦某塊硬盤出現(xiàn)故障，技術(shù)人員不需要宕機就能將壞的硬盤更換掉。目前，淘寶給每個2U機柜配24塊硬盤，也即每臺服務(wù)器有3塊硬盤來存取數(shù)據(jù)。這3塊硬盤又按照1塊SSD硬盤和2塊SATA硬盤的配比，將熱點數(shù)據(jù)存放在SSD盤上，而非熱點數(shù)據(jù)則存放在SATA盤上。這樣的配比大大提高了用戶訪問時的數(shù)據(jù)快速調(diào)取和命中的幾率。而實現(xiàn)這種機制的，正是淘寶自己開發(fā)的緩存管理系統(tǒng)。

在華數(shù)機房試驗成功后，淘寶又在青島、廈門和佛山等地部署了同樣的CDN節(jié)點，總的服務(wù)器數(shù)量超過了800臺。正是這些CDN分發(fā)服務(wù)器，幫助淘寶順利渡過了“光棍節(jié)”等超大交易量的考驗。

CDN節(jié)點機的前世今生

CDN節(jié)點機在“光棍節(jié)”交易高峰中居功至偉，然而查遍市場上的服務(wù)器，卻較少見其蹤跡，這又為何呢？何燕鋒表示，這是淘寶、超微和英特爾聯(lián)合研制的專有產(chǎn)品，專門為CDN分發(fā)量身定制。參與該項目的阿里集團技術(shù)品牌部高級研究員（副總裁）章文嵩博士則向DOSERV記者介紹了節(jié)點機中低功耗服務(wù)器的來龍去脈。

淘寶技術(shù)團隊在多年的實踐中發(fā)現(xiàn)，對于像淘寶這樣的互聯(lián)網(wǎng)應(yīng)用而言，大部分是數(shù)據(jù)密集型的訪問，I/O會特別忙，但是CPU卻相對空閑。假如用低功耗CPU來做服務(wù)器處理平臺的話，將會是一個很好的選擇，因為低功耗CPU整體處理能力會稍微弱一點，但是功耗會特別低。為此，以章文嵩博士為首的技術(shù)團隊研究了國外的案例，對比了 ARM、英特爾和AMD的處理器，并最終選擇了英特爾的低功耗處理器作為低功耗服務(wù)器的“芯”。

“淘寶在2009年底開始啟動低功耗服務(wù)器項目，那時我們也在思考和比較，因為ARM也是一種選擇，MIPS也是一種選擇。當時考慮到遷移的成本，因為不同指令體系的架構(gòu)遷移成本會比較高，比如操作系統(tǒng)就需要兩套等。另外，新平臺的穩(wěn)定性也需要時間來證明，客戶對新平臺的接受程度等等，都是需要考慮的因素。”章文嵩博士表示，“最終我們選了Intel x86架構(gòu)處理器來做低功耗服務(wù)器。”

2010年8月，在淘寶的推動下，Intel聯(lián)合超微根據(jù)淘寶的需求設(shè)計了記憶ATOM處理器的低功耗服務(wù)器，并提供原型機給淘寶進行測試。

最初，原型機的測試結(jié)果只能到達900 Qps(每秒處理請求數(shù))，未能達到1000qps的設(shè)計要求。后來，通過淘寶的優(yōu)化，將硬盤的控制模式由IDE改為AHCI，處理能力達到了1300qps，遠遠超過了設(shè)計能力。并且后續(xù)通過優(yōu)化IO的性能，最終單片服務(wù)器的能力到達了1900qps，至此通過軟件的優(yōu)化，使得低功耗的服務(wù)性能完全超出了預(yù)期。

一切為了綠色

章文嵩博士坦言，CDN節(jié)點低功耗服務(wù)器只是開始，未來淘寶還會根據(jù)需要定制其它類型的低功耗服務(wù)器。更難能可貴的是，淘寶并沒有將自己的研制成果鎖進“保險柜”里，當做獨家的財富。

“我們已經(jīng)把CDN節(jié)點低功耗服務(wù)器的規(guī)格以及調(diào)優(yōu)過程，發(fā)布到了Green Compute.org網(wǎng)站上，希望能有更多的企業(yè)受益。”章文嵩博士表示，“淘寶的定制服務(wù)器，不僅淘寶自己用，而且它還是面向全行業(yè)的，可以賣給別人，淘寶也鼓勵廠商賣給其他用戶。”

目前，淘寶還在積極聯(lián)系騰訊、百度等互聯(lián)網(wǎng)企業(yè)，希望能聯(lián)合起來，共同推動中國的綠色計算的發(fā)展。章文嵩博士呼吁，希望有更多的企業(yè)參與到綠色計算的項目中，共同推動包括低功耗服務(wù)器定制、高性能服務(wù)器定制、機柜的設(shè)計、直流供電、數(shù)據(jù)中心空調(diào)、數(shù)據(jù)中心設(shè)計等IDC“計算”產(chǎn)業(yè)的“綠色”化。

“眾人拾柴火焰高！只有很多企業(yè)聚在一起，才能把綠色計算做得更大更深，才會對業(yè)界真正有幫助。只有大家把經(jīng)驗分享出來，才會對對整個產(chǎn)業(yè)有很大的促進。”章文嵩博士強調(diào)。