第七屆開源中國(guó)開源世界高峰論壇29日下午的演講中，阿里集團(tuán)的高級(jí)研究員與副總裁核心系統(tǒng)負(fù)責(zé)人章文嵩先生給大家?guī)砹?ldquo;開源+自主開發(fā)淘寶軟件基礎(chǔ)設(shè)施構(gòu)建實(shí)踐”的主題演講。

章文嵩的演講主要分享了阿里巴巴在底層基礎(chǔ)平臺(tái)建設(shè)方面的一些經(jīng)驗(yàn)。從整體上看分為如下幾個(gè)議題，首先介紹了淘寶網(wǎng)的一些情況，然后介紹了淘寶網(wǎng)目前在軟件基礎(chǔ)設(shè)施中的部署情況。

阿里集團(tuán)的高級(jí)研究員與副總裁核心系統(tǒng)負(fù)責(zé)人章文嵩

提到淘寶網(wǎng)，可能很多人都知道他是一個(gè)網(wǎng)絡(luò)購(gòu)物的代名詞，有市場(chǎng)報(bào)告顯示，去年淘寶網(wǎng)交易額是7800多億，淘寶網(wǎng)占7層份額，淘寶網(wǎng)上面大概有七八百萬賣家創(chuàng)造了直接的就業(yè)機(jī)會(huì)，職業(yè)就業(yè)機(jī)會(huì)270多萬個(gè)，淘寶網(wǎng)的網(wǎng)絡(luò)流量，目前基本上在13名左右。***名是谷歌，第二名是FACEBOOK，這個(gè)排名會(huì)隨時(shí)變動(dòng)，比如做大促銷的時(shí)候，有可能沖到11名，過年網(wǎng)絡(luò)購(gòu)物少的時(shí)候可能降到18名，目前國(guó)內(nèi)是第3名。支撐網(wǎng)站排名背后的流量一天現(xiàn)在大概700多萬個(gè)訪客，跟蹤帳戶登陸，有700多萬個(gè)，去年雙12大促一天有1.25億人訪問，那時(shí)候CDN訪問流量856G，整個(gè)淘寶網(wǎng)頁一天25億，淘寶網(wǎng)站上有800多個(gè)應(yīng)用。針對(duì)這樣的規(guī)模搭建基礎(chǔ)設(shè)施也并不容易，我淘寶網(wǎng)的基礎(chǔ)設(shè)施每年在不斷的發(fā)展，可能以百分之七八十速度在增長(zhǎng)。

淘寶的基礎(chǔ)設(shè)施，最上面是CND系統(tǒng)，在全國(guó)布很多點(diǎn)，讓用戶訪問家門口的機(jī)器，中間是交易平臺(tái)，背后是基礎(chǔ)設(shè)施軟件，存儲(chǔ)系統(tǒng)，數(shù)據(jù)庫，包括海量數(shù)據(jù)處理平臺(tái)和資源調(diào)度平臺(tái)，左側(cè)有淘寶的搜索，淘寶上有十幾億商品，用戶進(jìn)來要搜索，我們要做到實(shí)時(shí)搜索，比如用戶變更了價(jià)格，在搜索引擎里幾秒鐘要反映出來，賣家變更一些信息之后往往自己上去查，如果查不到自己就會(huì)投訴;右側(cè)是廣告系統(tǒng)，是收入的主要來源，還有數(shù)據(jù)挖掘平臺(tái)。在基礎(chǔ)軟件上，我們分很多層次來做，***下的是硬件，我們對(duì)硬件進(jìn)行定制，我們對(duì)各種儲(chǔ)存介質(zhì)非常了解，我們?cè)诘凸奶幚砥?、CPU方面定制專門機(jī)器，降低功耗比，或者降低成本。

我們有一個(gè)內(nèi)核的團(tuán)隊(duì)，幾萬臺(tái)服務(wù)器支撐淘寶網(wǎng)，我們根據(jù)應(yīng)用的特點(diǎn)做優(yōu)化，過去Apache用的比較多，我們還有數(shù)據(jù)庫團(tuán)隊(duì)，這是目前在單機(jī)上做的事情。上面是分布式系統(tǒng)，多機(jī)環(huán)境，有分布式存儲(chǔ)，像TFS、分布式表格系統(tǒng)，還有圖像搜索團(tuán)隊(duì)，圖像搜索輸入一張照片，我們有CDN分發(fā)系統(tǒng)，還有海量數(shù)據(jù)的計(jì)算，包括旺旺平臺(tái)，現(xiàn)在將近一千萬同事在線，虛擬化管理，負(fù)載均衡，包括網(wǎng)絡(luò)的解決方案?，F(xiàn)在采用的軟件基本都是開源加自主開發(fā)的，比如CDN，我們可以說它是世界上***的面向圖像的CDN系統(tǒng)，送照片就送856G流量，上面都是拿開源軟件做的，我們做成了一個(gè)自主開發(fā)的CDN系統(tǒng)，今年會(huì)建到2400G，按照淘寶流量的增長(zhǎng)，能力到2400G，實(shí)際的量可能會(huì)在2000G左右。

TFS是自主開發(fā)的分布式對(duì)象存儲(chǔ)系統(tǒng)，目前有6.2P存儲(chǔ)空間，實(shí)際用了4P多，今年會(huì)建設(shè)到12P。每G存儲(chǔ)成本會(huì)逐漸下降，今年到2.5元。Oceanbase，一張表格里大概有120億條的收藏記錄。核心數(shù)據(jù)庫，采用開源的MySQL，機(jī)上高速的非易先存儲(chǔ)，以及多層級(jí)優(yōu)化。旺旺平臺(tái)，自主開發(fā)。底層的支撐軟件，在OpenJDK基礎(chǔ)上開發(fā)和維護(hù)Taoboo JVM，在LVS基礎(chǔ)上實(shí)現(xiàn)負(fù)載均衡解決方案，用開源軟件實(shí)現(xiàn)了高流量的網(wǎng)絡(luò)鏡像項(xiàng)目，可以說淘寶整個(gè)平臺(tái)是建在開源軟件加自主開發(fā)的基礎(chǔ)上，核心系統(tǒng)沒有商用軟件，淘寶不是***天是這個(gè)樣子的，我們講一個(gè)事例。

淘寶最早是做交易網(wǎng)站的，一塊是都是花錢解決問題，最終花錢解決不了問題了，不得不自己走上這條道路，我們可以拿三個(gè)事例來說明，圖片存儲(chǔ)，淘寶上有很多商品，賣家拍了很多商品照片，平均一個(gè)商品可能有三四十張以上的圖片，一開始花錢解決問題，買的是NAS系統(tǒng)，然后往里面放，到2006年的時(shí)候，從***端升級(jí)到***端設(shè)備，因?yàn)槭切D片，***端的存儲(chǔ)控制沒用完，但是文件個(gè)數(shù)已經(jīng)用爆了，數(shù)目不夠，工程師說一臺(tái)放不下買兩臺(tái)，兩臺(tái)放不下放四臺(tái)，我們自己知道這個(gè)不是解決辦法，因?yàn)槌杀竞芨撸菚r(shí)候10T存儲(chǔ)空間就要幾百萬，我們自己做了一個(gè)面向圖片存儲(chǔ)的管理系統(tǒng)，在架構(gòu)上我們做了一些取舍，分布式文件系統(tǒng)由原數(shù)據(jù)服務(wù)器、數(shù)據(jù)服務(wù)器兩部分組成，對(duì)于互聯(lián)網(wǎng)圖片數(shù)據(jù)來說，用戶并不關(guān)心文件名是什么、路徑是什么，只是在網(wǎng)頁里能把圖片展示出來，我們把目錄空間拋棄掉了，我們做了取舍，沒有目錄空間，做了對(duì)象存儲(chǔ)，你要放進(jìn)來一個(gè)對(duì)象，自己還不能起名字，是我們賦予的，這樣可以做到非常高速，比如中間有一個(gè)圖片名字，一般人看不懂，原數(shù)據(jù)可以變的很簡(jiǎn)單，直接可以映射到物理機(jī)器，原數(shù)據(jù)很簡(jiǎn)單，數(shù)據(jù)量很少，分布式系統(tǒng)里原數(shù)據(jù)一定是最終瓶頸，做的越簡(jiǎn)單可擴(kuò)展性越好。

上線一用規(guī)模可能就大了一個(gè)數(shù)量級(jí)，后續(xù)逐漸優(yōu)化，增加各種功能，現(xiàn)在TFS也開源了，2.0版本，我們還在持續(xù)優(yōu)化，我們內(nèi)部都有指標(biāo)。淘寶CDN系統(tǒng)，一開始也是花錢解決問題，最早淘寶CND系統(tǒng)都是買商用負(fù)載均衡器，因?yàn)槭菆D片，隨即訪問，后來逐步改造，用開源的軟件，包括混合存儲(chǔ)，原來建6G要花掉200多萬，去年建10G35萬就可以做到了，2010年光KPI就節(jié)約了1億多，因?yàn)橐?guī)模大了，稍微優(yōu)化一下就可以節(jié)約1億多，這里面我們提了很多做法，以后我們會(huì)有大型的節(jié)點(diǎn)，在調(diào)度力度和用戶體驗(yàn)上都會(huì)做進(jìn)一步優(yōu)化。

第三是淘寶核心數(shù)據(jù)庫，***一個(gè)被拔掉的，最早拿IBM小型機(jī)、思科商用數(shù)據(jù)庫、EMC高端存儲(chǔ)，好處是功能比較強(qiáng)大，缺點(diǎn)就是比較貴。2008年開始使用MySQL數(shù)據(jù)庫，2011年組建了自己MySQL開發(fā)團(tuán)隊(duì)，開發(fā)團(tuán)隊(duì)只有8人，去年最早把商品庫換掉了，十億多個(gè)商品，交易數(shù)據(jù)庫過去2000萬IOE解決方案，那時(shí)候每秒鐘只能做3000筆交易，2011年原定目標(biāo)是平臺(tái)要做到5000筆交易就能支撐業(yè)務(wù)的發(fā)展。

后來我們用MySQL加上優(yōu)化，一臺(tái)機(jī)器做到1萬筆交易，當(dāng)然了不是普通的PC服務(wù)器，是9萬元的PC服務(wù)器，再加上FLASH卡，總共不到12萬元，整個(gè)淘寶平臺(tái)的交易能力一秒鐘能做到16萬筆交易，商用軟件已經(jīng)不能滿足大規(guī)模系統(tǒng)的需要，開源自主開發(fā)有很好的可控性和可擴(kuò)展性，我們有個(gè)規(guī)模效應(yīng)，比如這個(gè)圖橫坐標(biāo)是規(guī)模，規(guī)模由小變大的時(shí)候，一開始自己研發(fā)，投入的起點(diǎn)可能比較高，隨著規(guī)模增大，斜線不高，如果一開始租或者買，投入的起點(diǎn)已經(jīng)必定低，隨著規(guī)模增長(zhǎng)，斜率比較高，兩條斜線肯定相交于一點(diǎn)，過了這個(gè)交差點(diǎn)自己做一定劃算，我們?cè)谏逃密浖吓錾蠁栴}，商用廠商并不全力支持我們，全世界可能就我們一家是這種用法，逼著規(guī)模大的不得不自己做。

過去我們使用了大量開源軟件，也在開源基礎(chǔ)上做改進(jìn)、定制，把工作成果回饋給開源社區(qū)，在Linux內(nèi)核上，目前內(nèi)核貢獻(xiàn)量在全世界排115名。我們也建設(shè)了開源的平臺(tái)，把淘寶大部分?jǐn)?shù)得上名字的基礎(chǔ)軟件都開源出來了，我們有這樣的開源平臺(tái)，不光軟件開源，硬件也做了定制的低功耗服務(wù)器，我們做了綠色計(jì)算網(wǎng)站，服務(wù)器定制只是其中一塊，數(shù)據(jù)中心、機(jī)房的基礎(chǔ)設(shè)施、機(jī)柜的定制可能是綠色計(jì)算很大一塊，建這樣的網(wǎng)站，尤其是國(guó)內(nèi)，用中文交流可能更方便，可以在一塊推進(jìn)整個(gè)綠色計(jì)算的發(fā)展。

小結(jié)，淘寶是開源系統(tǒng)的受益者，并積極參與開源生態(tài)系統(tǒng)的建設(shè)，促進(jìn)開源生態(tài)系統(tǒng)的發(fā)展，積累更好的口碑，凝聚人才，迎接未來更大的技術(shù)挑戰(zhàn)。淘寶公司希望以更開放的方式與世界一起進(jìn)行技術(shù)創(chuàng)新。