Google用“扳手”給十萬(wàn)臺(tái)服務(wù)器作冗余
Google的全球基礎(chǔ)設(shè)施啟動(dòng)了一個(gè)專有系統(tǒng)，當(dāng)大型數(shù)據(jù)中不甘心和網(wǎng)絡(luò)交換負(fù)荷出現(xiàn)硬件問(wèn)題時(shí)自動(dòng)轉(zhuǎn)移和重復(fù)負(fù)載。
這種分布式的技術(shù)最早在今年夏季的一個(gè)叫做“Google經(jīng)典時(shí)尚”(classically coy Google fashion)的會(huì)議中初露端倪，Google院士Jeff Dean在本月早些時(shí)候的一個(gè)研討會(huì)上證實(shí)了這種技術(shù)的存在。
該平臺(tái)被稱為“Spanner”(扳手?)。在Dean的演示文稿中，這個(gè)平臺(tái)被這樣描述：“存儲(chǔ)和計(jì)算系統(tǒng)，涵蓋了數(shù)據(jù)中心自動(dòng)移動(dòng)，增強(qiáng)數(shù)據(jù)的復(fù)制和計(jì)算使用限制以及模式?！闭甙藥?、數(shù)據(jù)包丟失、資源限制、能耗以及“失敗模式”。
Dean正在談?wù)摰氖恰耙徽袡C(jī)器資源的自動(dòng)調(diào)配”——Google全球現(xiàn)在至少有36個(gè)大型數(shù)據(jù)中心，一些也許還在建。正如之前提到的，Google這個(gè)新系統(tǒng)正希望跨越一個(gè)大的數(shù)據(jù)中心艦隊(duì)。
從Dean的演講中可以看出，Google希望Spanner能夠控制一百萬(wàn)到一千萬(wàn)臺(tái)服務(wù)器，包括10萬(wàn)億(1013)目錄和一千萬(wàn)億(1018)字節(jié)的存儲(chǔ)空間。而這所有一切分散在世界各地的數(shù)據(jù)中心。
想象一下：一個(gè)獨(dú)立的大房子正在通過(guò)線纜控制著這個(gè)世界上其它的數(shù)據(jù)中心。
Dean拒絕作出評(píng)論。Google的公關(guān)部門也沒(méi)有就此問(wèn)題給出具體的回復(fù)，不過(guò)Google工程與架構(gòu)部門的高級(jí)經(jīng)理Vijay Gill在此前舊金山舉辦的一個(gè)迷你會(huì)議上提到過(guò)這項(xiàng)技術(shù)。
當(dāng)被問(wèn)及“如果能夠揮動(dòng)魔杖以創(chuàng)建一個(gè)后端網(wǎng)絡(luò)技術(shù)”時(shí)，Gill稱，“我們現(xiàn)在沒(méi)有這種技術(shù)，”當(dāng)談及Google著名的分布式在線基礎(chǔ)設(shè)施時(shí)他略顯神秘——Google將數(shù)據(jù)中心變成了“倉(cāng)庫(kù)規(guī)?！钡臋C(jī)器，當(dāng)某個(gè)數(shù)據(jù)中心出現(xiàn)超負(fù)荷危險(xiǎn)時(shí)就轉(zhuǎn)移到別的地方。
“我們現(xiàn)在要做的是——當(dāng)然了這是倉(cāng)庫(kù)規(guī)模的計(jì)算機(jī)，”Gill表示，你必須擁有從冷卻到整合CPU等所有的權(quán)利?！?/P>
“有時(shí)候，有一個(gè)溫度的變化，你可能需要一個(gè)快速的負(fù)載切換去組織溫度的變化，你的數(shù)據(jù)中心有沒(méi)有冷水機(jī)組?你想要降低一些負(fù)載，你希望減少一些CPU和一些RAM里的進(jìn)程數(shù)?！?/P>
他表示公司可以做自動(dòng)或者近乎自動(dòng)不需人工干預(yù)的意義，“你怎么做全球范圍內(nèi)管理系統(tǒng)的優(yōu)化呢?這是一個(gè)有趣的現(xiàn)象?！?/P>
“我們現(xiàn)在看到，Google大規(guī)模以線性規(guī)劃問(wèn)題的變量數(shù)十萬(wàn)計(jì)，幾乎都需要實(shí)時(shí)的計(jì)算。當(dāng)一個(gè)數(shù)據(jù)中心里的溫度開(kāi)始變化時(shí)，你沒(méi)有寶貴的時(shí)間去設(shè)定其它數(shù)據(jù)中心的溫度，必須得在幾秒鐘內(nèi)作出判斷?！?/P>
當(dāng)被問(wèn)及這是否Google正在使用的技術(shù)時(shí)，Gill回復(fù)說(shuō)這只是Google最樂(lè)于見(jiàn)到的情況?！拔覠o(wú)法做出評(píng)論，”他說(shuō)，“我也不記得我們發(fā)表任何一個(gè)文件?！?/P>
但是看起來(lái)Gill描述的技術(shù)就是在說(shuō)Spanner。而且根據(jù)Dean院士的演講，似乎該技術(shù)已經(jīng)被部署。Google還表示，其位于比利時(shí)Saint Ghislain得一個(gè)新數(shù)據(jù)中心也沒(méi)有機(jī)組運(yùn)行，顯然，是用了Spanner技術(shù)才使得可以度過(guò)炎熱的夏季。
Dean表示，Spanner的目的是為50微妙之內(nèi)的數(shù)據(jù)傳遞提供通道。而且，Google至少機(jī)會(huì)在歐洲部署兩套存儲(chǔ)設(shè)備以存儲(chǔ)設(shè)備，在美國(guó)部署兩套，在亞洲部署一套。
顯然，Google有做分布式計(jì)算的天賦。
【編輯推薦】
