作為微軟***執(zhí)行官，薩蒂亞·納德拉可能還是位初來乍到的新人，但他對于該公司的關鍵性內(nèi)部工具以及與Amazon及谷歌開展競爭的方案早已非常熟稔：這正是名為Autopilot的一款復雜度極高的軟件系統(tǒng)。

 

Autopilot是一款幫助微軟將數(shù)百萬臺服務器以及上萬PB海量數(shù)據(jù)融合成一整套龐大強勁計算及存儲資源池的工具。如果沒有Autopilot，納德拉之前所領導的服務器與工具、在線服務、搜索與廣告乃至云與企業(yè)部門都將變得一塌糊涂、完全沒有可靠性可言。

 

談到使用Autopilot的感受，Windows Azure業(yè)務總經(jīng)理Mike Neil在接受我們采訪時表示，就像手握著“一輛價值數(shù)十億美元的超級豪車的鑰匙。”

 

微軟很少在公開場合談論Autopilot，而且迄今為止也只在兩份官方文件中談到過這款工具：一份發(fā)布于2007年、如今早已過時的文章，題為《Autopilot：自動化數(shù)據(jù)中心管理》；另一個則是2013年發(fā)布的網(wǎng)頁，其中解釋了Autopilot的開發(fā)團隊如何憑借在這套系統(tǒng)研發(fā)工作中的不懈努力贏得“杰出技術成就”獎。

 

Autopilot之所以一直保持籠罩著神秘的面紗，部分原因在于直到現(xiàn)在、微軟營銷部門仍宣稱它用于運行云環(huán)境的全部組件都能為公眾所直接購買。

 

對于熟悉分布式系統(tǒng)的行家們來說，大型IT設施的特殊性質以及復雜的相關要求絕不是輕易就能搞定的，因此微軟的這種說辭始終難以令人信服。不過如今我們終于揭開了正確答案：沒錯，微軟確實在內(nèi)部使用了大量自有商用軟件來運行云環(huán)境，但“絕大多數(shù)”運行在微軟數(shù)據(jù)中心內(nèi)的應用程序最終都要以Autopilot系統(tǒng)為基礎。

 

“Autopilot軟件現(xiàn)在已經(jīng)徹底實現(xiàn)了整個服務器運行周期的自動化目標，從啟動、操作系統(tǒng)安裝到故障檢測與修復，再到反復啟動與供應商不良產(chǎn)品退返，”微軟方面解釋道,“Autopilot技術小組已經(jīng)可以順利謝幕，因為他們打造的方案正通過悄無聲息的運轉給微軟在互聯(lián)網(wǎng)規(guī)模服務的轉型帶來深遠影響與有力支持。”

 

它同時也有助于為應用程序分配資源、在作業(yè)運行時設定進程規(guī)劃、從數(shù)百萬臺計算設備中收集信息并在最多一分鐘之內(nèi)給出經(jīng)過優(yōu)化的可利用信息，而且也成為了其它更為神秘的先進技術的組成部分——例如艾字節(jié)級別COSMOS數(shù)據(jù)分析引擎，我們所熟知的Bing、Xbox Live以及Windows Azure都建立在這套引擎的基礎之上。

 

***，Autopilot已經(jīng)與經(jīng)過重新設計的微軟數(shù)據(jù)中心硬件緊密契合在一起，這標志著微軟已經(jīng)不再從傳統(tǒng)供應商手中購買高端設備、轉而自行設計商用型廉價服務器——這些計算設備的構成方式已經(jīng)隨著今年一月微軟加入Facebook開放計算項目而公諸天下。

 

換句話來說，如果微軟的服務器是提線木偶，那么Autopilot就是幕后那只看不見的操縱之手以及構建木偶表演舞臺的關鍵性角色。

 

Neil將Autopilot比作了波音747客機：“它龐大、復雜而且轟隆作響”。根據(jù)他的解釋，這套系統(tǒng)的設計目的在于“將工作負載從飛行員（也就是數(shù)據(jù)中心系統(tǒng)管理員）肩上卸下來，從而讓這些優(yōu)秀人才能把精力集中在其它更重要的事情身上。”

 

Autopilot的關鍵性任務之一就是處理底層基礎設施的配置工作。

 

當微軟希望為其遍布全球的“十到一百”家數(shù)據(jù)中心添加容量資源時，他們通常會在一個集裝箱里塞進約上萬個計算節(jié)點——用微軟方面的說法這叫作“ITPAC”。一旦這些設備與數(shù)據(jù)中心的電網(wǎng)接駁完畢，Autopilot就開始檢查所有新服務器是否經(jīng)過正確配置、相關網(wǎng)絡是否工作良好，同時幫助將它們與系統(tǒng)中的其它部分進行對接。

 

“Autopilot不僅為主機部署并管理操作系統(tǒng)鏡像，同時也負責管理已經(jīng)部署完成的應用程序，”Neil解釋稱,“這套代理機制與操作系統(tǒng)鏡像如影隨行，而且也是我們SDN解決方案的組成部分。SDN解決方案同時管理著東西與南北流量，我們的拓樸結構則帶來了相當充裕的網(wǎng)絡帶寬以及路徑冗余。”

 

就算這些服務器已經(jīng)被納入微軟遍布全球的“超過百萬臺服務器”網(wǎng)絡，Autopilot仍然能夠出力輔助對其進行管理。

 

如果某臺服務器發(fā)生故障，Autopilot所具備的“自我修復”功能可以預防集群規(guī)模下的批量癱瘓，他指出,“設備故障狀況時有發(fā)生——Autopilot能夠采取整治行動，從而幫我們解決這些疑難雜癥。這套系統(tǒng)擁有大量自動修復操作規(guī)程，我們根本不用操心那些沒啥技術含量的雞毛小事。”

 

Autopilot還擁有一套極為精巧的調(diào)度組件，再用航空領域的例子來打比方，它能像空中交通管制員那樣打理微軟全球計算設備池內(nèi)不計其數(shù)、大大小小的各類工作負載。

 

調(diào)度工作意味著系統(tǒng)必須以雜質般的精準手法處理不同類型的應用程序，這樣才能為***層應用程序提供可靠的性能保證——例如面向付費客戶的Azure工作負載——同時“壓縮”低優(yōu)先級工作負載（例如面向微軟內(nèi)部項目的批處理作業(yè)）所占用的資源容量。

 

“如果大家把操作系統(tǒng)看成是一臺計算機的話，那就相當于選擇了搶占式調(diào)度方案——即在環(huán)境中同時運行多個應用程序以及時間片，”Neil解釋道，“在這方面，我們正在努力搞定裝箱問題——這是個非常經(jīng)典的難題，要找到***答案可不簡單、而且對網(wǎng)絡處理器來說負擔也很重。”

 

Neil無法就Autopilot調(diào)度機制的具體特點提供進一步信息，不過最近由微軟研究院發(fā)布的一篇學術論文指出，該公司正計劃以自動方式進一步提升工作負載壓縮流程、從而有效實現(xiàn)作業(yè)安排。（另有證據(jù)表明，微軟內(nèi)部規(guī)模達數(shù)EB級別的‘COSMOS’存儲采用的是一種名為‘SCOPE’的腳本語言，旨在處理特定的分析類調(diào)度任務。）

 

這種調(diào)度組件的存在意味著Autopilot除了扮演木偶操縱者之外，同時也身兼轉盤演員角色。

 

集裝箱中的服務器們在被運抵微軟數(shù)據(jù)中心之后，***遇見的軟件就將是Autopilot

 

而且與谷歌（即Borg及其繼任者Omega）以及Twitter（Mesos）所使用的系統(tǒng)類似，Autopilot的復雜程度使其更像是一位技術嫻熟但卻不善溝通的同事、而不僅僅是套實用的管理系統(tǒng)。

 

“我們必須學會習慣的是，要適應放棄對這套系統(tǒng)的全面控制并允許它作出正確的判斷與操作，一定得信任它——它可能會采取一些我們自己并不了解的處理步驟，”Neil指出，“這些系統(tǒng)規(guī)模如此龐大，以至于沒人能對其進行全面追蹤。而這也正是該系統(tǒng)的設計目的——處理一切細節(jié)事務。”

 

Autopilot還會收集大量數(shù)據(jù)，從而幫助微軟對自己的基礎設施加以分析并由此定位問題。

 

“我們掌握著全部與處理器負載以及內(nèi)存負載有關的信息，”Neil解釋稱，“人們往往容易忽略這樣一種普遍狀況，即我們所擁有的物理設備是存在容量極限的，***時間掌握資源剩余情況非常非常重要?？赡艽蠹沂褂玫哪晨顟贸绦驎е聝?nèi)存耗盡，及時發(fā)現(xiàn)這種情況有助于我們對關鍵性組件進行優(yōu)化。”

 

盡管該服務中包含關于CPU、內(nèi)存、網(wǎng)絡以及磁盤使用情況等多種指標，但Neil表示“我們通過實踐經(jīng)驗了解到，通過不間斷監(jiān)控所獲得的終端到終端測試結果往往更加有效。舉例來說，我們可以發(fā)出一條搜索查詢、驗證能否得到有效結果，并比對結果的實際返回時間與我們的預期范圍是否相符。我們把這樣的工作內(nèi)容稱為監(jiān)督者。不同的結果能夠觸發(fā)自動修復或者讓我們回滾到原先曾經(jīng)部署過的早期版本。”

 

從這個角度來說，Autopilot擁有了與谷歌系統(tǒng)截然不同的特性。相比之下，后者利用一項名為CPI2的先進技術收集更多細節(jié)指標，并借此幫助谷歌定位運行在單一處理器上的單一任務所遭遇的性能問題，并有選擇性地加以解決。

 

Autopilot的強大實力為微軟帶來了顯著收益，因為它有效提高了該公司在駕馭其價值數(shù)十億美元的計算設備時所表現(xiàn)出的工作效率。隨著微軟公司在云計算大師納德拉的帶領下逐步向“設備與服務”企業(yè)轉型，Autopilot的重要性只會隨著時間的推移外加微軟沖擊廣闊數(shù)字化世界而愈發(fā)得到凸顯。有了Autopilot，Neil認為微軟相當于擁有了“足以應對這個全新云世界的操作系統(tǒng)。”

 

可以肯定，納德拉也抱有同樣的期望。