還是在2013年底，Yelp 運(yùn)營總監(jiān)Sam Eaton 意識到公司存在一個(gè)基礎(chǔ)架構(gòu)問題。運(yùn)維人員和開發(fā)人員在自己的數(shù)據(jù)中心和AWS云上做站擴(kuò)展已經(jīng)變得復(fù)雜和資源密集。

“問題是我們?nèi)绾文軌蜃岄_發(fā)人員在沒有過多復(fù)雜的工作情況下在數(shù)據(jù)中心和AWS上統(tǒng)一管理部署服務(wù)。”Eaton 解釋到。

太多的選擇

Yelp經(jīng)歷了太多的方案，并且考慮了每種可能的優(yōu)缺點(diǎn)。建一個(gè)新的虛擬機(jī)鏡像，所謂的“黃金鏡像”，對于AWS而言需要花 1個(gè)小時(shí)，盡管建立的鏡像啟動(dòng)會(huì)非?？?。在裸機(jī)上啟服務(wù)獲得權(quán)限更多但是擴(kuò)展很麻煩。Yelp的開發(fā)者試著部署部分服務(wù)在本地部分在云上需要很長一段時(shí)間考慮AWS實(shí)例和Yelp硬件之間的區(qū)別。

“他們不得不用一種方式去配置裸機(jī)上的服務(wù)，并使用另一種完全不同的機(jī)制去配置AWS。這對于開發(fā)者來說太糟了“，Eaton說。

服務(wù)除了部署負(fù)責(zé)，Yelp還有個(gè)測試的問題。Eaton說開發(fā)者一天要發(fā)布多個(gè)版本的新代碼，但是總被測試的速度拖后腿，因?yàn)椋芡晁幸蟮臏y試要花上90分鐘。均衡測試的運(yùn)行是有問題的，Eaton的團(tuán)隊(duì)發(fā)現(xiàn)，至少在不浪費(fèi)資源的情況下，去統(tǒng)計(jì)所有的依賴關(guān)系然后再找出一個(gè)***方法去規(guī)劃所有的測試是并不容易的。

他說：”這是一個(gè)“裝箱”問題，用更多的VMs和更多硬件來跑也不能很好地解決這個(gè)問題“。

Docker來了

Eaton和他的團(tuán)隊(duì)考慮大量的用于解決云和本地日益增長的池的這個(gè)難題的方案。他們考慮過部署OpenStack。他們也考慮過用Eucalptus的軟件--這是一家初創(chuàng)企業(yè)，因?yàn)榛萜盏男枨?，專注于AWS的兼容--旨在建立一個(gè)跨應(yīng)急服務(wù)器與云的混合環(huán)境。

但是，Yelp的技術(shù)團(tuán)隊(duì)最終決定未來將圍繞Docker容器，而不是虛擬機(jī)。Docker可以解決Yelp的一些部署問題因?yàn)樗峁╅_發(fā)者可以管理他們自己的容器的能力，并且可以不用等”黃金鏡像“生成就可以迅速?zèng)Q定打包和依賴的問題。

運(yùn)行百萬個(gè)容器意味著Mesosphere和Mesos

Eaton和他的團(tuán)隊(duì)研究并決定用Mesosphere的進(jìn)化的Apache Mesos 作為***的運(yùn)行容器的方案來滿足Yelp要求的規(guī)模。Eaton，對Mesos如何將Yelp的機(jī)器集群--虛擬和物理的--變成聚合資源池，并沒有關(guān)掉周邊的服務(wù)器組成，留下了深刻的印象。開發(fā)者可以隨意啟動(dòng)容器，不考慮任何服務(wù)器的配置。

不僅僅堅(jiān)持基礎(chǔ)版的Apache Mesos，Eaton選擇測試Mesosphere的打包版本*，包含了諸如Marathon的工具。Eaton喜歡Mesosphere在 Marathon 的PAAS框架中提供原生的hooks, Yelp使用這些hooks計(jì)劃和安排計(jì)算任務(wù)。此外，Mesosphere對數(shù)據(jù)中心操作系統(tǒng)(DCOS)的進(jìn)化概念，也與Yelp的目標(biāo)--建立一個(gè)單一開發(fā)環(huán)境，工具鏈，和跨本地和云端服務(wù)的開發(fā)運(yùn)維過程組，所一致。

(Mesophere 依舊提供開源下載，但下載還提供它的數(shù)據(jù)中心操作系統(tǒng)(DCOS)作為商業(yè)軟件產(chǎn)品。DCOS預(yù)先打包許多重要組件，包括附加功能,極大地簡化了部署和管理分布式服務(wù)的經(jīng)驗(yàn)。)

Yelp可以在三個(gè)月內(nèi)構(gòu)建一個(gè)功能化Mesosphere集群，并使其達(dá)到預(yù)準(zhǔn)備工作。

#p#

服務(wù) PaaSTA

在Mesosphere之上，Eaton的團(tuán)隊(duì)構(gòu)建了一個(gè)基于Docker的微服務(wù)架構(gòu)，被稱為PaaSTA，來允許容器級作業(yè)跑在任意的計(jì)算平臺(tái)上。

Eaton解釋到：

我們docker在整個(gè)堆棧給開發(fā)者一個(gè)相同的環(huán)境。Marathon,及在PaaSTA和工具,給了他們一個(gè)更好的方法來安排適當(dāng)數(shù)量的容器來運(yùn)行他們的服務(wù),并從開發(fā)人員隱藏了底層基礎(chǔ)設(shè)施。他們不需要擔(dān)心他們的服務(wù)是否運(yùn)行在數(shù)據(jù)中心,在AWS,或其他云提供商。如果他們根據(jù)PaaSTA平臺(tái)合同寫服務(wù),和配置他們的docker容器以正確的方式,PaaSTA負(fù)責(zé)其他工作的服務(wù)部署,通過提供資源發(fā)現(xiàn)和啟動(dòng)容器。

整個(gè)Yelp工程團(tuán)隊(duì)感受到PaaSTA和Mesos的好處。服務(wù)基礎(chǔ)設(shè)施技術(shù)主管約翰•比林斯解釋到:

我們花大量的時(shí)間手工分配各個(gè)機(jī)器上的服務(wù)。推出新服務(wù)時(shí)導(dǎo)致一個(gè)瓶頸。如果有一臺(tái)機(jī)器故障,我們不得不單獨(dú)聯(lián)系所有受影響服務(wù)的所有者,并要求他們將他們的服務(wù)移動(dòng)到新的硬件。我們還得在通訊量增加的同時(shí)必須保持機(jī)器之間的服務(wù)。我們增長了數(shù)以萬計(jì)的生產(chǎn)服務(wù),這是成為一個(gè)不可能的情況。

“PaaSTA通過允許自動(dòng)配置和遷移服務(wù)在內(nèi)部和AWS硬件讓我們從這些耗時(shí)的任務(wù)中解脫。開發(fā)人員和操作完全愛上了這項(xiàng)技術(shù)。”

與海鷗(Seagull)飛行

除了提供的核心PaaSTA--平臺(tái)即服務(wù)系統(tǒng),Yelp也使用Mesosphere擴(kuò)充其測試基礎(chǔ)設(shè)施,開發(fā)一個(gè)新的測試平臺(tái)叫做Seagull(海鷗)。

通過使用Mesos可和一個(gè)自定義的調(diào)度器,Yelp能夠建立一個(gè)更高效的并行系統(tǒng)和加速單元測試。公司現(xiàn)在每天運(yùn)行著大約1700萬獨(dú)立測試, 一些計(jì)劃直接在機(jī)器上,一些在容器里--全通過Mesos管理。伊頓說,Yelp每天已經(jīng)啟動(dòng)100萬個(gè)docker容器，當(dāng)公司將更多的測試移到容器里，這個(gè)數(shù)字也隨之增加。

Mesosphere也給了Yelp一個(gè)意想不到的好處:提高資源利用率意味著伊頓的團(tuán)隊(duì)可以通過更靈活地部署AWS的spot市場容量來省錢。

“隨著測試數(shù)量的增加,我們出價(jià)購買用于測試的AWS實(shí)例將超過我們預(yù)定的量,”他解釋說。“如果我們固定購買實(shí)例的量， 那些實(shí)例可能會(huì)在測試中途消失。Mesos允許我們存活這類動(dòng)態(tài)購買，重新安排測試到新的實(shí)例上并且不停止測試。“

Mesosphere和Marathon給我們的開發(fā)人員更彈性計(jì)算能力，讓他們從根本上加快部署,”伊頓說。“他們花更少的時(shí)間處理不同的平臺(tái)，更多時(shí)間花在他們的代碼。Mesosphere對于開發(fā)人員來說很好, 這對Yelp來說很好。