【編者的話】Mesos往往以其在大規(guī)模生產(chǎn)環(huán)境下的成熟案例為大家所熟知。但其實(shí)Mesos對(duì)于互聯(lián)網(wǎng)初創(chuàng)企業(yè)也是非常有用的。最顯著的一點(diǎn)：如果從一開始就使用基于Mesos的云操作系統(tǒng)，就可以讓一套IT架構(gòu)來(lái)支撐業(yè)務(wù)在不同階段的飛速發(fā)展。并讓技術(shù)人員更關(guān)注業(yè)務(wù)，而不是把精力花在服務(wù)器配置上。借用Rahman的一句話，"只要大家擁有一臺(tái)以上的服務(wù)器，都有理由來(lái)嘗試云操作系統(tǒng)。"

初創(chuàng)公司Mattermark采用Mesos技術(shù)

Mattermark是一家專門面向私營(yíng)企業(yè)交付數(shù)據(jù)的高人氣初創(chuàng)企業(yè)。作為初創(chuàng)公司，其IT基礎(chǔ)設(shè)施規(guī)模還是相對(duì)較小的。不過(guò)正是憑借著這種初創(chuàng)特質(zhì)，其也得以順利擺脫了眾多規(guī)模更大且更為成熟的企業(yè)所難以解決的運(yùn)營(yíng)效率低下難題。與眾多大型企業(yè)一樣，Mattermark公司同樣使用Apache Mesos以及Marathon框架來(lái)解決自身面對(duì)的獨(dú)特問題。

這家誕生剛剛兩年的年輕公司，僅僅運(yùn)行著一些Amazon Web Services實(shí)例，存儲(chǔ)著GB級(jí)別大小的數(shù)據(jù)，卻認(rèn)為他們的IT架構(gòu)已經(jīng)變得不可為繼，會(huì)在不遠(yuǎn)的將來(lái)影響業(yè)務(wù)的發(fā)展。在這方面，最突出的實(shí)際難題就是數(shù)據(jù)處理任務(wù)，特別是Mattermark在日常運(yùn)營(yíng)當(dāng)中不可避免的大量數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)以及索引工作——過(guò)去，這些工作一直在以缺乏充分理論指導(dǎo)的隨意方式進(jìn)行。

“我們擁有大量運(yùn)行著重要工作內(nèi)容的EC2實(shí)例，但沒人了解其具體運(yùn)行機(jī)制，”Mattermark公司機(jī)器學(xué)習(xí)工程師Samiur Rahman解釋稱。“這確實(shí)非常麻煩。”

該公司的管理層意識(shí)到，要想真正為各私營(yíng)企業(yè)客戶提供可靠的數(shù)據(jù)源，必須要對(duì)現(xiàn)有運(yùn)營(yíng)機(jī)制進(jìn)行整頓。“我們很清楚，未來(lái)的一到兩年內(nèi)公司規(guī)模會(huì)出現(xiàn)持續(xù)擴(kuò)張，”Rahman表示。“所以我們要么繼續(xù)安于現(xiàn)有環(huán)境并不斷加以構(gòu)建，要么就像其它企業(yè)那樣全盤淘汰現(xiàn)有設(shè)施并直接向現(xiàn)代基礎(chǔ)設(shè)施轉(zhuǎn)移。”

利用Mesos進(jìn)行基礎(chǔ)設(shè)施調(diào)度

Mattermark公司在幾個(gè)月之前決定利用Mesos對(duì)自身基礎(chǔ)設(shè)施進(jìn)行重新設(shè)計(jì)，而且同時(shí)針對(duì)新系統(tǒng)提供了幾項(xiàng)必須能夠?qū)崿F(xiàn)的特殊要求：

需要在開發(fā)人員與公司AWS實(shí)例之間建立一套抽象層。能夠?qū)⑷蝿?wù)分發(fā)至不同的AWS實(shí)例當(dāng)中。能夠根據(jù)特定任務(wù)的實(shí)際需要為其分配對(duì)應(yīng)資源。面向任務(wù)調(diào)度實(shí)現(xiàn)高度細(xì)化的控制機(jī)制。對(duì)資源進(jìn)行隔離以避免相鄰實(shí)例爭(zhēng)奪資源的問題。

該公司目前在Mesos之上運(yùn)行有Chronos與Marathon，而此舉已經(jīng)帶來(lái)了理想的回報(bào)。Mattermark公司如今能夠以受控方式對(duì)批量任務(wù)進(jìn)行調(diào)度，同時(shí)以智能化方式將不同類型的任務(wù)運(yùn)行在同一資源池中，從而提高AWS的資源利用率。舉例來(lái)講，其能夠?qū)⒍鄠€(gè)低資源型網(wǎng)頁(yè)獲取任務(wù)與其它內(nèi)存與CPU使用率較高的機(jī)器學(xué)習(xí)任務(wù)運(yùn)行在同一個(gè)實(shí)例當(dāng)中。

“能夠切實(shí)完成此類資源分配(即允許這些工作負(fù)載在同一資源之上共存)的解決方案非常重要，”Rahman指出。如此一來(lái)，Mattermark公司不僅能夠通過(guò)一套可靠的方式實(shí)現(xiàn)任務(wù)流程自動(dòng)化，同時(shí)也能夠在工作效果不變的前提下減少AWS實(shí)例使用量并由此降低使用成本。

相較于以往的服務(wù)器監(jiān)控最佳實(shí)踐，即企業(yè)需要從起始階段就要考慮到資源占用率趨近100%時(shí)的應(yīng)對(duì)措施，“我們的監(jiān)控機(jī)制有所不同，因?yàn)槿缃?0%到90%才是理想的資源利用率，”他解釋道。“這意味著我們能夠更加充分地利用已有資源。”

盡管Mattermark公司目前仍有一部分工作負(fù)載運(yùn)行在由Elastic Load Balancer支持的AWS裸機(jī)實(shí)例當(dāng)中(即非Mesos工作節(jié)點(diǎn))，但Rahman強(qiáng)調(diào)稱那些需要高可用性保障的任務(wù)已經(jīng)運(yùn)行在Mesos-Marathon環(huán)境之內(nèi)。隨著Mattermark公司不斷推出新的工作負(fù)載與任務(wù)類型，其也將全部由新系統(tǒng)負(fù)責(zé)承載。

“我們致力于讓各類工作負(fù)載與任務(wù)運(yùn)行在Mesos當(dāng)中，”他指出。而且由于Mattermark公司已經(jīng)開始廣泛利用預(yù)配置Docker容器作為應(yīng)用程序運(yùn)行環(huán)境，其目前能夠以相對(duì)簡(jiǎn)單的方式完成各類進(jìn)程由純AWS實(shí)例遷移至運(yùn)行在AWS實(shí)例之上的Mesos集群中的工作。

以“積極態(tài)度”迎接大數(shù)據(jù)挑戰(zhàn)

不過(guò)就Mattermark公司的情況而言，Mesos的真正價(jià)值在于允許其保持基礎(chǔ)設(shè)施規(guī)模與業(yè)務(wù)發(fā)展同步擴(kuò)張——反之亦然。換言之，讓IT資源隨著業(yè)務(wù)的發(fā)展而平滑增加，這樣既不會(huì)讓IT架構(gòu)成為業(yè)務(wù)發(fā)展的瓶頸，也不會(huì)因需要預(yù)留大量IT資源而造成浪費(fèi)。

盡管目前規(guī)模僅為150 GB的MySQL數(shù)據(jù)庫(kù)很難被定義為“大數(shù)據(jù)”，但Rahman表示Mattermark公司計(jì)劃在未來(lái)幾年當(dāng)中對(duì)其規(guī)模進(jìn)行顯著拓展。而其中最突出的理由就是，Mattermark公司的從業(yè)時(shí)間越長(zhǎng)，其需要在數(shù)據(jù)庫(kù)內(nèi)為每家企業(yè)客戶保存的數(shù)據(jù)量也就越大。

但從更具戰(zhàn)略意義的角度出發(fā)，Mattermark公司希望能夠?qū)⑵鋽?shù)據(jù)庫(kù)涵蓋能力由100萬(wàn)家企業(yè)擴(kuò)展到全球范圍內(nèi)的數(shù)億家企業(yè)。隨著企業(yè)客戶數(shù)量的增長(zhǎng)，其當(dāng)然也希望為每位客戶提供更加豐富的數(shù)據(jù)類型——包括員工數(shù)量、網(wǎng)站流量、融資信息、相關(guān)新聞以及社交媒體關(guān)注度等等。

“我們的業(yè)務(wù)規(guī)模取決于我們實(shí)現(xiàn)數(shù)據(jù)更新的速度以及將更多企業(yè)客戶納入數(shù)據(jù)庫(kù)的能力，”Rahman指出。

在他看來(lái)，Mesos能夠從多個(gè)角度帶來(lái)助益，使得Mattermark公司更為輕松地引入各類必要的新型數(shù)據(jù)處理技術(shù)，包括Kafka以及Spark等，并在運(yùn)行大規(guī)模處理任務(wù)時(shí)快速添加對(duì)應(yīng)容量。總而言之，該公司在基礎(chǔ)設(shè)施與任務(wù)之間的契合度方面投入的精力越少，那么其專注于在正確時(shí)間對(duì)正確數(shù)據(jù)進(jìn)行訪問、分析以及交付的能力也就越強(qiáng)。

“我們希望運(yùn)營(yíng)體系能夠時(shí)刻為規(guī)模伸縮做好準(zhǔn)備，從而幫助我們獲取更多數(shù)據(jù)并從其中發(fā)掘出更多有價(jià)值信息，”Rahman表示。“另外，我們也希望能夠繼續(xù)保持向客戶交付數(shù)據(jù)的速度。”

初創(chuàng)公司也要勇于嘗試Mesos或數(shù)據(jù)中心操作系統(tǒng)

著眼于未來(lái)，Rahman表示他希望看到Mattermark公司將運(yùn)營(yíng)體系由開源Mesos遷移至Mesosphere數(shù)據(jù)中心操作系統(tǒng)(國(guó)內(nèi)的朋友可以選擇數(shù)人云哦)，這在很大程度上意味著擺脫軟件組件更新以及漏洞修復(fù)等工作帶來(lái)的困擾。盡管目前尚在對(duì)DCOS的Early Access版本進(jìn)行早期實(shí)驗(yàn)，但他已經(jīng)可以在30分鐘之內(nèi)設(shè)置起一套以往通常需要數(shù)個(gè)星期才能搭建完成的系統(tǒng)。

“初創(chuàng)企業(yè)應(yīng)該了解DCOS，因?yàn)樗軌蜃屵\(yùn)營(yíng)工作變得更為輕松，”他解釋稱。另外，初創(chuàng)企業(yè)不必因?yàn)榈淖约哼\(yùn)營(yíng)規(guī)模并不像Yelp、蘋果或者是Twitter那么龐大，而害怕嘗試DCOS或者是開源Mesos組件。

“Mesos天然具備的開發(fā)者自由空間與良好運(yùn)營(yíng)效率讓我們從系統(tǒng)重新設(shè)計(jì)當(dāng)中獲得了切實(shí)回報(bào)，”Rahman總結(jié)稱。“只要大家擁有一臺(tái)以上的服務(wù)器，都有理由在這方面做出嘗試。”

原文鏈接：http://blog.dataman-inc.com/20151112-startup-use-mesos/