如今集群設計遍地都是。最典型的例子包括軟件定義存儲、虛擬化架構、超級融合、公有云與私有云，以及眾所周知的大數(shù)據(jù)。集群以橫向擴展的方式來構建基礎設施，使用商業(yè)產(chǎn)品，如服務器和JBOD。橫向擴展的設計能夠?qū)崿F(xiàn)容量與性能遞增，與大部分縱向擴展的基礎架構相比，有著巨大的成本規(guī)模效益。

大集群因為其支持大規(guī)模融合與整合，可以協(xié)助優(yōu)化整體資本支出，而不斷吸引業(yè)內(nèi)目光。那么為什么我們不把現(xiàn)在所有的IT基礎設施都集群化呢?大規(guī)模集群管理和運維都相當復雜，尤其是在開始將工作負載和租戶結(jié)合后。如果建造了一個大集群，就必須確保期能充分得到利用，也意味著需要托管大量工作負載。一旦出現(xiàn)這種情況，IT需要搞清楚如何合理的優(yōu)先或公平分配資源。這從來不是一件簡單的事——實施、配置與優(yōu)化管理共享集群架構的總運營成本，通常會高于部署完全獨立或向上擴展產(chǎn)品的總成本。

當集群在虛擬化基礎架構中，虛擬化管理程序負責加強共享、隔離吵鬧的鄰居、動態(tài)遷移和/或重新啟動受影響，甚至突然飆升的工作負載，還扮演交警的角色。這幾年我們發(fā)現(xiàn)了該領域的長足進步，可以在虛擬機層面和虛擬存儲卷級別(如VMware VVOL)上，動態(tài)執(zhí)行用戶指定的服務質(zhì)量(QoS)。

當然，可以把基礎架構云(如OpenStack)作為大型、優(yōu)化管理集群資源作為整體思路。盡管如此，虛擬化和云基礎架構平臺需要數(shù)年時間才能成熟，目前仍然不完美。在開發(fā)云管理工具的路上還有很長的路要走，要實現(xiàn)在專屬設備上部署系統(tǒng)的簡化。而且在虛擬化環(huán)境內(nèi)，仍然難以確保虛擬機內(nèi)的應用程序能夠提供最終用戶可靠的響應時間。

針對大數(shù)據(jù)的集群管理工具

有效的集群管理設計對大數(shù)據(jù)尤其重要，這關系到引入企業(yè)IT規(guī)模擴展的HPC技術。Hadoop、Spark和其他可擴展NoSQL工具旨在讓所有人都實現(xiàn)分布式處理。然而，生產(chǎn)大數(shù)據(jù)應用程序目前要求應用程序性能的一致性。當大數(shù)據(jù)應用支撐著關鍵業(yè)務流程時，運營與性能的可靠性和穩(wěn)定性將成為問題。

在種類繁多的大數(shù)據(jù)工具如Hadoop集群，每個大數(shù)據(jù)作業(yè)都爭奪相同的資源。到目前為止，很多Hadoop集群只是簡單處理小型單一的大數(shù)據(jù)處理流程或只對小部分用戶服務，通常用于非生產(chǎn)環(huán)境的數(shù)據(jù)科學。但隨著大數(shù)據(jù)集群移入生成環(huán)境，就意味著它們需要承載更多的任務并且服務多個租戶——就如大型虛擬化或云集群。而當這種集群被共享，管理大數(shù)據(jù)將成為一大挑戰(zhàn)。

經(jīng)?？吹叫碌拇髷?shù)據(jù)集群管理和操作方案并不稀奇。集群管理工具一般分為幾類。起步于高性能計算領域的Bright Computing公司，現(xiàn)在正協(xié)助企業(yè)從裸機上部署、配置與管理大型集群。

但真正的關鍵在于性能管理，秘訣在于了解都是誰，以及在什么時候做什么事。至少，還有標準的工具可以從集群的日志文件(通常十分巨大)中生成報告。但隨著日志的增長，這個方法的效果會降低。而且當談及運營性能，真正要做的實際上是優(yōu)化混合租戶與混合工作負載環(huán)境的QoS和運行時。例如，Pepperdata能生成實時運行視圖，展示集群里正在發(fā)生什么，然后可以動態(tài)的控制和分配集群資源。這樣可以保證優(yōu)先級應用程序滿足服務器級別協(xié)議，同時最小化集群基礎設施的規(guī)模。

在更高的級別，大數(shù)據(jù)需要有自己專屬的應用程序性能管理程序。例子之一是Concurrent的Driven，可以跟蹤和回溯應用程序執(zhí)行軌跡，還可以直接監(jiān)控業(yè)務流程和應用程序級的工作流，應用程序之間的內(nèi)部依賴、運行時和失敗。這樣有助于識別代碼瓶頸，規(guī)劃和修復工作流執(zhí)行窗口，并協(xié)助數(shù)據(jù)管理。

隨著橫向擴展架構在數(shù)據(jù)中心內(nèi)落地，集群管理工具的價值將增長——降低資源共享所需的資本支出，同時保障承諾性能和其他大數(shù)據(jù)處理業(yè)務的QoS。在某些情況下，IT沒有這些集群專用工具協(xié)助，是可能無法有效處理這些大數(shù)據(jù)集群的。

總的來說，我們認為大型集群管理這十年成熟的非?？?，它借鑒了虛擬化管理來解決高優(yōu)先級的生產(chǎn)工作負載。通過學習這些虛擬化和云計算前輩，甚至可以取代他們，產(chǎn)生一個更為完整的集群數(shù)據(jù)中心愿景。