LinkedIn是全球最大的職業(yè)社交網(wǎng)站，從2002年12月創(chuàng)立到2013年初，LinkedIn注冊(cè)用戶(hù)已到2億，平均每秒增加一個(gè)新用戶(hù)，86%的“財(cái)富100強(qiáng)企業(yè)”正在使用LinkedIn的付費(fèi)解決方案，270萬(wàn)個(gè)公司主頁(yè)在此安家落戶(hù)，用戶(hù)每年發(fā)起超過(guò)幾十億次搜索。為了應(yīng)對(duì)這些超大數(shù)據(jù)，LinkedIn使用Hadoop進(jìn)行產(chǎn)品開(kāi)發(fā)，并且為了更好地理解LinkedIn在所有用例中的Hadoop集群使用情況，他們創(chuàng)建了White Elephant。

以下為文章全文：

隨著Hadoop的發(fā)展，調(diào)度、容量規(guī)劃和計(jì)費(fèi)已成為其關(guān)鍵問(wèn)題，這些都是公開(kāi)的問(wèn)題。今天，我們高興地宣布我們開(kāi)源LinkedIn的解決方案：White Elephant。

在LinkedIn，我們使用Hadoop進(jìn)行產(chǎn)品開(kāi)發(fā)(如People You May Know和Endorsements那樣的預(yù)測(cè)分析應(yīng)用)，為了更好地理解我們?cè)谒杏美械腍adoop集群使用情況，我們創(chuàng)建了White Elephant。

雖然Ganglia這樣的工具提供了系統(tǒng)級(jí)指標(biāo)，但我們還是希望能夠了解每個(gè)用戶(hù)在任何時(shí)間所使用的資源。White Elephant解析Hadoop日志為Hadoop集群提供了逐層向下監(jiān)視以及任務(wù)統(tǒng)計(jì)匯總，包括總?cè)蝿?wù)時(shí)間、使用的時(shí)段、CPU時(shí)間和失敗的工作項(xiàng)。

White Elephant滿(mǎn)足了以下幾個(gè)需求：

調(diào)度：White Elephant具有在利用率較低的時(shí)段安排工作的能力，最大限度地提高集群效率。

容量規(guī)劃：可計(jì)劃未來(lái)的硬件需求，了解作業(yè)資源使用量的增長(zhǎng)。

計(jì)費(fèi)：Hadoop集群的容量有限，所以在多租戶(hù)環(huán)境中White Elephant可針對(duì)作業(yè)商業(yè)價(jià)值的大小來(lái)分配使用的資源。

在這篇文章中，我們將分享White Elephant的架構(gòu)，并展示了一些它提供的可視化效果。我們已在GitHub上公布代碼，你可以自己嘗試一下!

架構(gòu)

White Elephant架構(gòu)圖

這張圖里分別有A、B、C這三個(gè)Hadoop網(wǎng)格，White Elephant將計(jì)算統(tǒng)計(jì)如下：

上傳任務(wù)：任務(wù)定期運(yùn)行在Job Tracker上，并逐步拷貝新的日志文件到一個(gè)Hadoop網(wǎng)格進(jìn)行分析。

計(jì)算： MapReduce作業(yè)的順序通過(guò)Job Executor進(jìn)行協(xié)調(diào)，解析上傳的日志并計(jì)算匯總統(tǒng)計(jì)。

查看：一個(gè)查看器應(yīng)用逐步加載匯總統(tǒng)計(jì)數(shù)據(jù)，緩存到本地，并公開(kāi)一個(gè)Web界面，該做法可以細(xì)分Hadoop集群的統(tǒng)計(jì)數(shù)據(jù)。

例子

以下是我們實(shí)際使用的情況：我們?cè)谶^(guò)去幾個(gè)月里注意到集群使用情況的增加，但沒(méi)人對(duì)此負(fù)責(zé)。我們可以使用White Elephant來(lái)調(diào)查這個(gè)問(wèn)題。

下圖顯示了過(guò)去幾個(gè)月里一個(gè)示例數(shù)據(jù)集每周被使用的總時(shí)數(shù)，你會(huì)注意到，自1月中旬以來(lái)，每周的集群使用量基線從6000小時(shí)大約增加到了10000小時(shí)。

在上圖中，整個(gè)數(shù)據(jù)集都被挑選出來(lái)檢查，因此所有用戶(hù)的數(shù)據(jù)都被組合在一起，讓我們看看前20名用戶(hù)的堆疊圖。

現(xiàn)在我們可以看到前20名用戶(hù)的個(gè)人每周使用情況。剩下的46個(gè)用戶(hù)已經(jīng)被組合成一個(gè)單一的指標(biāo)。幾個(gè)用戶(hù)在可疑的集群使用組中脫穎而出，所以我們將進(jìn)行更深的挖掘。

我們可以將鼠標(biāo)懸停在圖例上來(lái)突出顯示這些用戶(hù)。

使用拖放操作，我們可以重新安排列表以便這些用戶(hù)出現(xiàn)在底部。

看起來(lái)像4個(gè)用戶(hù)已展示出顯著的使用率增加：用戶(hù)1和用戶(hù)2的使用量在1月中旬開(kāi)始增加，而用戶(hù)43和用戶(hù)65的使用量在12月左右開(kāi)始穩(wěn)步攀升。

如果我們不希望看到這些用戶(hù)的集群使用情況，我們可以在圖例中取消對(duì)他們的選中。

一旦我們排除了這些用戶(hù)，我們可以看到集群的使用情況在這段時(shí)間內(nèi)沒(méi)有明顯地改變，因此我們已經(jīng)確定了我們的罪魁禍?zhǔn)住?/p>

讓我們追溯這四個(gè)用戶(hù)，用戶(hù)可以選擇一個(gè)多選控制，一個(gè)過(guò)濾器使它很容易通過(guò)名字來(lái)搜索特定的用戶(hù)。

如何將這四個(gè)用戶(hù)與其他人相比呢?為方便起見(jiàn)，其余用戶(hù)被聚合在一起，包括：只選擇總指標(biāo)，并將其移動(dòng)到頂部。

通過(guò)White Elephant，我們已經(jīng)找到了問(wèn)題所在，這要?dú)w功于Hadoop使用情況中前所未有的可視性。我們甚至可以得到一個(gè)表，從CSV中列出被查詢(xún)的數(shù)據(jù)。

開(kāi)源

White Elephant是開(kāi)源的，并且可在Apache 2許可下自由使用。像往常一樣，我們歡迎貢獻(xiàn)!