多個(gè) Elasticsearch 集群要一起監(jiān)控,怎么辦?
最近有個(gè)球友拋出了一個(gè)挺常見(jiàn)但又讓人頭疼的問(wèn)題:“多個(gè) Elasticsearch 集群要一起監(jiān)控,怎么辦?有什么方案可以解決嗎?”

這問(wèn)題在實(shí)際工作中確實(shí)不少見(jiàn),尤其是當(dāng)你的業(yè)務(wù)規(guī)模變大,集群數(shù)量增多,分散的管理和監(jiān)控就成了運(yùn)維的噩夢(mèng)。
今天咱們就來(lái)聊聊這個(gè)問(wèn)題,從分析到方案探討,再到實(shí)操敲定,最后總結(jié)一下,徹底把這個(gè)問(wèn)題解決。
一、問(wèn)題分析:多個(gè)集群監(jiān)控的痛點(diǎn)在哪里?
先說(shuō)說(shuō)為啥多個(gè) Elasticsearch 集群一起監(jiān)控會(huì)讓人抓狂。
假設(shè)你公司有三五個(gè) Elasticsearch 集群,有的跑日志分析,有的處理搜索服務(wù),還有的可能是測(cè)試環(huán)境。每個(gè)集群都有自己的節(jié)點(diǎn)、索引、健康狀態(tài),單獨(dú)看還好,但要是想把它們捏一塊兒管起來(lái),問(wèn)題就來(lái)了:
1.分散管理,效率低下
每個(gè)集群都要單獨(dú)登錄查看,Kibana 或者其他工具得挨個(gè)兒打開(kāi),忙起來(lái)容易漏看。
前提認(rèn)知:kibana 只支持 1 個(gè)Kibana 對(duì)應(yīng)一個(gè)相同版本的 Elasticsearch。
2.版本不一致,兼容性麻煩
Elasticsearch 版本可能五花八門(mén),比如有的用 6.x,有的升級(jí)到了 8.x,原生工具可能沒(méi)法統(tǒng)一支持。
3.監(jiān)控指標(biāo)不統(tǒng)一
集群健康、節(jié)點(diǎn)負(fù)載、索引狀態(tài)這些關(guān)鍵指標(biāo),想?yún)R總到一個(gè)界面看,沒(méi)個(gè)趁手的工具還真不行。
4.告警和響應(yīng)慢
要是某個(gè)集群掛了或者性能瓶頸,你得挨個(gè)檢查才能發(fā)現(xiàn),反應(yīng)慢半拍,業(yè)務(wù)可能已經(jīng)受影響了。
總結(jié)一下,核心痛點(diǎn)就是:分散、兼容性差、缺乏統(tǒng)一視圖和實(shí)時(shí)性。
咱們得找個(gè)方案,既能把這些集群管起來(lái),又得簡(jiǎn)單好用,不給運(yùn)維增加負(fù)擔(dān)。
二、方案探討:有哪些選擇?
面對(duì)這個(gè)問(wèn)題,市面上其實(shí)有不少工具和方法可以試試,咱們挨個(gè)兒分析下優(yōu)缺點(diǎn),看看哪個(gè)最適合。
1. 原生 Kibana 監(jiān)控
Elasticsearch 自帶的 Kibana 是個(gè)可視化利器,能監(jiān)控集群健康、節(jié)點(diǎn)狀態(tài),還能做數(shù)據(jù)分析。
- 優(yōu)點(diǎn):跟 Elasticsearch 原生集成,配置簡(jiǎn)單,功能強(qiáng)大,尤其是數(shù)據(jù)可視化做得好。
- 缺點(diǎn):Kibana主要是為單個(gè)集群設(shè)計(jì)的,多集群管理需要額外配置跨集群搜索(Cross-Cluster Search),而且對(duì)不同版本的兼容性支持有限。部署起來(lái)也偏重,動(dòng)輒幾百 MB,資源占用不小。
2. 自己寫(xiě)腳本 + 監(jiān)控平臺(tái)
比如用 Python 腳本拉取每個(gè)集群的 API 數(shù)據(jù),再丟到像 Prometheus + Grafana 這樣的監(jiān)控平臺(tái)上。
- 優(yōu)點(diǎn):高度定制化,想看啥指標(biāo)自己定,靈活性拉滿(mǎn)。
- 缺點(diǎn):開(kāi)發(fā)和維護(hù)成本高,得自己寫(xiě)代碼、搭平臺(tái),還得處理版本兼容、數(shù)據(jù)采集的穩(wěn)定性,運(yùn)維小團(tuán)隊(duì)玩不轉(zhuǎn)。
3. 第三方商業(yè)工具
像 Elastic Cloud、Datadog 這些商業(yè)方案,提供了多集群監(jiān)控的功能,還有告警、分析等高級(jí)特性。
- 優(yōu)點(diǎn):功能齊全,開(kāi)箱即用,還有客服支持。
- 缺點(diǎn):收費(fèi)不便宜,數(shù)據(jù)得上傳到他們的云端,安全性可能是個(gè)隱患,而且定制化程度受限。實(shí)話(huà)說(shuō):咱們中小型企業(yè)沒(méi)有這個(gè)財(cái)力!
4. INFINI Console
這是 INFINI Labs 推出的一款輕量級(jí)多集群管理工具,專(zhuān)為 Elasticsearch 設(shè)計(jì),支持多版本、多集群統(tǒng)一監(jiān)控。

- 優(yōu)點(diǎn):輕量(安裝包才 17 MB),支持 Elasticsearch 所有版本(1.x 到 8.x),還能管 OpenSearch 和 Easysearch。提供統(tǒng)一視圖、告警、數(shù)據(jù)遷移等功能,開(kāi)源免費(fèi),部署簡(jiǎn)單。
- 缺點(diǎn):社區(qū)相對(duì)較新,文檔和案例還在完善中,可能需要一丟丟摸索時(shí)間。
對(duì)比下來(lái),Kibana 適合單集群深度分析,自寫(xiě)腳本太費(fèi)勁,商業(yè)工具成本高,而 INFINI Console 在輕量、兼容性和多集群管理上挺亮眼,感覺(jué)是個(gè)潛力股。
三、方案敲定與實(shí)操:用 INFINI Console 搞定
綜合考慮,咱們最終選了 INFINI Console。為啥?它輕量、免費(fèi)、支持多版本,還能一站式解決監(jiān)控問(wèn)題,特別適合中小團(tuán)隊(duì)或者多集群場(chǎng)景。
下面咱們來(lái)實(shí)操一把,看看怎么用它把多個(gè) Elasticsearch 集群管起來(lái)。
1. 安裝 INFINI Console
INFINI Console 用 Golang 寫(xiě)的,部署超簡(jiǎn)單,不依賴(lài)外部環(huán)境。
探索 INFINI Console:提升 Elasticsearch 管理效率的新利器
幾分鐘搞定,夠輕快吧?
2. 注冊(cè)集群
裝好后,第一步是把你的 Elasticsearch 集群加進(jìn)來(lái)。
- 登錄界面后,點(diǎn)“集群注冊(cè)”(Cluster Register)。
圖片
- 填入信添加的集群信息:集群地址(比如
192.168.1.100:9200)、用戶(hù)名密碼(如果有認(rèn)證)。先測(cè)試一下連接,測(cè)試沒(méi)有問(wèn)題,可以點(diǎn)擊下一步。
圖片
- 點(diǎn)擊保存,重復(fù)操作,把所有集群都加進(jìn)去。
圖片
圖片
我試了下,加了2個(gè)集群,一個(gè)8.15的日志集群,一個(gè) 8.17 的搜索集群,全都能識(shí)別。
圖片
圖片
圖片
圖片
3. 查看統(tǒng)一監(jiān)控
注冊(cè)完,儀表盤(pán)(Dashboard)就派上用場(chǎng)了。
- 概覽:頂部能看到所有集群的實(shí)時(shí)告警數(shù)、健康狀態(tài)(綠色健康,黃色警告,紅色危險(xiǎn))。
圖片
- 集群列表:點(diǎn)進(jìn)“集群管理”(Cluster Management),可以看到每個(gè)集群的節(jié)點(diǎn)數(shù)、索引數(shù)、JVM 使用率等,還能按版本、健康狀態(tài)篩選。
圖片
圖片
- 圖表監(jiān)控:有健康狀態(tài)趨勢(shì)圖、引擎分布(比如 Elasticsearch 占多少比例),直觀又實(shí)用。
圖片
圖片
圖片
4. 設(shè)置告警
光看不行,還得有告警。
- 點(diǎn)“告警管理”(Alert Management),新建規(guī)則。
- 比如設(shè)置“當(dāng)某個(gè)集群健康狀態(tài)變黃色時(shí),發(fā)送通知”。
- 支持多種通知方式:郵件、釘釘、微信,我選了郵件,填了 SMTP 配置,測(cè)試一下,2 秒收到報(bào)警郵件。
這功能挺貼心,能讓我第一時(shí)間知道哪個(gè)集群出問(wèn)題。
5. 數(shù)據(jù)探索
如果想深挖數(shù)據(jù),點(diǎn)“開(kāi)發(fā)工具”(Data Explorer),可以查索引里的文檔,類(lèi)似 Kibana 的 Discover,但支持多集群切換,省得我來(lái)回登系統(tǒng)。
圖片
圖片
實(shí)操下來(lái),INFINI Console 的確把多個(gè)集群的監(jiān)控捏合到了一起,界面簡(jiǎn)潔,反應(yīng)快,關(guān)鍵是沒(méi)讓我改集群配置,零侵入性很友好。
四、小結(jié):INFINI Console 的價(jià)值
折騰了一圈,INFINI Console 確實(shí)解決了球友的問(wèn)題??偨Y(jié)下它的亮點(diǎn):
- 統(tǒng)一管理:多個(gè)集群一個(gè)界面看全,不用到處跑。
- 兼容性強(qiáng):不管你用的是 Elasticsearch 哪個(gè)版本,甚至 OpenSearch,Easysearch 都能管。
- 輕量易用:17 MB 的安裝包,幾分鐘部署好,運(yùn)維小白也能上手。
圖片
- 功能實(shí)用:監(jiān)控、告警、數(shù)據(jù)探索,一個(gè)不少,還開(kāi)源免費(fèi)。
當(dāng)然,它也不是完美無(wú)缺,社區(qū)還在發(fā)展,可能有些高級(jí)功能(比如復(fù)雜報(bào)表)還得再等等。但就目前來(lái)看,對(duì)付多集群監(jiān)控這事兒,它已經(jīng)夠用了。
在線(xiàn) Demo 預(yù)覽地址:https://demo.infini.cloud/#/



































