1. 相關(guān)背景

待在工作崗位上，總得做點(diǎn)事，也想做點(diǎn)新鮮事。但并不是你想做就有機(jī)會(huì)去做，并能做好。

一個(gè)人做、還是能和大家一起做，最終的結(jié)果是不一樣的。這就涉及到時(shí)機(jī)，大家能否達(dá)成一致的動(dòng)機(jī)。

今年是降本增效的一年，很多公司在裁員、減配降本。因此，對(duì)整個(gè)線上服務(wù)的負(fù)載情況匯總，精細(xì)化的監(jiān)控?cái)?shù)據(jù)有所需求。

為了合規(guī)，海外服務(wù)的架構(gòu)分區(qū)，數(shù)據(jù)分散管理，以前很難想象可以集中數(shù)據(jù)。但是這種需求，現(xiàn)在有了解決辦法。

在內(nèi)部的一些系統(tǒng)中，目前的監(jiān)控系統(tǒng)無(wú)法程序化集成，無(wú)法通過(guò)規(guī)則拼接 URL 展示監(jiān)控相關(guān)的數(shù)據(jù)。

對(duì)于終端用戶來(lái)說(shuō)，監(jiān)控能夠與業(yè)務(wù)形態(tài)相匹配，可以快速地找到業(yè)務(wù)相關(guān)的監(jiān)控?cái)?shù)據(jù)，將給業(yè)務(wù)帶來(lái)極大方便。

無(wú)論從公司預(yù)期背景，還是自身規(guī)范化需求出發(fā)，這都是一個(gè)時(shí)機(jī)成熟、可以嘗試推動(dòng)的事情。

2. 海外服務(wù)的拓?fù)?/h4>

對(duì)于海外服務(wù)，我們需要根據(jù)業(yè)務(wù)發(fā)展戰(zhàn)略，選擇區(qū)域部署服務(wù)。比如，如果準(zhǔn)備在歐洲開(kāi)展業(yè)務(wù)，那么就需要選擇華為、AWS 等云廠在該地區(qū)提供的云服務(wù)作為基礎(chǔ)設(shè)施。對(duì)于面向全球的業(yè)務(wù)，需要在很多區(qū)域建設(shè)服務(wù)節(jié)點(diǎn)，包括新加坡、日本、印度、美西等。由于各地區(qū)的數(shù)據(jù)保護(hù)條例，不允許將當(dāng)?shù)氐臄?shù)據(jù)傳輸?shù)狡渌貐^(qū)，因此數(shù)據(jù)和服務(wù)只能本地化。

每個(gè)區(qū)域是一個(gè)獨(dú)立的對(duì)外提供服務(wù)的單元，具有獨(dú)立的數(shù)據(jù)存儲(chǔ)、K8s 集群、API 網(wǎng)關(guān)等。這種分區(qū)的服務(wù)拓?fù)?，?huì)給運(yùn)維帶來(lái)很大挑戰(zhàn)，需要在每個(gè)區(qū)逐一進(jìn)行變更。在 面向全球的鏡像分發(fā)網(wǎng)絡(luò)[1] 一文中，我描述了跨地區(qū)構(gòu)建的全球性運(yùn)維網(wǎng)絡(luò)。如下圖:

基于公網(wǎng)，通過(guò) StrongVPN、WireGuard 等軟件構(gòu)建企業(yè)內(nèi)網(wǎng)，可以實(shí)現(xiàn)在一個(gè)中心區(qū)域?qū)θ珔^(qū)的控制。這種控制包括，全區(qū)的應(yīng)用發(fā)布、流量控制、鏡像分發(fā)、監(jiān)控告警等。

在打通全區(qū)內(nèi)網(wǎng)之后，我們接著對(duì)監(jiān)控從三個(gè)方面進(jìn)行了調(diào)整，分別是基礎(chǔ)資源監(jiān)控，Kubernetes 監(jiān)控，業(yè)務(wù)數(shù)據(jù)監(jiān)控。其中，基礎(chǔ)資源和 Kubernetes 屬于短周期監(jiān)控?cái)?shù)據(jù)，而業(yè)務(wù)數(shù)據(jù)屬于長(zhǎng)周期監(jiān)控?cái)?shù)據(jù)。短周期監(jiān)控?cái)?shù)據(jù)，需要補(bǔ)齊足夠的標(biāo)簽方便業(yè)務(wù)人員過(guò)濾查詢，使用 Prometheus 監(jiān)控即可。而長(zhǎng)周期監(jiān)控?cái)?shù)據(jù)，采用的是 Thanos 方案，避免 Prometheus 查詢長(zhǎng)周期數(shù)據(jù)時(shí)導(dǎo)致云主機(jī)宕機(jī)。

3. 基礎(chǔ)監(jiān)控

在每個(gè)區(qū)域僅有一個(gè) Prometheus 拉取全部基礎(chǔ)資源的監(jiān)控?cái)?shù)據(jù)，這些基礎(chǔ)資源包括云主機(jī)、Redis、MySQL 等中間件。直接上 Prometheus 的配置:

cat /etc/prometheus/prometheus.yml

- job_name: "node_exporter"
    file_sd_configs:
      - refresh_interval: 1m
        files:
          - "/etc/prometheus/file_sd/node*.yml"

  - job_name: 'mongo_exporter'
    file_sd_configs:
      - refresh_interval: 1m
        files:
          - "/etc/prometheus/file_sd/mongo*.yml"

  - job_name: 'elasticsearch_exporter'
    file_sd_configs:
      - refresh_interval: 1m
        files:
          - "/etc/prometheus/file_sd/es*.yml"

通過(guò) file_sd_configs 指定 Prometheus 自動(dòng)發(fā)現(xiàn)服務(wù)的目錄，通過(guò) refresh_interval 指定 Prometheus 重新加載配置文件的周期，當(dāng)有新的服務(wù)需要添加監(jiān)控時(shí)，只需要修改所屬類型的資源列表即可。下面接著來(lái)看資源列表的定義:

cat /etc/prometheus/file_sd/node-prod.yml

- labels:
    region: "region-a"
    team_id: 123
    host_name: "a-b-c"
    host_ip: "0.0.0.0"
  targets:
  - 0.0.0.0:9100

如下圖，每個(gè)區(qū)一個(gè) Prometheus 拉取監(jiān)控?cái)?shù)據(jù)，在中心區(qū)域通過(guò) Thanos Query 匯總?cè)康谋O(jiān)控?cái)?shù)據(jù)，提供全區(qū)的監(jiān)控?cái)?shù)據(jù)查詢能力。

最終在 Grafana 上需要呈現(xiàn)兩個(gè)面板，一個(gè)是資源的匯總，一個(gè)是資源的詳情。如下圖是基礎(chǔ)資源匯總的面板:

通過(guò)匯總面板，我們能夠知道指定區(qū)域有多少資源、各個(gè)資源的負(fù)載情況。通過(guò) Thanos Query 匯總數(shù)據(jù)源，我們能夠知道全區(qū)的資源概況。

4. Kubernetes 監(jiān)控

對(duì)于 Kubernetes 監(jiān)控，我們采用的部署策略是，每個(gè)集群安裝一個(gè) Prometheus 僅存儲(chǔ) 3d 的數(shù)據(jù)，不進(jìn)行持久化。在每個(gè)區(qū)域部署一個(gè) Thanos Query 匯總?cè)?Kubernetes 的監(jiān)控?cái)?shù)據(jù)。下圖是相關(guān)拓?fù)洌?/p>

根據(jù)社區(qū)的 Prometheus Helm Chart 包，我們新增了 Thanos Sidecar 重新打包之后，推送到內(nèi)部 Habor 鏡像倉(cāng)庫(kù)。新增集群時(shí)，只需要進(jìn)行兩步操作：

• 安裝 Prometheus

export HELM_EXPERIMENTAL_OCI=1
helm chart pull harbor.chenshaowen.com/monitor/prometheus:15.0.1
helm chart export harbor.chenshaowen.com/monitor/prometheus:15.0.1
cd prometheus
kubectl create ns monitor
helm -n monitor install prom-k8s --set server.global.external_labels.cluster=cluster-1  --set server.global.external_labels.region=region-1 .

這里需要注意的是，通過(guò) external_labels.cluster 給每個(gè) Kubernetes 集群一個(gè)唯一的名字。

• 在 Thanos Query 中添加查詢 API可以參考前面的文檔 使用 Thanos 集中管理多 Prometheus 實(shí)例數(shù)據(jù)[2]。

在 Grafana 面板上，我們提供了兩個(gè)層級(jí)的視角: 分區(qū)和全區(qū)的數(shù)據(jù)源，匯總和詳情的面板。如下圖是其中的一個(gè)匯總面板:

5. 業(yè)務(wù)數(shù)據(jù)監(jiān)控

業(yè)務(wù)數(shù)據(jù)主要是業(yè)務(wù)自行上報(bào)、關(guān)注的數(shù)據(jù)，比如，用戶登錄、下單、支付等。這類數(shù)據(jù)異構(gòu)，無(wú)法統(tǒng)一進(jìn)行管理，我們提供統(tǒng)一的解決方案、Grafana

服務(wù)，由業(yè)務(wù)自行繪圖即可。

這里采用的是 Thanos 方案，參考: Thanos 進(jìn)階使用指南[3] 。

下面是部署拓?fù)鋱D:

下面是查詢長(zhǎng)周期數(shù)據(jù)：

6. 總結(jié)

本篇主要是介紹了最近在做的一些工作，針對(duì)海外多區(qū)場(chǎng)景，我們將監(jiān)控分為三層，基礎(chǔ)監(jiān)控、Kubernetes 監(jiān)控、業(yè)務(wù)監(jiān)控?cái)?shù)據(jù)。其中基礎(chǔ)監(jiān)控，包括云主機(jī)、Redis 中間件等，而 Kubernetes 主要是面向應(yīng)用，業(yè)務(wù)數(shù)據(jù)屬于業(yè)務(wù)關(guān)系的上報(bào)數(shù)據(jù)。

針對(duì)這三種層次的劃分，分別提供了三種部署的方案，滿足業(yè)務(wù)對(duì)監(jiān)控查詢的需求。

參考資料

[1]面向全球的鏡像分發(fā)網(wǎng)絡(luò):

https://www.chenshaowen.com/blog/a-global-images-distribution-network.html

[2]使用 Thanos 集中管理多 Prometheus 實(shí)例數(shù)據(jù): https://www.chenshaowen.com/blog/manage-multiple-prometheus-using-thanos.html

[3]Thanos 進(jìn)階使用指南: https://www.chenshaowen.com/blog/an-advanced-user-guide-about-thanos.html