一、前生今世

Prometheus 是完全開源的系統(tǒng)監(jiān)控和告警工具包，它受 Google 內(nèi)部的 BorgMon 監(jiān)控系統(tǒng)啟發(fā)，由前Google 工程師從 2012 年開始在 SoundCloud 以開源軟件的形式進(jìn)行研發(fā)，自此以后，許多公司和組織都采用了Prometheus 作為監(jiān)控告警工具。Prometheus 的開發(fā)者和用戶社區(qū)非?；钴S，它現(xiàn)在是一個(gè)獨(dú)立的開源項(xiàng)目，可以獨(dú)立于任何公司進(jìn)行維護(hù)。

自2012年推出以來，許多公司和組織都采用了Prometheus，該項(xiàng)目擁有非常活躍的開發(fā)者和用戶社區(qū)。它現(xiàn)在是一個(gè)獨(dú)立的開源項(xiàng)目，獨(dú)立于任何公司進(jìn)行維護(hù)。為了強(qiáng)調(diào)這一點(diǎn)，并明確項(xiàng)目的治理結(jié)構(gòu)，Prometheus 于 2016 年加入 云原生計(jì)算基金會(huì)，成為繼Kubernetes之后的第二個(gè)托管項(xiàng)目。

Prometheus的主要特點(diǎn)是：

• 多維數(shù)據(jù)模型，其中時(shí)間序列數(shù)據(jù)由指標(biāo)名稱和鍵/值對(duì)標(biāo)識(shí)。
• PromQL，一種 利用此維度的靈活查詢語言。
• 不依賴分布式存儲(chǔ)；單個(gè)服務(wù)器節(jié)點(diǎn)是自治的。
• 時(shí)間序列收集通過 HTTP 上的拉模型進(jìn)行。
• 通過中間網(wǎng)關(guān)支持推送時(shí)間序列。
• 通過服務(wù)發(fā)現(xiàn)或靜態(tài)配置發(fā)現(xiàn)目標(biāo)。
• 多種圖形和儀表板支持模式。

二、架構(gòu)圖

下圖說明了 Prometheus 的架構(gòu)及其一些生態(tài)系統(tǒng)組件：

三、安裝

開啟內(nèi)核路由轉(zhuǎn)發(fā)。

echo -e "net.ipv4.ip_forward = 1\nnet.ipv4.conf.default.rp_filter = 0 \nnet.ipv4.conf.all.rp_filter = 0" >> /etc/sysctl.conf  sysctl -p

創(chuàng)建配置文件。

vim prometheus.yml

# my global config
global:
  scrape_interval:     15s # 采集被監(jiān)控段指標(biāo)的一個(gè)周期
  evaluation_interval: 15s # 告警評(píng)估的一個(gè)周期

# 告警的配置文件
alerting:
  alertmanagers:
  - static_configs:
    - targets:
      # - alertmanager:9093

# 告警規(guī)則配置
rule_files:
  # - "first_rules.yml"
# 被監(jiān)控端的配置,目前只有一個(gè)節(jié)點(diǎn)，就是prometheus本身
scrape_configs:
  - job_name: 'prometheus'
    static_configs:
    - targets: ['localhost:9090']

啟動(dòng)鏡像，將主配置文件掛載到容器內(nèi)。

docker run -d  -p 9090:9090 \
--name prometheus  \
--restart on-failure  \
-v /data/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml \
prom/prometheus

執(zhí)行后需要下載鏡像文件，需要等待一會(huì)。

完全啟動(dòng)后可以，訪問Prometheus自帶的UI：http://xx.xx.xx.xx:9090/。

自帶的WEB UI比較簡(jiǎn)單，后面會(huì)說到功能比較全面dashboard grafana。

四、使用

cAdvisor 是 Google 開源的容器監(jiān)控工具，它可以收集容器的資源使用情況、網(wǎng)絡(luò)流量、文件系統(tǒng)使用情況等指標(biāo)數(shù)據(jù)。cAdvisor 可以部署在 Kubernetes 集群中的每個(gè)節(jié)點(diǎn)上，以收集集群中所有容器的監(jiān)控?cái)?shù)據(jù)。

cAdvisor 部署的目的如下：

• 監(jiān)控容器的運(yùn)行狀態(tài)：cAdvisor 可以收集容器的資源使用情況、網(wǎng)絡(luò)流量、文件系統(tǒng)使用情況等指標(biāo)數(shù)據(jù)，這些數(shù)據(jù)可以幫助我們了解容器的運(yùn)行狀態(tài)，并及時(shí)發(fā)現(xiàn)異常情況。
• 分析容器的性能瓶頸：通過分析 cAdvisor 收集的監(jiān)控?cái)?shù)據(jù)，我們可以分析容器的性能瓶頸，并采取措施進(jìn)行優(yōu)化。
• 提高容器的資源利用率：通過監(jiān)控容器的資源使用情況，我們可以合理分配資源，提高容器的資源利用率。

cAdvisor 是 Kubernetes 集群中必不可少的監(jiān)控工具，它可以幫助我們更好地了解和管理容器。

cAdvisor 的優(yōu)勢(shì)

• 開源：cAdvisor 是完全開源的，可以免費(fèi)使用。
• 輕量級(jí)：cAdvisor 是一個(gè)輕量級(jí)的應(yīng)用程序，不會(huì)給集群帶來太大的負(fù)載。
• 易用：cAdvisor 的配置和使用都非常簡(jiǎn)單。

cAdvisor 的缺點(diǎn)

• 數(shù)據(jù)存儲(chǔ)能力有限：cAdvisor 默認(rèn)會(huì)將監(jiān)控?cái)?shù)據(jù)存儲(chǔ)在內(nèi)存中，如果數(shù)據(jù)量較大，可能會(huì)導(dǎo)致內(nèi)存溢出。
• 可視化能力有限：cAdvisor 本身沒有提供可視化工具，需要使用第三方工具來可視化監(jiān)控?cái)?shù)據(jù)。

cAdvisor 的部署

• 使用 Helm 部署：Helm 是一個(gè) Kubernetes 包管理工具，可以使用 Helm 來部署 cAdvisor。
• 使用 Docker 部署：cAdvisor 可以作為 Docker 容器運(yùn)行，可以使用 Docker 來部署 cAdvisor。
• 手動(dòng)部署：可以下載 cAdvisor 的二進(jìn)制文件，并手動(dòng)部署到 Kubernetes 集群中。

下面介紹docker部署cAdvisor:

docker run -d   \
--volume=/:/rootfs:ro \
--volume=/var/run:/var/run:ro  \
--volume=/sys:/sys:ro  \
--volume=/var/lib/docker/:/var/lib/docker:ro  \
--volume=/dev/disk/:/dev/disk:ro \
--publish=8080:8080 \
--detach=true \
--name=cadvisor \
google/cadvisor:latest

訪問該地址，就能看到實(shí)時(shí)采集到的數(shù)據(jù)：http://xx.xx.xx.xx:8080/containers/。

http://xx.xx.xx.xx:8080/metrics/ 就是cAdvisor提供的數(shù)據(jù)接口。

然后修改prometheus.yml。

vim /data/prometheus/prometheus.yml

修改prometheus的配置文件，復(fù)制一個(gè)job文件，job_name 指名稱，targets為cAdvisor服務(wù)器地址ip和端口。

# global config
global:
  scrape_interval:     15s # 采集被監(jiān)控段指標(biāo)的一個(gè)周期
  evaluation_interval: 15s # 告警評(píng)估的一個(gè)周期

# 告警的配置文件
alerting:
  alertmanagers:
  - static_configs:
    - targets:

# 告警規(guī)則配置
rule_files:
  # - "first_rules.yml"
# 被監(jiān)控端的配置,目前只有一個(gè)節(jié)點(diǎn)，就是prometheus本身
scrape_configs:
  - job_name: 'prometheus'
    static_configs:
    - targets: ['localhost:9090']
  - job_name: 'prometheus docker'
    static_configs:
    - targets: ['10.9.2.50:8080']

修改完成重啟prometheus。

docker restart prometheus

http://xx.xx.xx.xx:9090/targets 可以看到監(jiān)控指標(biāo)說明獲取數(shù)據(jù)成功。

五、監(jiān)控界面

Grafana 是一個(gè)開源的監(jiān)控和可視化工具，它可以連接到各種數(shù)據(jù)源，并以圖表、儀表盤和報(bào)表的形式展示數(shù)據(jù)。Grafana 可以用于監(jiān)控任何類型的系統(tǒng)，包括 Kubernetes 集群、Web 應(yīng)用程序、IoT 設(shè)備等。

Grafana 的功能

• 連接到各種數(shù)據(jù)源：Grafana 支持連接到各種數(shù)據(jù)源，包括 Prometheus、InfluxDB、Elasticsearch、MySQL、PostgreSQL 等。
• 以圖表、儀表盤和報(bào)表的形式展示數(shù)據(jù)：Grafana 提供了豐富的圖表類型，可以滿足不同的數(shù)據(jù)展示需求。
• 支持自定義儀表盤：Grafana 允許用戶自定義儀表盤，以滿足特定的監(jiān)控需求。
• 支持報(bào)警：Grafana 可以將報(bào)警通知發(fā)送到 Slack、郵件等方式。

Grafana 的優(yōu)勢(shì)

• 開源：Grafana 是完全開源的，可以免費(fèi)使用。
• 靈活：Grafana 可以連接到各種數(shù)據(jù)源，并以各種方式展示數(shù)據(jù)。
• 易用：Grafana 的配置和使用都非常簡(jiǎn)單。

Grafana 的缺點(diǎn)

• 數(shù)據(jù)存儲(chǔ)能力有限：Grafana 本身沒有提供數(shù)據(jù)存儲(chǔ)功能，需要使用第三方工具來存儲(chǔ)數(shù)據(jù)。
• 可視化能力有限：Grafana 提供的圖表類型有限，可能無法滿足復(fù)雜的監(jiān)控需求。

Grafana 的部署

• 使用 Docker 部署：Grafana 可以作為 Docker 容器運(yùn)行，可以使用 Docker 來部署 Grafana。
• 手動(dòng)部署：可以下載 Grafana 的二進(jìn)制文件，并手動(dòng)部署到服務(wù)器上。

下面是docker方式部署grafana。

docker  run -d --name=grafana  -p 3000:3000  grafana/grafana

執(zhí)行后，下載鏡像并啟動(dòng)。http://xx.xx.xx.xx:3000，默認(rèn)用戶名/密碼：admin/admin。

選擇 "Add your first data source"。

進(jìn)入后選擇Prometheus。

填寫相關(guān)信息。

添加Prometheus模板。

輸入id號(hào)，193。

下拉，選擇Prometheus，然后Import。

成功展示來由Prometheus數(shù)據(jù)。