# 1.1 檢查Prometheus原始數(shù)據(jù)（排除規(guī)則誤判）
kubectl -n monitoring port-forward svc/prometheus-k8s 9090:9090 &
curl -sG "http://localhost:9090/api/v1/query" \
  --data-urlencode 'query=mysql_global_status_cpu_utilization{component="mysql"}' \
  | jq '.data.result[] | "\(.metric.pod): \(.value[1])%"'

# 輸出示例：
# "mysql-0: 95%"
# "mysql-1: 92%"
# "mysql-2: 34%"

# 1.2 對比KubeBlocks原生監(jiān)控（KubeBlocks Dashboard）
kubectl port-forward svc/kubeblocks-dashboard 8080:80 -n kubeblocks-system
# 瀏覽器訪問 http://localhost:8080 → 查看MySQL CPU使用率（顯示32%）

# 1.3 直接登錄數(shù)據(jù)庫Pod驗(yàn)證（KubeBlocks管理Pod）
kubectl exec -it mysql-0 -n kubeblocks-system -- bash
top -n 1 | grep "%Cpu(s)"
# 輸出：%Cpu(s): 15.3 us, 5.2 sy → 總CPU約20%

# 檢查關(guān)聯(lián)的ServiceMonitor（KubeBlocks默認(rèn)配置）
kubectl get servicemonitor -n kubeblocks-system kubeblocks-mysql -o yaml

# 關(guān)鍵參數(shù)：
endpoints:
- port: metrics
  interval: 15s
  path: /metrics
  relabelings:
  - sourceLabels: [__meta_kubernetes_pod_label_app_kubernetes_io_instance]
    targetLabel: instance

# 直接訪問Exporter端點(diǎn)（KubeBlocks自動部署）
kubectl -n kubeblocks-system port-forward pod/mysql-0 9104:9104 &
curl -s http://localhost:9104/metrics | grep 'mysql_global_status_cpu_utilization'

# 輸出異常值：
mysql_global_status_cpu_utilization 95

# 對比Exporter計算邏輯（KubeBlocks MySQL Exporter版本）
kubectl exec -it mysql-exporter -n kubeblocks-system -- sh
cat /etc/mysql-exporter/queries.yaml | grep cpu_utilization
# 發(fā)現(xiàn)公式錯誤：誤將系統(tǒng)CPU計入用戶CPU

# 檢查Exporter鏡像版本
kubectl get pod mysql-0 -n kubeblocks-system -o jsonpath='{.spec.containers[?(@.name=="exporter")].image}'
# 輸出：kubeblocks/mysql-exporter:v0.23.1（已知此版本存在CPU計算Bug）

@DBA團(tuán)隊(duì) @運(yùn)維團(tuán)隊(duì) @開發(fā)團(tuán)隊(duì)  
【告警處理進(jìn)展 - 02:15】  
**當(dāng)前狀態(tài)**：  
- 確認(rèn)數(shù)據(jù)庫實(shí)際CPU使用率約20%（KubeBlocks Dashboard與Pod內(nèi)驗(yàn)證）  
- Prometheus數(shù)據(jù)異常原因：KubeBlocks MySQL Exporter v0.23.1版本公式錯誤  
- 業(yè)務(wù)延遲疑似緩存失效導(dǎo)致大量DB查詢  

**分工協(xié)作**：  
- [運(yùn)維團(tuán)隊(duì)] 請立即執(zhí)行：  
  1. 升級MySQL Exporter至v0.24.0（修復(fù)版本）  
     ```bash
     kubectl -n kubeblocks-system patch clusterdefinition mysql \
       --type=merge -p '{"spec":{"componentSpecs":[{"name":"mysql","exporterSpec":{"image":"kubeblocks/mysql-exporter:v0.24.0"}}]}}'
     ```  
  2. 重啟Exporter Pod  
     ```bash
     kubectl rollout restart sts/mysql -n kubeblocks-system
     ```  
- [開發(fā)團(tuán)隊(duì)] 請排查：  
  1. 訂單服務(wù)緩存命中率（檢查Redis `keyspace_misses`）  
  2. 確認(rèn)最近是否更新本地緩存配置（如Caffeine配置）  
- [DBA團(tuán)隊(duì)] 請協(xié)助：  
  1. 分析慢查詢?nèi)罩荆?2:00-02:15時段）  
     ```sql
     SELECT * FROM sys.schema_table_statistics WHERE avg_timer_wait > 1000000000;
     ```  

**下一步會議**：02:30 語音會議（鏈接：xxx）

# 檢查新版本Exporter指標(biāo)
kubectl -n kubeblocks-system port-forward pod/mysql-0 9104:9104 &
curl -s http://localhost:9104/metrics | grep 'mysql_global_status_cpu_utilization'
# 輸出正常值：32

# 更新Prometheus采集規(guī)則
kubectl -n monitoring apply -f updated-service-monitor.yaml

# 發(fā)現(xiàn)Redis集群分區(qū)
kubectl exec -it redis-cluster-0 -n cache -- redis-cli cluster nodes | grep fail
# 輸出：node-xyz... fail

# 觸發(fā)自動修復(fù)（KubeBlocks Redis集群管理）
kubectl -n kubeblocks-system patch rediscluster redis-prod --type=merge \
  -p '{"spec":{"clusterReplicas": 5}}'

# 集群定義中增加版本約束
apiVersion: apps.kubeblocks.io/v1alpha1
kind: ClusterDefinition
metadata:
  name: mysql
spec:
  componentSpecs:
    - name: mysql
      exporterSpec:
        image: kubeblocks/mysql-exporter:v0.24.0
        autoUpdate: true  # 啟用自動升級

# 定時對比Prometheus與KubeBlocks數(shù)據(jù)
kubectl -n monitoring create cronjob monitor-consistency-check \
  --image=curlimages/curl \
  --schedule="*/5 * * * *" \
  -- curl -X POST http://alertmanager:9093/api/v2/alerts \
     -d '[{
       "labels": {
         "alertname": "MetricMismatch",
         "severity": "warning"
       },
       "annotations": {
         "description": "Prometheus與KubeBlocks CPU指標(biāo)差異超過20%"
       },
       "expr": "abs(mysql_global_status_cpu_utilization - kubeblocks_mysql_cpu_usage) > 20"
     }]'

# 查看集群健康狀態(tài)
kubectl kb cluster list -n kubeblocks-system

# 獲取數(shù)據(jù)庫診斷報告（自動收集日志+指標(biāo)）
kubectl kb diagnose cluster mysql-prod -n kubeblocks-system --output=report.zip

# 檢查組件版本
kubectl kb version

@KubeBlocks運(yùn)維組  
【KubeBlocks集群狀態(tài) - 異常時段】  
- **Cluster**：mysql-prod  
- **組件健康**：  
  ```bash
  kubectl kb get ops -n kubeblocks-system --cluster=mysql-prod

kubectl kb describe cluster mysql-prod -n kubeblocks-system | grep -A 20 Events