介紹

Keep 是一個(gè)開源的 AI 驅(qū)動(dòng)的監(jiān)控和告警平臺，旨在通過自動(dòng)化和智能化手段簡化運(yùn)維工作，幫助團(tuán)隊(duì)更高效地管理和監(jiān)控復(fù)雜的基礎(chǔ)設(shè)施和應(yīng)用。它結(jié)合了傳統(tǒng)的監(jiān)控工具和現(xiàn)代的人工智能技術(shù)，實(shí)現(xiàn)了 AIOps（人工智能運(yùn)維） 的核心功能，如異常檢測、根因分析、告警降噪和自動(dòng)化修復(fù)。

Keep 的核心目標(biāo)是通過 AI 技術(shù)減少運(yùn)維團(tuán)隊(duì)的負(fù)擔(dān)，提高系統(tǒng)的可靠性和可維護(hù)性，同時(shí)降低誤報(bào)和漏報(bào)的風(fēng)險(xiǎn)。并且支持DeepSeek模型。

架構(gòu)

Keep 的架構(gòu)設(shè)計(jì)圍繞 AI 驅(qū)動(dòng)的監(jiān)控和告警 展開，主要分為以下幾個(gè)核心模塊：

(1) 數(shù)據(jù)收集層（Data Collection Layer）：

• 支持從多種監(jiān)控工具和日志系統(tǒng)中收集數(shù)據(jù)，如 Prometheus、Grafana、Datadog、AWS CloudWatch、Elasticsearch 等。
• 提供靈活的插件機(jī)制，方便集成新的數(shù)據(jù)源。

(2) 數(shù)據(jù)處理與存儲層（Data Processing & Storage Layer）：

• 對收集到的數(shù)據(jù)進(jìn)行清洗、標(biāo)準(zhǔn)化和聚合。
• 支持多種存儲后端，如 Elasticsearch、InfluxDB、PostgreSQL 等，用于存儲歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)。

(3) AI 引擎（AI Engine）：

• 異常檢測：使用機(jī)器學(xué)習(xí)算法（如時(shí)間序列分析、聚類、深度學(xué)習(xí)等）自動(dòng)檢測數(shù)據(jù)中的異常行為。
• 根因分析：通過因果推斷和關(guān)聯(lián)分析，快速定位問題的根本原因。
• 告警降噪：利用 AI 技術(shù)對告警進(jìn)行分類和優(yōu)先級排序，減少誤報(bào)和重復(fù)告警。
• 預(yù)測性分析：基于歷史數(shù)據(jù)預(yù)測未來的系統(tǒng)行為，提前發(fā)現(xiàn)潛在問題。

(4) 告警與通知層（Alerting & Notification Layer）：

• 根據(jù) AI 引擎的分析結(jié)果生成告警。
• 支持多種通知渠道，如 Slack、Email、PagerDuty、Webhook 等。

(5) 自動(dòng)化操作層（Automation Layer）：

• 提供自動(dòng)化腳本和操作框架，支持對檢測到的問題進(jìn)行自動(dòng)修復(fù)。
• 例如，自動(dòng)重啟服務(wù)、擴(kuò)容資源、清理日志等。

(6) 可視化與用戶界面（UI & Dashboard）：

• 提供直觀的儀表盤和圖表，展示監(jiān)控?cái)?shù)據(jù)和 AI 分析結(jié)果。
• 支持自定義儀表盤和報(bào)表，方便用戶根據(jù)需求調(diào)整視圖。

(7) API 接口（API Gateway）：

• 提供 RESTful API，方便與其他系統(tǒng)集成。
• 支持自動(dòng)化腳本和第三方工具調(diào)用。

主要應(yīng)用場景

(1) 異常檢測：

• 使用時(shí)間序列分析算法（如 ARIMA、Prophet）或深度學(xué)習(xí)模型（如 LSTM）檢測指標(biāo)中的異常行為。
• 例如，檢測 CPU 使用率突然飆升、請求延遲異常增加等。

(2) 根因分析：

• 通過因果推斷和關(guān)聯(lián)分析，快速定位問題的根本原因。
• 例如，當(dāng)數(shù)據(jù)庫響應(yīng)時(shí)間增加時(shí)，自動(dòng)分析是否與網(wǎng)絡(luò)延遲、磁盤 I/O 或查詢負(fù)載有關(guān)。

(3) 告警降噪：

• 使用分類算法（如隨機(jī)森林、SVM）對告警進(jìn)行分類，過濾掉低優(yōu)先級的告警。
• 例如，將重復(fù)告警或已知問題標(biāo)記為“已處理”，減少對運(yùn)維團(tuán)隊(duì)的干擾。

(4) 預(yù)測性分析：

• 基于歷史數(shù)據(jù)預(yù)測未來的系統(tǒng)行為，提前發(fā)現(xiàn)潛在問題。
• 例如，預(yù)測磁盤空間將在未來 24 小時(shí)內(nèi)耗盡，并提前發(fā)出告警。

(5) 自動(dòng)化修復(fù)：

• 使用規(guī)則引擎和腳本框架，對檢測到的問題進(jìn)行自動(dòng)修復(fù)。
• 例如，當(dāng)檢測到服務(wù)不可用時(shí)，自動(dòng)重啟服務(wù)或切換到備用節(jié)點(diǎn)。

Keep 通過以下方式實(shí)現(xiàn) AIOps 的核心能力

(1) 數(shù)據(jù)驅(qū)動(dòng)：

收集和分析大量的監(jiān)控?cái)?shù)據(jù)、日志和指標(biāo)，為 AI 模型提供訓(xùn)練和推理的基礎(chǔ)。

(2) 機(jī)器學(xué)習(xí)與深度學(xué)習(xí)：

使用機(jī)器學(xué)習(xí)算法和深度學(xué)習(xí)模型，自動(dòng)檢測異常、分析根因和預(yù)測未來行為。

(3) 自動(dòng)化與編排：

提供自動(dòng)化腳本和操作框架，支持對檢測到的問題進(jìn)行自動(dòng)修復(fù)。

(4) 智能告警管理：

通過 AI 技術(shù)對告警進(jìn)行分類、過濾和優(yōu)先級排序，減少誤報(bào)和重復(fù)告警。

(5) 持續(xù)優(yōu)化：

通過反饋機(jī)制不斷優(yōu)化 AI 模型，提高異常檢測和根因分析的準(zhǔn)確性。

總結(jié)

Keep 是一個(gè)強(qiáng)大的 AIOps 平臺，通過 AI 技術(shù)實(shí)現(xiàn)了異常檢測、根因分析、告警降噪和自動(dòng)化修復(fù)等功能。它適用于各種復(fù)雜的基礎(chǔ)設(shè)施和應(yīng)用場景，幫助運(yùn)維團(tuán)隊(duì)更高效地管理和監(jiān)控系統(tǒng)，提高系統(tǒng)的可靠性和可維護(hù)性。無論是電商平臺、金融系統(tǒng)還是物聯(lián)網(wǎng)設(shè)備，Keep 都能提供智能化的監(jiān)控解決方案，幫助用戶及時(shí)發(fā)現(xiàn)和解決問題，確保業(yè)務(wù)的穩(wěn)定運(yùn)行。

地址

項(xiàng)目地址：https://github.com/keephq/keep