大語(yǔ)言模型在各類 NLP 下游任務(wù)上都取得了顯著進(jìn)展，各種垂直領(lǐng)域大模型更是如雨后春筍般層出不窮。然而在 DevOps 領(lǐng)域，卻遲遲沒(méi)有相關(guān)大模型問(wèn)世。為填補(bǔ)這方面的空白，螞蟻集團(tuán)聯(lián)合北京大學(xué)發(fā)布了面向中文 DevOps 領(lǐng)域的首個(gè)開(kāi)源大語(yǔ)言模型，即 DevOps-Model 。

該大模型旨在幫助開(kāi)發(fā)人員在軟件開(kāi)發(fā)和運(yùn)維的整個(gè)生命周期中提高效率，最終目標(biāo)是實(shí)現(xiàn)在 DevOps 流程中面臨任何問(wèn)題時(shí)，都可以通過(guò)向 DevOps-Model 提問(wèn)來(lái)獲取解決方案！

當(dāng)前已經(jīng)開(kāi)源了 7B 和 14B 兩種規(guī)格的 Base 和 Chat 模型，同時(shí)還開(kāi)源了對(duì)應(yīng)的訓(xùn)練代碼。

此外，為了有效評(píng)估 DevOps 領(lǐng)域大模型的性能，我們同時(shí)發(fā)布了首個(gè)面向 DevOps 領(lǐng)域的大模型評(píng)測(cè)基準(zhǔn) DevOps-Eval。該評(píng)測(cè)基準(zhǔn)根據(jù) DevOps 全流程進(jìn)行劃分，包含計(jì)劃、編碼、構(gòu)建、測(cè)試、發(fā)布、部署、運(yùn)維和監(jiān)控這 8 個(gè)類別，包含 4850 道選擇題。

此外，DevOps-Eval 還特別對(duì)運(yùn)維 / 監(jiān)控類別做了細(xì)分，添加日志解析、時(shí)序異常檢測(cè)、時(shí)序分類和根因分析等常見(jiàn)的 AIOps 任務(wù)。由于 DevOps-Eval 根據(jù)場(chǎng)景對(duì)評(píng)測(cè)樣本做了詳盡的細(xì)分，因此除了 DevOps 領(lǐng)域大模型，也方便對(duì)特定領(lǐng)域大模型進(jìn)行評(píng)測(cè)，如 AIOps 領(lǐng)域等。

目前，第一期 DevOps 領(lǐng)域模型的評(píng)測(cè)榜單已發(fā)布，除 DevOps-Model 外，還包含 Qwen、Baichuan、Internlm 等開(kāi)源大語(yǔ)言模型；同時(shí)，DevOps-Model 和 DevOps-Eval 相關(guān)論文也在撰寫中。歡迎相關(guān)從業(yè)者一起來(lái)進(jìn)行共建、優(yōu)化 DevOps 領(lǐng)域大模型和評(píng)測(cè)題目，我們也會(huì)定期更新模型、題庫(kù)和評(píng)測(cè)榜單。

DevOps-Model

• Github 地址：https://github.com/codefuse-ai/CodeFuse-DevOps-Model/tree/main
• 模型地址：
• 7B 版本
  https://modelscope.cn/models/codefuse-ai/CodeFuse-DevOps-Model-7B-Base/summary
  https://modelscope.cn/models/codefuse-ai/CodeFuse-DevOps-Model-7B-Chat/summary
• 14B 版本
• https://modelscope.cn/models/codefuse-ai/CodeFuse-DevOps-Model-14B-Base/summaryhttps://modelscope.cn/models/codefuse-ai/CodeFuse-DevOps-Model-14B-Chat/summary

DevOps-Eval

• GitHub 地址：https://github.com/codefuse-ai/codefuse-devops-eval
• HuggingFace 地址：https://huggingface.co/datasets/codefuse-admin/devopseval-exam
  

DevOps-Model 的構(gòu)建過(guò)程

基座模型

在基礎(chǔ)通用模型選擇上，我們考量了模型訓(xùn)練數(shù)據(jù)大小、模型能力、模型參數(shù)量級(jí)后，最終選擇的是 Qwen-7B 和 Qwen-14B 作為通用模型。因?yàn)樵诠_(kāi)的一些評(píng)測(cè)榜單上，Qwen 系列模型基本屬于同參數(shù)量級(jí)下效果最好的模型。

同時(shí)預(yù)訓(xùn)練的語(yǔ)料有達(dá)到 3T token 的量級(jí)，可以給基座模型帶來(lái)更為全面的知識(shí)。

訓(xùn)練框架

訓(xùn)練框架上，我們采用的是基于開(kāi)源訓(xùn)練庫(kù) LLaMA-Factory 加以改造來(lái)進(jìn)行訓(xùn)練，訓(xùn)練時(shí)通過(guò) flash-attention、ZeRO、混合精度等技術(shù)來(lái)保障高效訓(xùn)練。

整體的 Qwen 模型架構(gòu)是在 LLaMA 的結(jié)構(gòu)上做了一些優(yōu)化，其中包含采用了 RoPE 作為位置編碼的方式來(lái)提高模型的外推能力，采用了 RMSNorm 來(lái)提高訓(xùn)練穩(wěn)定性，采用 SwiGLU 激活函數(shù)來(lái)提高模型的表現(xiàn)。

訓(xùn)練流程

根據(jù)查閱文獻(xiàn)可知，大部分領(lǐng)域模型都是在對(duì)話模型的基礎(chǔ)上，通過(guò) SFT 微調(diào)來(lái)進(jìn)行知識(shí)注入。而 SFT 微調(diào)所需要 QA 語(yǔ)料基本都來(lái)自于 ChatGPT 生成。然而，該方案可能存在 QA 語(yǔ)料無(wú)法完全覆蓋領(lǐng)域知識(shí)的情況。

因此，DevOps-Model 采用的是預(yù)訓(xùn)練加訓(xùn) + SFT 微調(diào)的方案，如下圖所示。我們認(rèn)為針對(duì)領(lǐng)域大模型，預(yù)訓(xùn)練的加訓(xùn)是必要的，因?yàn)槠淇梢詫㈩I(lǐng)域內(nèi)的一些知識(shí)在預(yù)訓(xùn)練階段注入到大模型。

如果這些知識(shí)在通用大模型預(yù)訓(xùn)練時(shí)沒(méi)有出現(xiàn)過(guò)，那會(huì)讓大模型學(xué)習(xí)到新的知識(shí)；如果出現(xiàn)過(guò)，就可以讓大模型進(jìn)一步加深印象。第二步則是大模型對(duì)齊，目的是讓大模型可以根據(jù)問(wèn)題來(lái)回答最合適的內(nèi)容。

圖1. DevOps-Model 訓(xùn)練流程

訓(xùn)練數(shù)據(jù)

• 數(shù)據(jù)收集

模型的定位是中文 DevOps 領(lǐng)域大模型，因此需要收集與中文 DevOps 相關(guān)的預(yù)訓(xùn)練數(shù)據(jù)和 QA 數(shù)據(jù)。

預(yù)訓(xùn)練數(shù)據(jù)主要來(lái)自互聯(lián)網(wǎng)技術(shù)博客、技術(shù)文檔、技術(shù)書籍等，最終收集到了 50G+ 的預(yù)訓(xùn)練語(yǔ)料數(shù)據(jù)；

針對(duì) QA 數(shù)據(jù)，我們的目標(biāo)是想讓模型不僅能夠?qū)R到通用的問(wèn)答能力，針對(duì) DevOps 領(lǐng)域也可以學(xué)會(huì)如何更好的回答問(wèn)題，因此不但收集了通用領(lǐng)域的單輪和多輪對(duì)話數(shù)據(jù)，還針對(duì) DevOps 領(lǐng)域，通過(guò)爬取和 ChatGPT 生成的方式產(chǎn)出了屬于 DevOps 領(lǐng)域的問(wèn)答數(shù)據(jù)。最終我們精心篩選了約 200K 的 QA 數(shù)據(jù)進(jìn)行 SFT 微調(diào)訓(xùn)練，具體數(shù)據(jù)量如下表所示。

• 數(shù)據(jù)篩選

由于預(yù)訓(xùn)練數(shù)據(jù)大部分是從互聯(lián)網(wǎng)上收集的數(shù)據(jù)，質(zhì)量參差不齊，而大模型訓(xùn)練中數(shù)據(jù)是最重要的一環(huán)，我們建立了如下圖所示的清洗 Pipeline，全面過(guò)濾收集到的數(shù)據(jù)。

圖2. DevOps-Model 預(yù)訓(xùn)練數(shù)據(jù)清洗 Pipeline

1) 首先，由專家經(jīng)驗(yàn)和人工篩選，總結(jié)出來(lái)了一批文檔級(jí)別的 Heuristic 過(guò)濾規(guī)則，這一步主要用來(lái)過(guò)濾掉那些質(zhì)量非常差的文檔；

2) 其次，即便是一篇質(zhì)量稍差的文章，也有可能含有有價(jià)值的領(lǐng)域知識(shí)，也需要盡可能的進(jìn)行收集。此處，我們對(duì)文章進(jìn)行段落拆分，將文章拆分成一個(gè)個(gè)段落；

3) 然后，我們將拆分后的段落會(huì)再次通過(guò)步驟 1 進(jìn)行過(guò)濾，便得到了一批經(jīng)過(guò)規(guī)則過(guò)濾后的段落；

4) 再摘取其中 1000 個(gè)段落，由經(jīng)驗(yàn)豐富的專業(yè)開(kāi)發(fā)人員打標(biāo)，獲得高質(zhì)量的打標(biāo)數(shù)據(jù)；

5) 最后，根據(jù)打標(biāo)后的結(jié)果來(lái)訓(xùn)練了一個(gè)打分模型來(lái)針對(duì)段落進(jìn)行質(zhì)量的打分，段落的向量模型選用了預(yù)訓(xùn)練好的中文版本的 Sentence-Bert，打分算法選用了邏輯回歸，為了避免打分模型的誤差，會(huì)再通過(guò)帕累托分布來(lái)根據(jù)段落的質(zhì)量打分進(jìn)行采樣來(lái)決定是否過(guò)濾這個(gè)段落。

經(jīng)過(guò)這個(gè) Pipeline 后，最終沉淀下 15G 左右的數(shù)據(jù)來(lái)進(jìn)行大模型的預(yù)訓(xùn)練加訓(xùn)。

模型使用

DevOps-Model 的使用可以參考如下流程使用，更詳細(xì)的信息請(qǐng)參考 Github。

• 模型下載：

從 https://github.com/codefuse-ai/CodeFuse-DevOps-Model/tree/main 找到自己想要下載的 Chat 模型版本，當(dāng)前提供了 7B 和 14B 的模型；

• 模型交互：

from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig


tokenizer = AutoTokenizer.from_pretrained("path_to_DevOps-Model-Chat", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("path_to_DevOps-Model-Chat", device_map="auto", trust_remote_code=True, bf16=True).eval()


# 指定 generation_config
model.generation_config = GenerationConfig.from_pretrained("path_to_DevOps-Model-Chat", trust_remote_code=True)


# 第一輪對(duì)話
resp, hist = model.chat(query='你是誰(shuí)', tokenizer=tokenizer, history=None)
print(resp)


# 我是 DevOps-Model，一個(gè)由螞蟻集團(tuán)平臺(tái)技術(shù)事業(yè)群風(fēng)險(xiǎn)智能團(tuán)隊(duì)和北京大學(xué)聯(lián)合研發(fā)的人工智能機(jī)器人，可以與用戶進(jìn)行自然語(yǔ)言交互，并協(xié)助解答 DevOps 全生命周期中的各種問(wèn)題。如果您有任何需要協(xié)助的問(wèn)題或者想要進(jìn)行閑聊，都可以和我交流哦。


# 第二輪對(duì)話
resp2, hist2 = model.chat(query='Java 中 HashMap 和 Hashtable 有什么區(qū)別', tokenizer=tokenizer, history=hist)
print(resp2)


# HashMap 和 Hashtable 都是 Java 中常用的哈希表實(shí)現(xiàn)，它們的主要區(qū)別在于：
# 1. Hashtable 是線程安全的，而 HashMap 不是線程安全的，因此在多線程環(huán)境下，Hashtable 的性能更穩(wěn)定。
# 2. Hashtable 中的方法都是同步的，而 HashMap 的方法不是同步的，因此在多線程環(huán)境下，Hashtable 的性能更好。
# 3. Hashtable 中的 key 和 value 都必須實(shí)現(xiàn) Serializable 接口，而 HashMap 中的 key 和 value 可以是任何對(duì)象，包括基本數(shù)據(jù)類型。
# 4. Hashtable 的初始容量是 11，而 HashMap 的初始容量是 16。
# 總之，如果需要在多線程環(huán)境下使用哈希表，并且需要保證線程安全，那么應(yīng)該使用 Hashtable；如果不需要考慮線程安全，或者需要快速地進(jìn)行哈希表操作，那么應(yīng)該使用 HashMap。


# 第三輪對(duì)話
resp3, hist3 = model.chat(query='線程安全代表什么', tokenizer=tokenizer, history=hist2)
print(resp3)


# 線程安全是指在多線程環(huán)境下，程序能夠正確地處理并發(fā)訪問(wèn)，并且不會(huì)出現(xiàn)數(shù)據(jù)競(jìng)爭(zhēng)、死鎖、饑餓等異常情況。線程安全的程序可以保證在不同的線程之間共享同一個(gè)數(shù)據(jù)結(jié)構(gòu)時(shí)，數(shù)據(jù)的正確性和一致性。線程安全的實(shí)現(xiàn)通常需要使用同步機(jī)制，如鎖、原子操作等，來(lái)保證對(duì)共享數(shù)據(jù)的訪問(wèn)是線程安全的。在 Java 中，可以通過(guò) synchronized 關(guān)鍵字、Lock 接口等機(jī)制來(lái)實(shí)現(xiàn)線程安全。

根據(jù)以上代碼來(lái)和模型進(jìn)行交互，建議在運(yùn)行時(shí)可以先 pip 安裝一下 github 中的 requirements.txt；同時(shí)，Github 中的代碼也提供了微調(diào)的方式，有興趣的可以在 DevOps-Model 的基礎(chǔ)上來(lái)微調(diào)自己的模型。

DevOps-Eval 

數(shù)據(jù)來(lái)源

DevOps-Eval 最終生成的樣本格式都為單項(xiàng)選擇題，采用此類格式的原因是單項(xiàng)選擇題客觀性高，不但能夠提高樣本收集效率，并且方便進(jìn)行自動(dòng)化評(píng)測(cè)。

因此，我們收集樣本的策略是盡可能獲得選擇題原題，或者通過(guò)某些手段生成或轉(zhuǎn)換為選擇題。經(jīng)過(guò)統(tǒng)計(jì)，該項(xiàng)目的數(shù)據(jù)來(lái)源可以分為以下 5 大類：

1) 選擇題類試題：直接為選擇題形式的公開(kāi)試題，例如計(jì)算機(jī)通識(shí)類考試試題、DevOps 專業(yè)考試試題等；

2) 問(wèn)答類試題：此類試題以問(wèn)答題的形式出現(xiàn)，且已按照 DevOps 場(chǎng)景進(jìn)行了有效劃分，來(lái)源如超級(jí)碼客、devops-exercises 等，我們?cè)僭趩?wèn)答題基礎(chǔ)上通過(guò) ChatGPT 生成答案并轉(zhuǎn)換為選擇題；

3) 開(kāi)源數(shù)據(jù)集：基于開(kāi)源數(shù)據(jù)集構(gòu)造 AIOps 相關(guān)樣本，例如基于 LOGPAI 的數(shù)據(jù)構(gòu)造日志解析相關(guān)的選擇題樣本，基于 TraceRCA 的數(shù)據(jù)構(gòu)造根因分析相關(guān)選擇題樣本；

4) ChatGPT 生成：某些細(xì)分場(chǎng)景缺乏現(xiàn)成的試題，我們使用場(chǎng)景關(guān)鍵詞通過(guò) ChatGPT 直接生成相應(yīng)的選擇題；

5) 數(shù)據(jù)仿真生成：通過(guò)數(shù)據(jù)仿真的手段生成數(shù)據(jù)，例如時(shí)序異常檢測(cè)、時(shí)序分類等試題。

數(shù)據(jù)分類

DevOps-Eval 根據(jù) DevOps 全流程進(jìn)行劃分，共分為 8 個(gè)大類和 53 個(gè)子類，包含 4850 道選擇題。其中，AIOps 場(chǎng)景有 4 個(gè)，共計(jì) 2200 個(gè)中英文題目。每個(gè)子類分為 dev 數(shù)據(jù)集和 test 數(shù)據(jù)集。

其中，dev 數(shù)據(jù)集包含 5 個(gè)帶有標(biāo)簽和解析的樣例，用于 few-shot 評(píng)測(cè)；test 數(shù)據(jù)集僅包含標(biāo)簽，用于模型評(píng)測(cè)。

下圖給出了 DevOps-Eval 數(shù)據(jù)的具體細(xì)分類別。若要進(jìn)一步了解各個(gè)類別包含的具體內(nèi)容，可以參考 Github 中更為詳細(xì)的樣本明細(xì)腦圖。

圖3. 數(shù)據(jù)細(xì)分類別

DevOps 領(lǐng)域大模型評(píng)測(cè)榜單

評(píng)測(cè)方式

DevOps-Eval 包含 0-shot 和 Few-shot 兩種評(píng)測(cè)方式。其中針對(duì) DevOps 題目，主要評(píng)測(cè) 0-shot 和 5-shot 的結(jié)果。

而針對(duì) AIOps 題目，由于題目的 token 長(zhǎng)度較長(zhǎng)（如日志解析任務(wù)，題干會(huì)包含多行日志），5-shot 后的題干長(zhǎng)度會(huì)超過(guò) 2k 個(gè) token。而大部分模型的訓(xùn)練的上下文就是 2k，所以針對(duì) AIOps 的題目，主要評(píng)測(cè) 0-shot 和 1-shot 的結(jié)果。

Base 模型和 Chat 模型獲取預(yù)測(cè)結(jié)果的方式如下：

1) Base 模型：將問(wèn)題輸入大模型后，基于模型預(yù)測(cè)下一個(gè) Token 的得分，獲得分別對(duì)應(yīng) A，B，C，D 四個(gè)選項(xiàng)的得分，將得分最高的選項(xiàng)作為模型對(duì)于這道題預(yù)測(cè)結(jié)果；

2) Chat 模型：我們先將問(wèn)題轉(zhuǎn)換為 Chat 模型對(duì)齊訓(xùn)練時(shí)使用的 prompt，比如 Qwen 采用的是 chatml 的格式，Baichuan2 是一種自定義的格式，采用模型對(duì)齊訓(xùn)練的格式能夠使得模型更好地發(fā)揮其能力。當(dāng)轉(zhuǎn)換好后輸入大模型，然后用和 Base 模型相同的方式獲取預(yù)測(cè)結(jié)果。

評(píng)測(cè)結(jié)果

• DevOps 全流程評(píng)測(cè)榜單

（1）0-shot 評(píng)測(cè)結(jié)果

圖4. DevOps 全流程評(píng)測(cè)榜單的 0-shot 評(píng)測(cè)結(jié)果

如圖所示，0-shot 評(píng)測(cè)結(jié)果中 DevOps-Model-14B-Chat 平均分最高，達(dá)到了 80.34 分。從總體上來(lái)看，各模型的分?jǐn)?shù)區(qū)分度不大。

（2）5-shot 評(píng)測(cè)結(jié)果

圖5. DevOps 全流程評(píng)測(cè)榜單的 5-shot 評(píng)測(cè)結(jié)果

如圖所示，5-shot 的結(jié)果要稍好于 0-shot，其中 DevOps-Model-14B-Chat 平均分依然最高，達(dá)到了 81.77 分。

從總體上來(lái)看，各模型的分?jǐn)?shù)區(qū)分度也并不大，說(shuō)明樣本集難度偏低，后期需要區(qū)分下樣本難度等級(jí)。

• AIOps 場(chǎng)景評(píng)測(cè)榜單

（1）0-shot 評(píng)測(cè)結(jié)果

圖6. AIOps 場(chǎng)景評(píng)測(cè)榜單的 0-shot 評(píng)測(cè)結(jié)果

從 0-shot 結(jié)果來(lái)看， Qwen-14B-Base 平均分最高，達(dá)到了 49.27 分。從總體上來(lái)看，各模型在 AIOps 類別的區(qū)分度明顯變大。

（2）1-shot 評(píng)測(cè)結(jié)果

圖7. AIOps 場(chǎng)景評(píng)測(cè)榜單的 1-shot 評(píng)測(cè)結(jié)果

1-shot 的結(jié)果要稍好于 0-shot，其中 DevOps-Model-14B—Chat 平均分最高，達(dá)到了 53.91 分。

在不同細(xì)分類別的表現(xiàn)，根因分析得分相對(duì)較高，可能跟根因分析題目做了簡(jiǎn)化相對(duì)較為簡(jiǎn)單有關(guān)，而時(shí)序異常檢測(cè)整體表現(xiàn)都不太好，當(dāng)前大模型對(duì)時(shí)序類數(shù)據(jù)的處理依然有待提升。

從上述的評(píng)測(cè)結(jié)果可以看到，DevOps-Model-14B-Chat 在 3 項(xiàng)評(píng)測(cè)中獲得了最好的結(jié)果，但同時(shí)也需要看到，在多個(gè)場(chǎng)景中，多個(gè)模型的評(píng)測(cè)結(jié)果差異不大，后續(xù)要針對(duì) Eval 數(shù)據(jù)集做一些難度區(qū)分。

未來(lái)展望

DevOps-Model

當(dāng)前發(fā)布的是模型的 1.0 版本，后續(xù)主要優(yōu)化方向包括以下兩點(diǎn)：

1）構(gòu)造更加大、更多樣的 DevOps 數(shù)據(jù)集：當(dāng)前的 DevOps Corpus 只有 15G 的數(shù)據(jù)量，未來(lái)希望能夠擴(kuò)充到 50G 這個(gè)量級(jí)，進(jìn)一步提升模型能力；

2）采用 DevOps 領(lǐng)域的專有詞匯來(lái)擴(kuò)充模型的詞表。當(dāng)前的模型詞表是從比較通用的語(yǔ)料中產(chǎn)出的，然后針對(duì) DevOps 領(lǐng)域，有一些專有的詞匯并不在詞表中，所以下一步會(huì)產(chǎn)出 DevOps 領(lǐng)域的專有詞表加到 tokenizer 中來(lái)提升模型的效果。

DevOps-Eval

針對(duì) DevOps-Eval 項(xiàng)目，主要優(yōu)化方向包括以下幾點(diǎn)：

1）不斷豐富評(píng)測(cè)數(shù)據(jù)集：包括增加英文題目、平衡各類別的數(shù)據(jù)量，題型將不局限于選擇題，增加問(wèn)答等形式，對(duì)數(shù)據(jù)集增加難度分級(jí)等；

2）重點(diǎn)關(guān)注 AIOps 領(lǐng)域：AIOps 一直是運(yùn)維領(lǐng)域的研究熱點(diǎn)，大模型與 AIOps 能碰撞出什么火花也是當(dāng)前行業(yè)內(nèi)最關(guān)心的話題。目前 DevOps-Eval 已涵蓋 4 類常見(jiàn)的 AIOps 任務(wù)，后續(xù)將繼續(xù)增加，直至覆蓋運(yùn)維領(lǐng)域的所有智能化任務(wù)；

3）持續(xù)增加評(píng)測(cè)模型：一期主要評(píng)測(cè)了一些主流的、規(guī)模不是很大的開(kāi)源模型，后續(xù)將覆蓋更多的模型，并重點(diǎn)跟蹤評(píng)測(cè)面向 DevOps 和 AIOps 領(lǐng)域的大模型。

希望能有更多伙伴加入共建 DevOps-Model 和 DevOps-Eval的行列，期待在大家的共同努力下，建立更準(zhǔn)確、更全面的 DevOps 領(lǐng)域大模型評(píng)測(cè)體系，推動(dòng) DevOps 領(lǐng)域大模型技術(shù)的不斷發(fā)展與創(chuàng)新。