隨著大模型技術(shù)的日漸成熟，應(yīng)用已從原型演示向企業(yè)級落地過渡。之前，我們也多次介紹過有關(guān)諸如高級RAG等生產(chǎn)級技術(shù)，但缺少類似于MLOPS成熟度這樣的評估體系，無法衡量一個應(yīng)用在企業(yè)級層面達(dá)到了何種水平。

今天，筆者介紹Google AI/ML和GenAI總監(jiān)Ali Arsanjani提出的端到端生成式AI應(yīng)用架構(gòu)以及其成熟度的分級。

如圖可見，它將其分為UI/UX（自然語言對話交互）、Prompt Engineering（提示工程）、RAG 、Serve（服務(wù)）、Adapt（適配）、Prepare & Tune Data & Models（數(shù)據(jù)準(zhǔn)備&模型微調(diào)）、Ground（閉環(huán)反饋、持續(xù)監(jiān)控）、Multi-agent系統(tǒng)、Govern（倫理&合規(guī)）、MLOps、Secure、Run(計算平臺)等部分。

同時，成熟度模型便是基于這些模塊的有無和成熟程度展開。

生成式AI應(yīng)用的成熟度是一個漸進(jìn)的過程，如上圖展示了生成式AI解決方案在基于復(fù)雜度及ROI層面從L0一直到L6的七個成熟度。涵蓋了從基本數(shù)據(jù)準(zhǔn)備和模型選擇開始，到微調(diào)、評估，最終達(dá)到多智能體系統(tǒng)、高級推理和負(fù)責(zé)任的人工智能實踐的高級階段。

以下是各個階段的詳細(xì)解讀。

L0: 數(shù)據(jù)準(zhǔn)備 

這個階段主要集中于獲取或創(chuàng)建所需要的高質(zhì)量數(shù)據(jù)集，包括數(shù)據(jù)的收集、清理、預(yù)處理、獲取使用授權(quán)、生成合成數(shù)據(jù)，以及進(jìn)行數(shù)據(jù)工程和數(shù)據(jù)轉(zhuǎn)換的相關(guān)活動。

L1: 選擇模型與提示并部署模型 

處于這個階段的企業(yè)已經(jīng)確定了合適的模型，并正在編寫有效的提示與它們交互。他們還能夠通過提示工程來引導(dǎo)模型執(zhí)行特定任務(wù)，需要注意的是，相同的提示在不同的大語言模型上，可能不會產(chǎn)生相同的效果。 

模型選擇、提示工程和信息檢索：

這一過程首先是根據(jù)特定任務(wù)選擇合適的大語言模型，并用專有數(shù)據(jù)進(jìn)行微調(diào)。有效的提示工程能夠指導(dǎo)模型的行為，信息檢索機(jī)制則從內(nèi)部知識庫中提取相關(guān)信息。這個檢索步驟通常依靠企業(yè)搜索功能，使模型能夠訪問組織內(nèi)部資源中的相關(guān)文檔和數(shù)據(jù)。需要注意的是，上下文學(xué)習(xí)和多次學(xué)習(xí)可以為模型調(diào)優(yōu)提供有益幫助。詳見模型調(diào)優(yōu)部分。

L2：檢索增強(qiáng)：通過信息檢索優(yōu)化提示 

在之前的基礎(chǔ)上，本階段通過生成式 AI (GenAI) 模型檢索相關(guān)信息，從而提高交互的復(fù)雜性，以便提取特定的見解或數(shù)據(jù)。此階段的重點是使用專有或特定領(lǐng)域的數(shù)據(jù)對生成式 AI 模型進(jìn)行微調(diào)，以提高性能并更好地滿足特定需求。檢索增強(qiáng)生成 (Retrieval Augmented Generation, RAG) 框架結(jié)合了信息檢索系統(tǒng)和大語言模型 (LLM)，以生成更準(zhǔn)確和信息量更大的響應(yīng)。根據(jù)檢索和集成機(jī)制的復(fù)雜性，RAG 可以分為不同級別。在初步從內(nèi)部資源檢索信息之后，RAG 會利用外部搜索功能，這包括查詢外部知識庫、網(wǎng)絡(luò)和其他相關(guān)資源，以收集更多信息，增強(qiáng)生成輸出的準(zhǔn)確性和上下文。內(nèi)部和外部搜索的結(jié)合確保了對主題的全面理解。需要指出的是，檢索增強(qiáng)本身有不同層次的復(fù)雜性。

L2.1：簡單檢索和生成 

在這個基本級別，檢索增強(qiáng)生成（RAG）會根據(jù)用戶的查詢，從知識庫或語料庫中檢索相關(guān)文檔或段落。檢索到的信息會直接傳遞給大語言模型（LLM），LLM 將這些內(nèi)容作為上下文生成響應(yīng)。這種方法比較簡單，但由于完全依賴于 LLM 理解和綜合信息的能力，因此結(jié)果可能不總是最準(zhǔn)確或最相關(guān)。

L2.2：上下文檢索和生成（Contextual Retrieval and Generation）

這個級別引入了更復(fù)雜的檢索機(jī)制，能夠考慮用戶查詢的上下文。它不僅依賴關(guān)鍵字匹配，還可能使用語義搜索或查詢擴(kuò)展等技術(shù)來找到更相關(guān)的信息。檢索到的信息會在傳遞給 LLM 之前經(jīng)過過濾和排名，以確保最佳相關(guān)性和重要性。這有助于提高生成響應(yīng)的質(zhì)量，使其更加集中和上下文相關(guān)。

L2.3：動態(tài)檢索和生成（Dynamic Retrieval and Generation）

這一級別在生成過程中動態(tài)檢索信息更進(jìn)一步。LLM 不再一次性獲取所有信息，而是可以在生成過程中根據(jù)需要反復(fù)請求更多信息，從而生成更加全面和準(zhǔn)確的響應(yīng)。這種方法允許對話更加互動和細(xì)致，LLM 可以主動尋找額外的信息，解決模糊點或填補(bǔ)知識空白。

L2.4：多源檢索和生成（Multi-Source Retrieval and Generation）

這一高級別涉及從多個來源檢索信息，例如不同的知識庫、數(shù)據(jù)庫，甚至實時數(shù)據(jù)流。挑戰(zhàn)在于如何有效整合這些不同來源的信息，它們可能具有不同的格式、結(jié)構(gòu)或可靠性。需要復(fù)雜的檢索和融合技術(shù)，以確保生成的響應(yīng)是連貫、準(zhǔn)確且最新的。

L2.5：知識感知生成（Knowledge-Aware Generation）

在這個最高級別，RAG 結(jié)合了知識圖譜或其他結(jié)構(gòu)化知識表示，以增強(qiáng) LLM 對檢索信息的理解。這使得 LLM 能夠推理檢索到的知識，識別概念間的關(guān)系，并生成更加有見地的響應(yīng)。這種方法特別適用于需要深入領(lǐng)域知識或復(fù)雜推理能力的任務(wù)。

L3：使用特定領(lǐng)域數(shù)據(jù)微調(diào)模型

在這一階段，通過使用參數(shù)高效微調(diào)、人類反饋強(qiáng)化學(xué)習(xí)（RLHF）、監(jiān)督微調(diào)（SFT）或完全微調(diào)（FFT）來進(jìn)行模型調(diào)整。這些方法的復(fù)雜度和應(yīng)用范圍會隨著成熟度的提高而變化。這使得模型可以基于特定行業(yè)或領(lǐng)域的數(shù)據(jù)進(jìn)行訓(xùn)練。每個企業(yè)都有自己多年積累的私有領(lǐng)域數(shù)據(jù)，這些數(shù)據(jù)在該垂直領(lǐng)域內(nèi)具有獨特的價值。另一方面，也要通過訓(xùn)練模型，使其熟悉特定領(lǐng)域如零售、醫(yī)療保健、金融服務(wù)等行業(yè)所包含的術(shù)語及相關(guān)知識。

微調(diào) AI 模型的方法多種多樣，復(fù)雜性和應(yīng)用范圍各不相同，從簡單的上下文調(diào)整到高級的強(qiáng)化學(xué)習(xí)。

以下是按照成熟度和復(fù)雜性排列的詳細(xì)方法概述：

3.1. 上下文學(xué)習(xí)（In-Context Learning，ICL）

成熟度水平：基礎(chǔ) 

相對成本：低 

所需數(shù)據(jù)量：最?。銟颖净蛏贅颖纠樱?/p>

描述：模型完全基于在提示中提供的上下文進(jìn)行預(yù)測，而無需更新其參數(shù)。它依賴于在其預(yù)訓(xùn)練階段獲得的知識。

用例：基于給定例子或提示，快速高效地生成文本或其他輸出。適合需要快速適應(yīng)而無需重新訓(xùn)練整個模型的場景。

3.2. Multi-shot （使用大上下文窗口）

成熟度水平：中級 

相對成本：適中 

所需數(shù)據(jù)量：最小到適中（少樣本到多樣本的例子與廣泛的上下文）

描述：這種方法通過利用非常大的上下文窗口來構(gòu)建標(biāo)準(zhǔn)的在上下文中學(xué)習(xí)。它使模型能夠處理來自提示和周圍文本的大量信息。這不僅提高了對復(fù)雜任務(wù)的理解，還允許Multi-shot在上下文中學(xué)習(xí)，模型可以學(xué)習(xí)上下文窗口中提供的多個示例。

用例：適合需要深入上下文理解的任務(wù)，例如：

• 長篇本文生成
• 復(fù)雜的問題回答
• 文檔摘要
• 多步驟推理任務(wù)
• 多個例子可以指導(dǎo)模型輸出的任務(wù)

DeepMind 對“Many-Shot In-Context Learning”的研究表明，在上下文窗口中提供的示例數(shù)量增加時顯示出顯著的性能提升。這突出了利用大上下文窗口的潛力，不僅僅是為了提高理解，還為了使模型能夠有效地從多個演示中學(xué)習(xí)。

3.3. 小型語言模型的預(yù)訓(xùn)練 

成熟度水平：中級 

相對成本：適中 

所需數(shù)據(jù)量：適中到大（取決于模型大小和所需性能） 

描述：這涉及從零開始訓(xùn)練較小的語言模型，或在有限數(shù)量的數(shù)據(jù)上訓(xùn)練。這些模型通常用于特定應(yīng)用，其中大型通用模型不切實際，因為計算限制或領(lǐng)域特定要求。

用例：用于專門領(lǐng)域的任務(wù)，這些領(lǐng)域具有特定詞匯或有限的計算資源。也可以用作進(jìn)一步微調(diào)或適應(yīng)的基礎(chǔ)。

3.4. 適配器調(diào)整（Adaptor Tuning）

成熟度水平：中級 

相對成本：低到適中 

所需數(shù)據(jù)量：小到適中（特定于任務(wù)的數(shù)據(jù)） 

描述：這種技術(shù)在預(yù)訓(xùn)練的語言模型中引入了小型、可訓(xùn)練的適配器模塊。這些模塊專門設(shè)計為在新任務(wù)上進(jìn)行微調(diào)，同時保持大部分原始模型參數(shù)凍結(jié)。這導(dǎo)致了高效的特定于任務(wù)的改編，計算開銷很小[4]。

用例：非常適合借助有限資源將大模型適應(yīng)于特定任務(wù)。保持原始模型的效率和知識，同時允許快速和有針對性的微調(diào)。

3.5. 低秩適應(yīng)（LoRA） 

成熟度水平：中級到高級 

相對成本：適中 

所需數(shù)據(jù)量：小到適中（特定于任務(wù)的數(shù)據(jù)） 

描述：LoRA 通過調(diào)整其權(quán)重矩陣的低秩逼近來微調(diào)模型。這大大減少了可訓(xùn)練參數(shù)的數(shù)量，使其比全部微調(diào)的效率要高得多。

用例：適用于各種任務(wù)，包括自然語言處理和計算機(jī)視覺，在這些任務(wù)中你需要將大模型適應(yīng)于特定任務(wù)，而不會產(chǎn)生訓(xùn)練所有參數(shù)的全部計算成本。

3.6. 其他參數(shù)高效的微調(diào)方法 

成熟度水平：中級到高級 

相對成本：適中 

所需數(shù)據(jù)量：小到適中（特定于任務(wù)的數(shù)據(jù)） 

描述：這一類別包括了幾種技術(shù)，如prefix-tuning, prompt-tuning, and bitfit。它們都旨在通過調(diào)整模型的一小部分參數(shù)或輸入來微調(diào)模型，顯著減少了計算負(fù)擔(dān)。

用例：非常適合快速適應(yīng)新任務(wù)或計算資源有限的場景。這些方法在高效性和調(diào)整模型行為能力之間提供了一個平衡。

3.7. 領(lǐng)域特定的預(yù)訓(xùn)練 

成熟度水平：高級 

相對成本：高 

所需數(shù)據(jù)量：大（特定于領(lǐng)域的語料庫） 

描述：這涉及在特定領(lǐng)域（例如，法律、醫(yī)療或金融）的大型文本語料庫上預(yù)訓(xùn)練模型。這有助于模型捕獲該領(lǐng)域獨特的細(xì)微差別、詞匯和知識結(jié)構(gòu)。

用例：在通用模型可能缺乏必要領(lǐng)域?qū)I(yè)知識的專業(yè)領(lǐng)域極其寶貴。可以作為進(jìn)一步微調(diào)或適應(yīng)該領(lǐng)域內(nèi)的起點。

3.8. 監(jiān)督微調(diào) 

成熟度水平：高級

相對成本：高 

所需數(shù)據(jù)量：大（標(biāo)記的特定于任務(wù)的數(shù)據(jù)） 

描述：這是經(jīng)典的微調(diào)方法，即整個模型在特定任務(wù)的標(biāo)記數(shù)據(jù)集上進(jìn)行訓(xùn)練。所有模型參數(shù)都更新以優(yōu)化其在該任務(wù)上的性能。

用例：適用于有大量標(biāo)記數(shù)據(jù)的任務(wù)，如文本分類、情感分析、命名實體識別和問題回答。

3.9. 全參數(shù)微微調(diào) 

成熟度水平：高級 

相對成本：非常高 

所需數(shù)據(jù)量：大到非常大（標(biāo)記的特定于任務(wù)的數(shù)據(jù)） 

描述：這種方法是微調(diào)的最廣泛形式，在新任務(wù)特定數(shù)據(jù)集上訓(xùn)練期間調(diào)整預(yù)訓(xùn)練模型的所有參數(shù)。

用例：通常保留給在特定任務(wù)上的最大性能至關(guān)重要的情況，并且你能夠使用大量的計算資源和大型高質(zhì)量數(shù)據(jù)集。

3.10. 指令微調(diào)

成熟度水平：高級 

相對成本：高到非常高 

所需數(shù)據(jù)量：大（多樣化的基于指導(dǎo)的數(shù)據(jù)集）

描述：這種方法涉及對模型進(jìn)行微調(diào)，以便遵循廣泛的指導(dǎo)并完成各種任務(wù)。模型在包含指導(dǎo)及其相應(yīng)期望輸出的多樣化數(shù)據(jù)集上進(jìn)行訓(xùn)練。

用例：增強(qiáng)模型理解和執(zhí)行復(fù)雜指導(dǎo)的能力，使其適合通用人工智能助手、聊天機(jī)器人和其他需要靈活任務(wù)執(zhí)行的應(yīng)用程序。

3.11. 結(jié)合人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）

成熟度水平：前沿 

相對成本：非常高 

所需數(shù)據(jù)量：可變，但往往大（人類反饋數(shù)據(jù)） 

描述：RLHF 結(jié)合了強(qiáng)化學(xué)習(xí)技術(shù)和人類用戶的反饋。模型通過根據(jù)其行為和所收到的反饋接收獎勵或懲罰來學(xué)習(xí)，旨在根據(jù)人類偏好優(yōu)化其行為[10]。

用例：在人類偏好至關(guān)重要的情況下應(yīng)用，如對話代理、推薦系統(tǒng)和其他直接與用戶互動的應(yīng)用程序。

3.12. 直接優(yōu)先級優(yōu)化（DPO） 

成熟度水平：實驗性 

相對成本：非常高

所需數(shù)據(jù)量：可變（用戶偏好數(shù)據(jù)） 

描述：DPO 專注于根據(jù)用戶的反饋和偏好直接優(yōu)化模型。這通常涉及技術(shù)，如梯度下降來調(diào)整模型的參數(shù)，使其與觀察到的用戶偏好保持一致[10]。

用例：特別適合用戶滿意度至關(guān)重要的應(yīng)用程序，偏好可以直接測量和優(yōu)化。示例包括個性化內(nèi)容推薦系統(tǒng)和用戶界面設(shè)計。

3.13. 多任務(wù)微調(diào)

成熟度水平：高級 

相對成本：高到非常高 

所需數(shù)據(jù)量：大（多個任務(wù)的標(biāo)記數(shù)據(jù)） 

描述：在多任務(wù)微調(diào)中，模型同時在多個相關(guān)任務(wù)上進(jìn)行訓(xùn)練。這允許模型在任務(wù)之間利用共享的知識和表示，可能導(dǎo)致性能和泛化能力的提高[11]。

用例：在場景中特別有益，模型需要在多種任務(wù)上表現(xiàn)良好，例如多領(lǐng)域客戶服務(wù)機(jī)器人或需要理解語言的各個方面的模型（例如，情感分析、問題回答和文本摘要）。

3.14. 元學(xué)習(xí)（學(xué)會學(xué)習(xí)） 

成熟度水平：前沿 

相對成本：非常高 

所需數(shù)據(jù)量：可變，通常大（元訓(xùn)練數(shù)據(jù)）

描述：元學(xué)習(xí)專注于培訓(xùn)模型，使其能夠通過最少的數(shù)據(jù)快速適應(yīng)新任務(wù)。它涉及在培訓(xùn)階段對模型在各種任務(wù)上進(jìn)行訓(xùn)練，使其學(xué)會高效學(xué)習(xí)。

用例：在模型需要快速適應(yīng)少量示例的新任務(wù)或領(lǐng)域的情況下特別相關(guān)，例如少樣本學(xué)習(xí)場景或個性化學(xué)習(xí)系統(tǒng)。

3.15. 主動學(xué)習(xí) 

成熟度水平：高級 

相對成本：高到非常高 

所需數(shù)據(jù)量：可變，通常迭代（最初較小，隨著模型查詢更多數(shù)據(jù)而增長） 

描述：主動學(xué)習(xí)涉及模型積極選擇最具信息量的數(shù)據(jù)點進(jìn)行標(biāo)記，從而優(yōu)化微調(diào)過程[13]。

用例：在標(biāo)記數(shù)據(jù)昂貴或耗時的情況下極其寶貴。通過專注于最相關(guān)的示例，主動學(xué)習(xí)可以顯著減少有效微調(diào)所需的標(biāo)記數(shù)據(jù)量。

3.16 知識蒸餾（Knowledge Distillation） 

成熟度等級：中高級

成本開銷：中到高 

數(shù)據(jù)需求量：中到大 

描述：這是一種將從大型、預(yù)先訓(xùn)練的教師模型中的知識轉(zhuǎn)移至一個體積更小、效率更高的學(xué)生模型（student model）的技術(shù) [14]。 

應(yīng)用場景：特別適用于在存儲和計算資源有限的設(shè)備上部署模型，如手機(jī)或邊緣計算設(shè)備，同時保持較好的性能。

這些方法每一種都相較前一種在復(fù)雜性和資源需求上更進(jìn)一步，涵蓋了從簡單的上下文調(diào)整到包含人類反饋及廣泛參數(shù)調(diào)整的高級技巧。選擇適合的方法主要基于任務(wù)的特定需求、可用的資源和預(yù)期達(dá)到的性能標(biāo)準(zhǔn)。

L4 ：通過搜索和引用來實現(xiàn)模型輸出的基礎(chǔ)驗證

除了模型微調(diào)，此級別還包含了生成式 AI (GenAI) 輸出的基礎(chǔ)驗證和評估。也就是說，需要確保生成的內(nèi)容在事實上是準(zhǔn)確的、相關(guān)的，并符合倫理標(biāo)準(zhǔn)。

在生成式 AI 成熟度模型的第四級，融合了多項能力以確保通過一個堅固的基礎(chǔ)驗證和評估流程來提升生成輸出的質(zhì)量和可靠性，此過程得到了內(nèi)部企業(yè)搜索及使用 Vertex AI 基礎(chǔ)驗證服務(wù)的外部類似 Google 的搜索的增強(qiáng)。

基礎(chǔ)驗證與評估：無論是來自內(nèi)部還是外部的信息，都將經(jīng)過徹底的基礎(chǔ)驗證和評估過程。這包括驗證事實的準(zhǔn)確性，識別潛在的偏誤并評估信息對生成輸出的相關(guān)性。Vertex AI 基礎(chǔ)驗證服務(wù)在這一步中扮演了重要角色，因為它為所用信息提供了引用和參考文獻(xiàn)，增加了生成內(nèi)容的信譽度和透明度。

基礎(chǔ)驗證后的優(yōu)化：經(jīng)過基礎(chǔ)驗證和評估過程后，大語言模型 (LLM) 可能會根據(jù)收到的反饋調(diào)整生成的輸出。這一調(diào)整過程確保了最終的輸出不僅準(zhǔn)確、相關(guān)，而且有可信源頭的支持。

模型服務(wù)化：最終，這些經(jīng)過優(yōu)化和驗證的模型被提供給用戶或集成到應(yīng)用程序中，提供的是基于已驗證信息的可靠且富有見解的回應(yīng)。

內(nèi)部企業(yè)搜索通過快速識別組織內(nèi)部知識庫的相關(guān)文件、數(shù)據(jù)和信息來輔助驗證生成輸出，提供了一個寶貴的出發(fā)點，從公司特定的知識和專業(yè)背景出發(fā)來確立生成輸出的基礎(chǔ)。例如 Vertex AI 基礎(chǔ)驗證服務(wù)這樣的外部 Google 搜索模式則擴(kuò)大了信息檢索范圍，通過訪問大量外部資源來確保生成的輸出不僅限于組織內(nèi)部的知識，還融合了來自更廣泛領(lǐng)域的最新信息和洞察。當(dāng)結(jié)合了這兩種搜索能力，生成式 AI 系統(tǒng)能夠從內(nèi)部和外部資源中尋找到引用和參考，增強(qiáng)了生成輸出的信用度和可靠性。這一基礎(chǔ)驗證和評估流程保證了最終輸出不僅具有內(nèi)容價值，還是值得信賴和透明的。

L5：Agent系統(tǒng)

這個進(jìn)階階段引入了多智能體系統(tǒng)，這里不單是一個生成式 AI (GenAI) 模型獨自工作，而是多個 生成式AI模型在一位中央大語言模型 (LLM) 的指揮下協(xié)同合作，處理需要協(xié)調(diào)和綜合多種能力的復(fù)雜任務(wù)。同時，還特別強(qiáng)調(diào)了如何有效監(jiān)控和理解模型行為（可觀察性），以及如何將生成式 AI 模型的整個生命周期運營化（LLM 運維）。

在生成式 AI 成熟度模型的第5級，多個關(guān)鍵能力結(jié)合，構(gòu)建了一個復(fù)雜的系統(tǒng)，它為基于智能體和多智能體系統(tǒng)的發(fā)展奠定了基礎(chǔ)。

模型選擇、智能提示設(shè)計和信息檢索：一切從選擇一個適合特定任務(wù)的 LLM 開始，進(jìn)而通過專有數(shù)據(jù)對其進(jìn)行細(xì)致微調(diào)。高效的智能提示設(shè)計可以引導(dǎo)模型的行動，而信息檢索機(jī)制則能從多種來源抽取相關(guān)的信息，豐富 LLM 的知識庫。你可以運用包括上下文學(xué)習(xí)、鏈?zhǔn)剿伎?、明確步驟的格式化，以及 XML 類結(jié)構(gòu)的高級智能提示設(shè)計技術(shù)，甚至可以進(jìn)一步使用思考框架，結(jié)合評估 LLM 結(jié)果和基于觀察的輸出進(jìn)行推理再生成最終行動的 ReAct 框架，以此達(dá)到更高層次的復(fù)雜性。

通過 LLM 編排：5級重要的創(chuàng)新之一是引入中心 LLM 作為協(xié)調(diào)者。它像指揮家一樣，編排其他模型或組件的行動，分配任務(wù)，管理溝通，并將來自不同模型的輸出整合起來，構(gòu)建一個統(tǒng)一連貫的工作流。這標(biāo)志著邁向基于智能體系統(tǒng)的初步步驟，個別模型在這里扮演著專門的角色。

基礎(chǔ)驗證和評估：繼上一級之后，繼續(xù)使用基礎(chǔ)驗證來保障生成輸出的質(zhì)量和可靠性，運用不同的機(jī)制對信息進(jìn)行驗證并評估回應(yīng)的可能影響。評估過程則持續(xù)監(jiān)視系統(tǒng)性能，為不斷的優(yōu)化提供反饋。

評估、可觀察性和 LLMOPS：在此級別，為生成式 AI 參考架構(gòu)的每個部分引入了正式的和全面的可觀察性和評估機(jī)制。

這種對系統(tǒng)性能的持續(xù)評估和監(jiān)控對于生成式 AI 模型的不同部件至關(guān)重要，如提示、RAG輸出、模型調(diào)整的偏差或偏漂、基礎(chǔ)驗證輸出等?？捎^察性使我們能夠洞察 LLM 的行為，并對此進(jìn)行積極調(diào)整。LLMOPS則簡化了整個生成式 AI 基礎(chǔ)設(shè)施的部署、管理和監(jiān)控過程。

Agent系統(tǒng) vs MultiAgent系統(tǒng)

Agent系統(tǒng) ：涉及單個大型語言模型 (LLM) 作為代理，執(zhí)行任務(wù)，做出決策并與其環(huán)境交互。LLM 可以被視為具有多種功能的單一實體。

multiAgent系統(tǒng)：從基于代理的系統(tǒng)發(fā)展而來，引入了多個專門的 LLM。每個 LLM 作為一個獨立的代理，具有特定的角色或?qū)I(yè)知識。這些代理協(xié)作、溝通和協(xié)調(diào)他們的行動來解決單個代理無法有效處理的復(fù)雜問題。

L5 作為邁向MultiAgent系統(tǒng)的基礎(chǔ)，為編排多個模型奠定了基礎(chǔ)架構(gòu)。它使組織能夠嘗試將特定任務(wù)分配給不同的模型并評估其性能。這種實驗為開發(fā)更復(fù)雜的MultiAgent系統(tǒng)鋪平了道路，在這些系統(tǒng)中，具有互補(bǔ)技能的不同模型可以協(xié)同工作以實現(xiàn)共同目標(biāo)。

L6：多智能體倍增器

在 AI 領(lǐng)域的最高成就之一，就是應(yīng)用如“思維樹 (Tree-of-Thought)”或“思維圖 (Graph-of-Thought)”這樣的尖端技術(shù)，來提升生成式 AI（GenAI）模型的推理和規(guī)劃能力。這些方法為決策和解決問題提供了更為復(fù)雜且高級的途徑。在此級別，大語言模型（LLM）不僅自我指揮，還能控制其他 LLM，顯現(xiàn)出一個高度自主和能力強(qiáng)大的 GenAI 生態(tài)系統(tǒng)。此外，重點關(guān)注“負(fù)責(zé)任的 AI”，展現(xiàn)了對 AI 技術(shù)倫理和公平使用的堅定承諾。

L6反映了 GenAI 技術(shù)的顯著成熟，它巧妙地融合了尖端技術(shù)和架構(gòu)，達(dá)到了產(chǎn)出高價值能力的目標(biāo)。

通過‘思維樹（TOT）/思維圖（GOT）’強(qiáng)化推理能力：第 6 級充分利用了“思維樹 (ToT)”或“思維圖 (GoT)”架構(gòu)的力量。通過這些架構(gòu)，LLM 能夠?qū)?fù)雜問題拆解為小而易管理的步驟，有系統(tǒng)地探索可能的解決方案，從而做出明智的決定，極大地增強(qiáng)了 GenAI 系統(tǒng)的推理、規(guī)劃和問題解決能力。

用DSPY和ReAct進(jìn)行主動信息收集：L6 加入了像 DSPY（演示Demonstrate-搜索Search-預(yù)測Predict）和 ReAct（推理和行動）這樣的技術(shù)。DSPY 指導(dǎo) LLM 在何時尋找外部信息、預(yù)測相關(guān)查詢以及如何將檢索到的信息整合進(jìn)推理過程中。ReAct 則賦予 LLM 主動與環(huán)境互動的能力，依據(jù)收集到的信息進(jìn)行決策和行動。

信息的檢索與融合：L6 采用先進(jìn)的信息檢索技術(shù)，從不同來源（包括內(nèi)部知識庫和外部數(shù)據(jù)庫）獲取相關(guān)數(shù)據(jù)，并將這些數(shù)據(jù)無縫融入到 LLM 的推理過程中，確保獲得的知識既最新又與上下文高度相關(guān)。

通過自定義數(shù)據(jù)調(diào)優(yōu)模型：通過專有或特定領(lǐng)域的數(shù)據(jù)對 LLM 進(jìn)行精細(xì)調(diào)整，不僅優(yōu)化了其性能，也使其更適合特定的任務(wù)和領(lǐng)域需求。這保證了模型生成的響應(yīng)既準(zhǔn)確且與上下文高度貼切。

多智能體的協(xié)調(diào)與控制：L6 通過部署多智能體系統(tǒng)，使得多個 LLM 在一個中心 LLM 的指揮下協(xié)同工作，有效處理了那些需要協(xié)調(diào)、專業(yè)化處理和廣泛專業(yè)知識的復(fù)雜任務(wù)。

確?；A(chǔ)和評價的準(zhǔn)確性：采用嚴(yán)格的驗證和評價機(jī)制，確保產(chǎn)出的內(nèi)容不僅事實準(zhǔn)確、高度相關(guān)，還遵從倫理和安全準(zhǔn)則。這包括針對可靠來源的信息進(jìn)行核實，并評估產(chǎn)出可能帶來的影響。

持續(xù)評估、可觀測性和運維優(yōu)化：L6 特別注重對 GenAI 系統(tǒng)性能的持續(xù)評估和監(jiān)控，深入了解其行為，及時進(jìn)行調(diào)整。采用了先進(jìn)的運維實踐，簡化了 GenAI 基礎(chǔ)設(shè)施的部署、管理和監(jiān)控流程。

L6 通過將最前沿的技術(shù)手段和最佳實踐完美結(jié)合，讓 GenAI 系統(tǒng)在推理、決策與解決問題的能力上達(dá)到了前所未有的高度。這一全面的方法確保了系統(tǒng)的強(qiáng)大性、可靠性、倫理性，并能隨著需求的變化而適應(yīng)。

橫向與縱向領(lǐng)域

企業(yè)通過提升效率、生產(chǎn)力、客戶滿意度以及創(chuàng)新能力，可以顯著提高投資回報率（ROI）。為此，早期識別、測量、監(jiān)控并調(diào)整這些指標(biāo)和關(guān)鍵績效指標(biāo)（KPIs）至關(guān)重要。精細(xì)定義目標(biāo)、有效測量 KPIs 并持續(xù)調(diào)整戰(zhàn)略，對于在快速變化且不斷重組的商業(yè)環(huán)境中充分利用 GenAI 的潛力至關(guān)重要。

在橫向領(lǐng)域提高 ROI 的 GenAI 應(yīng)用 

所謂“橫向領(lǐng)域”，指的是那些貫穿不同行業(yè)和組織內(nèi)各業(yè)務(wù)單元的通用功能或流程。通過在這些領(lǐng)域應(yīng)用 GenAI，可以提升工作效率、生產(chǎn)力和整體投資回報。

• 市場營銷與銷售：通過個性化客戶體驗、生成精準(zhǔn)定向內(nèi)容、優(yōu)化營銷活動，提升客戶參與度、轉(zhuǎn)化率和銷售額。
• 客戶服務(wù)：利用 GenAI 驅(qū)動的聊天機(jī)器人和虛擬助手，有效處理客戶咨詢、自動化應(yīng)答并解決問題，提升客戶滿意度并降低支持成本。
• 人力資源管理：簡化招聘流程、個性化員工入職體驗、提供定制化學(xué)習(xí)和發(fā)展機(jī)會，增強(qiáng)員工的參與感和生產(chǎn)力。
• 財務(wù)與會計：自動化財務(wù)分析、識別異常和欺詐行為、優(yōu)化財務(wù)流程，提高準(zhǔn)確性、效率和風(fēng)險控制水平。
• 運營與供應(yīng)鏈管理：優(yōu)化庫存管理、預(yù)測需求、簡化物流操作，從而降低成本、提高供應(yīng)鏈效率。

在縱向領(lǐng)域提高 ROI 的 GenAI 應(yīng)用

“縱向領(lǐng)域”特指那些特定于某一行業(yè)或子行業(yè)的領(lǐng)域，需要針對每個行業(yè)的特定需求和挑戰(zhàn)定制解決方案。

在多個縱向領(lǐng)域部署 GenAI 同樣能夠有效推動 ROI。

• 醫(yī)療保?。涸卺t(yī)學(xué)診斷、藥物發(fā)現(xiàn)和個性化治療計劃方面提供輔助，改善患者治療結(jié)果，降低醫(yī)療成本。
• 金融：分析財務(wù)數(shù)據(jù)、預(yù)測市場趨勢、提出投資建議，改善決策制定和風(fēng)險管理。
• 零售：個性化商品推薦、優(yōu)化定價策略、增強(qiáng)購物體驗，提升銷售額和顧客忠誠度。
• 制造業(yè)：優(yōu)化生產(chǎn)流程、預(yù)知設(shè)備故障、提升質(zhì)量控制，降低成本、提高生產(chǎn)效率。
• 教育：提供個性化學(xué)習(xí)體驗、自動化反饋和自適應(yīng)評估，提高學(xué)生的學(xué)習(xí)成果和參與感。

結(jié)束語及行動呼吁 

理解組織、團(tuán)隊或個人當(dāng)前的成熟度和技術(shù)深度非常重要。接下來，確定目標(biāo)成熟度并發(fā)展必要的技能，滿足達(dá)到該成熟度所需的技術(shù)要求，實現(xiàn)定義好的商業(yè)影響和目標(biāo)。

組織可以規(guī)劃從當(dāng)前狀態(tài)到達(dá)目標(biāo)成熟度的路徑，通過構(gòu)建技能和能力、利用如 Google Cloud AI 這樣的工具和平臺，推進(jìn)商業(yè)目標(biāo)，實現(xiàn)其所追求的成熟度級別的商業(yè)成果。

本文轉(zhuǎn)載自??AI工程化??，作者： ully