首先我們回顧下智能體的本質(zhì)是什么？

如上圖所示，智能體的核心在于其如何接收指令、執(zhí)行任務(wù)并做出決策。以下是其關(guān)鍵組成部分：

1. Prompt（提示）Prompt 是指導(dǎo)大語言模型（LLM）如何行動(dòng)的指令，它定義了 LLM 可以使用的“工具”。Prompt 的輸出是一個(gè) JSON 對象，用于描述工作流程中的下一步操作，例如“工具調(diào)用”或“函數(shù)調(diào)用”。
2. Switch 語句Switch 語句根據(jù) LLM 返回的 JSON 內(nèi)容決定后續(xù)操作。這是整個(gè)流程中的一個(gè)重要環(huán)節(jié)，用于解析 LLM 的輸出并執(zhí)行相應(yīng)的動(dòng)作。
3. 累積的上下文累積的上下文用于記錄已執(zhí)行的操作步驟及其運(yùn)行結(jié)果。這一部分是智能體決策的重要依據(jù)，幫助其跟蹤任務(wù)的進(jìn)展。
4. For 循環(huán)For 循環(huán)是整個(gè)流程的驅(qū)動(dòng)機(jī)制。它循環(huán)執(zhí)行以下操作，直至 LLM 返回終止信號(hào)（例如標(biāo)記為“Terminal”的工具調(diào)用或自然語言響應(yīng)）：將 switch 語句的執(zhí)行結(jié)果加入上下文窗口，并讓 LLM 決定下一步動(dòng)作。

這種設(shè)計(jì)使得智能體能夠高效地執(zhí)行任務(wù)，同時(shí)具備靈活性和適應(yīng)性。

下面我們詳細(xì)剖析下 AI 智能體架構(gòu)設(shè)計(jì)的12條原則。

1、AI 智能體架構(gòu)設(shè)計(jì)的12條原則

架構(gòu)設(shè)計(jì)原則一：自然語言轉(zhuǎn)工具調(diào)用

將自然語言轉(zhuǎn)換為結(jié)構(gòu)化的工具調(diào)用是構(gòu)建 AI 智能體的常見模式之一。這種模式功能強(qiáng)大，能夠使智能體具備推理和執(zhí)行任務(wù)的能力。

這種模式的核心在于實(shí)現(xiàn)自然語言與結(jié)構(gòu)化指令之間的精準(zhǔn)轉(zhuǎn)換。

架構(gòu)設(shè)計(jì)原則二：自主掌控提示詞

避免直接使用框架自動(dòng)生成的提示詞。

一些框架會(huì)提供這種“黑箱式”方案：

這種方案雖然能讓你快速上手并應(yīng)用頂尖的提示詞模板，但后期很難進(jìn)行精準(zhǔn)調(diào)整或?qū)嵤┠嫦蚬こ?，難以確保模型接收到的指令完全符合預(yù)期。

相反，你應(yīng)該像對待核心業(yè)務(wù)代碼一樣對待提示詞：

架構(gòu)設(shè)計(jì)原則三：自主掌控上下文窗口

在與大語言模型交互時(shí)，上下文傳遞不必局限于標(biāo)準(zhǔn)消息格式。對于 AI 智能體而言，每次向 LLM 提供輸入的本質(zhì)是：“這是當(dāng)前情況，接下來該怎么做？”一切皆為上下文工程。大語言模型本質(zhì)上是無狀態(tài)函數(shù)，其作用是將輸入轉(zhuǎn)化為輸出。要獲得優(yōu)質(zhì)輸出，就必須提供優(yōu)質(zhì)的輸入。

構(gòu)建優(yōu)質(zhì)上下文需要包含以下要素：

1. 提示詞與指令：為模型提供明確的操作指引。
2. 外部數(shù)據(jù)源：檢索到的文檔或知識(shí)（比如：使用 RAG 技術(shù)）。
3. 歷史狀態(tài)：過往的工具調(diào)用記錄、執(zhí)行結(jié)果等操作痕跡。
4. 記憶系統(tǒng)：與當(dāng)前對話或事件相關(guān)但獨(dú)立的歷史記錄。
5. 輸出結(jié)構(gòu)化指令：規(guī)定模型返回?cái)?shù)據(jù)的格式規(guī)范。

通過優(yōu)化上下文輸入，可以顯著提升大語言模型的輸出質(zhì)量和任務(wù)執(zhí)行效率。

架構(gòu)設(shè)計(jì)原則四：「工具」本質(zhì)上只是 LLM 生成的結(jié)構(gòu)化輸出

“工具”的設(shè)計(jì)無需過于復(fù)雜。其核心是大語言模型生成的結(jié)構(gòu)化輸出，用于觸發(fā)確定性的代碼執(zhí)行。

以 ??CreateIssue ???和 ??SearchIssues ??這兩個(gè)工具為例，讓大語言模型（LLM）“調(diào)用工具”，本質(zhì)上是讓它輸出一個(gè)可解析的 JSON 對象，該對象對應(yīng)要執(zhí)行的具體操作。

這種模式非常簡潔，包含以下三個(gè)步驟：

1. LLM生成結(jié)構(gòu)化的 JSON 輸出。
2. 使用確定性代碼執(zhí)行對應(yīng)操作（例如：調(diào)用外部 API）。
3. 捕獲執(zhí)行結(jié)果并反饋到上下文中。

這種設(shè)計(jì)實(shí)現(xiàn)了 LLM 決策邏輯與應(yīng)用程序執(zhí)行邏輯的清晰分離：LLM 負(fù)責(zé)決定“做什么”，而代碼則掌控“怎么做”。即使 LLM 調(diào)用了某個(gè)工具，具體的執(zhí)行方式也不必每次都嚴(yán)格對應(yīng)單一函數(shù)。

架構(gòu)設(shè)計(jì)原則五：執(zhí)行狀態(tài)與業(yè)務(wù)狀態(tài)的統(tǒng)一

即使在 AI 領(lǐng)域之外，許多基礎(chǔ)設(shè)施系統(tǒng)也在嘗試分離“執(zhí)行狀態(tài)”與“業(yè)務(wù)狀態(tài)”。對于 AI 應(yīng)用來說，這種分離可能需要復(fù)雜的抽象機(jī)制來跟蹤當(dāng)前步驟、下一步驟、等待狀態(tài)、重試次數(shù)等信息。雖然這種分離帶來的復(fù)雜性在某些情況下可能是值得的，但對你的具體使用場景來說，可能是一種過度設(shè)計(jì)。

你可以根據(jù)自己的需求來決定最適合的方案。不要認(rèn)為必須將這兩者分開管理。

更清晰的定義如下：

• 執(zhí)行狀態(tài)（Execution state）：包括當(dāng)前步驟、下一步驟、等待狀態(tài)、重試次數(shù)等。
• 業(yè)務(wù)狀態(tài)（Business state）：指智能體工作流中已發(fā)生的事件，例如 OpenAI 消息列表、工具調(diào)用及結(jié)果列表等。

如果可能的話，盡量簡化設(shè)計(jì)——盡可能將執(zhí)行狀態(tài)和業(yè)務(wù)狀態(tài)統(tǒng)一起來。

實(shí)際上，通過精心的工程設(shè)計(jì)，你可以直接從上下文窗口推斷出所有執(zhí)行狀態(tài)。在大多數(shù)情況下，執(zhí)行狀態(tài)（如當(dāng)前步驟、等待狀態(tài)等）本質(zhì)上只是已發(fā)生事件的元數(shù)據(jù)（metadata）。

當(dāng)然，有些信息（如會(huì)話 ID、密碼上下文等）可能無法放入上下文窗口，但你的目標(biāo)應(yīng)該是盡量減少這類例外。通過遵循架構(gòu)設(shè)計(jì)原則3，你可以精準(zhǔn)地控制哪些信息真正輸入給 LLM。

架構(gòu)設(shè)計(jì)原則六：通過簡單的 API 實(shí)現(xiàn)啟動(dòng)/暫停/恢復(fù)

智能體本質(zhì)上是一種程序，其生命周期管理應(yīng)符合我們對普通程序的期望：能夠方便地啟動(dòng)、查詢、恢復(fù)和終止。

必須確保終端用戶、應(yīng)用程序、業(yè)務(wù)流程以及其他智能體都可以通過輕量級 API 接口快速部署新的智能體實(shí)例。此外，智能體及其編排的確定性代碼應(yīng)具備長期運(yùn)行時(shí)的自動(dòng)暫停能力。

架構(gòu)設(shè)計(jì)原則七：通過工具調(diào)用實(shí)現(xiàn)人機(jī)協(xié)同

默認(rèn)情況下，LLM AP I在生成模型響應(yīng)時(shí)，首先需要做出一個(gè)關(guān)鍵且高風(fēng)險(xiǎn)的選擇：是返回純文本內(nèi)容，還是返回結(jié)構(gòu)化數(shù)據(jù)？

系統(tǒng)會(huì)將大量決策權(quán)重集中在首個(gè)詞元的選擇上。例如，在查詢“東京天氣”時(shí)，首個(gè)詞元可能是：

• “東京”

而在 ??fetch_weather??（獲取天氣）功能中，則可能是表示 JSON 對象開頭的特殊詞元：

• ??|JSON>??

更優(yōu)的方案是讓大語言模型始終輸出 JSON 結(jié)構(gòu)化數(shù)據(jù)，然后通過自然語言詞元（??如 request_human_input ???或 ??done_for_now ???）來聲明意圖，而不是依賴類似 ??check_weather_in_city ??這樣的“標(biāo)準(zhǔn)”工具。

需要注意的是，這種方案可能不會(huì)直接提升系統(tǒng)的性能指標(biāo)，但它必須通過持續(xù)實(shí)驗(yàn)來驗(yàn)證。工程師應(yīng)該保留嘗試非常規(guī)手段的自由度，這是找到最優(yōu)解的必經(jīng)之路。

架構(gòu)設(shè)計(jì)原則八：掌控你的控制流

如果你能夠掌控控制流，就能實(shí)現(xiàn)更靈活、更強(qiáng)大的功能。

根據(jù)具體應(yīng)用場景構(gòu)建專屬的控制邏輯，精準(zhǔn)匹配業(yè)務(wù)需求。當(dāng)特定類型的工具調(diào)用需要中斷循環(huán)以等待人工響應(yīng)或執(zhí)行長時(shí)任務(wù)（例如訓(xùn)練流水線）時(shí)，你可以設(shè)計(jì)靈活的中斷機(jī)制。建議集成以下自定義功能：

• 工具調(diào)用結(jié)果的摘要與緩存：快速檢索和復(fù)用結(jié)果，避免重復(fù)計(jì)算。
• 使用 LLM 對結(jié)構(gòu)化輸出進(jìn)行校驗(yàn)和評估：確保輸出的準(zhǔn)確性和可靠性。
• 上下文窗口壓縮或其他內(nèi)存管理方案：優(yōu)化內(nèi)存使用，提升系統(tǒng)效率。
• 全鏈路日志追蹤與性能監(jiān)控：實(shí)時(shí)監(jiān)控系統(tǒng)運(yùn)行狀態(tài)，快速定位問題。
• 客戶端速率限制策略：防止過載，保障系統(tǒng)穩(wěn)定運(yùn)行。
• 持久化的休眠/暫停/事件等待機(jī)制：支持長時(shí)間任務(wù)的靈活暫停與恢復(fù)。

通過這些自定義功能，你可以構(gòu)建出更高效、更可靠的智能體系統(tǒng)，滿足復(fù)雜多變的業(yè)務(wù)需求。

架構(gòu)設(shè)計(jì)原則九：將錯(cuò)誤信息壓縮至上下文窗口

這一點(diǎn)雖然簡短，但值得一提。智能體的優(yōu)勢之一在于“自我修復(fù)”--對于短任務(wù)，大語言模型（LLM）可能會(huì)調(diào)用某個(gè)失敗的工具。優(yōu)秀的 LLM 通常能夠讀取錯(cuò)誤信息或 Stack Trace 信息，并在后續(xù)工具調(diào)用中調(diào)整策略。

大多數(shù)框架已實(shí)現(xiàn)這一功能，但你也可以只做到這一點(diǎn)。

架構(gòu)設(shè)計(jì)原則十：小型化、功能聚焦的智能體

與其構(gòu)建一個(gè)試圖包辦一切的大型智能體，不如開發(fā)專注于某一單一功能的小型智能體。智能體只是更大系統(tǒng)中的一個(gè)基礎(chǔ)組件，而這個(gè)系統(tǒng)主要由確定性因素驅(qū)動(dòng)。

關(guān)鍵在于大語言模型（LLM）的局限性：任務(wù)越龐大復(fù)雜，所需步驟就越多，上下文窗口也就越長。隨著上下文的增長，大語言模型更容易迷失方向或偏離重點(diǎn)。通過將智能體的功能限定在特定領(lǐng)域（3-10個(gè)步驟，最多20個(gè)任務(wù)步驟），我們可以保持上下文窗口的可管理性，從而確保大語言模型的高效運(yùn)行。

架構(gòu)設(shè)計(jì)原則十一：智能體系統(tǒng)支持多入口觸發(fā)，且響應(yīng)與觸發(fā)渠道保持一致

在落實(shí)了原則 6 和原則 7 之后，你可以無縫集成這一原則的方案。

支持用戶通過 Slack、郵件、短信等任意渠道喚醒智能體，并確保響應(yīng)始終在原對話流中完成。

優(yōu)勢：

• 滿足用戶需求：打造擬人化的 AI 應(yīng)用體驗(yàn)，讓用戶感受到如同真人協(xié)作般的自然交互，至少達(dá)到數(shù)字同事的交互水平。
• 外循環(huán)智能體：支持非人工觸發(fā)（如系統(tǒng)事件、定時(shí)任務(wù)、故障告警等），智能體可自主運(yùn)行 5-90 分鐘，并在關(guān)鍵決策節(jié)點(diǎn)自動(dòng)請求人工介入（如需審批、獲取反饋或請求協(xié)助）。
• 高風(fēng)險(xiǎn)操作授權(quán)機(jī)制：通過快速人工復(fù)核機(jī)制，授權(quán)智能體執(zhí)行高風(fēng)險(xiǎn)操作（如外發(fā)郵件、生產(chǎn)數(shù)據(jù)更新等）。明確且標(biāo)準(zhǔn)化的管控體系既能保障操作的可追溯性，又能提升智能體執(zhí)行復(fù)雜任務(wù)的可靠性。

架構(gòu)設(shè)計(jì)原則十二：將智能體設(shè)計(jì)為符合“無狀態(tài)化歸并器”模式

本文轉(zhuǎn)載自??玄姐聊AGI??  作者：玄姐