o1快慢思考的風(fēng)又吹到了Agent！
智能體（Agent）通過自然對話與用戶互動有兩個任務(wù)：交談和規(guī)劃/推理。對話回應(yīng)必須基于所有可用信息，行動必須有助于實現(xiàn)目標(biāo)。與用戶交談和進(jìn)行多步推理和規(guī)劃之間的二分法，類似卡尼曼引入的人類快速思考和慢速思考系統(tǒng)。
為此，Google DeepMind提出了一個名為Talker-Reasoner的雙系統(tǒng)架構(gòu)，以模擬人類的兩種思考系統(tǒng)。
Talker-Reasoner的雙系統(tǒng)架構(gòu)，用于構(gòu)建能夠通過自然對話與用戶互動的智能代理。這種架構(gòu)受到人類“快速思考”和“慢速思考”系統(tǒng)的啟發(fā)，將Agent分為兩個部分：快速直觀的“Talker”（系統(tǒng)1）和慢速、深思熟慮的“Reasoner”（系統(tǒng)2）。
雙系統(tǒng)Talker-Reasoner方法的示意圖
Talker-Reasoner智能體模型
詳細(xì)介紹了提出的雙系統(tǒng)Talker-Reasoner智能體模型，該模型受到人類快速思考（System 1）和慢速思考（System 2）的啟發(fā)。這個模型將智能體分為兩個獨(dú)立的但相互協(xié)作的組件：
Talker-Reasoner架構(gòu)的圖表
- Talker智能體（System 1）：這個智能體是快速、直觀的，負(fù)責(zé)與用戶進(jìn)行自然語言交流，生成對話回應(yīng)。它類似于人類的直覺反應(yīng)，能夠迅速地從記憶中獲取信息，以支持其回應(yīng)。Talker智能體在每次與用戶互動時都會激活，并且可以訪問記憶來引導(dǎo)其回應(yīng)，類似于System 1的持續(xù)激活。
- Reasoner智能體（System 2）：這個智能體是慢速、深思熟慮且邏輯性強(qiáng)的，負(fù)責(zé)執(zhí)行復(fù)雜的多步推理和規(guī)劃。它調(diào)用工具、執(zhí)行動作，并更新智能體的狀態(tài)。Reasoner智能體還負(fù)責(zé)形成和更新關(guān)于用戶的信念狀態(tài)，這些信念狀態(tài)以結(jié)構(gòu)化的語言對象形式存儲在記憶中。
這兩個智能體之間的主要交互方式是通過記憶。Reasoner智能體負(fù)責(zé)生成新的信念狀態(tài)和推導(dǎo)多步推理和規(guī)劃，并將它們存儲在記憶中。Talker智能體在需要信念時，會從記憶中檢索最新的狀態(tài)。因此，Talker智能體可能會使用延遲的世界視圖進(jìn)行操作，因為Reasoner智能體可能還沒有時間生成新的信念并將其存儲在記憶中。
此外，Talker智能體還可以選擇等待Reasoner智能體完成其推理過程，然后再生成回應(yīng)。這種設(shè)計允許快速印象和回應(yīng)的Talker智能體成為Reasoner智能體明確信念和選擇（計劃）的來源。這種分工方式在大多數(shù)情況下都能很好地工作，因為Talker智能體通常非常擅長其任務(wù)：它可以自動從記憶中獲取信息，有效地引導(dǎo)其底層模型以很好地應(yīng)對熟悉情況。
睡眠輔導(dǎo)智能體案例研究
通過一個睡眠輔導(dǎo)智能體的案例研究來評估和實例化Talker-Reasoner雙智能體架構(gòu)。在一個現(xiàn)實世界的應(yīng)用場景中展示該架構(gòu)的有效性，特別是在處理需要用戶建模、使用專家知識提供科學(xué)支持的建議、提供多步驟輔導(dǎo)計劃以及進(jìn)行對話和同理心交流的復(fù)雜任務(wù)時。
睡眠輔導(dǎo)智能體的實現(xiàn)：
- Talker智能體：通過一組專家提供的指導(dǎo)原則來編碼睡眠領(lǐng)域的專業(yè)知識，這些原則描述了智能體的構(gòu)成（例如，表現(xiàn)出同理心、進(jìn)行對話交流、提供準(zhǔn)確的建議）以及睡眠輔導(dǎo)的不同階段（理解、目標(biāo)設(shè)定和輔導(dǎo)計劃）。Talker智能體通過一個強(qiáng)大的語言模型實現(xiàn)，能夠理解復(fù)雜的模式并提供深思熟慮的對話回應(yīng)。
- Reasoner智能體：明確地對用戶的信念進(jìn)行建模。通過與臨床專家的合作，作者編碼了一個JSON/XML模式的信念，包括睡眠問題、目標(biāo)、習(xí)慣、障礙和睡眠環(huán)境等字段。Reasoner智能體在執(zhí)行多步推理/規(guī)劃時，推斷并更新這些模式字段，從而創(chuàng)建或更新其信念狀態(tài)。
- Talker和Reasoner的協(xié)調(diào)：Talker智能體是否等待Reasoner智能體完成，取決于信念狀態(tài)。在規(guī)劃輔導(dǎo)階段，Talker智能體會等待Reasoner智能體完成；否則，它不會等待。
定性結(jié)果：
- 示例對話：展示了Talker和Reasoner智能體之間的互動，包括如何根據(jù)用戶的需求生成回應(yīng)和計劃，以及如何根據(jù)用戶的反饋調(diào)整計劃。
- 根據(jù)反饋調(diào)整計劃：展示了Reasoner智能體如何根據(jù)Talker智能體從用戶那里收集的反饋來調(diào)整其計劃。
以下是一段示例對話，展示了Reasoner和Talker之間的互動：
用戶：嘿，我需要你的幫助來規(guī)劃如何營造一個放松的睡前環(huán)境。（記憶中的信念更新為：{updated-context: starting context, updated-title: Sleep Coaching, coachingphase: UNDERSTANDING}）
Talker：太好了，我們開始為你打造一個放松的睡前環(huán)境吧:-) 你的臥室里有沒有什么可能會干擾你睡眠的東西？
用戶：我覺得噪音和光線太分散注意力了。你能幫我制定一個消除這些干擾的計劃嗎？（記憶中的信念保持不變）
Talker：當(dāng)然可以！這里有一個消除臥室干擾的計劃：噪音：
確定噪音源：列出臥室中所有的噪音源
隔絕外界噪音：使用遮光窗簾來阻擋光線和減少噪音；考慮使用降噪窗簾或隔音板；試試耳塞或白噪音機(jī)。光線：...記住，一致性是關(guān)鍵。每晚都堅持這個計劃，以營造一個平靜而黑暗的睡眠環(huán)境。還有什么我可以幫助你的嗎？
用戶：當(dāng)然，這很有用。不過，我希望步驟能更詳細(xì)一些。還想看看如何在我的臥室里營造一個寧靜放松的氛圍的資源。
（記憶中的信念更新為：{user context: UserCollectedContextData(primary-sleep-concern: Noise and light distractions in the bedroom), coaching phase: CoachingPhase(value=PLANNING)}）
Reasoner的計劃：當(dāng)然！讓我們更深入地看看你的計劃的第一步：
步驟：選擇一個平靜的色彩調(diào)色板。描述：在選擇臥室顏色時，選擇柔和的中性色調(diào)，如柔和的藍(lán)色、綠色或灰色。這些色調(diào)已被科學(xué)證明可以促進(jìn)放松和寧靜。
1. YouTube視頻：（鏈接）標(biāo)題：創(chuàng)造放松和無壓力臥室的墻面顏色創(chuàng)意。
頻道：roomdsignTV。
推理：這個來自roomdsignTV的視頻提供了平靜臥室色彩調(diào)色板的視覺示例。它展示了舒緩色彩對營造寧靜氛圍的影響。
2. YouTube播放列表：（鏈接）標(biāo)題：Berger油漆色彩組合。
頻道：Hresun Interiors。
推理：這個來自Hresun Interiors的播放列表提供了一系列的臥室色彩組合創(chuàng)意。它涵蓋了從傳統(tǒng)到現(xiàn)代的多種風(fēng)格，幫助你找到適合臥室的完美色彩方案。
Talker：復(fù)制Reasoner的回應(yīng)
##### 根據(jù)反饋調(diào)整計劃
以下是Reasoner智能體如何根據(jù)Talker智能體從用戶那里收集的反饋來調(diào)整其計劃的示例：
用戶：謝謝你，這非常有用。你能在我的計劃中加入更多關(guān)于我應(yīng)該在空間中添加哪些放松聲音的步驟嗎？（記憶中的信念保持不變）
Reasoner的計劃：當(dāng)然可以！這是你的計劃中的“探索自然聲音”部分，以及一些相關(guān)的YouTube內(nèi)容：
探索自然聲音：這個部分旨在幫助你使用自然聲音在空間中創(chuàng)造一個平靜和寧靜的氛圍。通過加入這些聲音，你可以促進(jìn)放松和減輕壓力。推薦YouTube視頻：...
發(fā)現(xiàn)治療頻率：在這個計劃的部分，我們將探索治療頻率的世界，這些頻率被認(rèn)為對放松和情緒健康有深遠(yuǎn)的影響。...YouTube推薦：
https://arxiv.org/pdf/2410.08328
Agents Thinking Fast and Slow: A Talker-Reasoner Architecture
Google DeepMind本文轉(zhuǎn)載自??PaperAgent??
