圖解LLM-Agent大模型智能體
LLM-Agent 大模型智能體熱度空前，但智能體是什么、為什么、怎么辦，行業(yè)還沒有統(tǒng)一認(rèn)知，典型的小學(xué)語文課本里“小馬過河”的現(xiàn)實版。
是什么
一、OpenAI 工程師Lilian Weng的定義 2023.6.23
規(guī)劃
子目標(biāo)和分解：將大型任務(wù)分解為更小的、可管理的子目標(biāo)。
反思和改進：對過去的行動進行自我批評和自我反省，從錯誤中學(xué)習(xí)。
記憶
短期記憶：上下文學(xué)習(xí)都是利用模型的短期記憶來學(xué)習(xí)。
長期記憶：長期保留和回憶信息的能力。
工具使用
調(diào)用外部API來獲取模型權(quán)重中缺少的額外信息。
二、復(fù)旦大學(xué)學(xué)者的調(diào)研總結(jié) 2023.9.19
大腦
Brain作為記憶和決策中心。
感知
Perception解釋外部刺激，從文本到更多模態(tài)的形式。
行動
Action執(zhí)行來自“大腦”的決定。
三、NVIDIA 工程師Tanay Varshney的看法 2023.11.30
智能體核心
核心邏輯和行為特征的中央?yún)f(xié)調(diào)模塊，或“關(guān)鍵決策模塊”，包括
目標(biāo)：包含總體目標(biāo)和目的。
工具手冊：可訪問的所有工具的“用戶手冊”。
規(guī)劃指南：不同規(guī)劃模塊的使用細(xì)節(jié)。
動態(tài)記憶：推斷時動態(tài)填充與用戶過去對話中最相關(guān)的記憶項。
角色(可選)：最終響應(yīng)中注入典型的特質(zhì)。
記憶
短期記憶：回答用戶的單個問題時所經(jīng)歷的行動和想法的賬本。
長期記憶：用戶和智能體之間發(fā)生的事件的行動和想法的賬本。
工具
用來執(zhí)行任務(wù)的定義良好的可執(zhí)行工作流。
規(guī)劃
任務(wù)和問題分解
反思或批評
LLM大模型之前，Agent就有不少研究，LLM 讓這一構(gòu)想有了更現(xiàn)實的可能。以上是今年影響面較大的三篇內(nèi)容，其中有明顯的時間線，反映了行業(yè)認(rèn)知的持續(xù)深化。NVIDIA 工程師的版本更簡潔明了。
為什么
一、幻覺，大模型天生可能一本正經(jīng)的胡說。哈工大與華為學(xué)者的調(diào)研 2023.11.9
數(shù)據(jù)引起
缺陷數(shù)據(jù)源（錯誤信息與偏見，知識邊界）
數(shù)據(jù)利用不足（知識捷徑，知識召回失敗）
訓(xùn)練所致
預(yù)訓(xùn)練帶來（架構(gòu)缺陷，次優(yōu)訓(xùn)練目標(biāo)）
對齊產(chǎn)生（能力錯位，信念錯位）
推理引入
缺陷的解碼策略（內(nèi)在采樣隨機性）
不完美解碼表征（上下文注意力不足，Softmax瓶頸）
二、前后左右不一的自一致性 self-consistency
單視角橫向自一致性
單視角縱向自一致性
同上下文，單條線，先后同輸入的輸出預(yù)期一致
多視角縱橫一致性
不同上下文，多條線，先后同輸入的輸出，特定情況下預(yù)期一致
三、記憶的短期性，上下文窗口限制
沒有超出上下文窗口的記憶
只能“記住”給定的有限上下文中的內(nèi)容，沒有其他獨立的記憶存儲。
上下文窗口作為LLM的瞬時記憶
完全依賴于上下文窗口來獲取任何之前的信息。
怎么辦
一、從LLM外部解決問題的思路，典型做法，檢索輔助生成RAG
RAG
模型利用從文檔中檢索到的相關(guān)信息輔助生成過程。
附加知識庫
為模型提供額外的信息輸入，適用于知識密集型任務(wù)。
兩個關(guān)鍵階段
利用編碼模型基于問題檢索相關(guān)文檔，如BM25、DPR、ColBERT等方法。
使用檢索到的上下文作為條件生成內(nèi)容。
RAG局限
不適用于教會模型理解廣泛的領(lǐng)域或?qū)W習(xí)新的語言、格式或風(fēng)格。
微調(diào)技術(shù)?
通過深入學(xué)習(xí)內(nèi)化知識，適合需要復(fù)制特定的結(jié)構(gòu)、風(fēng)格或格式。
二、解鈴還須系鈴人，從LLM內(nèi)部系統(tǒng)性解決問題的思路
解鈴還須系鈴人，有針對性的為幻覺來源對癥下藥，將是今后管控幻覺的關(guān)鍵措施。這里沒用“消除”一詞，從上文認(rèn)知框架筆者推斷，可將幻覺降低到“不可見”范圍，但很難消除為零。
針對語料中的偏差與錯誤，語料的全面數(shù)據(jù)治理十分必要，既要豐富詳實，又要不偏不倚；加大算力提高模型精度，增強嵌入及后續(xù)訓(xùn)練的信息區(qū)分度；
改進Transformer-Attention歸一化算法，優(yōu)化降低自由能損失，最大程度降低信息折損；自回歸預(yù)測將受益于歸一化優(yōu)化，從而提升內(nèi)部概率先驗精確性；
構(gòu)建重整化流的數(shù)學(xué)公式，推導(dǎo)出其流動的方向，并計算可能的不動點，從而借助新語料，對不動點做微擾，促進其進入更有序的相空間，實現(xiàn)可控的可預(yù)測的涌現(xiàn)；
RLHF訓(xùn)練結(jié)合提示工程探索不同上下文有效提示語，改進decoder模型，促進大模型內(nèi)部采樣使用Wasserstein距離作為概率分布近似的度量；
探測研究內(nèi)部世界模型結(jié)構(gòu)，進而可以控制模型溫度，指導(dǎo)動態(tài)Bayes推理更貼切的采樣概率分布，進一步亦可通過檢索增強生成（RAG）效果，提高自一致自評估能力。
三、內(nèi)外兼修，多種概念架構(gòu)層出不窮
伯克利學(xué)者增強上下文窗口 Context Window 的思路
增加一個分層的外部上下文和相應(yīng)管理功能函數(shù)。
LLM處理器以主上下文為輸入，并輸出由解析器解釋的文本：輸出或函數(shù)調(diào)用，函數(shù)調(diào)用在主上下文和外部上下文之間移動數(shù)據(jù)。
普林斯頓學(xué)者的工作也比較有啟發(fā)性
定義了一組交互模塊和過程。
決策程序執(zhí)行智能體的源代碼。
此源代碼由與 LLM (提示模板和解析器)、內(nèi)部存儲器(檢索和學(xué)習(xí))和外部環(huán)境(Grounding) 交互的過程組成。
寫在最后
邏輯上人腦包括兩個重要系統(tǒng)：
系統(tǒng)1 負(fù)責(zé)刺激響應(yīng)，系統(tǒng)2負(fù)責(zé)深度思考。
大模型LLM功能目前相當(dāng)于系統(tǒng)1，智能體Agent類似系統(tǒng)2。
兩者相輔相成，協(xié)同一致，處理復(fù)雜問題兩者都不可或缺。
筆者傾向于從LLM內(nèi)部解決現(xiàn)有問題的思路，三個關(guān)鍵點：
·Self-awareness，非自我意識，而是加強LLM對學(xué)到的范疇的結(jié)構(gòu)和關(guān)系的理解；
·范疇內(nèi)和跨范疇采樣改進，依據(jù)更好的“范疇的結(jié)構(gòu)和關(guān)系的理解”優(yōu)化采樣算法；
·構(gòu)建內(nèi)部工作空間，管理短中長期多層次記憶與范疇交互，推理規(guī)劃與使用工具；
參考文獻
1.LLM Powered Autonomous Agents https://lilianweng.github.io/posts/2023-06-23-agent/?
2.The Rise and Potential of Large Language Model Based Agents: A Survey https://arxiv.org/pdf/2309.07864.pdf?
3.Introduction to LLM Agents https://developer.nvidia.com/blog/introduction-to-llm-agents/?
4.A Survey on Hallucination in Large Language Models:Principles, Taxonomy, Challenges, and Open Questions https://arxiv.org/pdf/2311.05232.pdf?
5.ENHANCING LARGE LANGUAGE MODELS IN CODING THROUGH MULTI-PERSPECTIVE SELF-CONSISTENCY https://openreview.net/pdf?id=hUs8YHAUEr?
6.Survey of Hallucination in Natural Language Generation https://arxiv.org/pdf/2202.03629.pdf?
7.Retrieval-Augmented Generation for Large Language Models: A Survey https://arxiv.org/pdf/2312.10997.pdf?
8.Cognitive Architectures for Language Agents https://arxiv.org/pdf/2309.02427.pdf?
9.https://promptengineering.org/statistical-or-sentient-understanding-the-llm-mind/?
10.MEMGPT: TOWARDS LLMS AS OPERATING SYSTEMS ?https://arxiv.org/pdf/2310.08560.pdf
