AI時(shí)代新風(fēng)口！吳恩達(dá)親授智能體四大設(shè)計(jì)模式
AI時(shí)代的風(fēng)口在哪里？
吳恩達(dá)認(rèn)為，AI Agent將在今年推動(dòng)人工智能的大規(guī)模進(jìn)步。
——甚至，有可能超過(guò)下一代基礎(chǔ)模型所帶來(lái)的影響。
他希望所有從事人工智能工作的人，都能關(guān)注AI智能體的發(fā)展。
Andrew Ng
大佬「退役」后，作為專業(yè)的「教書(shū)先生」，仍然孜孜不倦，授業(yè)傳道解惑。
最近在工作之余，吳恩達(dá)連續(xù)分享了很多關(guān)于智能體的見(jiàn)解，并定義了AI Agent的四大設(shè)計(jì)模式，
Reflection（反思）、Tool use（工具使用）、Planning（規(guī)劃）和Multi-agent collaboration（多智能體協(xié)同）：
-反思：LLM檢查自己的工作，并提出改進(jìn)的方法。
-工具使用：LLM利用Web搜索、代碼執(zhí)行或任何其他功能的工具，來(lái)幫助自己收集信息、采取行動(dòng)或處理數(shù)據(jù)。
-規(guī)劃：LLM提出并執(zhí)行實(shí)現(xiàn)目標(biāo)的多步驟計(jì)劃（比如一篇論文，首先寫(xiě)大綱，然后搜索和研究各部分內(nèi)容，再寫(xiě)草稿）。
-多智能體協(xié)作：多個(gè)AI agent協(xié)同工作，分工任務(wù)，討論和辯論想法，提出比單個(gè)智能體更好的解決方案。
智能體工作流
我們大多數(shù)人使用LLM通常是zero-shot模式，模型根據(jù)提示逐個(gè)輸出token，沒(méi)有返回修改的機(jī)會(huì)。
——這相當(dāng)于要求人類(lèi)從頭到尾一口氣寫(xiě)完一篇文章，不允許回退，——盡管是個(gè)比較困難的要求，不過(guò)大模型們目前都做得非常出色。
但事實(shí)上，我們?nèi)祟?lèi)正常的工作流程一般是迭代式的。
比如對(duì)于一篇文章，可能需要：
計(jì)劃一個(gè)大綱；通過(guò)網(wǎng)絡(luò)搜索來(lái)收集更多信息；
寫(xiě)初稿；
通讀初稿，發(fā)現(xiàn)不合理的論點(diǎn)或無(wú)關(guān)的信息；
反復(fù)修改......
這種工作模式對(duì)于人類(lèi)寫(xiě)出好文章至關(guān)重要，——那么對(duì)于AI來(lái)說(shuō)，是不是也應(yīng)如此？
前段時(shí)間，世界上第一個(gè)AI程序員Devin的演示，在社交媒體上引起了轟動(dòng)。
吳恩達(dá)團(tuán)隊(duì)于是研究了多個(gè)相關(guān)算法，在HumanEval編碼基準(zhǔn)測(cè)試中的表現(xiàn)，如下圖所示：
在zero shot的情況下，GPT-3.5的正確率為48.1%，GPT-4的表現(xiàn)更好，達(dá)到67.0%。
然而，加入了迭代智能體工作流程之后，GPT-3.5的正確率直接飆到了95.1%，——Agent工作流效果顯著，而且GPT-3.5比GPT-4得到的提升更加可觀。
目前，各種開(kāi)源智能體工具和相關(guān)研究的數(shù)量正在激增，擅于利用這些工具和經(jīng)驗(yàn)，將使你的LLM更加強(qiáng)大。
Reflection
反思，作為容易迅速實(shí)現(xiàn)的一種設(shè)計(jì)模式，已經(jīng)帶來(lái)了令人驚訝的性能影響。
我們可能有過(guò)這樣的經(jīng)歷：當(dāng)LLM（ ChatGPT/Claude/Gemini等）給出的結(jié)果不太令人滿意時(shí)，我們可以提供一些反饋，通常LLM再次輸出時(shí)，能夠給出更好的響應(yīng)。
——如果這個(gè)反饋的過(guò)程留給LLM自己執(zhí)行，是不是會(huì)更好？這就是反思（Reflection）。
以編碼任務(wù)為例，可以通過(guò)類(lèi)似的提示，讓LLM反思自己的輸出：
這是用于任務(wù) X 的代碼，仔細(xì)檢查代碼的正確性、風(fēng)格和效率，并就如何改進(jìn)它提出建設(shè)性的批評(píng)。
接下來(lái)，將之前生成的代碼和反饋放進(jìn)提示的上下文，并要求LLM根據(jù)反饋重寫(xiě)代碼。
當(dāng)然，我們也可以利用一些評(píng)估LLM輸出質(zhì)量的工具，使上面這個(gè)過(guò)程更進(jìn)一步，
比如通過(guò)單元測(cè)試檢查代碼在測(cè)試用例上的結(jié)果，或者通過(guò)web搜索來(lái)比對(duì)輸出的正確性。
此外，也可以像上圖那樣，使用多智能體框架實(shí)現(xiàn)Reflection：一個(gè)負(fù)責(zé)生成輸出，另一個(gè)負(fù)責(zé)對(duì)輸出提出建議。
如果諸位對(duì)Reflection感興趣，這里推薦下面幾篇文章，可以提供更多相關(guān)的知識(shí)：
論文地址：https://arxiv.org/pdf/2303.17651.pdf
論文地址：https://arxiv.org/pdf/2303.11366.pdf
論文地址：https://arxiv.org/pdf/2305.11738.pdf
Tool Use
工具使用，LLM可以調(diào)用給定的函數(shù)，來(lái)收集信息、采取行動(dòng)或操作數(shù)據(jù)，——這是AI智能體工作流的關(guān)鍵設(shè)計(jì)模式。
最常見(jiàn)的例子就是LLM可以使用工具，執(zhí)行Web搜索或執(zhí)行代碼。事實(shí)上，一些面向消費(fèi)者的大型公司已經(jīng)采用了這些功能。
比如如果你問(wèn)Copilot這樣的在線LLM：「最好的咖啡機(jī)是哪一款？」，它可能會(huì)決定進(jìn)行網(wǎng)絡(luò)搜索，并下載一個(gè)或多個(gè)網(wǎng)頁(yè)以獲取上下文。
畢竟，僅依靠預(yù)訓(xùn)練的Transformer來(lái)生成輸出答案是有局限性的，而提供Web搜索工具可以讓LLM做更多的事情。
LLM使用特殊的字符串，例如 {tool：web-search，query：coffee maker reviews} ，以請(qǐng)求調(diào)用搜索引擎。
后處理步驟會(huì)查找字符串，調(diào)用具有相關(guān)參數(shù)的Web搜索函數(shù)，并將結(jié)果附加到輸入上下文，傳遞回LLM。
再比如，如果你問(wèn)，「如果我以12年復(fù)利7%，投資100美元，最后會(huì)獲得多少收益？」，
LLM可能會(huì)使用代碼執(zhí)行工具，運(yùn)行Python命令來(lái)計(jì)算：{tool：python-interpreter，code：100 *（1+0.07）**12}。
現(xiàn)在這個(gè)過(guò)程更近一步，我們可以搜索不同的來(lái)源（Web、Wikipedia、arXiv等），與各種生產(chǎn)力工具交互（發(fā)送電子郵件、讀/寫(xiě)日歷條目等），并且我們希望LLM自動(dòng)選擇正確的函數(shù)調(diào)用來(lái)完成工作。
此外，當(dāng)有太多函數(shù)可供使用時(shí)，無(wú)法將所有函數(shù)都放入上下文中，這時(shí)可以使用啟發(fā)式方法，在當(dāng)前處理步驟中選擇要包含在LLM上下文中的最相關(guān)子集。
事實(shí)上，當(dāng)有太多的文本無(wú)法作為上下文包含，檢索增強(qiáng)生成（RAG）系統(tǒng)也是采用同樣的方法，選擇要包含的文本子集。
這里同樣推薦幾篇相關(guān)文章：
論文地址：https://arxiv.org/pdf/2305.15334.pdf
論文地址：https://arxiv.org/pdf/2303.11381.pdf
論文地址：https://arxiv.org/pdf/2401.17464.pdf
Planning
規(guī)劃，使用LLM將目標(biāo)任務(wù)分解為更小的子任務(wù)，然后自主決定執(zhí)行的步驟。
例如，如果我們要求智能體對(duì)給定主題進(jìn)行在線研究，LLM可以將其拆解為特定的子主題、綜合發(fā)現(xiàn)、編寫(xiě)報(bào)告。
曾經(jīng)，ChatGPT的發(fā)布讓很多人經(jīng)歷了「ChatGPT時(shí)刻」，AI的能力大大超出了人們的預(yù)期。
——而類(lèi)似的「AI Agent時(shí)刻」，也許很快就會(huì)到來(lái)。
吳恩達(dá)回憶了之前的一次現(xiàn)場(chǎng)展示，因?yàn)榫W(wǎng)速問(wèn)題，Agent的Web搜索API返回了錯(cuò)誤，——眼看就要被公開(kāi)處刑，Agent居然轉(zhuǎn)到了維基百科的搜索工具，最終完成了任務(wù)（救大命了）。
吳恩達(dá)表示，看到一個(gè)Agent以出人意料的方式執(zhí)行任務(wù)，并獲得成功，是一件美好的事情。
不過(guò)也有網(wǎng)友表示，大事不好啦，Agent失控啦！
現(xiàn)實(shí)中，有許多任務(wù)無(wú)法通過(guò)單個(gè)步驟或單個(gè)工具調(diào)用完成，但Agent可以決定要執(zhí)行哪些步驟。
例如，要求智能體參照一張男孩的照片，畫(huà)一張相同姿勢(shì)的女孩的照片，則該任務(wù)可以分解為兩個(gè)步驟：（i）檢測(cè)男孩圖片中的姿勢(shì)，（ii）以檢測(cè)到的姿勢(shì)渲染女孩的圖片。
LLM可能會(huì)通過(guò)輸出類(lèi)似 {tool：pose-detection，input：image.jpg，output：temp1 } {tool：pose-to-image，input：temp1，output：final.jpg} 這樣的字符串來(lái)指定計(jì)劃。
Planning是一種非常強(qiáng)大的能力，不過(guò)它也會(huì)導(dǎo)致難以預(yù)測(cè)的結(jié)果。
吳恩達(dá)表示Planning仍是一項(xiàng)不太成熟的技術(shù)，用戶很難提前預(yù)測(cè)它會(huì)做什么，——不過(guò)我們可以期待技術(shù)的快速發(fā)展來(lái)解決這個(gè)問(wèn)題。
這里同樣推薦3篇相關(guān)的優(yōu)秀工作：
論文地址：https://arxiv.org/pdf/2201.11903.pdf
論文地址：https://arxiv.org/pdf/2303.17580.pdf
論文地址：https://arxiv.org/pdf/2402.02716.pdf
本文轉(zhuǎn)自 新智元 ，作者：新智元
