隨著大規(guī)模語(yǔ)言模型（Large Language Model，LLM）的發(fā)展和應(yīng)用，人工智能領(lǐng)域出現(xiàn)了一種新的研究方向，即基于LLM的自主智能體（LLM-based Autonomous Agent）。這種智能體利用LLM的強(qiáng)大的表示能力和生成能力，可以在多種任務(wù)和環(huán)境中表現(xiàn)出智能的行為，如對(duì)話(huà)、游戲、推理、規(guī)劃、工具使用等。基于LLM的智能體面臨著一些挑戰(zhàn)和問(wèn)題，如何有效地微調(diào)LLM以適應(yīng)不同的任務(wù)和環(huán)境，如何設(shè)計(jì)和實(shí)現(xiàn)多種內(nèi)在函數(shù)以實(shí)現(xiàn)復(fù)雜的智能體行為，如何評(píng)估和提升智能體的結(jié)構(gòu)化推理能力等。為了解決這些問(wèn)題，一些研究者提出了一些創(chuàng)新的方法和模型，如SwiftSage、ReAct、Least-to-Most、AgentTuning、FireAct等。

近日，來(lái)自華為諾亞方舟實(shí)驗(yàn)室、倫敦大學(xué)學(xué)院（UCL）、牛津大學(xué)等機(jī)構(gòu)的研究者提出了盤(pán)古智能體框架（Pangu-Agent），這是一種通用的、可微調(diào)的、具有結(jié)構(gòu)化推理能力的智能體模型，盤(pán)古智能體框架（Pangu-Agent）的論文題為《Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning》。該模型在多個(gè)單智能體和多智能體的任務(wù)上，使用不同的通用語(yǔ)言模型和提示方法，對(duì)盤(pán)古智能體進(jìn)行了廣泛的評(píng)估，展示了其在結(jié)構(gòu)化推理和微調(diào)方面的優(yōu)勢(shì)。本文的主要目的是從技術(shù)和應(yīng)用的角度，對(duì)盤(pán)古智能體的五個(gè)創(chuàng)新點(diǎn)進(jìn)行分析：

• 提出一個(gè)通用的強(qiáng)化學(xué)習(xí)目標(biāo)，用于優(yōu)化智能體的內(nèi)在函數(shù)和外在函數(shù)，使得智能體能夠在多種任務(wù)和環(huán)境中表現(xiàn)出靈活的推理和決策能力。
• 設(shè)計(jì)多種內(nèi)在函數(shù)，如思考、規(guī)劃、反思、交流和使用工具等，使得智能體能夠根據(jù)自己的記憶狀態(tài)和上下文信息，進(jìn)行內(nèi)部的變換和操作，以及與外部的工具和其他智能體進(jìn)行交互。
• 實(shí)現(xiàn)多種復(fù)合方法，如SwiftSage、ReAct和Least-to-Most等，使得智能體能夠在每個(gè)環(huán)境時(shí)間步驟中使用多個(gè)內(nèi)在函數(shù)步驟來(lái)決定最終的動(dòng)作，實(shí)現(xiàn)更復(fù)雜和更靈活的智能體行為。
• 探索多種微調(diào)方法，如監(jiān)督微調(diào)和強(qiáng)化學(xué)習(xí)微調(diào)，使得智能體能夠根據(jù)專(zhuān)家數(shù)據(jù)和環(huán)境反饋，調(diào)整通用語(yǔ)言模型的權(quán)重，以提高智能體的性能和適應(yīng)能力。
• 在多個(gè)單智能體和多智能體的任務(wù)上，使用不同的通用語(yǔ)言模型和提示方法，對(duì)盤(pán)古智能體進(jìn)行了廣泛的評(píng)估，展示了其在結(jié)構(gòu)化推理和微調(diào)方面的優(yōu)勢(shì)。

（圖1）

圖1：帶有RL的盤(pán)古特工管道的圖片描述。從系統(tǒng)提示開(kāi)始?10 Creative 2023|機(jī)密|10creative.co.uk和初始狀態(tài)，我們的代理人在環(huán)境中執(zhí)行行動(dòng)，并觀察下一個(gè)狀態(tài)和獎(jiǎng)勵(lì)。生成的軌跡可以用于微調(diào)LLM。

1.盤(pán)古智能體的通用強(qiáng)化學(xué)習(xí)目標(biāo)

強(qiáng)化學(xué)習(xí)（Reinforcement Learning，RL）是一種讓智能體在與環(huán)境交互的過(guò)程中，通過(guò)學(xué)習(xí)和優(yōu)化自身的行為策略，以達(dá)到最大化累積獎(jiǎng)勵(lì)的目標(biāo)的機(jī)器學(xué)習(xí)方法。強(qiáng)化學(xué)習(xí)的核心要素包括智能體、環(huán)境、動(dòng)作、狀態(tài)和獎(jiǎng)勵(lì)，其中獎(jiǎng)勵(lì)是指智能體在每個(gè)時(shí)間步驟中，根據(jù)其狀態(tài)和動(dòng)作，從環(huán)境中獲得的反饋信號(hào)，用于評(píng)估和指導(dǎo)智能體的行為。

強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)可以分為兩種類(lèi)型，即外在獎(jiǎng)勵(lì)（Extrinsic Reward）和內(nèi)在獎(jiǎng)勵(lì)（Intrinsic Reward）。外在獎(jiǎng)勵(lì)是指由環(huán)境直接提供的獎(jiǎng)勵(lì)，通常與智能體的任務(wù)目標(biāo)相關(guān)，如游戲得分、對(duì)話(huà)成功率等。內(nèi)在獎(jiǎng)勵(lì)是指由智能體自身生成的獎(jiǎng)勵(lì)，通常與智能體的內(nèi)部狀態(tài)或動(dòng)機(jī)相關(guān)，如好奇心、探索性、新穎性等。外在獎(jiǎng)勵(lì)和內(nèi)在獎(jiǎng)勵(lì)的區(qū)別在于，外在獎(jiǎng)勵(lì)是由環(huán)境決定的，而內(nèi)在獎(jiǎng)勵(lì)是由智能體決定的。

外在獎(jiǎng)勵(lì)和內(nèi)在獎(jiǎng)勵(lì)各有優(yōu)缺點(diǎn)。外在獎(jiǎng)勵(lì)的優(yōu)點(diǎn)是可以直接反映智能體的任務(wù)性能，可以讓智能體快速地適應(yīng)特定的任務(wù)和環(huán)境。外在獎(jiǎng)勵(lì)的缺點(diǎn)是可能導(dǎo)致智能體過(guò)度依賴(lài)于環(huán)境的反饋，缺乏自主性和靈活性，也可能導(dǎo)致智能體陷入局部最優(yōu)，忽略了更好的解決方案。內(nèi)在獎(jiǎng)勵(lì)的優(yōu)點(diǎn)是可以增強(qiáng)智能體的自主性和靈活性，可以讓智能體在稀疏或延遲的外在獎(jiǎng)勵(lì)下，仍然能夠進(jìn)行有效的學(xué)習(xí)和探索。內(nèi)在獎(jiǎng)勵(lì)的缺點(diǎn)是可能與外在獎(jiǎng)勵(lì)不一致，甚至相互沖突，也可能導(dǎo)致智能體過(guò)度追求內(nèi)在獎(jiǎng)勵(lì)，忽略了任務(wù)目標(biāo)。

（圖2）

圖2：三個(gè)內(nèi)在函數(shù)的可視化顯示了我們的公式在提高代理的模塊性和靈活性方面的重要性。用戶(hù)可以重新定義和配置固有功能，例如μ1（·）將LLM作為輸入來(lái)產(chǎn)生想法，或者μ2（·）使用工具來(lái)幫助改進(jìn)推理。我們還支持嵌套這些內(nèi)在函數(shù)，為復(fù)雜且具有挑戰(zhàn)性的決策任務(wù)構(gòu)建更通用的模塊。

盤(pán)古智能體的通用強(qiáng)化學(xué)習(xí)目標(biāo)的創(chuàng)新點(diǎn)在于，它不僅考慮了智能體的任務(wù)目標(biāo)，也考慮了智能體的內(nèi)部動(dòng)機(jī)，使得智能體能夠在多種任務(wù)和環(huán)境中表現(xiàn)出靈活的推理和決策能力。該目標(biāo)的優(yōu)勢(shì)在于，它可以適應(yīng)不同的任務(wù)和環(huán)境，可以通過(guò)調(diào)整外在獎(jiǎng)勵(lì)和內(nèi)在獎(jiǎng)勵(lì)的權(quán)重系數(shù)，來(lái)平衡智能體的任務(wù)性能和探索性能，也可以通過(guò)設(shè)計(jì)和實(shí)現(xiàn)多種內(nèi)在函數(shù)，來(lái)生成多樣的內(nèi)在獎(jiǎng)勵(lì)，從而提高智能體的自主性和靈活性。

2.盤(pán)古智能體的多種內(nèi)在函數(shù)

內(nèi)在函數(shù)（Intrinsic Function）是指智能體自身生成的一種函數(shù)，用于對(duì)智能體的狀態(tài)和動(dòng)作進(jìn)行內(nèi)部的變換和操作，以實(shí)現(xiàn)復(fù)雜的智能體行為。內(nèi)在函數(shù)的作用是增強(qiáng)智能體的自主性和靈活性，使得智能體能夠根據(jù)自己的記憶狀態(tài)和上下文信息，進(jìn)行內(nèi)部的推理和決策，以及與外部的工具和其他智能體進(jìn)行交互。內(nèi)在函數(shù)的類(lèi)型和數(shù)量可以根據(jù)不同的任務(wù)和環(huán)境進(jìn)行設(shè)計(jì)和實(shí)現(xiàn)，常見(jiàn)的內(nèi)在函數(shù)有思考、規(guī)劃、反思、交流和使用工具等。

思考（Think）：智能體根據(jù)自己的記憶狀態(tài)和上下文信息，生成一個(gè)與當(dāng)前狀態(tài)或動(dòng)作相關(guān)的文本，用于表達(dá)或理解智能體的意圖或目標(biāo)。思考的作用是提高智能體的表達(dá)能力和理解能力，使得智能體能夠更好地與環(huán)境和其他智能體進(jìn)行交流和協(xié)作。思考的實(shí)現(xiàn)方法是使用通用語(yǔ)言模型，根據(jù)給定的前綴或后綴，生成一個(gè)合適的文本。例如，智能體在玩一個(gè)迷宮游戲時(shí)，可以使用思考函數(shù)，生成一個(gè)與當(dāng)前位置或方向相關(guān)的文本，如“我在左上角的房間里，我要往右走”。

規(guī)劃（Plan）：智能體根據(jù)自己的記憶狀態(tài)和上下文信息，生成一個(gè)與當(dāng)前狀態(tài)或動(dòng)作相關(guān)的序列，用于描述或執(zhí)行智能體的策略或過(guò)程。規(guī)劃的作用是提高智能體的決策能力和執(zhí)行能力，使得智能體能夠更好地完成復(fù)雜的任務(wù)和目標(biāo)。規(guī)劃的實(shí)現(xiàn)方法是使用通用語(yǔ)言模型，根據(jù)給定的前綴或后綴，生成一個(gè)合適的序列。例如，智能體在玩一個(gè)拼圖游戲時(shí)，可以使用規(guī)劃函數(shù)，生成一個(gè)與當(dāng)前拼圖或目標(biāo)拼圖相關(guān)的序列，如“先把左上角的四塊拼好，再把右下角的四塊拼好，最后把中間的四塊拼好”。

反思（Reflect）：智能體根據(jù)自己的記憶狀態(tài)和上下文信息，生成一個(gè)與當(dāng)前狀態(tài)或動(dòng)作相關(guān)的評(píng)價(jià)，用于評(píng)估或改進(jìn)智能體的性能或效果。反思的作用是提高智能體的評(píng)估能力和改進(jìn)能力，使得智能體能夠更好地學(xué)習(xí)和優(yōu)化自己的行為。反思的實(shí)現(xiàn)方法是使用通用語(yǔ)言模型，根據(jù)給定的前綴或后綴，生成一個(gè)合適的評(píng)價(jià)。例如，智能體在玩一個(gè)數(shù)獨(dú)游戲時(shí)，可以使用反思函數(shù)，生成一個(gè)與當(dāng)前數(shù)獨(dú)或解法相關(guān)的評(píng)價(jià)，如“這個(gè)數(shù)獨(dú)很難，我用了很長(zhǎng)時(shí)間才解出來(lái)，我應(yīng)該多練習(xí)一些簡(jiǎn)單的數(shù)獨(dú)”。

交流（Communicate）：智能體根據(jù)自己的記憶狀態(tài)和上下文信息，生成一個(gè)與當(dāng)前狀態(tài)或動(dòng)作相關(guān)的消息，用于與其他智能體進(jìn)行信息的交換或協(xié)調(diào)。交流的作用是提高智能體的交流能力和協(xié)作能力，使得智能體能夠更好地與其他智能體進(jìn)行合作和競(jìng)爭(zhēng)。交流的實(shí)現(xiàn)方法是使用通用語(yǔ)言模型，根據(jù)給定的前綴或后綴，生成一個(gè)合適的消息。例如，智能體在玩一個(gè)團(tuán)隊(duì)對(duì)抗游戲時(shí)，可以使用交流函數(shù)，生成一個(gè)與當(dāng)前狀態(tài)或動(dòng)作相關(guān)的消息，如“我在敵方的基地附近，我需要支援”。

使用工具（Use Tool）：智能體根據(jù)自己的記憶狀態(tài)和上下文信息，生成一個(gè)與當(dāng)前狀態(tài)或動(dòng)作相關(guān)的命令，用于與外部的工具進(jìn)行交互或操作。使用工具的作用是提高智能體的交互能力和操作能力，使得智能體能夠更好地利用外部的資源和工具。使用工具的實(shí)現(xiàn)方法是使用通用語(yǔ)言模型，根據(jù)給定的前綴或后綴，生成一個(gè)合適的命令。例如，智能體在玩一個(gè)編程游戲時(shí)，可以使用使用工具函數(shù)，生成一個(gè)與當(dāng)前狀態(tài)或動(dòng)作相關(guān)的命令，如“用Python寫(xiě)一個(gè)函數(shù)，實(shí)現(xiàn)兩個(gè)數(shù)的加法”。

盤(pán)古智能體的多種內(nèi)在函數(shù)不僅設(shè)計(jì)了多種內(nèi)在函數(shù)，也實(shí)現(xiàn)了多種內(nèi)在函數(shù)，使得智能體能夠根據(jù)自己的記憶狀態(tài)和上下文信息，進(jìn)行內(nèi)部的變換和操作，以及與外部的工具和其他智能體進(jìn)行交互。該創(chuàng)新點(diǎn)的優(yōu)勢(shì)在于，它可以提高智能體的自主性和靈活性，使得智能體能夠在多種任務(wù)和環(huán)境中表現(xiàn)出復(fù)雜的智能體行為，也可以通過(guò)組合和嵌套多種內(nèi)在函數(shù)，實(shí)現(xiàn)更高層次的智能體行為。

3.盤(pán)古智能體的多種復(fù)合方法

復(fù)合方法（Composite Method）是智能體在每個(gè)環(huán)境時(shí)間步驟中，使用多個(gè)內(nèi)在函數(shù)步驟來(lái)決定最終的動(dòng)作的一種方法。復(fù)合方法的作用是提高智能體的復(fù)雜性和靈活性，使得智能體能夠根據(jù)不同的任務(wù)和環(huán)境，選擇和組合不同的內(nèi)在函數(shù)，實(shí)現(xiàn)更復(fù)雜和更靈活的智能體行為。復(fù)合方法的類(lèi)型和數(shù)量可以根據(jù)不同的任務(wù)和環(huán)境進(jìn)行設(shè)計(jì)和實(shí)現(xiàn)，常見(jiàn)的復(fù)合方法有SwiftSage、ReAct和Least-to-Most等。

SwiftSage（Swiftly Switching between Sage and Agent）：智能體在每個(gè)環(huán)境時(shí)間步驟中，根據(jù)自己的記憶狀態(tài)和上下文信息，以及環(huán)境的反饋，動(dòng)態(tài)地選擇是使用內(nèi)在函數(shù)（Sage模式），還是直接使用通用語(yǔ)言模型生成動(dòng)作（Agent模式）。SwiftSage的作用是提高智能體的適應(yīng)能力和效率，使得智能體能夠在不同的任務(wù)和環(huán)境中，靈活地切換不同的模式，實(shí)現(xiàn)最優(yōu)的智能體行為。SwiftSage的實(shí)現(xiàn)方法是使用一個(gè)二元分類(lèi)器，根據(jù)給定的記憶狀態(tài)和上下文信息，以及環(huán)境的反饋，預(yù)測(cè)是使用Sage模式，還是使用Agent模式。例如，智能體在玩一個(gè)猜謎游戲時(shí)，可以使用SwiftSage，根據(jù)自己的記憶狀態(tài)和上下文信息，以及環(huán)境的反饋，動(dòng)態(tài)地選擇是使用思考函數(shù)，還是直接使用通用語(yǔ)言模型生成猜測(cè)。

ReAct（Recurrent Action Composition）：智能體在每個(gè)環(huán)境時(shí)間步驟中，使用一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN），根據(jù)自己的記憶狀態(tài)和上下文信息，以及環(huán)境的反饋，生成一個(gè)由多個(gè)內(nèi)在函數(shù)步驟組成的動(dòng)作序列。ReAct的作用是提高智能體的復(fù)雜性和靈活性，使得智能體能夠在不同的任務(wù)和環(huán)境中，生成和執(zhí)行多個(gè)內(nèi)在函數(shù)步驟，實(shí)現(xiàn)更復(fù)雜和更靈活的智能體行為。ReAct的實(shí)現(xiàn)方法是使用一個(gè)RNN，根據(jù)給定的記憶狀態(tài)和上下文信息，以及環(huán)境的反饋，生成一個(gè)由多個(gè)內(nèi)在函數(shù)步驟組成的動(dòng)作序列。例如，智能體在玩一個(gè)數(shù)學(xué)游戲時(shí)，可以使用ReAct，根據(jù)自己的記憶狀態(tài)和上下文信息，以及環(huán)境的反饋，生成一個(gè)由多個(gè)內(nèi)在函數(shù)步驟組成的動(dòng)作序列，如“使用工具函數(shù)，打開(kāi)計(jì)算器；使用規(guī)劃函數(shù)，生成一個(gè)數(shù)學(xué)公式；使用思考函數(shù)，解釋公式的含義；使用使用工具函數(shù)，輸入公式并計(jì)算結(jié)果”。

Least-to-Most（Least-to-Most Action Composition）：智能體在每個(gè)環(huán)境時(shí)間步驟中，使用一個(gè)排序網(wǎng)絡(luò)（Ranking Network），根據(jù)自己的記憶狀態(tài)和上下文信息，以及環(huán)境的反饋，對(duì)所有可能的內(nèi)在函數(shù)步驟進(jìn)行排序，從而生成一個(gè)由多個(gè)內(nèi)在函數(shù)步驟組成的動(dòng)作序列。Least-to-Most的作用是提高智能體的穩(wěn)定性和可解釋性，使得智能體能夠在不同的任務(wù)和環(huán)境中，生成和執(zhí)行最合適的內(nèi)在函數(shù)步驟，實(shí)現(xiàn)最優(yōu)的智能體行為。Least-to-Most的實(shí)現(xiàn)方法是使用一個(gè)排序網(wǎng)絡(luò)，根據(jù)給定的記憶狀態(tài)和上下文信息，以及環(huán)境的反饋，對(duì)所有可能的內(nèi)在函數(shù)步驟進(jìn)行排序，從而生成一個(gè)由多個(gè)內(nèi)在函數(shù)步驟組成的動(dòng)作序列。例如，智能體在玩一個(gè)寫(xiě)作游戲時(shí)，可以使用Least-to-Most，根據(jù)自己的記憶狀態(tài)和上下文信息，以及環(huán)境的反饋，對(duì)所有可能的內(nèi)在函數(shù)步驟進(jìn)行排序，從而生成一個(gè)由多個(gè)內(nèi)在函數(shù)步驟組成的動(dòng)作序列，如“使用規(guī)劃函數(shù)，生成一個(gè)寫(xiě)作大綱；使用思考函數(shù)，生成一個(gè)寫(xiě)作主題；使用反思函數(shù)，生成一個(gè)寫(xiě)作評(píng)價(jià)；使用交流函數(shù)，與其他智能體分享寫(xiě)作結(jié)果”。

智能體可以用多個(gè)內(nèi)在函數(shù)步驟來(lái)決定自己的動(dòng)作，也可以用多種復(fù)合方法來(lái)生成和執(zhí)行這些步驟。這樣，智能體就可以根據(jù)不同的環(huán)境，靈活地選擇和組合內(nèi)在函數(shù)，表現(xiàn)出更復(fù)雜的行為。這個(gè)創(chuàng)新點(diǎn)的好處是，智能體可以變得更復(fù)雜和更靈活，可以適應(yīng)不同的任務(wù)和環(huán)境，也可以用不同的復(fù)合方法，展示出不同的行為模式，比如動(dòng)態(tài)切換、循環(huán)生成、排序選擇等。

4.盤(pán)古智能體的多種微調(diào)方法

微調(diào)（Fine-Tuning）是智能體根據(jù)專(zhuān)家數(shù)據(jù)或環(huán)境反饋，調(diào)整通用語(yǔ)言模型的權(quán)重，以提高智能體的性能和適應(yīng)能力的一種方法。微調(diào)的作用是提高智能體的學(xué)習(xí)能力和泛化能力，使得智能體能夠在不同的任務(wù)和環(huán)境中，利用通用語(yǔ)言模型的強(qiáng)大的表示能力和生成能力，實(shí)現(xiàn)最優(yōu)的智能體行為。微調(diào)的類(lèi)型和數(shù)量可以根據(jù)不同的任務(wù)和環(huán)境進(jìn)行設(shè)計(jì)和實(shí)現(xiàn)，常見(jiàn)的微調(diào)方法有監(jiān)督微調(diào)（Supervised Fine-Tuning）和強(qiáng)化學(xué)習(xí)微調(diào)（Reinforcement Learning Fine-Tuning）等。

監(jiān)督微調(diào)（Supervised Fine-Tuning）：智能體根據(jù)專(zhuān)家數(shù)據(jù)，調(diào)整通用語(yǔ)言模型的權(quán)重，以提高智能體的性能和適應(yīng)能力的一種方法。專(zhuān)家數(shù)據(jù)是指由人類(lèi)或其他智能體提供的一種數(shù)據(jù)，用于指導(dǎo)或教導(dǎo)智能體的行為。監(jiān)督微調(diào)的作用是提高智能體的準(zhǔn)確性和效率，使得智能體能夠在不同的任務(wù)和環(huán)境中，快速地學(xué)習(xí)和模仿專(zhuān)家的行為。監(jiān)督微調(diào)的實(shí)現(xiàn)方法是使用一個(gè)監(jiān)督學(xué)習(xí)的損失函數(shù)，根據(jù)給定的專(zhuān)家數(shù)據(jù)，計(jì)算智能體的行為和專(zhuān)家的行為之間的差異，從而調(diào)整通用語(yǔ)言模型的權(quán)重。例如，智能體在玩一個(gè)象棋游戲時(shí)，可以使用監(jiān)督微調(diào)，根據(jù)給定的專(zhuān)家數(shù)據(jù)，調(diào)整通用語(yǔ)言模型的權(quán)重，以提高智能體的象棋水平。

強(qiáng)化學(xué)習(xí)微調(diào)（Reinforcement Learning Fine-Tuning）：智能體根據(jù)環(huán)境反饋，調(diào)整通用語(yǔ)言模型的權(quán)重，以提高智能體的性能和適應(yīng)能力的一種方法。環(huán)境反饋是指由環(huán)境直接提供的一種反饋信號(hào)，用于評(píng)估或指導(dǎo)智能體的行為。強(qiáng)化學(xué)習(xí)微調(diào)的作用是提高智能體的探索性和適應(yīng)性，使得智能體能夠在不同的任務(wù)和環(huán)境中，自主地學(xué)習(xí)和優(yōu)化自己的行為。強(qiáng)化學(xué)習(xí)微調(diào)的實(shí)現(xiàn)方法是使用一個(gè)強(qiáng)化學(xué)習(xí)的損失函數(shù)，根據(jù)給定的環(huán)境反饋，計(jì)算智能體的行為和環(huán)境的獎(jiǎng)勵(lì)之間的關(guān)系，從而調(diào)整通用語(yǔ)言模型的權(quán)重。例如，智能體在玩一個(gè)賽車(chē)游戲時(shí)，可以使用強(qiáng)化學(xué)習(xí)微調(diào)，根據(jù)給定的環(huán)境反饋，調(diào)整通用語(yǔ)言模型的權(quán)重，以提高智能體的賽車(chē)技巧。

盤(pán)古智能體的微調(diào)方法很有創(chuàng)意，它們不但用了通用語(yǔ)言模型的強(qiáng)大功能，還用了專(zhuān)家的數(shù)據(jù)和環(huán)境的反饋，讓智能體可以根據(jù)不同的情況，調(diào)節(jié)通用語(yǔ)言模型的效果，讓智能體的表現(xiàn)更好。這個(gè)創(chuàng)新點(diǎn)的好處是，智能體可以學(xué)得更好，適應(yīng)更多的情況，做出最好的行為，還可以用不同的微調(diào)方法，學(xué)習(xí)不同的方式，比如監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等。

5.盤(pán)古智能體的廣泛評(píng)估

智能體在多個(gè)單智能體和多智能體的任務(wù)上，使用不同的通用語(yǔ)言模型和提示方法，對(duì)自己的性能和效果進(jìn)行評(píng)估和比較的一種方法。廣泛評(píng)估的作用是提高智能體的可信度和可靠性，使得智能體能夠在不同的任務(wù)和環(huán)境中，展示出自己的優(yōu)勢(shì)和不足，以及與其他智能體的差異和相似性。廣泛評(píng)估的類(lèi)型和數(shù)量可以根據(jù)不同的任務(wù)和環(huán)境進(jìn)行設(shè)計(jì)和實(shí)現(xiàn)，常見(jiàn)的評(píng)估指標(biāo)有準(zhǔn)確率、效率、穩(wěn)定性、靈活性、可解釋性等。

在單智能體的任務(wù)上，盤(pán)古智能體使用了不同的通用語(yǔ)言模型和提示方法，對(duì)自己的性能和效果進(jìn)行了評(píng)估和比較。單智能體的任務(wù)是指智能體只需要與環(huán)境交互，不需要與其他智能體交互的一種任務(wù)，如對(duì)話(huà)、推理、規(guī)劃、工具使用等。通用語(yǔ)言模型是指能夠在大規(guī)模的文本數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，具有強(qiáng)大的表示能力和生成能力的一種語(yǔ)言模型，如GPT-3、Pangu、Megatron等。提示方法是指能夠根據(jù)不同的任務(wù)和環(huán)境，為通用語(yǔ)言模型提供合適的輸入和輸出格式的一種方法，如前綴、后綴、模板等。盤(pán)古智能體的評(píng)估結(jié)果表明，盤(pán)古智能體在單智能體的任務(wù)上，具有較高的準(zhǔn)確率、效率、穩(wěn)定性、靈活性和可解釋性，且能夠根據(jù)不同的通用語(yǔ)言模型和提示方法，進(jìn)行有效的微調(diào)和適應(yīng)，以提高自己的性能和效果。

在多智能體的任務(wù)上，盤(pán)古智能體使用了不同的通用語(yǔ)言模型和提示方法，對(duì)自己的性能和效果進(jìn)行了評(píng)估和比較。多智能體的任務(wù)是指智能體需要與環(huán)境和其他智能體交互，需要進(jìn)行信息的交換或協(xié)調(diào)的一種任務(wù)，如游戲、協(xié)作、競(jìng)爭(zhēng)等。通用語(yǔ)言模型和提示方法的定義與單智能體的任務(wù)相同。盤(pán)古智能體的評(píng)估結(jié)果表明，盤(pán)古智能體在多智能體的任務(wù)上，具有較高的準(zhǔn)確率、效率、穩(wěn)定性、靈活性和可解釋性，且能夠根據(jù)不同的通用語(yǔ)言模型和提示方法，進(jìn)行有效的微調(diào)和適應(yīng)，以提高自己的性能和效果。此外，盤(pán)古智能體還能夠與其他基于LLM的智能體進(jìn)行有效的交流和協(xié)作，展示出自己的結(jié)構(gòu)化推理能力。

盤(pán)古智能體的評(píng)估很全面，它在很多任務(wù)上，用了不同的語(yǔ)言模型和提示方法，展示了自己的表現(xiàn)。這樣智能體就可以在不同的情況下，看到自己的優(yōu)點(diǎn)和缺點(diǎn)，以及和其他智能體的不同和相同。這個(gè)創(chuàng)新點(diǎn)的好處是，智能體可以變得更可信和更可靠，可以在不同的情況下，做出最好的行為，還可以用不同的語(yǔ)言模型和提示方法，展示出不同的行為模式，比如對(duì)話(huà)、推理、規(guī)劃、工具使用、游戲、協(xié)作、競(jìng)爭(zhēng)等。

參考資料：https://arxiv.org/abs/2312.14878