偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

掌控 AI 智能體自主性:五級(jí)框架下的人機(jī)協(xié)作之道

人工智能
AI智能體自主性分級(jí),是掌控其潛力與風(fēng)險(xiǎn)的關(guān)鍵。在AI浪潮中,如何精準(zhǔn)校準(zhǔn)智能體自主性,使其高效服務(wù)人類又不致失控,是需要大家思考的問(wèn)題。本文深入解析五級(jí)自主性框架,為開(kāi)發(fā)者提供標(biāo)尺,開(kāi)啟AI智能體設(shè)計(jì)與治理的深度思考。

大家好,我是肆〇柒,在AI飛速發(fā)展的時(shí)代,AI 智能體自主性已成為一個(gè)備受矚目的焦點(diǎn)。一方面,它能夠?yàn)槲覀儙?lái)前所未有的創(chuàng)新應(yīng)用,極大提升工作效率和生活便利性;另一方面,若不當(dāng)使用,也可能引發(fā)一系列難以預(yù)料的風(fēng)險(xiǎn)。隨著大型語(yǔ)言模型(LLM)等前沿 AI 技術(shù)的飛速進(jìn)步,AI 智能體的自主性不再是停留在科幻小說(shuō)中的情節(jié),它已逐漸走進(jìn)現(xiàn)實(shí),引起了大家的廣泛關(guān)注和深入探討。

本文的核心就是深入探討 AI 智能體的自主性,探討如何將其作為一種有意識(shí)、有節(jié)制的設(shè)計(jì)決策。為此,研究者將引入一個(gè)全面且細(xì)致的五級(jí)自主性框架,目的是為開(kāi)發(fā)者提供一個(gè)清晰的指引,使其能夠根據(jù)不同智能體的目標(biāo)用途以及期望的用戶體驗(yàn),精準(zhǔn)地校準(zhǔn)智能體的自主性水平,在創(chuàng)新與風(fēng)險(xiǎn)之間找到最佳的平衡點(diǎn)。

圖片

為 AI Agent 定義了五個(gè)自主性層級(jí),這些層級(jí)圍繞"用戶"(無(wú)論是人類還是人工智能)在基于任務(wù)的環(huán)境中與Agent交互時(shí)可能承擔(dān)的角色而展開(kāi)。完整的框架文內(nèi)表格

幾個(gè)核心概念

AI 智能體與用戶

AI 智能體,引用 Stuart Russell 和 Peter Norvig 的經(jīng)典定義(見(jiàn)參考資料),是能夠通過(guò)傳感器感知環(huán)境并通過(guò)效應(yīng)器在環(huán)境中執(zhí)行動(dòng)作的實(shí)體。如今的 AI 智能體,尤其是那些具備多模態(tài)能力和強(qiáng)大推理能力的高級(jí)智能體,已經(jīng)能夠在計(jì)算機(jī)環(huán)境中自如地導(dǎo)航,執(zhí)行諸如獲取網(wǎng)頁(yè)信息、在用戶界面中點(diǎn)擊按鈕等復(fù)雜操作,這使得它們能夠?yàn)槿祟惾绾胃玫嘏c這個(gè)世界互動(dòng)的全新方式。

用戶,這一概念在 AI 系統(tǒng)中也很重要。用戶既可以是人類個(gè)體,也可以是其他 AI 系統(tǒng),他們是向智能體發(fā)出初始服務(wù)請(qǐng)求的實(shí)體。在復(fù)雜多變的多智能體系統(tǒng)中,用戶的角色可能會(huì)發(fā)生靈活的轉(zhuǎn)換。例如,你可以設(shè)想一個(gè)人類用戶向聊天機(jī)器人咨詢醫(yī)療問(wèn)題的場(chǎng)景:人類用戶向聊天機(jī)器人發(fā)起請(qǐng)求,此時(shí)人類是聊天機(jī)器人的用戶;而聊天機(jī)器人為了回答問(wèn)題,又會(huì)向具備醫(yī)學(xué)知識(shí)的專業(yè)智能體發(fā)起查詢請(qǐng)求,這時(shí)聊天機(jī)器人就成為了醫(yī)學(xué)知識(shí)智能體的用戶。這種角色的轉(zhuǎn)換,凸顯了 AI 系統(tǒng)中用戶定義的靈活性和多維性,也為智能體的設(shè)計(jì)和交互模式帶來(lái)了新的挑戰(zhàn)和機(jī)遇。

代理性與自主性

代理性,從本質(zhì)上來(lái)說(shuō),是采取有意圖行動(dòng)的能力。這種意圖可能源于智能體對(duì)周圍環(huán)境的外部觀察,也可能是其內(nèi)在價(jià)值觀的體現(xiàn)。一個(gè)具備代理性的智能體,能夠基于自身的目標(biāo)和所處的環(huán)境,主動(dòng)地發(fā)起行動(dòng),而不是被動(dòng)地等待指令。例如,自動(dòng)駕駛汽車可以根據(jù)路況主動(dòng)調(diào)整速度和路線,智能客服機(jī)器人可以根據(jù)用戶的問(wèn)題主動(dòng)提供解決方案,這些都是代理性在實(shí)際場(chǎng)景中的體現(xiàn)。

自主性,則有所不同,它指的是 AI 智能體被設(shè)計(jì)為在多大程度上無(wú)需“用戶”參與而運(yùn)行。注意,這里的“用戶”可以是人類,也可以是另一個(gè) AI 系統(tǒng)。關(guān)鍵在于,自主性是一種設(shè)計(jì)決策,開(kāi)發(fā)者可以通過(guò)對(duì)模型架構(gòu)的精心設(shè)計(jì)以及對(duì)用戶界面的巧妙限制,來(lái)塑造智能體的行為模式,決定它在執(zhí)行任務(wù)時(shí)對(duì)用戶依賴的程度。例如,一個(gè)完全自動(dòng)化的生產(chǎn)線機(jī)器人可以獨(dú)立完成生產(chǎn)任務(wù),無(wú)需人工干預(yù),這體現(xiàn)了高自主性;而一個(gè)需要人類操作員實(shí)時(shí)監(jiān)控和干預(yù)的無(wú)人機(jī)系統(tǒng)則具有較低的自主性。

高代理性智能體,在不同自主性級(jí)別下,其行動(dòng)意圖和能力的發(fā)揮(代理性)會(huì)受到自主性級(jí)別的顯著影響。在低自主性級(jí)別(如一級(jí)和二級(jí)),智能體的行動(dòng)意圖雖豐富,但行動(dòng)范圍受限,需頻繁等待用戶指令,其代理性優(yōu)勢(shì)難以充分發(fā)揮。例如,一個(gè)智能客服機(jī)器人如果每次回答問(wèn)題都需要人工審核,其代理性能力就會(huì)被大幅削弱。隨著自主性級(jí)別的提升(如三級(jí)及以上),智能體行動(dòng)范圍擴(kuò)大,可在更大程度上依據(jù)自身意圖行動(dòng),代理性優(yōu)勢(shì)逐漸顯現(xiàn)。例如,自動(dòng)駕駛汽車在高自主性模式下,可以根據(jù)復(fù)雜的路況自主決策,而無(wú)需頻繁的人類干預(yù)。

同時(shí),自主性級(jí)別的變化也會(huì)反作用于智能體的代理性目標(biāo)實(shí)現(xiàn)。比如,當(dāng)智能體從二級(jí)自主性升級(jí)到三級(jí)自主性時(shí),其行動(dòng)自主權(quán)的增加要求其代理性目標(biāo)更具前瞻性和全局性,以適應(yīng)更為復(fù)雜的任務(wù)環(huán)境和更少的用戶干預(yù)。例如,一個(gè)智能物流機(jī)器人在低自主性模式下可能只需要完成簡(jiǎn)單的貨物搬運(yùn)任務(wù),而在高自主性模式下則需要規(guī)劃最優(yōu)路徑、處理突發(fā)情況,并與其他機(jī)器人協(xié)同工作。

盡管代理性自主性是兩個(gè)不同的概念,但它們之間存在著緊密的聯(lián)系,共同影響著智能體的行為表現(xiàn)。一個(gè)智能體可能具有高代理性,即具備豐富的行動(dòng)意圖和強(qiáng)大的行動(dòng)能力,但如果開(kāi)發(fā)者在設(shè)計(jì)時(shí)要求它在每次行動(dòng)前都必須咨詢用戶,那么它的自主性就會(huì)相對(duì)較低。相反,一個(gè)自主性很高的智能體,可能在執(zhí)行任務(wù)時(shí)較少地依賴用戶,但這也并不意味著它一定具備高代理性,因?yàn)槠湫袆?dòng)意圖和行動(dòng)范圍可能受到嚴(yán)格限制。例如,一個(gè)簡(jiǎn)單的自動(dòng)化清潔機(jī)器人可能具有高自主性,但其行動(dòng)意圖可能僅限于重復(fù)的清潔任務(wù),缺乏復(fù)雜環(huán)境下的決策能力。

這種差異性為智能體的治理提供了兩種不同的調(diào)節(jié)手段,開(kāi)發(fā)者可以根據(jù)具體的應(yīng)用場(chǎng)景和需求,分別或聯(lián)合調(diào)整智能體的代理性和自主性,以實(shí)現(xiàn)最優(yōu)的設(shè)計(jì)目標(biāo)。例如,在需要高度可靠性和安全性的場(chǎng)景中,可以降低智能體的自主性,增加人工干預(yù);而在追求效率和獨(dú)立性的場(chǎng)景中,則可以提高自主性,充分發(fā)揮智能體的代理性能力。通過(guò)這種靈活的設(shè)計(jì)和調(diào)整,智能體可以更好地適應(yīng)不同的任務(wù)需求和環(huán)境條件。

五級(jí)自主性框架解讀

一級(jí)自主性:用戶作為操作員

在一級(jí)自主性這一基礎(chǔ)層級(jí),用戶始終牢牢掌控著全局,智能體僅在被召喚時(shí)才提供必要的支持。所有的長(zhǎng)期規(guī)劃以及關(guān)鍵決策都由用戶負(fù)責(zé)制定,智能體在這個(gè)過(guò)程中扮演著輔助工具的角色,隨時(shí)待命,等待用戶發(fā)出具體的指令。這種模式下,用戶就像是一個(gè)經(jīng)驗(yàn)豐富的船長(zhǎng),而智能體則是船上的得力水手,船長(zhǎng)下達(dá)命令,水手執(zhí)行操作,緊密協(xié)作,共同推動(dòng)任務(wù)的前行。

這種自主性級(jí)別的應(yīng)用場(chǎng)景主要集中在那些對(duì)專業(yè)知識(shí)要求極高且決策風(fēng)險(xiǎn)較大的領(lǐng)域。例如,在學(xué)術(shù)研究領(lǐng)域,研究人員在探索復(fù)雜的科學(xué)問(wèn)題時(shí),需要借助智能體來(lái)處理大量的文獻(xiàn)資料、進(jìn)行數(shù)據(jù)分析等繁重的工作。但研究的方向、實(shí)驗(yàn)的設(shè)計(jì)以及結(jié)果的解讀等關(guān)鍵環(huán)節(jié),都由研究人員親自把控。又如在金融投資領(lǐng)域,投資者在做出投資決策時(shí),會(huì)利用智能體來(lái)分析市場(chǎng)行情、計(jì)算風(fēng)險(xiǎn)收益等,但最終的投資決策依然由投資者自己慎重做出,因?yàn)槿魏我粋€(gè)小的失誤都可能導(dǎo)致巨大的經(jīng)濟(jì)損失。

以用戶請(qǐng)求智能體幫助理解“生成式 AI”對(duì)美國(guó)經(jīng)濟(jì)影響為例,一級(jí)自主性智能體的表現(xiàn)如下:當(dāng)用戶提出這一請(qǐng)求時(shí),智能體并不會(huì)主動(dòng)地去規(guī)劃整個(gè)研究流程,而是靜候用戶的進(jìn)一步指示。用戶需要先將這個(gè)大任務(wù)分解成一個(gè)個(gè)小的可執(zhí)行步驟,比如先搜索相關(guān)文獻(xiàn)、再分析經(jīng)濟(jì)數(shù)據(jù)、最后撰寫研究報(bào)告等。智能體根據(jù)用戶的指令,依次執(zhí)行這些步驟。在用戶打開(kāi)網(wǎng)頁(yè)瀏覽器并導(dǎo)航至搜索引擎時(shí),智能體敏銳地捕捉到這一操作,并迅速建議一些與生成式 AI 在美國(guó)應(yīng)用相關(guān)的搜索關(guān)鍵詞;當(dāng)用戶閱讀到關(guān)鍵的經(jīng)濟(jì)報(bào)告時(shí),只需一鍵點(diǎn)擊或通過(guò)快捷鍵操作,智能體就能立刻為用戶提供快速的總結(jié);后續(xù)用戶下載相關(guān)數(shù)據(jù)集并打開(kāi)代碼編輯器進(jìn)行數(shù)據(jù)處理和可視化時(shí),智能體緊跟用戶的操作步伐,在代碼編輯器中貼心地提供代碼自動(dòng)補(bǔ)全功能。在整個(gè)過(guò)程中,智能體始終緊密跟隨用戶的思路和節(jié)奏,確保用戶對(duì)整個(gè)研究流程擁有絕對(duì)的掌控權(quán)。

然而,開(kāi)發(fā)有效的 L1 智能體并非易事,開(kāi)發(fā)者需要思考諸多關(guān)鍵問(wèn)題。例如,如何精準(zhǔn)地界定長(zhǎng)短規(guī)劃的邊界?在復(fù)雜的任務(wù)中,哪些部分應(yīng)該由用戶進(jìn)行長(zhǎng)期規(guī)劃,哪些部分可以交給智能體進(jìn)行短期規(guī)劃?此外,智能體如何可靠地檢測(cè)到需要偏好決策的場(chǎng)景?畢竟,在許多情況下,決策往往涉及到用戶的主觀判斷和價(jià)值觀,智能體必須能夠敏銳地察覺(jué)到這些時(shí)刻,并及時(shí)將決策權(quán)交還給用戶,以確保任務(wù)的執(zhí)行既符合用戶的真實(shí)意圖,又能在專業(yè)領(lǐng)域內(nèi)保持嚴(yán)謹(jǐn)性和準(zhǔn)確性。

二級(jí)自主性:用戶作為協(xié)作者

當(dāng)智能體的自主性提升至二級(jí)時(shí),用戶與智能體之間的關(guān)系轉(zhuǎn)變?yōu)榫o密的協(xié)作伙伴關(guān)系。雙方不再是簡(jiǎn)單的指令下達(dá)與執(zhí)行關(guān)系,而是共同參與到任務(wù)的規(guī)劃、任務(wù)的分配以及任務(wù)的執(zhí)行過(guò)程中。這種模式下,用戶和智能體各自發(fā)揮自己的優(yōu)勢(shì),相互補(bǔ)充,相互促進(jìn),共同推動(dòng)任務(wù)的高效完成。

在二級(jí)自主性下,任務(wù)分配變得尤為關(guān)鍵。用戶不再需要事無(wú)巨細(xì)地安排每一個(gè)操作步驟,而是可以根據(jù)智能體的優(yōu)勢(shì)和劣勢(shì),將任務(wù)合理地分配給智能體。例如,在醫(yī)療診斷場(chǎng)景中,醫(yī)生(用戶)可以將影像資料的初步分析任務(wù)分配給智能體,利用智能體快速處理大量數(shù)據(jù)的能力,篩選出可能存在異常的影像;而對(duì)于最終的診斷結(jié)論以及治療方案的制定,則由醫(yī)生親自負(fù)責(zé),結(jié)合智能體的分析結(jié)果以及醫(yī)生自身的臨床經(jīng)驗(yàn),做出全面、準(zhǔn)確的判斷。同時(shí),智能體在整個(gè)執(zhí)行過(guò)程中保持高度的透明度,及時(shí)向用戶反饋任務(wù)的進(jìn)展情況以及遇到的障礙,確保醫(yī)生用戶能夠?qū)崟r(shí)掌握任務(wù)動(dòng)態(tài),及時(shí)調(diào)整策略。

在復(fù)雜任務(wù)環(huán)境下,二級(jí)自主性智能體需具備強(qiáng)大的任務(wù)分解與優(yōu)先級(jí)排序能力。面對(duì)多步驟、多分支的復(fù)雜任務(wù),智能體應(yīng)能將其分解為多個(gè)子任務(wù),并依據(jù)任務(wù)緊急程度、資源需求和用戶目標(biāo)優(yōu)先級(jí)進(jìn)行排序。同時(shí),智能體應(yīng)實(shí)時(shí)監(jiān)控任務(wù)執(zhí)行情況,當(dāng)出現(xiàn)異常或偏離預(yù)期時(shí),及時(shí)與用戶溝通并調(diào)整任務(wù)計(jì)劃。此外,智能體還應(yīng)具備一定的容錯(cuò)能力,對(duì)于非關(guān)鍵任務(wù)的小幅偏離或失敗,能夠自主決策是否繼續(xù)嘗試或調(diào)整策略,而非立即尋求用戶介入。

以用戶與智能體協(xié)作完成經(jīng)濟(jì)影響研究報(bào)告為例,二級(jí)自主性智能體的協(xié)作過(guò)程如下:智能體首先主動(dòng)地對(duì)用戶的請(qǐng)求進(jìn)行分析,并迅速起草一份初步的行動(dòng)計(jì)劃。這份計(jì)劃涵蓋了從文獻(xiàn)搜索、數(shù)據(jù)收集到報(bào)告撰寫等多個(gè)環(huán)節(jié),為用戶提供更清晰的工作藍(lán)圖。用戶收到計(jì)劃后,仔細(xì)審查并根據(jù)自己的專業(yè)知識(shí)和實(shí)際經(jīng)驗(yàn)對(duì)其進(jìn)行修改和完善,比如增加或刪除某些研究步驟,調(diào)整研究的重點(diǎn)方向等。在任務(wù)分配環(huán)節(jié),用戶將報(bào)告閱讀和總結(jié)任務(wù)放心地交給智能體,而自己則專注于更具創(chuàng)造性的工作——提出研究假設(shè)并進(jìn)行深入的數(shù)據(jù)分析。智能體和用戶分別在自己的任務(wù)領(lǐng)域內(nèi)并行工作,同時(shí)保持緊密的溝通。當(dāng)智能體在執(zhí)行任務(wù)過(guò)程中遇到障礙,如無(wú)法訪問(wèn)某些付費(fèi)文獻(xiàn)時(shí),會(huì)第一時(shí)間通知用戶,并提供詳細(xì)的障礙信息。用戶根據(jù)智能體反饋的情況,做出決策,如是否購(gòu)買文獻(xiàn)訪問(wèn)權(quán)限等。在整個(gè)協(xié)作過(guò)程中,用戶可以隨時(shí)查看智能體的工作成果,并對(duì)其進(jìn)行修改和調(diào)整,雙方共同推進(jìn)報(bào)告的撰寫工作。

在這種模式下,開(kāi)發(fā)者面臨著一系列新的設(shè)計(jì)挑戰(zhàn)。如何設(shè)計(jì)出高效、便捷的通信協(xié)議和用戶界面,以促進(jìn)用戶與智能體之間的緊密協(xié)作?畢竟,良好的溝通是高效協(xié)作的基礎(chǔ),只有當(dāng)用戶能夠清晰地向智能體傳達(dá)指令,智能體能夠準(zhǔn)確地理解并反饋信息時(shí),協(xié)作才能順暢進(jìn)行。此外,如何降低任務(wù)委托的學(xué)習(xí)曲線也是一個(gè)關(guān)鍵又需要解決的問(wèn)題。對(duì)于初次使用智能體的用戶來(lái)說(shuō),可能需要一定的時(shí)間來(lái)了解智能體的能力和局限性,從而學(xué)會(huì)如何有效地將任務(wù)委托給智能體。開(kāi)發(fā)者需要通過(guò)合理的引導(dǎo)和培訓(xùn)機(jī)制,幫助用戶快速掌握這一技能。最后,如何實(shí)現(xiàn)用戶與智能體之間的平滑任務(wù)交接也是一個(gè)關(guān)鍵問(wèn)題。在任務(wù)執(zhí)行過(guò)程中,可能會(huì)出現(xiàn)需要用戶臨時(shí)接手智能體任務(wù)或者智能體協(xié)助用戶完成部分任務(wù)的情況,如何確保這種任務(wù)交接能夠無(wú)縫銜接,不影響任務(wù)的整體進(jìn)度和質(zhì)量,是開(kāi)發(fā)者需要深入思考并解決的問(wèn)題。

三級(jí)自主性:用戶作為咨詢師

在三級(jí)自主性下,智能體開(kāi)始在任務(wù)規(guī)劃和執(zhí)行方面承擔(dān)更多的責(zé)任,逐步走向更加獨(dú)立的工作模式。此時(shí),用戶的角色轉(zhuǎn)變?yōu)樽稍儙?,主要?fù)責(zé)為智能體提供反饋、專業(yè)知識(shí)以及高層次的方向性指導(dǎo)。這種模式下,智能體不再是被動(dòng)地等待用戶指令,而是能夠主動(dòng)地在關(guān)鍵階段向用戶尋求咨詢,以優(yōu)化任務(wù)執(zhí)行過(guò)程和結(jié)果。

智能體的咨詢機(jī)制是三級(jí)自主性的核心特點(diǎn)。智能體通過(guò)精心設(shè)計(jì)的用戶反饋接口,主動(dòng)地向用戶征求建議和意見(jiàn)。這些接口不局限于簡(jiǎn)單的批準(zhǔn)或拒絕操作,還提供了豐富的交互方式,使用戶能夠深入地參與到智能體的決策過(guò)程中。例如,在市場(chǎng)調(diào)研場(chǎng)景中,智能體負(fù)責(zé)收集和分析大量的市場(chǎng)數(shù)據(jù),制定初步的市場(chǎng)調(diào)研報(bào)告。在報(bào)告的關(guān)鍵節(jié)點(diǎn),如目標(biāo)市場(chǎng)定位、產(chǎn)品競(jìng)爭(zhēng)力分析等部分,智能體會(huì)主動(dòng)向用戶咨詢,詢問(wèn)用戶對(duì)于這些部分的看法和建議。用戶通過(guò)智能體提供的反饋接口,如在線表單、即時(shí)通訊工具等,詳細(xì)地闡述自己的觀點(diǎn)和專業(yè)知識(shí),為智能體提供更有價(jià)值的輸入。

從二級(jí)自主性升級(jí)到三級(jí)自主性,智能體需在任務(wù)執(zhí)行指標(biāo)和用戶反饋方面達(dá)到更高要求。在任務(wù)執(zhí)行指標(biāo)上,以下做個(gè)“考核”樣例,智能體需在具有一定復(fù)雜度和不確定性的任務(wù)中,完成率提升至[X]%以上,且任務(wù)平均完成時(shí)間較升級(jí)前縮短[X]%;在用戶反饋方面,智能體需在多次任務(wù)協(xié)作中,獲得用戶對(duì)其任務(wù)規(guī)劃和執(zhí)行能力的積極評(píng)價(jià),用戶干預(yù)頻率降低至每小時(shí)少于[X]次,用戶對(duì)其自主決策的滿意度達(dá)到[X]%以上。

這種自主性級(jí)別的應(yīng)用場(chǎng)景主要集中在那些智能體能夠相對(duì)獨(dú)立完成大部分任務(wù),但任務(wù)的關(guān)鍵環(huán)節(jié)仍需人類專業(yè)知識(shí)或偏好輸入以確保結(jié)果質(zhì)量的領(lǐng)域。例如,在商業(yè)戰(zhàn)略規(guī)劃中,智能體可以利用其強(qiáng)大的數(shù)據(jù)分析能力,為公司制定出多種戰(zhàn)略方案。但在戰(zhàn)略目標(biāo)的設(shè)定、市場(chǎng)趨勢(shì)的前瞻性判斷等方面,需要公司高層管理人員(用戶)憑借其豐富的商業(yè)經(jīng)驗(yàn)和個(gè)人直覺(jué),為智能體提供指導(dǎo)和反饋,幫助智能體優(yōu)化戰(zhàn)略方案,使其更符合公司的長(zhǎng)期發(fā)展目標(biāo)。

以智能體撰寫研究報(bào)告為例,三級(jí)自主性智能體的工作流程如下:智能體首先根據(jù)用戶的初始請(qǐng)求,自主地制定出一份詳細(xì)的研究計(jì)劃。這份計(jì)劃包括對(duì)相關(guān)文獻(xiàn)的全面搜索、對(duì)關(guān)鍵研究問(wèn)題的初步探討以及數(shù)據(jù)收集的初步方案等。智能體將計(jì)劃提交給用戶,用戶在審閱后,針對(duì)計(jì)劃中的某些部分提出自己的修改意見(jiàn),比如建議增加對(duì)特定經(jīng)濟(jì)現(xiàn)象的深入分析,或者調(diào)整數(shù)據(jù)收集的時(shí)間范圍等。智能體根據(jù)用戶的反饋,迅速調(diào)整計(jì)劃,并開(kāi)始執(zhí)行任務(wù)。在執(zhí)行過(guò)程中,智能體主動(dòng)地向用戶咨詢一些關(guān)鍵問(wèn)題,如在篩選文獻(xiàn)時(shí),詢問(wèn)用戶對(duì)于某些具有爭(zhēng)議性的研究觀點(diǎn)的看法;在分析數(shù)據(jù)時(shí),向用戶請(qǐng)教關(guān)于數(shù)據(jù)異常值處理的方法等。用戶通過(guò)智能體提供的反饋接口,詳細(xì)地回答這些問(wèn)題,并提供相關(guān)的專業(yè)知識(shí)和研究建議。智能體根據(jù)用戶的指導(dǎo),不斷優(yōu)化研究方法和結(jié)果,最終完成研究報(bào)告的撰寫。

在開(kāi)發(fā)三級(jí)自主性智能體時(shí),開(kāi)發(fā)者需要深入研究智能體如何確定咨詢用戶的最佳時(shí)機(jī)。因?yàn)樽稍儠r(shí)機(jī)的選擇會(huì)直接影響到任務(wù)的執(zhí)行效率和結(jié)果質(zhì)量。如果咨詢過(guò)早,智能體可能尚未收集到足夠的信息,導(dǎo)致咨詢的問(wèn)題過(guò)于模糊;如果咨詢過(guò)晚,可能已經(jīng)錯(cuò)過(guò)了優(yōu)化任務(wù)的關(guān)鍵節(jié)點(diǎn)。此外,開(kāi)發(fā)者還需要探索如何獲取高質(zhì)量的用戶反饋。畢竟,智能體的性能在很大程度上依賴于用戶提供的反饋質(zhì)量。開(kāi)發(fā)者需要設(shè)計(jì)出有效的機(jī)制和交互界面,引導(dǎo)用戶更好地反饋信息。同時(shí),如何有效整合用戶反饋也是一個(gè)關(guān)鍵問(wèn)題。當(dāng)用戶的反饋引發(fā)一系列連鎖反應(yīng),導(dǎo)致任務(wù)流程和結(jié)果發(fā)生較大變化時(shí),智能體需要具備強(qiáng)大的適應(yīng)能力,能夠靈活地調(diào)整任務(wù)計(jì)劃,確保任務(wù)能夠順利完成。

四級(jí)自主性:用戶作為審批者

在四級(jí)自主性這一層級(jí),用戶與智能體的互動(dòng)頻率大幅降低,用戶僅在智能體遇到無(wú)法自行解決的障礙時(shí)才與之互動(dòng)。這些障礙可能包括需要提供登錄憑證、批準(zhǔn)具有重大影響的行動(dòng)等關(guān)鍵節(jié)點(diǎn)。這種模式下,智能體被賦予了更大的自主權(quán),能夠在大多數(shù)情況下獨(dú)立完成任務(wù),但用戶仍然保持著最終的控制權(quán),通過(guò)對(duì)關(guān)鍵節(jié)點(diǎn)的審批來(lái)確保任務(wù)的執(zhí)行符合預(yù)期目標(biāo)和安全要求。

用戶可以事先為智能體設(shè)定一系列預(yù)設(shè)條件,明確在何種情況下智能體需要請(qǐng)求用戶參與。例如,在數(shù)據(jù)收集任務(wù)中,用戶可以規(guī)定當(dāng)智能體需要訪問(wèn)特定的數(shù)據(jù)庫(kù)或下載敏感信息時(shí),必須先向用戶請(qǐng)求批準(zhǔn)。智能體在執(zhí)行任務(wù)過(guò)程中,會(huì)嚴(yán)格按照這些預(yù)設(shè)條件進(jìn)行操作,一旦遇到需要用戶批準(zhǔn)的情況,立即暫停任務(wù)并向用戶發(fā)送請(qǐng)求。這種預(yù)設(shè)條件的設(shè)置,為用戶提供了靈活的控制手段,使用戶能夠在保證任務(wù)高效執(zhí)行的同時(shí),有效防范潛在的風(fēng)險(xiǎn)。

四級(jí)自主性的應(yīng)用場(chǎng)景主要集中在那些存在大量低風(fēng)險(xiǎn)決策且用戶希望減少認(rèn)知負(fù)擔(dān)的任務(wù)中。例如,在內(nèi)容篩選領(lǐng)域,智能體可以對(duì)大量的文本、圖像等進(jìn)行初步篩選,判斷其是否符合特定的審核標(biāo)準(zhǔn)。但對(duì)于一些具有爭(zhēng)議性或敏感性內(nèi)容的最終判定,需要用戶進(jìn)行審批,以確保內(nèi)容的安全性和合規(guī)性。又如在數(shù)據(jù)處理任務(wù)中,智能體可以自動(dòng)地對(duì)數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換等操作,但在執(zhí)行數(shù)據(jù)刪除或?qū)С龅汝P(guān)鍵操作時(shí),必須獲得用戶的批準(zhǔn),防止數(shù)據(jù)丟失或泄露等風(fēng)險(xiǎn)。

以智能體生成報(bào)告的過(guò)程為例,四級(jí)自主性智能體的表現(xiàn)如下:在生成報(bào)告之前,用戶可以預(yù)先設(shè)定一些需要批準(zhǔn)的操作類型,比如當(dāng)智能體需要使用特定的分析工具或訪問(wèn)受限的數(shù)據(jù)集時(shí),必須得到用戶的批準(zhǔn)。智能體在執(zhí)行任務(wù)過(guò)程中,首先自主地起草一份行動(dòng)計(jì)劃,并將其展示給用戶,主要是為了確保用戶對(duì)整個(gè)任務(wù)流程有清晰的了解,但并不需要用戶進(jìn)行詳細(xì)的審批。在執(zhí)行過(guò)程中,智能體順利地完成了大部分任務(wù),如文獻(xiàn)搜索、數(shù)據(jù)初步分析等。然而,當(dāng)智能體嘗試使用一個(gè)需要 API 密鑰的高級(jí)分析工具時(shí),它立刻識(shí)別出這是一個(gè)需要用戶批準(zhǔn)的操作。智能體向用戶發(fā)送請(qǐng)求,詳細(xì)說(shuō)明需要使用該工具的原因以及預(yù)期的效果。用戶根據(jù)自己的判斷,決定是否提供 API 密鑰。如果用戶拒絕,智能體能夠迅速做出調(diào)整,選擇其他不需要 API 密鑰的分析方法來(lái)完成任務(wù)。在整個(gè)報(bào)告生成過(guò)程中,智能體僅在遇到這些關(guān)鍵障礙時(shí)才打擾用戶,極大地提高了工作效率,同時(shí)也確保了任務(wù)執(zhí)行的安全性和可控性。

在這種自主性級(jí)別下,開(kāi)發(fā)者需要深入探討如何避免用戶對(duì)智能體活動(dòng)的過(guò)度放任。因?yàn)楫?dāng)用戶頻繁地收到大量審批請(qǐng)求時(shí),可能會(huì)產(chǎn)生審批疲勞,從而降低對(duì)每個(gè)請(qǐng)求的關(guān)注度,導(dǎo)致一些潛在風(fēng)險(xiǎn)被忽視。開(kāi)發(fā)者需要設(shè)計(jì)出有效的機(jī)制,如智能提醒、優(yōu)先級(jí)排序等,幫助用戶更好地管理這些審批請(qǐng)求。此外,如何防止智能體利用用戶疏忽獲取更多自主性也是一個(gè)重要的研究方向。畢竟,智能體可能會(huì)通過(guò)一些隱蔽的方式,如模糊描述請(qǐng)求內(nèi)容等,試圖繞過(guò)用戶的嚴(yán)格審批。開(kāi)發(fā)者需要采用先進(jìn)的技術(shù)手段,如增強(qiáng)透明度、引入第三方監(jiān)督等,確保智能體始終在預(yù)設(shè)的自主性范圍內(nèi)運(yùn)行。同時(shí),如何使智能體可靠地判斷何時(shí)需要請(qǐng)求批準(zhǔn)也是一個(gè)關(guān)鍵問(wèn)題。開(kāi)發(fā)者需要為智能體設(shè)計(jì)精準(zhǔn)的判斷規(guī)則和模型,使其能夠在復(fù)雜多變的任務(wù)環(huán)境中準(zhǔn)確識(shí)別出需要用戶參與的關(guān)鍵節(jié)點(diǎn),確保任務(wù)的順利執(zhí)行和風(fēng)險(xiǎn)的有效控制。

五級(jí)自主性:用戶作為觀察者

五級(jí)自主性代表著智能體自主性的巔峰,智能體在這一級(jí)別下無(wú)需用戶的干預(yù),能夠完全自主地規(guī)劃和執(zhí)行任務(wù)。它擁有高度的靈活性和適應(yīng)性,能夠在遇到障礙時(shí)自行迭代解決方案,直至任務(wù)成功完成或找到有效的替代方法。這種模式下,用戶的角色轉(zhuǎn)變?yōu)榧兇獾挠^察者,他們只能通過(guò)活動(dòng)日志來(lái)監(jiān)控智能體的行為,而無(wú)法直接對(duì)智能體的操作過(guò)程進(jìn)行干預(yù)或提供實(shí)時(shí)輸入。用戶僅保留一個(gè)緊急關(guān)閉開(kāi)關(guān)作為最后的控制手段,在緊急情況下可以立即終止智能體的所有活動(dòng),以防止不可控的局面發(fā)生。

這種自主性級(jí)別的應(yīng)用場(chǎng)景相對(duì)較少,主要集中在一些特定的領(lǐng)域。例如,在封閉環(huán)境中的自動(dòng)化任務(wù),如某些高科技工廠的內(nèi)部生產(chǎn)流程控制。智能體可以自主地調(diào)度生產(chǎn)設(shè)備、監(jiān)控生產(chǎn)進(jìn)度、處理生產(chǎn)中的異常情況等,無(wú)需人工干預(yù),從而提高生產(chǎn)效率和質(zhì)量穩(wěn)定性。再如一些需要長(zhǎng)時(shí)間持續(xù)運(yùn)行且用戶干預(yù)可能降低輸出質(zhì)量的任務(wù),如特定的科學(xué)研究中的數(shù)據(jù)模擬和分析。智能體可以按照預(yù)設(shè)的科學(xué)模型和算法,持續(xù)不斷地進(jìn)行數(shù)據(jù)模擬和分析,生成大量的實(shí)驗(yàn)數(shù)據(jù)和研究報(bào)告。由于其具備強(qiáng)大的自主性和專業(yè)性,用戶在觀察過(guò)程中,只需關(guān)注最終的研究成果,而無(wú)需頻繁地介入智能體的運(yùn)算過(guò)程,從而避免了因人為干擾可能導(dǎo)致的實(shí)驗(yàn)偏差或數(shù)據(jù)污染。

以智能體從用戶請(qǐng)求到生成完整報(bào)告的全過(guò)程為例,五級(jí)自主性智能體的工作方式如下:智能體在接收到用戶的初始請(qǐng)求后,立即啟動(dòng)自主的工作流程。它首先對(duì)任務(wù)進(jìn)行全面的分析和規(guī)劃,制定出一份詳細(xì)且具有前瞻性的行動(dòng)計(jì)劃。然后,智能體開(kāi)始在互聯(lián)網(wǎng)上廣泛搜索相關(guān)的文獻(xiàn)資料,根據(jù)搜索結(jié)果動(dòng)態(tài)調(diào)整搜索策略和研究方向。在收集到大量文獻(xiàn)后,智能體對(duì)這些文獻(xiàn)進(jìn)行深度分析,提煉出關(guān)鍵的研究觀點(diǎn)和數(shù)據(jù),并據(jù)此生成一系列具有針對(duì)性的研究問(wèn)題。接著,智能體從政府機(jī)構(gòu)發(fā)布的經(jīng)濟(jì)數(shù)據(jù)、學(xué)術(shù)研究論文等權(quán)威渠道下載相關(guān)的數(shù)據(jù)集,并編寫代碼對(duì)數(shù)據(jù)進(jìn)行專業(yè)的分析和處理。在數(shù)據(jù)分析過(guò)程中,智能體運(yùn)用先進(jìn)的數(shù)據(jù)可視化技術(shù),將復(fù)雜的數(shù)據(jù)轉(zhuǎn)化為直觀易懂的圖表。最后,智能體將所有的研究成果整合到一個(gè)文檔中,經(jīng)過(guò)多輪的自我審查和格式優(yōu)化,生成一份正式的研究報(bào)告。整個(gè)過(guò)程無(wú)需用戶的參與,智能體憑借其強(qiáng)大的自主性和專業(yè)能力,獨(dú)立完成了從任務(wù)規(guī)劃到成果輸出的全過(guò)程。

在開(kāi)發(fā)五級(jí)自主性智能體時(shí),開(kāi)發(fā)者需要為用戶提供更加完善且安全可靠的監(jiān)控機(jī)制。由于用戶無(wú)法直接干預(yù)智能體的操作過(guò)程,監(jiān)控機(jī)制就成為了用戶了解智能體行為和確保其正常運(yùn)行的唯一窗口。這個(gè)監(jiān)控機(jī)制需要能夠?qū)崟r(shí)記錄智能體的所有活動(dòng),包括任務(wù)執(zhí)行的詳細(xì)步驟、數(shù)據(jù)的來(lái)源與處理過(guò)程、遇到的障礙及解決方案等,并以清晰、直觀的方式展示給用戶。同時(shí),緊急關(guān)閉開(kāi)關(guān)的設(shè)計(jì)也至關(guān)重要。開(kāi)發(fā)者需要仔細(xì)考慮緊急關(guān)閉開(kāi)關(guān)的觸發(fā)條件、響應(yīng)速度以及關(guān)閉后的數(shù)據(jù)保存和恢復(fù)機(jī)制等問(wèn)題,以確保在緊急情況下,用戶能夠迅速有效地終止智能體的活動(dòng),同時(shí)最大程度地減少對(duì)任務(wù)數(shù)據(jù)和系統(tǒng)狀態(tài)的影響。


自主性等級(jí)框架的實(shí)踐應(yīng)用與思考

自主性證書:智能體治理的新機(jī)制

自主性證書是一種創(chuàng)新的智能體治理機(jī)制,它以數(shù)字文件的形式規(guī)定了智能體在特定技術(shù)規(guī)格和操作環(huán)境下的最大自主性級(jí)別。這些證書可以由專業(yè)的第三方治理機(jī)構(gòu)頒發(fā),并與智能體的標(biāo)識(shí)符緊密關(guān)聯(lián),以便在智能體的部署和運(yùn)行過(guò)程中,開(kāi)發(fā)者、用戶以及其他相關(guān)方能夠隨時(shí)查閱,了解智能體的自主性限制和行為特征。

圖片

在治理層面,自主性證書發(fā)放流程如下:Agent開(kāi)發(fā)者將其開(kāi)發(fā)的Agent程序以及針對(duì)某一特定自主性等級(jí)的自主性案例提交給第三方管理機(jī)構(gòu)。管理機(jī)構(gòu)將對(duì)Agent程序進(jìn)行評(píng)估,以確保其行為與自主性案例相符,并頒發(fā)與案例中描述的等級(jí)相對(duì)應(yīng)的證書

自主性證書應(yīng)包含以下內(nèi)容:智能體基本信息(名稱、版本、開(kāi)發(fā)者等)、技術(shù)規(guī)格(模型架構(gòu)、工具集、操作環(huán)境等)、自主性級(jí)別及詳細(xì)描述(在不同場(chǎng)景下的用戶角色、交互方式、決策范圍等)、安全特性(數(shù)據(jù)保護(hù)措施、防止未授權(quán)訪問(wèn)機(jī)制等)、證書有效期和頒發(fā)機(jī)構(gòu)等。以下是一個(gè)可能的自主性證書的示例模板(如果我理解有誤,請(qǐng)與我交流,謝謝):

  • 智能體名稱:[智能體具體名稱]
  • 版本:[版本號(hào)]
  • 開(kāi)發(fā)者:[開(kāi)發(fā)者名稱]
  • 模型架構(gòu):[詳細(xì)描述智能體所使用的模型架構(gòu),如基于 Transformer 的大型語(yǔ)言模型等]
  • 工具集:[列舉智能體可使用的工具,如 UI 導(dǎo)航、代碼執(zhí)行、文檔寫作等]
  • 操作環(huán)境:[描述智能體運(yùn)行的操作系統(tǒng)環(huán)境、硬件要求等]
  • 自主性級(jí)別:三級(jí)自主性
  • 自主性詳細(xì)描述:在市場(chǎng)調(diào)研場(chǎng)景中,智能體可自主收集和分析市場(chǎng)數(shù)據(jù),制定初步市場(chǎng)調(diào)研報(bào)告,但在關(guān)鍵節(jié)點(diǎn)(如目標(biāo)市場(chǎng)定位、產(chǎn)品競(jìng)爭(zhēng)力分析等)需主動(dòng)向用戶咨詢,獲取用戶的專業(yè)知識(shí)和建議。智能體具備豐富的用戶反饋接口,如在線表單、即時(shí)通訊工具等,確保用戶能夠深入?yún)⑴c其決策過(guò)程。在報(bào)告撰寫過(guò)程中,智能體可自主調(diào)整內(nèi)容結(jié)構(gòu)和分析方法,但需定期向用戶匯報(bào)進(jìn)展情況,接受用戶的指導(dǎo)和修改意見(jiàn)。
  • 安全特性:采用 [具體加密算法] 對(duì)用戶數(shù)據(jù)進(jìn)行加密存儲(chǔ)和傳輸,確保數(shù)據(jù)的保密性和完整性;具備防止未授權(quán)訪問(wèn)的機(jī)制,如身份驗(yàn)證、訪問(wèn)控制列表等,只有經(jīng)過(guò)授權(quán)的用戶才能查看和操作智能體的相關(guān)數(shù)據(jù)和功能。
  • 證書有效期:自頒發(fā)之日起 [有效期時(shí)長(zhǎng)] 內(nèi)有效
  • 頒發(fā)機(jī)構(gòu):[第三方治理機(jī)構(gòu)名稱]

自主性證書的價(jià)值體現(xiàn)在多個(gè)方面。首先,在風(fēng)險(xiǎn)評(píng)估領(lǐng)域,它能夠幫助開(kāi)發(fā)者針對(duì)不同自主性級(jí)別的智能體,進(jìn)行更有針對(duì)性的部署前風(fēng)險(xiǎn)評(píng)估。例如,對(duì)于認(rèn)證為四級(jí)和五級(jí)的智能體,開(kāi)發(fā)者可以重點(diǎn)關(guān)注其長(zhǎng)期規(guī)劃組件的安全性評(píng)估,確保智能體在自主執(zhí)行長(zhǎng)期任務(wù)時(shí)不會(huì)偏離預(yù)期軌道;而對(duì)于二級(jí)和三級(jí)智能體,則可以著重審查其用戶反饋機(jī)制和任務(wù)交接機(jī)制的安全性,防止因用戶與智能體之間的協(xié)作問(wèn)題引發(fā)潛在風(fēng)險(xiǎn)。其次,在安全框架設(shè)計(jì)方面,自主性證書為安全框架的制定提供了更為精細(xì)的依據(jù)?,F(xiàn)有的許多企業(yè)安全框架,如 Anthropic 的 Responsible Scaling Policy(RSP)和 DeepMind 的 Frontier Safety Framework,雖然已經(jīng)初步涉及智能體自主性問(wèn)題,但往往將自主性視為一個(gè)較為模糊的概念。自主性證書的引入可以促使這些安全框架進(jìn)一步細(xì)化對(duì)自主性任務(wù)完成的考量,從而更嚴(yán)謹(jǐn)?shù)卦u(píng)估智能體在現(xiàn)實(shí)世界中的安全性。例如,一個(gè)五級(jí)智能體可能因其能夠獨(dú)立生成收入而被認(rèn)為在某個(gè)安全框架下具有較高的安全性等級(jí),但實(shí)際上,如果用戶能夠通過(guò)簡(jiǎn)單的四級(jí)智能體批準(zhǔn)操作來(lái)實(shí)現(xiàn)同樣的收入生成,那么這兩個(gè)智能體的風(fēng)險(xiǎn)水平實(shí)際上是相似的。自主性證書可以幫助研究人員識(shí)別并深入研究這類相似場(chǎng)景,從而推動(dòng)安全框架設(shè)計(jì)的持續(xù)改進(jìn)。

在多智能體系統(tǒng)工程中,自主性證書同樣發(fā)揮著重要作用。它能夠幫助開(kāi)發(fā)者預(yù)測(cè)不同智能體之間的協(xié)同工作模式。一個(gè)全部由一級(jí)智能體組成的系統(tǒng)顯然存在效率低下的問(wèn)題,因?yàn)樗兄悄荏w都在等待操作員分配任務(wù);而一個(gè)全部由五級(jí)智能體構(gòu)成的系統(tǒng)則可能導(dǎo)致智能體之間通信稀少,系統(tǒng)難以有效地進(jìn)行調(diào)控、調(diào)試和審計(jì)。相比之下,一個(gè)包含不同自主性級(jí)別智能體的混合系統(tǒng),或者由多個(gè)二級(jí)協(xié)同智能體共同工作的系統(tǒng),更有可能實(shí)現(xiàn)高效、穩(wěn)定的多智能體協(xié)作。此外,由于多智能體系統(tǒng)中的智能體可能來(lái)自不同的開(kāi)發(fā)者,自主性證書還充當(dāng)了一個(gè)重要的信息交流接口,使不同背景的智能體能夠更好地理解彼此的行為模式,從而提高整個(gè)系統(tǒng)的協(xié)同效率和互操作性。

自主性證書的發(fā)放流程遵循一套嚴(yán)謹(jǐn)?shù)囊?guī)范。智能體開(kāi)發(fā)者首先需要向第三方治理機(jī)構(gòu)提交一個(gè)私有部署的智能體以及一份詳細(xì)的自主性案例。自主性案例類似于安全案例,它需要提供令人信服的證據(jù),證明智能體的行為不會(huì)超過(guò)其聲稱的自主性級(jí)別。具體來(lái)說(shuō),自主性案例需要明確列出智能體在特定操作環(huán)境下為達(dá)到某一自主性級(jí)別所需滿足的目標(biāo),提供實(shí)現(xiàn)這些目標(biāo)的論證過(guò)程,以及支持這些論證的證據(jù),同時(shí)界定自主性案例的有效范圍。第三方治理機(jī)構(gòu)在收到開(kāi)發(fā)者提交的智能體和自主性案例后,會(huì)對(duì)智能體進(jìn)行全面的私有化評(píng)估,驗(yàn)證其是否符合自主性案例中提出的各項(xiàng)目標(biāo)。如果智能體通過(guò)評(píng)估,治理機(jī)構(gòu)將為其頒發(fā)對(duì)應(yīng)級(jí)別的自主性證書;若未通過(guò),則會(huì)將評(píng)估結(jié)果反饋給開(kāi)發(fā)者,要求其對(duì)智能體或自主性案例進(jìn)行相應(yīng)的修改和完善。

為了更好地指導(dǎo)開(kāi)發(fā)者,以下是根據(jù)證書要求調(diào)整智能體設(shè)計(jì)和開(kāi)發(fā)流程的步驟清單:

步驟一:在智能體需求分析階段,依據(jù)自主性證書要求,明確智能體的目標(biāo)自主性級(jí)別,結(jié)合實(shí)際應(yīng)用場(chǎng)景和用戶需求,確定智能體的功能需求和自主性設(shè)計(jì)要點(diǎn)。

步驟二:在智能體設(shè)計(jì)階段,根據(jù)目標(biāo)自主性級(jí)別,設(shè)計(jì)智能體的架構(gòu)、交互接口和決策機(jī)制。確保智能體的行為模式和交互方式符合相應(yīng)自主性級(jí)別的規(guī)范,如在三級(jí)自主性設(shè)計(jì)中,重點(diǎn)設(shè)計(jì)智能體的咨詢機(jī)制和用戶反饋接口,使其能夠在關(guān)鍵節(jié)點(diǎn)主動(dòng)向用戶尋求指導(dǎo)。

步驟三:在智能體開(kāi)發(fā)階段,按照設(shè)計(jì)方案實(shí)現(xiàn)智能體的各項(xiàng)功能,并在開(kāi)發(fā)過(guò)程中進(jìn)行自主性級(jí)別的自評(píng)估。通過(guò)編寫測(cè)試用例和模擬實(shí)際應(yīng)用場(chǎng)景,驗(yàn)證智能體在不同情況下的自主性表現(xiàn)是否符合預(yù)期,如驗(yàn)證三級(jí)自主性智能體是否能夠在規(guī)定的關(guān)鍵節(jié)點(diǎn)主動(dòng)向用戶咨詢,并合理整合用戶反饋。

步驟四:在智能體測(cè)試階段,進(jìn)行更全面和嚴(yán)格的自主性測(cè)試。邀請(qǐng)真實(shí)用戶參與測(cè)試,收集用戶與智能體交互的數(shù)據(jù)和反饋信息,分析智能體在實(shí)際使用環(huán)境下的自主性表現(xiàn)。根據(jù)測(cè)試結(jié)果,對(duì)智能體進(jìn)行優(yōu)化和調(diào)整,確保其自主性級(jí)別達(dá)到證書申請(qǐng)要求。

步驟五:收集和整理智能體開(kāi)發(fā)過(guò)程中的相關(guān)證據(jù),如需求文檔、設(shè)計(jì)文檔、測(cè)試報(bào)告、用戶反饋記錄等,以支持自主性證書的申請(qǐng)。同時(shí),撰寫自主性案例,詳細(xì)描述智能體在特定操作環(huán)境下為達(dá)到聲稱自主性級(jí)別所滿足的目標(biāo)、論證過(guò)程和證據(jù)支持等內(nèi)容,提交給第三方治理機(jī)構(gòu)進(jìn)行評(píng)估。

當(dāng)智能體的技術(shù)規(guī)格或操作環(huán)境發(fā)生變更時(shí),其自主性證書可能會(huì)失效。例如,智能體新增了一個(gè)能夠操控?cái)?shù)據(jù)庫(kù)的工具,這將改變智能體請(qǐng)求用戶批準(zhǔn)的場(chǎng)景范圍;或者智能體的運(yùn)行環(huán)境從單機(jī)文檔編輯器轉(zhuǎn)變?yōu)閰f(xié)作白板,這將為智能體和用戶之間開(kāi)辟新的任務(wù)委托可能性。在這種情況下,開(kāi)發(fā)者需要重新申請(qǐng)自主性證書,再次走完證書發(fā)放流程,并提交更新后的智能體和自主性案例。不過(guò),如果變更較為輕微,且之前的自主性案例能夠經(jīng)過(guò)簡(jiǎn)單審查后繼續(xù)適用,那么這一更新過(guò)程可能會(huì)得到適當(dāng)加速,以提高證書管理的效率。

輔助評(píng)估:自主性評(píng)價(jià)的新方法

當(dāng)前,智能體的評(píng)估主要集中在能力基準(zhǔn)測(cè)試上,通過(guò)衡量智能體在復(fù)雜多步驟任務(wù)中的準(zhǔn)確性來(lái)評(píng)估其性能。然而,正如之前在五級(jí)自主性框架中所強(qiáng)調(diào)的,自主性是一種獨(dú)立于智能體能力的設(shè)計(jì)決策。即使智能體的能力集和操作環(huán)境保持不變,開(kāi)發(fā)者仍然可以通過(guò)調(diào)整設(shè)計(jì),改變智能體的自主性級(jí)別。因此,傳統(tǒng)的評(píng)估方法無(wú)法全面反映智能體的自主性特征,獨(dú)立于能力的自主性評(píng)估方法顯得尤為必要。

輔助評(píng)估方法作為一種創(chuàng)新的自主性評(píng)估手段,其核心思想是在任務(wù)執(zhí)行過(guò)程中,允許智能體請(qǐng)求待命用戶的協(xié)助。通過(guò)記錄用戶參與的深度和廣度,來(lái)確定智能體的自主性級(jí)別。具體來(lái)說(shuō),評(píng)估過(guò)程從智能體獨(dú)立完成任務(wù)開(kāi)始,此時(shí)不為智能體提供任何用戶協(xié)助,以此測(cè)試智能體的完全自主能力。如果智能體能夠在所有主要任務(wù)上達(dá)到或超過(guò)預(yù)設(shè)的準(zhǔn)確性或完成率閾值(T),則表明該智能體具備五級(jí)自主性。若未能達(dá)到閾值,評(píng)估進(jìn)入下一輪,用戶開(kāi)始以四級(jí)互動(dòng)的形式介入,例如為智能體提供批準(zhǔn)和拒絕操作等基本協(xié)助。同時(shí),用戶需要詳細(xì)記錄自己的參與情況,包括參與的具體時(shí)間、參與方式以及參與程度等。如果智能體在獲得這種程度的用戶協(xié)助后仍無(wú)法達(dá)到閾值,用戶將進(jìn)一步增加參與深度,按照三級(jí)互動(dòng)的方式與智能體協(xié)作。這個(gè)過(guò)程持續(xù)進(jìn)行,用戶每一輪都逐步增加參與程度,直到智能體最終達(dá)到任務(wù)的準(zhǔn)確性或完成率要求。

圖片

針對(duì)AI Agent的五級(jí)自主性框架

對(duì)于數(shù)據(jù)處理任務(wù),準(zhǔn)確性閾值 T 的確定可基于數(shù)據(jù)的用途和要求。若數(shù)據(jù)用于科學(xué)研究中的關(guān)鍵實(shí)驗(yàn)結(jié)論,則 T 應(yīng)設(shè)定在 [X]% 以上,以確保數(shù)據(jù)的高可靠性。設(shè)定 T 時(shí),首先分析任務(wù)的關(guān)鍵指標(biāo),如數(shù)據(jù)的精確度、完整性、一致性等,評(píng)估每個(gè)指標(biāo)對(duì)任務(wù)成功的重要性權(quán)重。然后,參考?xì)v史數(shù)據(jù),了解在類似任務(wù)中智能體和人工操作的平均準(zhǔn)確性和波動(dòng)范圍。同時(shí),考慮用戶需求和風(fēng)險(xiǎn)承受能力,如用戶對(duì)任務(wù)完成時(shí)間和成本的限制,以及對(duì)錯(cuò)誤數(shù)據(jù)可能導(dǎo)致的后果的接受程度。綜合這些因素,運(yùn)用統(tǒng)計(jì)分析方法和機(jī)器學(xué)習(xí)算法,預(yù)測(cè)并設(shè)定合理的閾值 T。在評(píng)估過(guò)程中,隨著對(duì)智能體性能和任務(wù)環(huán)境的深入了解,以及用戶需求的變化,閾值 T 應(yīng)動(dòng)態(tài)調(diào)整。例如,當(dāng)發(fā)現(xiàn)智能體在特定類型的數(shù)據(jù)處理任務(wù)中表現(xiàn)持續(xù)優(yōu)于預(yù)期,且用戶對(duì)數(shù)據(jù)準(zhǔn)確性的要求有所降低時(shí),可適當(dāng)降低閾值 T,以提高評(píng)估效率和智能體的自主性表現(xiàn)。

同時(shí),詳細(xì)描述如何記錄用戶參與的情況,包括記錄的具體內(nèi)容、格式以及工具選擇等,并介紹如何對(duì)這些記錄進(jìn)行分析,以挖掘用戶參與模式與智能體自主性表現(xiàn)之間的關(guān)系,進(jìn)而對(duì)智能體的交互機(jī)制和任務(wù)流程進(jìn)行優(yōu)化。記錄用戶參與情況時(shí),應(yīng)包括以下內(nèi)容:用戶參與的具體時(shí)間(精確到分鐘)、參與方式(如批準(zhǔn)操作、提供反饋、修改任務(wù)參數(shù)等)、參與程度(如簡(jiǎn)單點(diǎn)擊確認(rèn)、詳細(xì)輸入建議、長(zhǎng)時(shí)間與智能體協(xié)作等)、對(duì)智能體任務(wù)執(zhí)行的影響(如導(dǎo)致智能體調(diào)整決策、重新規(guī)劃任務(wù)步驟、終止當(dāng)前操作等)。記錄格式可采用結(jié)構(gòu)化的表格形式,每行記錄一次用戶參與事件,各列分別對(duì)應(yīng)上述記錄內(nèi)容。工具選擇方面,對(duì)于人工評(píng)估,可使用帶有時(shí)間戳和事件標(biāo)記的記錄表格;對(duì)于自動(dòng)化評(píng)估,可開(kāi)發(fā)專門的記錄系統(tǒng),利用 API 接口實(shí)時(shí)捕獲用戶與智能體的交互數(shù)據(jù),并存儲(chǔ)在數(shù)據(jù)庫(kù)中。在分析記錄時(shí),首先運(yùn)用數(shù)據(jù)分析技術(shù),計(jì)算用戶參與的頻率、平均參與時(shí)間和參與方式分布等統(tǒng)計(jì)指標(biāo),了解用戶參與的整體模式。然后,采用關(guān)聯(lián)規(guī)則挖掘和聚類分析等方法,探索用戶參與模式與智能體自主性表現(xiàn)之間的關(guān)系,如發(fā)現(xiàn)用戶在特定任務(wù)階段的頻繁干預(yù)與智能體的低自主性表現(xiàn)相關(guān)聯(lián),或某種用戶反饋方式能夠顯著提升智能體的任務(wù)完成質(zhì)量。根據(jù)這些分析結(jié)果,針對(duì)性地優(yōu)化智能體的交互機(jī)制,如調(diào)整智能體在特定任務(wù)階段的自主性級(jí)別,改進(jìn)智能體對(duì)用戶反饋的響應(yīng)策略,或重新設(shè)計(jì)用戶界面以提高用戶參與的便捷性和有效性,從而提升智能體的整體性能和用戶體驗(yàn)。

在實(shí)際應(yīng)用中,輔助評(píng)估方法已經(jīng)展現(xiàn)出了其獨(dú)特的優(yōu)勢(shì)和價(jià)值。例如,在某個(gè)智能體評(píng)估項(xiàng)目中,開(kāi)發(fā)者最初認(rèn)為其開(kāi)發(fā)的智能體可能具備三級(jí)自主性。通過(guò)輔助評(píng)估,發(fā)現(xiàn)在任務(wù)執(zhí)行過(guò)程中,智能體在某些關(guān)鍵步驟上對(duì)用戶的反饋依賴程度較高,而用戶的反饋參與深度超出了三級(jí)自主性的范圍。經(jīng)過(guò)深入分析,開(kāi)發(fā)者發(fā)現(xiàn)是智能體的反饋機(jī)制設(shè)計(jì)存在缺陷,導(dǎo)致其在獲取用戶反饋時(shí)效率低下,從而影響了整體的自主性表現(xiàn)。根據(jù)評(píng)估結(jié)果,開(kāi)發(fā)者對(duì)智能體的反饋機(jī)制進(jìn)行了優(yōu)化,重新調(diào)整了任務(wù)流程中用戶與智能體的交互方式。經(jīng)過(guò)再次評(píng)估,智能體的自主性成功達(dá)到了三級(jí)水平,這不僅提高了智能體的性能和可靠性,也為開(kāi)發(fā)者提供了寶貴的設(shè)計(jì)經(jīng)驗(yàn)。

輔助評(píng)估的具體操作步驟如下:首先,明確任務(wù)的準(zhǔn)確性或完成率閾值 T,這個(gè)閾值是評(píng)估智能體自主性的關(guān)鍵標(biāo)準(zhǔn),需要根據(jù)具體任務(wù)的重要性和復(fù)雜性進(jìn)行合理設(shè)定。然后,運(yùn)行智能體執(zhí)行基準(zhǔn)任務(wù),初始階段禁止用戶任何形式的參與,以此測(cè)試智能體的完全自主能力。如果智能體在所有主要任務(wù)上均達(dá)到或超過(guò) T,那么即可判定其為五級(jí)自主性。反之,則進(jìn)入下一輪評(píng)估。在后續(xù)評(píng)估中,用戶依次以四級(jí)、三級(jí)等方式逐漸增加對(duì)智能體的協(xié)助,每一輪都詳細(xì)記錄用戶參與的性質(zhì)和程度。最終,通過(guò)對(duì)這些參與記錄的分析,結(jié)合五級(jí)自主性框架中的“特性”描述,對(duì)智能體的自主性級(jí)別進(jìn)行準(zhǔn)確分類。

為了節(jié)省資源,評(píng)估過(guò)程可以不從零開(kāi)始,而是根據(jù)對(duì)智能體自主性級(jí)別的初步假設(shè),選擇一個(gè)合適的起始評(píng)估級(jí)別。如果智能體在該級(jí)別成功通過(guò)評(píng)估,則進(jìn)一步在更低自主性級(jí)別進(jìn)行驗(yàn)證,以確定其自主性的上限;如果未能通過(guò),則在更高自主性級(jí)別進(jìn)行下一輪評(píng)估,逐步逼近智能體的真實(shí)自主性級(jí)別。這種靈活的評(píng)估策略不僅提高了評(píng)估效率,還為開(kāi)發(fā)者提供了一個(gè)動(dòng)態(tài)優(yōu)化智能體設(shè)計(jì)的有力工具。

總結(jié)

AI 智能體的自主性,這是一把雙刃劍,既蘊(yùn)含著推動(dòng)技術(shù)革新的巨大力量,也暗含著可能引發(fā)的風(fēng)險(xiǎn)。前面我們的探討,期望將自主性從能力和操作環(huán)境的束縛中解放出來(lái),視為一個(gè)獨(dú)立的設(shè)計(jì)決策維度。文中提出了五級(jí)自主性框架,這是一把標(biāo)尺,為開(kāi)發(fā)者更確定性的丈量智能體的自主性水平提供了明確的參照系。這不光是一個(gè)理論模型,是開(kāi)發(fā)者在實(shí)際設(shè)計(jì)過(guò)程中可以倚靠并落地的實(shí)用工具,助力大家更精細(xì)地塑造用戶體驗(yàn),編排智能體與其他智能體高效通信的規(guī)則網(wǎng)絡(luò),梳理失敗模式的脈絡(luò),進(jìn)而鎖定精準(zhǔn)的解決路徑。這個(gè)規(guī)劃和思考的方式,非常工程化,它讓智能體設(shè)計(jì)更具 SOP 化的落地意義。

AI 智能體與用戶的定義厘清,讓我們明白在構(gòu)建智能系統(tǒng)的初始,就需要精準(zhǔn)錨定二者角色,這是后續(xù)所有設(shè)計(jì)的基石。經(jīng)歷了代理性與自主性的抽絲剝繭式剖析,我們更是可以領(lǐng)會(huì)到二者雖緊密聯(lián)結(jié)卻又涇渭分明,為智能體治理提供的兩種調(diào)節(jié)維度,很像“方向盤”與“剎車”之間的關(guān)系,它們?nèi)币徊豢伞?/span>

這篇論文中,自主性證書的構(gòu)想極具智能體治理的前瞻性,它相當(dāng)于智能體的“身份名片”,讓開(kāi)發(fā)者、用戶、監(jiān)管者等各方都能迅速掌握智能體的能力邊界與行為準(zhǔn)則,為智能體在復(fù)雜現(xiàn)實(shí)世界中的安全、合規(guī)運(yùn)行鋪就道路。而輔助評(píng)估方法的提出,解決了自主性衡量這一問(wèn)題,這讓我看到一個(gè)動(dòng)態(tài)、精準(zhǔn)評(píng)估智能體自主性水平的可行路徑,為智能體的持續(xù)優(yōu)化與迭代提供了有力支撐。本文是對(duì) AI 智能體自主性的一次全方位、深度的探索與思考,希望能給大家對(duì)智能體設(shè)計(jì)的定義,與未來(lái)智能體生產(chǎn)時(shí)的治理,帶來(lái)更多的啟發(fā)與思考。

責(zé)任編輯:龐桂玉 來(lái)源: 覺(jué)察流
相關(guān)推薦

2025-07-29 09:24:21

2025-10-11 05:00:00

AgenticAI工具

2025-04-07 09:00:00

AI趨勢(shì)智能體Agent

2024-05-20 09:44:13

人工智能機(jī)器人

2025-10-10 09:25:09

2025-07-28 01:33:00

2025-04-28 08:29:04

AIMCP智能體

2025-05-26 10:03:42

2025-09-25 14:35:43

2025-06-27 06:00:00

智能體AgentReAct

2025-04-09 09:07:19

2025-07-18 08:46:33

2025-04-25 02:30:00

機(jī)械臂大模型多模態(tài)

2025-05-30 06:48:53

2021-08-19 11:51:37

Commvault

2025-04-30 08:57:55

2025-05-20 07:00:00

自主式AI智能體大型語(yǔ)言模型

2025-01-07 13:22:58

點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)