你有沒有想過，要是電腦、手機(jī)上的各種軟件，能聽懂咱們說的話，按要求自動(dòng)干活，那該多方便？現(xiàn)在，大語言模型（LLMs）就把這個(gè)想法變成了現(xiàn)實(shí)，催生出了能直接把自然語言命令轉(zhuǎn)化為實(shí)際行動(dòng)的軟件智能體。其中，基于API的智能體和基于GUI的智能體格外引人注目，它們就像兩個(gè)身懷絕技的武林高手，各有各的招式，今天咱們就來好好嘮嘮它們的故事。

大語言模型開啟智能體新時(shí)代

以前，大語言模型最拿手的就是生成一段段通順的文字，寫個(gè)文章、回個(gè)郵件不在話下。但科技發(fā)展太快啦，現(xiàn)在的大語言模型可不滿足于此，它開始帶著“小弟”——基于大語言模型的智能體闖蕩江湖了。這些智能體就像是大語言模型的得力助手，能在數(shù)字世界里大展身手，把我們說的話變成一個(gè)個(gè)實(shí)際的操作。

最初，軟件智能體大多是以API為中心的。打個(gè)比方，API就像是一扇扇通往各種軟件功能的門，這些門都有明確的使用規(guī)則?；贏PI的智能體呢，就是拿著“鑰匙”（符合規(guī)則的指令），通過這些門去調(diào)用外部工具、函數(shù)或者服務(wù)。就像你要在手機(jī)上點(diǎn)個(gè)外賣，它能直接通過外賣軟件的API接口，把你的訂單信息傳遞過去，完成下單操作，高效又準(zhǔn)確。微軟的Copilot就是這類智能體的代表，它已經(jīng)從實(shí)驗(yàn)室的研究成果，變成了大家日常都能用的實(shí)用工具，幫人們處理各種工作，大大提高了效率。

后來，隨著大語言模型在多模態(tài)領(lǐng)域的研究取得進(jìn)展，另一種智能體——基于圖形用戶界面（GUI）的智能體出現(xiàn)了。如果說API是一扇扇門，那GUI就像是軟件的“臉面”，我們平時(shí)看到的軟件界面，那些按鈕、菜單、輸入框，都是GUI的一部分?；贕UI的智能體可厲害啦，它不僅能像人一樣“觀察”這個(gè)界面，還能直接操作界面上的各種元素。想象一下，你讓它幫你在電腦上新建一個(gè)文件夾，它就像你自己動(dòng)手一樣，找到“此電腦”圖標(biāo)，雙擊打開，然后在空白處右鍵點(diǎn)擊，選擇“新建文件夾”，是不是特別神奇？像UFO、CogAgent這些項(xiàng)目，就是這類智能體的典型代表，它們讓軟件操作變得更加簡單、直觀，給用戶帶來了全新的體驗(yàn)。

API智能體與GUI智能體大對(duì)決

雖然這兩種智能體都能幫我們實(shí)現(xiàn)軟件自動(dòng)化操作，但它們的差別可大了，就像兩個(gè)性格迥異的人，從很多方面都能看出不同。下面，咱們就從幾個(gè)關(guān)鍵維度來一場“大對(duì)決”。

感知與交互方式：各有千秋

API智能體主要靠文字來感知和交互。它就像一個(gè)只看文字說明書的“技術(shù)宅”，接到我們的自然語言請求后，會(huì)解讀請求的意思，然后找到對(duì)應(yīng)的API接口，再把必要的參數(shù)填好，就像按照說明書組裝玩具一樣，完成相應(yīng)的操作。比如你讓它在某個(gè)網(wǎng)站上搜索“人工智能發(fā)展趨勢”，它會(huì)直接調(diào)用搜索功能的API，發(fā)送請求，得到結(jié)果。

GUI智能體則像是一個(gè)通過眼睛觀察周圍環(huán)境的“探險(xiǎn)家”，它主要依靠視覺或者多模態(tài)輸入，比如軟件界面的截圖、界面元素的相關(guān)文本信息（像無障礙訪問樹或者元數(shù)據(jù)）。它會(huì)像我們?nèi)艘粯樱诮缑嫔险业綄?duì)應(yīng)的按鈕、輸入框，然后模擬鼠標(biāo)點(diǎn)擊、鍵盤輸入這些操作。還是拿搜索“人工智能發(fā)展趨勢”舉例，它會(huì)先找到瀏覽器的圖標(biāo)，雙擊打開，再找到搜索框，輸入關(guān)鍵詞，最后點(diǎn)擊搜索按鈕，整個(gè)過程就像我們自己在操作電腦一樣。

效率比拼：API一騎絕塵

從效率方面來看，API智能體優(yōu)勢明顯。它完成復(fù)雜任務(wù)往往只需要一次函數(shù)調(diào)用，就像武俠小說里的高手，一招制敵，又快又省力。比如要獲取某個(gè)股票的實(shí)時(shí)價(jià)格，它能瞬間通過金融數(shù)據(jù)API拿到數(shù)據(jù)，幾乎沒有延遲，也不會(huì)消耗太多計(jì)算資源。

GUI智能體就有點(diǎn)“慢工出細(xì)活”的感覺了。它為了完成一個(gè)任務(wù)，常常要執(zhí)行一系列像人操作一樣的步驟。還是以獲取股票價(jià)格為例，它可能要先打開股票交易軟件，找到行情頁面，再找到對(duì)應(yīng)的股票代碼，才能看到價(jià)格。這些操作雖然直觀，但每個(gè)步驟都需要時(shí)間，和API智能體相比，效率就低了不少，就像走路和坐火箭的區(qū)別。

可靠性大考驗(yàn)：API更勝一籌

API智能體的可靠性比較高。只要它調(diào)用的API接口穩(wěn)定、定義清晰，就像堅(jiān)固的橋梁一樣，能保證每次操作都有穩(wěn)定的結(jié)果。而且這些接口很容易維護(hù)、更新版本和測試，出現(xiàn)問題也能很快解決。

GUI智能體在這方面就有點(diǎn)“脆弱”了。一旦軟件界面發(fā)生變化，比如按鈕位置變了、菜單樣式改了，它就像迷路的孩子一樣，容易出錯(cuò)。因?yàn)樗饕揽孔R(shí)別界面元素來操作，界面一變化，它可能就找不到“路”了。而且它的操作步驟多，每一步都可能出現(xiàn)問題，這些問題累積起來，就會(huì)導(dǎo)致整體的準(zhǔn)確性下降。

可用性：GUI更自由

API智能體的可用性受到很大限制，它只能使用開發(fā)者預(yù)先定義和公開的API接口。這就好比你只能在規(guī)定的商店里買東西，商店沒有的商品，你就沒辦法買到。如果某個(gè)軟件沒有開放獲取用戶地理位置的API，那基于API的智能體就無法獲取這個(gè)信息。

GUI智能體就自由多啦，只要是能看到的軟件界面元素，它都能操作。不管軟件有沒有公開API，它都能“想辦法”去完成任務(wù)。這就像你可以在任何一家商店里挑選商品，不受限制。但這種自由也帶來了挑戰(zhàn)，它需要更強(qiáng)大的理解和處理能力，來應(yīng)對(duì)各種各樣的界面變化。

靈活性：GUI略勝一籌

API智能體的靈活性取決于預(yù)先開發(fā)好的API。如果想要增加新功能，就必須開發(fā)新的API并部署好，就像給房子加個(gè)新房間，需要重新設(shè)計(jì)和建造。比如某個(gè)軟件原本沒有自動(dòng)生成報(bào)告的API，那基于API的智能體就沒辦法完成這個(gè)任務(wù)，除非開發(fā)出新的API。

GUI智能體理論上可以操作界面上的任何元素，這就給了它很大的發(fā)揮空間。就像一個(gè)能在房間里自由活動(dòng)的人，不管房間里有什么新東西，都能想辦法去利用。它可以輕松適應(yīng)新的界面功能或者變化，不過這也需要它具備先進(jìn)的計(jì)算機(jī)視覺和多模態(tài)推理能力，才能準(zhǔn)確找到并操作界面元素。

安全性：API更讓人放心

安全性上，API智能體更讓人放心。每個(gè)API接口都可以單獨(dú)設(shè)置認(rèn)證、訪問控制或者限制調(diào)用頻率等安全措施，就像給每個(gè)房間都配上了不同的鎖，只有有鑰匙的人才能進(jìn)去，而且還能限制進(jìn)入的次數(shù)。這樣就能有效保護(hù)軟件系統(tǒng)的安全。

GUI智能體在這方面就有點(diǎn)讓人擔(dān)心了。因?yàn)樗梢栽L問軟件界面的各個(gè)部分，有可能不小心觸發(fā)一些有風(fēng)險(xiǎn)的操作，比如刪除重要文件、修改系統(tǒng)設(shè)置等。就像一個(gè)小孩在房間里亂翻東西，可能會(huì)不小心弄壞重要物品。所以，GUI智能體通常需要額外的安全措施來避免這些問題。

可維護(hù)性：API更穩(wěn)定

API智能體的可維護(hù)性比較好。因?yàn)锳PI接口一般都有版本控制，只要底層的接口穩(wěn)定，智能體的邏輯就不需要大的改動(dòng)。就像一輛汽車，只要發(fā)動(dòng)機(jī)等核心部件沒壞，其他小零件有點(diǎn)變化，也不影響整體使用。新的API添加到智能體中也很方便，只要在指令里加上相關(guān)描述就行。

GUI智能體就沒這么省心了。軟件界面一旦重新設(shè)計(jì)、出現(xiàn)彈窗、布局變化或者元素改名、移位，它可能就“罷工”了。這就好比你熟悉的房間突然重新裝修，東西都換了位置，你找東西都困難，更別說讓智能體去操作了。所以，GUI智能體在軟件界面頻繁更新的情況下，維護(hù)成本很高。

透明度：GUI一目了然

從用戶的角度看，透明度就是能清楚看到智能體是怎么完成任務(wù)的。API智能體就像一個(gè)神秘的幕后工作者，它在后臺(tái)執(zhí)行操作，用戶只能看到最后的結(jié)果，不知道中間具體調(diào)用了哪些API接口。就像你點(diǎn)了個(gè)外賣，只看到外賣送到了，卻不知道外賣員走了哪條路。

GUI智能體則像是在你面前表演的演員，它的每一步操作，比如點(diǎn)擊哪個(gè)按鈕、輸入什么內(nèi)容，都清晰可見。這在一些需要逐步確認(rèn)、訓(xùn)練模擬或者需要視覺確認(rèn)的任務(wù)中非常有用，用戶可以隨時(shí)觀察、干預(yù)或者調(diào)整操作流程，讓人心里更踏實(shí)。

擬人交互：GUI更親切

API智能體采用的是純程序化的方式，就像一個(gè)只會(huì)執(zhí)行命令的機(jī)器人，沒有模擬人類的操作過程。它追求的是效率、可靠性和可擴(kuò)展性，但在用戶體驗(yàn)上，少了點(diǎn)“人情味”。

GUI智能體在這方面就做得很好，它會(huì)模仿人類用戶的操作步驟，一步一步地完成任務(wù)，就像有個(gè)人在你旁邊幫你操作軟件一樣。這種擬人化的交互方式讓用戶更容易理解和接受，也增強(qiáng)了用戶對(duì)智能體的信任，就像和一個(gè)熟悉的朋友一起工作，感覺很親切。

差異背后的融合趨勢

雖然API智能體和GUI智能體差別很大，但它們并不是完全對(duì)立的，在實(shí)際應(yīng)用中，出現(xiàn)了很多融合的情況，就像兩個(gè)原本單打獨(dú)斗的武林高手，開始聯(lián)手合作了。

API包裝GUI工作流：取長補(bǔ)短

有些軟件開發(fā)商想到了一個(gè)巧妙的辦法，他們給基于GUI的軟件引入了“無頭模式”或者腳本接口，把GUI交互抽象成結(jié)構(gòu)化的命令。這就好比給原本只能手動(dòng)操作的機(jī)器裝上了一個(gè)自動(dòng)控制裝置，讓它能接受程序指令。比如一個(gè)會(huì)計(jì)軟件，以前用戶需要在各種對(duì)話框和菜單里來回操作才能生成財(cái)務(wù)報(bào)告，現(xiàn)在通過這種方式，軟件可以暴露一個(gè)類似GenerateReport(startDate, endDate)的函數(shù)，直接就能生成報(bào)告，不需要再手動(dòng)操作界面了。這種方式雖然底層還是依賴GUI工作流，但給開發(fā)者提供了類似API的接口，簡化了集成過程，提高了效率和可擴(kuò)展性，就像是給傳統(tǒng)的手工技藝穿上了現(xiàn)代科技的“外衣”。

統(tǒng)一編排工具：智能調(diào)度

企業(yè)級(jí)的自動(dòng)化框架和流程編排工具越來越強(qiáng)大，它們能提供一個(gè)統(tǒng)一的環(huán)境，讓開發(fā)者不用操心智能體具體的運(yùn)行機(jī)制，就能輕松構(gòu)建復(fù)雜的工作流程。這就像一個(gè)聰明的指揮官，能根據(jù)戰(zhàn)場形勢，合理安排不同的士兵（API智能體和GUI智能體）去完成任務(wù)。

比如在一個(gè)金融機(jī)構(gòu)的貸款審批流程中，系統(tǒng)會(huì)先用API智能體通過安全的API接口查詢客戶的信用評(píng)分，如果信用評(píng)分符合要求，再用API智能體去更新客戶關(guān)系管理（CRM）系統(tǒng)。要是沒有合適的API來更新CRM系統(tǒng)，系統(tǒng)就會(huì)自動(dòng)切換到GUI智能體，讓它模擬用戶操作CRM系統(tǒng)的網(wǎng)頁界面來完成更新。UFO項(xiàng)目就是這種設(shè)計(jì)的典型代表，它能根據(jù)任務(wù)需求和系統(tǒng)能力，智能地選擇最合適的方式（API調(diào)用還是GUI交互），讓整個(gè)流程更加順暢。

低代碼/無代碼解決方案：降低門檻

低代碼和無代碼平臺(tái)就像是為普通人準(zhǔn)備的“魔法工具”，它們把很多復(fù)雜的技術(shù)細(xì)節(jié)都隱藏在可視化的界面背后，讓沒有專業(yè)編程知識(shí)的人（“公民開發(fā)者”）也能通過拖放組件的方式構(gòu)建應(yīng)用程序或?qū)崿F(xiàn)自動(dòng)化流程。

比如在一個(gè)訂單處理流程中，用戶只需要把“支付網(wǎng)關(guān)”組件拖到設(shè)計(jì)界面，進(jìn)行簡單的配置，平臺(tái)就會(huì)在后臺(tái)自動(dòng)調(diào)用API智能體向支付端點(diǎn)發(fā)送請求，處理支付事務(wù)。接著連接“物流服務(wù)”組件，就能完成訂單發(fā)貨。如果某個(gè)步驟需要進(jìn)行GUI驗(yàn)證，比如檢查某個(gè)遺留系統(tǒng)的特定界面元素，平臺(tái)又能無縫插入GUI智能體，模擬人工操作。這種方式把API的高效性和GUI的直觀性結(jié)合起來，讓構(gòu)建自動(dòng)化流程變得像搭積木一樣簡單。

實(shí)際應(yīng)用中該如何選擇？

了解了API智能體和GUI智能體的差異和融合趨勢后，問題來了，在實(shí)際使用中，我們該怎么選擇呢？這得根據(jù)具體情況來決定。

適合API智能體的場景：追求效率與安全

如果軟件有穩(wěn)定、文檔齊全的API接口，那API智能體就是最佳選擇。就像在高速公路上開車，道路平坦又寬闊，能一路暢行無阻。比如企業(yè)內(nèi)部的一些業(yè)務(wù)系統(tǒng)，有專門開發(fā)的API，使用API智能體就能快速、可靠地完成數(shù)據(jù)處理、系統(tǒng)集成等任務(wù)，還能保證數(shù)據(jù)的安全和穩(wěn)定。在對(duì)性能要求極高的場景下，API智能體更是不二之選。因?yàn)樗芡ㄟ^直接的函數(shù)調(diào)用，減少延遲和系統(tǒng)開銷，就像火箭發(fā)射一樣迅速。對(duì)于那些對(duì)安全性要求很高的應(yīng)用，API智能體也能通過精細(xì)的訪問控制，確保只有授權(quán)的操作才能執(zhí)行，就像給重要的文件加上了多層密碼鎖。

適合GUI智能體的場景：靈活應(yīng)對(duì)復(fù)雜界面

當(dāng)軟件沒有直接可用的API，或者現(xiàn)有的API只能滿足部分自動(dòng)化需求時(shí)，GUI智能體就派上用場了。比如很多手機(jī)應(yīng)用，為了保護(hù)隱私和系統(tǒng)安全，限制了外部API的訪問，這時(shí)候GUI智能體就能大顯身手，通過模擬用戶操作來實(shí)現(xiàn)自動(dòng)化。在需要進(jìn)行視覺驗(yàn)證的場景中，GUI智能體更是不可或缺。比如測試軟件界面的顯示是否正確、元素位置是否合適，它能像人一樣直接觀察界面，給出準(zhǔn)確的判斷。對(duì)于那些沒有可擴(kuò)展后端服務(wù)的遺留系統(tǒng)或?qū)Ｓ邢到y(tǒng)，GUI智能體也能輕松應(yīng)對(duì)，不需要對(duì)底層代碼進(jìn)行修改，就能實(shí)現(xiàn)自動(dòng)化操作，就像給老舊的機(jī)器裝上了新的“智能大腦”。

適合混合模式的場景：兼顧多種需求

如果任務(wù)的某些部分適合用API智能體高效處理數(shù)據(jù)，而另一些部分需要通過GUI智能體進(jìn)行前端交互或視覺驗(yàn)證，那么混合模式就是最好的選擇。這就像一場接力賽，不同的選手在不同的階段發(fā)揮自己的優(yōu)勢。而且，隨著軟件系統(tǒng)的發(fā)展，新的API可能會(huì)不斷出現(xiàn)，采用混合模式可以方便地將原本由GUI智能體處理的任務(wù)切換到API智能體，避免大規(guī)模的架構(gòu)調(diào)整，讓系統(tǒng)更具靈活性和可擴(kuò)展性。

未來展望：智能體的無限可能

大語言模型技術(shù)還在不斷發(fā)展，未來，API智能體和GUI智能體也會(huì)變得更強(qiáng)大。更厲害的代碼輔助工具會(huì)讓API的創(chuàng)建和維護(hù)變得更簡單，就像有了一個(gè)智能助手幫你寫代碼，這將大大提高API智能體的可擴(kuò)展性。而強(qiáng)大的多模態(tài)模型會(huì)讓GUI智能體的視覺理解和操作能力更上一層樓，它可能會(huì)像人一樣輕松理解復(fù)雜的界面，做出更精準(zhǔn)的操作。

想象一下，未來的軟件可能會(huì)自動(dòng)生成或優(yōu)化API，實(shí)現(xiàn)高效的后端操作，同時(shí)還能智能地協(xié)調(diào)界面元素，提供透明的前端交互體驗(yàn)。這兩種智能體的融合，將會(huì)徹底改變我們與軟件交互的方式，模糊代碼生成和視覺界面體驗(yàn)之間的界限。在不遠(yuǎn)的將來，軟件開發(fā)、用戶體驗(yàn)以及整個(gè)數(shù)字生態(tài)系統(tǒng)的工作流程，都可能因?yàn)樗鼈兌l(fā)生巨大的變化。也許有一天，我們和軟件的交流就像和朋友聊天一樣自然，軟件能輕松理解我們的需求，自動(dòng)完成各種復(fù)雜的任務(wù)，讓我們的生活和工作變得更加便捷、高效。這就是科技的魅力，它總是在不斷給我們帶來驚喜，讓我們一起期待那一天的到來吧！

本文轉(zhuǎn)載自??旺知識(shí)??，作者：旺知識(shí)