華人又來(lái)炸場(chǎng)了！昨天，普林斯頓的CS/NLP碩士生John Yang在Github上開(kāi)源了一款堪比Devin的利器。不到一天，就在Github上斬獲了1.3k 星，異常生猛。據(jù)悉，4月10日，詳細(xì)的技術(shù)論文就會(huì)公開(kāi)！

圖片

1.讓語(yǔ)言模型秒變編程Agent！

SWE-agent是一款用于自主解決Github存儲(chǔ)庫(kù)問(wèn)題的新系統(tǒng)，在SWE-bench上取得了與Devin相似的準(zhǔn)確度，平均耗時(shí)只有93s，而且重要的是，開(kāi)源?。?！

圖片

此外，SWE-agent 通過(guò)與專(zhuān)用終端交互來(lái)工作，這使得它能夠：

• 打開(kāi)、滾動(dòng)和搜索文件
• 使用自動(dòng)語(yǔ)法檢查編輯特定行
• 編寫(xiě)并執(zhí)行測(cè)試 這個(gè)定制的界面對(duì)于良好的性能至關(guān)重要！

2.大模型雖好，但也需要疊加Buff

要知道，目前如果只是簡(jiǎn)單地將 LM 連接到普通的 bash 終端效果并不好。

大模型需要精心設(shè)計(jì)的代理計(jì)算機(jī)界面（類(lèi)似于人類(lèi)喜歡良好的 UI 設(shè)計(jì)）才能更好地發(fā)揮威力！即使強(qiáng)如GPT-4，良好的代理計(jì)算機(jī)設(shè)計(jì)也很重要。

例如，當(dāng)大模型弄亂縮進(jìn)時(shí)，SWE-agent的編輯器會(huì)阻止它并提供反饋！

另外，團(tuán)隊(duì)還發(fā)現(xiàn)了一個(gè)重要的數(shù)字經(jīng)驗(yàn)：對(duì)于查看文件，讓 SWE-agent 一次僅查看 100 行比讓它查看 200 或 300 行要好，而且比讓它查看整個(gè)文件要好得多。所謂的“長(zhǎng)文本”能力在這里好像不好用了。

SWE-agent團(tuán)隊(duì)的厲害之處在于，他們?cè)O(shè)計(jì)了一種代理計(jì)算機(jī)交互接口（ACI），讓大模型有一個(gè)專(zhuān)屬的定制界面。

圖片

SWE-agent 將大模型（例如 GPT-4）轉(zhuǎn)變?yōu)檐浖こ檀?，可以修?fù)真實(shí) GitHub 存儲(chǔ)庫(kù)中的錯(cuò)誤和問(wèn)題。在完整的SWE-bench測(cè)試集上，SWE-agent 解決了12.29%的問(wèn)題，在完整的測(cè)試集上實(shí)現(xiàn)了最先進(jìn)的性能。

圖片

3.Agent必備：代理計(jì)算機(jī)接口 (ACI)

通過(guò)設(shè)計(jì)簡(jiǎn)單的以大模型為中心的命令和反饋格式來(lái)實(shí)現(xiàn)這些結(jié)果，使大模型更容易瀏覽存儲(chǔ)庫(kù)、查看、編輯和執(zhí)行代碼文件。團(tuán)隊(duì)將其稱(chēng)為代理計(jì)算機(jī)接口(ACI)，并構(gòu)建 SWE 代理存儲(chǔ)庫(kù)，以便輕松迭代存儲(chǔ)庫(kù)級(jí)編碼代理的 ACI 設(shè)計(jì)。

圖片

大家都知道，再好的語(yǔ)言模型，也都需要良好的提示工程。Agent也一樣，同樣需要良好的ACI設(shè)計(jì)，這樣可以帶來(lái)更好的結(jié)果。正如我們?cè)谡撐闹兴?，沒(méi)有經(jīng)過(guò)良好調(diào)整的 ACI 的基線代理的表現(xiàn)比 SWE 代理差得多。

在Agent-計(jì)算機(jī)界面設(shè)計(jì)過(guò)程中，SWE-agent 團(tuán)隊(duì)總結(jié)了幾個(gè)非常有用的經(jīng)驗(yàn)：

第一，團(tuán)隊(duì)添加了一個(gè)在發(fā)出編輯命令時(shí)運(yùn)行的 linter，并且如果代碼語(yǔ)法不正確，則不會(huì)讓編輯命令通過(guò)。

第二，為Agent提供了一個(gè)專(zhuān)門(mén)構(gòu)建的文件查看器，而不僅僅是cat文件。團(tuán)隊(duì)發(fā)現(xiàn)此文件查看器在每輪僅顯示 100 行時(shí)效果最佳。我們構(gòu)建的文件編輯器具有用于上下滾動(dòng)以及在文件中執(zhí)行搜索的命令。

第三，還為Agent提供了專(zhuān)門(mén)構(gòu)建的全目錄字符串搜索命令。團(tuán)隊(duì)發(fā)現(xiàn)該工具簡(jiǎn)潔地列出匹配項(xiàng)非常重要 - 我們只需列出至少有一個(gè)匹配項(xiàng)的每個(gè)文件。事實(shí)證明，向模型顯示有關(guān)每場(chǎng)比賽的更多上下文對(duì)于模型來(lái)說(shuō)太混亂了。

第四，當(dāng)命令的輸出為空時(shí)，我們會(huì)返回一條消息，指出“您的命令已成功運(yùn)行，但未產(chǎn)生任何輸出”。

來(lái)看看實(shí)際演示，全程無(wú)炒作！

安裝也很簡(jiǎn)單，Docker+Miniconda，外加一個(gè)激活命令行：conda activate swe-agent

就可以快速體驗(yàn)。具體來(lái)說(shuō)，運(yùn)行./setup.sh以創(chuàng)建swe-agentdocker 鏡像，然后配置文件keys.cfg也需要改動(dòng)填充一下：

OPENAI_API_KEY: 'OpenAI API Key Here if using OpenAI Model (optional)'
ANTHROPIC_API_KEY: 'Anthropic API Key Here if using Anthropic Model (optional)'
GITHUB_TOKEN: 'GitHub Token Here (required)'

4.用法簡(jiǎn)單：推理和評(píng)估兩個(gè)步驟

SWE-agent 管道有兩個(gè)步驟：推理和評(píng)估。非常簡(jiǎn)單，第一步（推理）就是向SWE agent輸入GitHub問(wèn)題并返回嘗試修復(fù)它的拉取請(qǐng)求；第二步（評(píng)估，目前僅適用于 SWE-bench 基準(zhǔn)測(cè)試中的問(wèn)題）就是評(píng)估拉取請(qǐng)求，看看它是否確實(shí)可以解決問(wèn)題。

不管你是想跑在Github還是SWE-bench上，都會(huì)有相應(yīng)的命令。

推理

對(duì)任何GitHub 問(wèn)題的推理：使用此腳本，你可以在任何 GitHub 問(wèn)題上運(yùn)行 SWE-agent！

python run.py --model_name gpt4 \
--data_path https://github.com/pvlib/pvlib-python/issues/1603 --config_fi

SWE-bench 上的推理：在SWE-bench Lite上運(yùn)行 SWE-agent并生成補(bǔ)丁。

python run.py --model_name gpt4 \
--per_instance_cost_limit 2.00 \
--config_file ./config/default.yaml

如果您想從 SWE-bench運(yùn)行單個(gè)--instance_filter問(wèn)題，請(qǐng)使用以下選項(xiàng)：

python run.py --model_name gpt4 \
--instance_filter marshmallow-code__marshmallow-1359

評(píng)估

此步驟僅適用于 SWE 基準(zhǔn)集中的問(wèn)題。要評(píng)估生成的拉取請(qǐng)求：

cd evaluation/
./run_eval.sh <predictions_path>

5.JimFan：提示工程2.0也許沒(méi)那么重要了！

對(duì)于這一發(fā)布，英偉達(dá)高級(jí)研究經(jīng)理JimFan認(rèn)為，非常棒！單純靠GPT4命令行工具進(jìn)行更好手動(dòng)設(shè)計(jì)就可以達(dá)到媲美Devin的精確度，沒(méi)有魔法，沒(méi)有炒作。

此外，Jim認(rèn)為當(dāng)GPT5到來(lái)時(shí)，也許指令遵循、工具使用，長(zhǎng)上下文會(huì)更好。也許所謂“提示工程2.0”不再那么重要了！

圖片

知識(shí)補(bǔ)充：

SWE Bench旨在提供一組不同的代碼庫(kù)問(wèn)題，這些問(wèn)題可以使用回購(gòu)單元測(cè)試進(jìn)行驗(yàn)證。完整的SWE臺(tái)架測(cè)試拆分包括12個(gè)python存儲(chǔ)庫(kù)中的2294個(gè)問(wèn)題提交對(duì)。

自發(fā)布以來(lái)，對(duì)于大多數(shù)在SWE工作臺(tái)上進(jìn)行評(píng)估的系統(tǒng)來(lái)說(shuō)，運(yùn)行每個(gè)實(shí)例可能需要大量的時(shí)間和計(jì)算。官方還發(fā)現(xiàn)，SWE工作臺(tái)可能是一個(gè)特別困難的基準(zhǔn)，從長(zhǎng)遠(yuǎn)來(lái)看，這對(duì)評(píng)估LMs很有用，但對(duì)試圖在短期內(nèi)取得進(jìn)展的系統(tǒng)來(lái)說(shuō)卻令人沮喪。

為了解決這些問(wèn)題，SWE-bench發(fā)布了一個(gè)規(guī)范子集SWE-bench Lite。SWE-bench Lite包括SWE bench中的300個(gè)實(shí)例，這些實(shí)例經(jīng)過(guò)采樣后更加獨(dú)立，重點(diǎn)是評(píng)估功能性錯(cuò)誤修復(fù)。

參考鏈接：https://github.com/princeton-nlp/SWE-agent

本文轉(zhuǎn)載自??51CTO技術(shù)棧??