面向軟件工程的AI智能體最新進展,復旦、南洋理工、UIUC聯(lián)合發(fā)布全面綜述
本篇綜述的作者包括來自復旦大學 CodeWisdom 團隊的研究生劉俊偉、王愷欣、陳逸軒和彭鑫教授、婁一翎青年副研究員,以及南洋理工大學的陳震鵬研究員和伊利諾伊大學厄巴納 - 香檳分校(UIUC)的張令明教授。
自從首個全自動 AI 軟件工程師 Devin 問世以來,面向軟件工程的 AI 智能體廣受關注、層出不窮,例如最近的 Genie、Replit、Cursor 等,它們正在對傳統(tǒng)軟件開發(fā)的范式產(chǎn)生著深刻影響。基于大模型的 AI 智能體(LLM-based Agents,后簡稱 Agent)通過增強推理、記憶、規(guī)劃以及使用拓展工具的能力,極大地提升了大模型解決復雜軟件開發(fā)維護任務的能力,為進一步實現(xiàn)自動化、智能化的軟件開發(fā)提供了新思路。AI 智能體正在成為軟件工程領域的研究新熱潮。
復旦大學 CodeWisdom 團隊聯(lián)合南洋理工大學、UIUC 共同對 106 篇相關文獻進行梳理和解讀,分別從軟件工程和 Agent 兩個視角全面展現(xiàn)了 Agent 在軟件工程領域的最新進展。從軟件工程視角,該綜述梳理了 Agent 在軟件開發(fā)全周期各個任務上的應用現(xiàn)狀;從 Agent 視角,該綜述展示了目前應用于軟件工程領域的 Agent 的基礎架構(gòu)、多智能體設計模式以及人機協(xié)同模式。最后,該綜述展望了 Agent 在軟件工程領域的研究機會與發(fā)展方向。
- 論文地址:https://arxiv.org/pdf/2409.02977
- Agent4SE 論文列表:https://github.com/FudanSELab/Agent4SE-Paper-List
一、Agent 覆蓋軟件開發(fā)維護全流程
如圖 1 所示,目前 Agent 已基本覆蓋了軟件開發(fā)和維護的全流程,不僅可以解決某個特定的軟件開發(fā)環(huán)節(jié)(例如靜態(tài)檢查和測試),而且在應對更復雜的端到端的軟件開發(fā)和維護任務上也表現(xiàn)出了巨大潛力,包括:
- 端到端軟件開發(fā)(End-to-end Software Development):Agent 通過執(zhí)行多種開發(fā)子任務,包括需求工程、設計、代碼生成和質(zhì)量保證(包括靜態(tài)檢查和測試等),完成從需求到最終程序的全流程開發(fā)。
- 端到端軟件維護(End-to-end Software Maintenance):Agent 支持多種維護活動,如故障定位、修復和特性維護,完成從問題報告到補丁生成的端到端維護。
圖 1: 軟件開發(fā)與維護任務流程上的 Agent 分布
端到端軟件開發(fā)
目前面向端到端軟件開發(fā)的 Agent 主要模擬真實的軟件開發(fā)團隊,設計不同的軟件開發(fā)角色,互相協(xié)作共同完成軟件開發(fā)任務。
表 1: 面向端到端軟件開發(fā)任務的 Agent 文獻列表
其中,有些 Agent 在工作流設計上主要遵循了現(xiàn)實軟件開發(fā)中常見的軟件過程模型,包括瀑布模型和敏捷開發(fā)(測試驅(qū)動開發(fā)和 Scrum)。
圖 2: 面向端到端軟件開發(fā)的 Agent 中采用的過程模型
端到端軟件維護
目前,面向端到端軟件維護任務的 Agent 遵循著 “缺陷定位 - 補丁生成 - 補丁驗證” 的基本工作流程;在此基礎上,不同 Agent 選擇性地引入了預處理、故障重現(xiàn)、任務分解、補丁排名等步驟。
表 2: 面向端到端軟件維護任務的 Agent 文獻列表
圖 3: 面向端到端軟件維護任務的 Agent 中常用的工作流
這類 Agent 往往以 SWE-bench 及其衍生的數(shù)據(jù)集作為評測基準。
圖 4: 端到端維護軟件任務的數(shù)據(jù)集演化示意圖
特定的軟件開發(fā) / 維護任務
除了端到端的軟件開發(fā)和維護任務,目前 Agent 在面向單個特定的軟件開發(fā)或維護環(huán)節(jié)也有著廣泛應用,包括需求工程、代碼生成、代碼靜態(tài)檢查、測試、缺陷定位與修復等。該綜述梳理了面向特定不同軟件開發(fā) / 維護任務的 Agent 的工作流。
圖 5: 面向特定軟件開發(fā) / 維護環(huán)節(jié)的 Agent 工作流
二、面向軟件工程的 Agent 設計
根據(jù) Agent 的基礎結(jié)構(gòu)劃分(即 規(guī)劃(Planning)、記憶(Memory)、感知(Perception)、行動(Action)),該綜述進一步總結(jié)目前面向軟件開發(fā)和維護的 Agent 在每部分的設計特點。
Agent 中的常用工具
為了進一步提升 Agent 在軟件開發(fā)和維護任務上的能力,目前 Agent 的行動模塊中集成和使用了大量的工具,主要包括搜索、文件操作、靜態(tài)程序分析、動態(tài)分析、測試、版本管理工具等。
圖 6: 面向軟件開發(fā)和維護的 Agent 中的常用工具分類
人機協(xié)作范式
目前在面向軟件開發(fā)維護任務上,開發(fā)者和 Agent 的協(xié)作主要發(fā)生在規(guī)劃、需求工程、開發(fā)和評估四個環(huán)節(jié)。主要的協(xié)同方式,是由人類提供反饋,引導、澄清或直接糾正 Agent 的輸出。
圖 7:面向軟件開發(fā)和維護任務的 Human-Agent 協(xié)作范式
三、未來的研究方向
該綜述進一步探討了面向軟件開發(fā)和維護的 Agent 的未來研究方向。
- 更全面的評測基準和更真實的評測數(shù)據(jù)。當前針對軟工任務的 Agent 的評測主要集中在其端到端解決特定任務的能力上,缺少對決策過程和失敗原因的深入分析,以及對魯棒性等可信指標以及效率指標的關注。此外,當前用于評測 Agent 的數(shù)據(jù)集也存在一些問題,如邏輯過于簡化,與現(xiàn)實場景相差較遠等。因此,設計更多樣化的評估指標和構(gòu)建更高質(zhì)量、更現(xiàn)實的數(shù)據(jù)集基準是準確評估 Agent 能力的重要方向。
- 探索人機協(xié)同新范式。當前針對軟工任務的 Agent 人機協(xié)同主要局限于需求工程、設計、測試評估等環(huán)節(jié),同時缺少對高效友好的交互接口的系統(tǒng)研究。因此,未來研究可關注于拓展人機協(xié)同的應用場景,以及提供更加流暢的人機協(xié)作模式。
- 多模態(tài)感知。目前針對軟工任務的 Agent 主要依賴于文本或視覺感知。探索和整合多樣化的感知模態(tài),如語音命令或用戶手勢,會顯著提高 Agent 編碼助手的靈活性和可訪問性。
- 將 Agent 應用于更多軟工任務。盡管現(xiàn)有的 Agent 已經(jīng)被部署在各種軟工任務中,但一些關鍵階段(如設計、驗證和功能維護)仍未被充分探索,為這些階段開發(fā) Agent 系統(tǒng)可能會面臨各方面的新挑戰(zhàn)。
- 訓練面向軟件工程的基座大模型。目前 Agent 通常構(gòu)建在以通用數(shù)據(jù)或者代碼數(shù)據(jù)為主要訓練數(shù)據(jù)的大模型之上,而軟件開發(fā)的全周期往往涉及設計、架構(gòu)、開發(fā)者討論、程序動態(tài)執(zhí)行、歷史演化等代碼以外的重要信息。有效利用這些信息可以構(gòu)建面向軟件工程領域的基座大模型,從而在此基礎上構(gòu)建更強大的面向軟件開發(fā)與維護的 Agent。
- 將軟件工程領域知識融入 Agent 設計。正如最近 Agentless 研究所揭示,流程復雜且高度自主的 Agent 在某些軟件維護任務上的效果不如基于傳統(tǒng)缺陷定位和程序修復流程所設計的簡單工作流。軟件工程領域的經(jīng)典方法論和思想對于設計 Agent 的工作流有著重要的借鑒和指導意義,可以進一步提高 Agent 解決方案的有效性、魯棒性和效率。