4 月 10 日消息，豆包大模型團隊今日通過官方公眾號宣布，首個多語言類 SWE 數據集 Multi-SWE-bench 現(xiàn)已正式開源，可用于評估和提升大模型“自動修 Bug”能力。

在 SWE-bench 基礎上，Multi-SWE-bench 首次覆蓋 Python 之外的 7 種主流編程語言，是真正面向“全棧工程”的評測基準。其數據均來自 GitHub issue，歷時近一年構建，以盡可能準確測評和提高大模型高階編程智能水平。

Multi-SWE-bench 旨在推動自動編程技術從僅能解決單一語言（如 Python）和低復雜度的任務，朝著支持多語言、具備真實問題解決能力的通用型智能體邁進。

SWE-bench 是當前最具代表性的代碼修復評測基準，強調任務真實、難度高。它基于 GitHub issue，要求模型自動定位并修復 Bug，兼具跨文件修改、復雜語義推理與上下文理解等挑戰(zhàn)。

Multi-SWE-bench 旨在補全現(xiàn)有同類基準語言覆蓋方面的不足，系統(tǒng)性評估大模型在復雜開發(fā)環(huán)境下的“多語言泛化能力”，推動多語言軟件開發(fā) Agent 的評估與研究，其主要特性如下：

• 首次覆蓋 7 種主流編程語言（包括 Java、Go、Rust、C、C++、TypeScript、JavaScript），構建多語言開發(fā)環(huán)境下的代碼修復任務，系統(tǒng)評估模型的跨語言適應與泛化能力；
• 引入任務難度分級機制，將問題劃分為簡單（Easy）、中等（Medium）和困難（Hard）三類，涵蓋從一行修改到多文件、多步驟、多語義依賴的開發(fā)挑戰(zhàn)；
• 1,632 個實例全部來源于真實開源倉庫，并經過統(tǒng)一的測試標準和專業(yè)開發(fā)者的審核篩選，確保每個樣本具備清晰的問題描述、正確的修復補丁以及可復現(xiàn)的運行測試環(huán)境。

IT之家附開源鏈接：

Multi-SWE-bench: A Multilingual Benchmark for Issue Resolving：

• 論文鏈接：https://arxiv.org/ abs / 2504.02605
• 榜單鏈接：https://multi-swe-bench.github.io
• 代碼鏈接：https://github.com/ multi-swe-bench / multi-swe-bench
• 數據鏈接：https://huggingface.co/ datasets / ByteDance-Seed / Multi-SWE-bench