圖片

1. 問題：單一模型自我提升的瓶頸

近年來，大語言模型（LLMs）如GPT-4取得了顯著進(jìn)展，但這些模型的性能仍然受限于已有的訓(xùn)練數(shù)據(jù)。盡管通過生成合成數(shù)據(jù)進(jìn)行自我微調(diào)成為提升模型的主流方法，但隨著微調(diào)輪次的增加，性能提升會迅速進(jìn)入“收益遞減”狀態(tài)，模型的多樣性和推理能力難以進(jìn)一步提高。這種瓶頸限制了語言模型在復(fù)雜推理任務(wù)中的表現(xiàn)。

圖片

2. 方法：多智能體協(xié)作微調(diào)（Multiagent Finetuning）

論文提出了一種全新框架——多智能體微調(diào)（Multiagent Finetuning），通過組建由多個語言模型組成的“智能體社會”，實現(xiàn)協(xié)作與自我提升：

智能體角色分工：將模型分為“生成智能體”和“評論智能體”。生成智能體負(fù)責(zé)提供初步答案，評論智能體對其進(jìn)行批判性評估和改進(jìn)，形成高質(zhì)量反饋閉環(huán)。

數(shù)據(jù)獨(dú)立性與多樣性：每個智能體基于獨(dú)立的數(shù)據(jù)子集進(jìn)行微調(diào)，從而在推理鏈中實現(xiàn)角色的專業(yè)化與結(jié)果的多樣化。    

多智能體辯論機(jī)制：智能體間進(jìn)行“辯論”以協(xié)同優(yōu)化最終答案，確保整體推理鏈的邏輯性和準(zhǔn)確性。

通過這一分級協(xié)作的方法，模型能夠持續(xù)改進(jìn)，克服單一模型方法中的多樣性喪失問題。

圖片

3. 結(jié)果：性能顯著提升

實驗表明，多智能體微調(diào)在多種推理任務(wù)上顯著超越現(xiàn)有基線方法，包括單一模型微調(diào)、基于投票的多智能體方法和其他辯論機(jī)制：

在開源模型（Phi-3、Mistral、LLaMA-3）和專有模型（GPT-3.5）上均實現(xiàn)了大幅性能提升。

在復(fù)雜任務(wù)如數(shù)學(xué)推理（MATH）和通用問題求解（GSM）中，多智能體微調(diào)方法不僅增強(qiáng)了準(zhǔn)確性，還保留了豐富的推理鏈條和內(nèi)容多樣性。

即便在僅使用500個微調(diào)樣本的情況下，效果仍超越了多輪單一模型微調(diào)方法。    

圖片

4. 意義：為語言模型的未來開辟新路徑

多智能體微調(diào)為語言模型的自我提升提供了全新的思路，不僅解決了單一模型在微調(diào)過程中性能瓶頸的問題，還展示了多智能體協(xié)作在復(fù)雜推理任務(wù)中的強(qiáng)大潛力。未來，這一方法可與人類反饋強(qiáng)化學(xué)習(xí)（RLHF）等技術(shù)結(jié)合，用于進(jìn)一步優(yōu)化語言模型的泛化能力和實用性。    

圖片

總結(jié)：從“單兵作戰(zhàn)”到“團(tuán)隊協(xié)作”，多智能體微調(diào)讓語言模型自我提升的邊界更加廣闊，為復(fù)雜推理任務(wù)帶來了新可能。

論文標(biāo)題：Multiagent Finetuning: Self Improvement with Diverse Reasoning Chains

論文鏈接：???https://arxiv.org/abs/2501.05707??    

本文轉(zhuǎn)載自 ??AI帝國??，作者： 無影寺