一文讀懂大模型協(xié)作策略：Merge、Ensemble、Cooperate！
大型語(yǔ)言模型（LLMs）時(shí)代協(xié)作策略是一個(gè)新興研究領(lǐng)域，協(xié)作策略可以分為三種主要方法：合并（Merging）、集成（Ensemble）和合作（Cooperation）。
每個(gè)模型都有其獨(dú)特的優(yōu)勢(shì)，這種多樣性促進(jìn)了這些模型之間的合作研究
盡管LLMs通過(guò)ICL和指令跟隨在各種任務(wù)上表現(xiàn)出強(qiáng)大的多樣性，但不同的LLMs在訓(xùn)練語(yǔ)料庫(kù)和模型架構(gòu)上的差異導(dǎo)致它們?cè)诓煌蝿?wù)上有不同的優(yōu)勢(shì)和劣勢(shì)，有效的協(xié)作可以發(fā)揮它們的綜合潛力。
對(duì)大型語(yǔ)言模型（LLM）協(xié)作的主要分類
LLMs協(xié)作方法的分類：
- 合并（Merging）：在參數(shù)空間中整合多個(gè)LLMs，創(chuàng)建一個(gè)統(tǒng)一的、更強(qiáng)大的模型。
- 集成（Ensemble）：結(jié)合不同模型的輸出以獲得一致的結(jié)果。
- 合作（Cooperation）：利用不同LLMs的多樣化能力來(lái)實(shí)現(xiàn)特定目標(biāo)，如高效計(jì)算或知識(shí)轉(zhuǎn)移。
不同協(xié)作策略的示意圖，圖中的每種動(dòng)物代表一個(gè)不同的大型語(yǔ)言模型（LLM）
合并（Merging）方法
合并策略旨在通過(guò)在參數(shù)空間中整合多個(gè)模型來(lái)創(chuàng)建一個(gè)統(tǒng)一的、更強(qiáng)大的模型：
- 合并的目的：合并方法旨在解決單一模型可能存在的限制，如信息缺失、陷入局部最優(yōu)或缺乏多任務(wù)能力。
- 合并為相對(duì)最優(yōu)解（M-ROS）：
- 描述了深度學(xué)習(xí)模型在訓(xùn)練過(guò)程中可能無(wú)法達(dá)到精確最優(yōu)解的現(xiàn)象。
- 提出了通過(guò)合并多個(gè)模型的參數(shù)來(lái)獲得更好的相對(duì)最優(yōu)解的方法，包括簡(jiǎn)單平均和加權(quán)平均兩種方法。
- 基本M-ROS方法：
- 簡(jiǎn)單平均：將多個(gè)微調(diào)模型的參數(shù)以相等的系數(shù)進(jìn)行平均，以創(chuàng)建一個(gè)更強(qiáng)的模型。
- 加權(quán)平均：根據(jù)模型的重要性或質(zhì)量分配不同的系數(shù)，以實(shí)現(xiàn)更好的合并。
- 合并以增強(qiáng)多任務(wù)能力（M-MTC）：
- 通過(guò)合并具有不同能力的模型來(lái)構(gòu)建具有多任務(wù)能力的統(tǒng)一模型的嘗試。
- 介紹了基于加權(quán)平均、基于任務(wù)屬性和基于增量訓(xùn)練的方法來(lái)解決模型參數(shù)空間中的分歧問(wèn)題。
- 基于任務(wù)屬性的合并方法：
- 定義了任務(wù)向量τt，這是一個(gè)指定預(yù)訓(xùn)練模型參數(shù)空間中方向的向量，該方向的移動(dòng)可以提高特定任務(wù)的性能。
- 解決參數(shù)沖突的方法，包括參數(shù)沖突解決、減少參數(shù)方法和工具包（Toolkit）。
- 基于增量訓(xùn)練的方法：
- 提出了通過(guò)增量學(xué)習(xí)技術(shù)來(lái)恢復(fù)原始性能的方法，如尋找模型參數(shù)空間中的共享低維子空間以最小化任務(wù)干擾。
- 合并方法的局限性：
- 當(dāng)前模型合并方法僅適用于具有相同架構(gòu)和參數(shù)空間的模型，對(duì)于參數(shù)不兼容的模型，如LLaMA和QWen，當(dāng)前的合并技術(shù)是無(wú)效的。?
集成（Ensemble）方法
集成方法是一種通過(guò)結(jié)合多個(gè)模型的輸出來(lái)提高整體性能的策略，探討了在推理前、推理中和推理后進(jìn)行集成的不同方法，以及它們?nèi)绾斡绊懲评硭俣取⒓闪６群兔媾R的限制。
在推理之前（a）、推理期間（b）和推理之后（c）的大型語(yǔ)言模型（LLM）集成方法的示意圖。
- 集成學(xué)習(xí)的重要性：與傳統(tǒng)的分類任務(wù)不同，LLMs通常通過(guò)文本生成來(lái)解決各種任務(wù)，因此它們的輸出更加靈活和自然。這要求為L(zhǎng)LMs設(shè)計(jì)特定的集成方法。
- LLM集成方法論：
- 根據(jù)集成發(fā)生的時(shí)間點(diǎn)，將集成方法分為三類：推理前（Before Inference）、推理中（During Inference）和推理后（After Inference）。
- 推理前的集成（Before Inference）：
- 這類方法在推理前選擇最適合特定輸入樣本的LLM，例如通過(guò)訓(xùn)練外部路由器來(lái)選擇最優(yōu)的LLM。
- 推理中的集成（During Inference）：
- 在推理期間，LLMs自回歸地生成令牌。這類方法在每個(gè)解碼步驟中執(zhí)行集成，以減少早期錯(cuò)誤隨時(shí)間累積的影響。
- 推理后的集成（After Inference）：
- 這類方法在推理后結(jié)合生成的輸出，例如構(gòu)建LLM級(jí)聯(lián)以減少僅使用大型LLMs的推理成本，或者從多個(gè)LLMs生成的候選中選擇最佳輸出。?
- 推理速度：
- 集成方法通常會(huì)降低推理速度，尤其是在推理期間和推理后的集成方法。
- 集成粒度：
- 推理前和推理后的集成方法通常在示例級(jí)別工作，提供粗粒度集成；而推理中的集成方法在令牌級(jí)別工作，提供細(xì)粒度集成。?
合作（Cooperation）方法
在大型語(yǔ)言模型（LLMs）的時(shí)代，協(xié)作策略不僅僅局限于簡(jiǎn)單的合并或集成。越來(lái)越多的研究正專注于通過(guò)LLMs之間的合作來(lái)解決各種問(wèn)題或特定任務(wù)的更廣泛方法，根據(jù)目標(biāo)可以分為不同合作策略：
- 高效計(jì)算：通過(guò)輸入壓縮和推測(cè)性解碼來(lái)加速模型推理。
大型語(yǔ)言模型（LLMs）與壓縮模塊合作進(jìn)行輸入壓縮
大型語(yǔ)言模型（LLMs）與草稿生成器合作進(jìn)行推測(cè)性解碼
- 知識(shí)轉(zhuǎn)移：通過(guò)合作在推理階段轉(zhuǎn)移知識(shí)，而不是涉及訓(xùn)練。
- 知識(shí)轉(zhuǎn)移的重要性：由于直接訓(xùn)練大型模型獲取新知識(shí)既困難又成本高昂，因此通過(guò)合作轉(zhuǎn)移知識(shí)或能力成為一個(gè)重要的研究方向。
- 知識(shí)轉(zhuǎn)移的方法：
- 幾種主要的方法，包括減少錯(cuò)誤知識(shí)（Mitigating Incorrect Knowledge）、加強(qiáng)正確知識(shí)（Strengthening Correct Knowledge）和提供新知識(shí)（Supplying New Knowledge）。
- 減少錯(cuò)誤知識(shí)：
- LLMs在生成文本時(shí)可能出現(xiàn)的幻覺（hallucinations）和偏見（bias）問(wèn)題，并提出了對(duì)比解碼（Contrastive Decoding, CD）等方法來(lái)減少這些問(wèn)題。
- 加強(qiáng)正確知識(shí)：
- 如何通過(guò)額外的模型來(lái)增強(qiáng)解碼輸出的忠實(shí)度，例如使用屬性控制文本生成（attribute-controlled text generation）和驗(yàn)證方法來(lái)提高輸出與輸入或指令的一致性。
- 提供新知識(shí)：
- 觀察到輸出邏輯的變化反映了LLMs能力的變化，并提出了調(diào)整輸出邏輯來(lái)為大型模型提供從小模型中提取的新能力的方法。?
- 補(bǔ)償性合作：引入額外的控制器來(lái)補(bǔ)償LLMs的不足，如檢測(cè)器和檢索器。
- 聯(lián)邦合作：通過(guò)聯(lián)邦學(xué)習(xí)和聯(lián)邦提示工程來(lái)保護(hù)用戶隱私并有效執(zhí)行命令。
大型語(yǔ)言模型（LLMs）在聯(lián)邦學(xué)習(xí)中與客戶端模型合作
https://arxiv.org/abs/2407.06089
Merge, Ensemble, and Cooperate! A Survey on Collaborative Strategies in the Era of Large Language Models本文轉(zhuǎn)載自??PaperAgent??
