1. 研究背景與動(dòng)機(jī)

近年來，大語(yǔ)言模型（Large Language Models, LLMs）在人工智能領(lǐng)域取得了巨大的進(jìn)展。為了評(píng)估這些模型的能力，研究人員開發(fā)了許多評(píng)估基準(zhǔn)。然而，隨著這些基準(zhǔn)的廣泛使用，人們對(duì)其適當(dāng)性和公平性產(chǎn)生了越來越多的擔(dān)憂。

本研究的主要?jiǎng)訖C(jī)包括：

1. 評(píng)估基準(zhǔn)的重要性：評(píng)估基準(zhǔn)是衡量LLMs能力的關(guān)鍵工具，對(duì)于理解模型進(jìn)展至關(guān)重要。
2. 數(shù)據(jù)泄露問題：在準(zhǔn)備預(yù)訓(xùn)練數(shù)據(jù)時(shí)，可能無意中包含了未來評(píng)估數(shù)據(jù)集的相關(guān)內(nèi)容，這可能導(dǎo)致不公平的性能優(yōu)勢(shì)。
3. 公平比較的需求：需要確保不同LLMs之間的比較是公平和可靠的。

例如，GPT-3在訓(xùn)練過程中發(fā)現(xiàn)其預(yù)訓(xùn)練語(yǔ)料庫(kù)包含了Children's Book Test數(shù)據(jù)集，而LLaMA-2則提到BoolQ數(shù)據(jù)集中的上下文是直接從網(wǎng)頁(yè)中提取的，這些網(wǎng)頁(yè)可能已經(jīng)包含在公開可用的語(yǔ)料庫(kù)中。這些情況都可能導(dǎo)致評(píng)估結(jié)果的偏差。

2. 基準(zhǔn)數(shù)據(jù)泄露的實(shí)證研究

為了研究基準(zhǔn)數(shù)據(jù)泄露的影響，研究人員設(shè)計(jì)了三種數(shù)據(jù)泄露場(chǎng)景：

1. 使用MMLU訓(xùn)練集：僅使用MMLU基準(zhǔn)提供的輔助訓(xùn)練集進(jìn)行訓(xùn)練。
2. 使用所有訓(xùn)練集：使用所有收集到的評(píng)估基準(zhǔn)的訓(xùn)練集進(jìn)行訓(xùn)練。
3. 使用所有訓(xùn)練集和測(cè)試提示：使用所有訓(xùn)練集，并加入相應(yīng)的測(cè)試提示（如任務(wù)描述和少樣本示例）。
4. 使用所有訓(xùn)練集、測(cè)試集和測(cè)試提示：這是最極端的情況，包含了所有信息（僅用于參考，實(shí)際中絕不應(yīng)發(fā)生）。

研究者選擇了四種不同規(guī)模的語(yǔ)言模型進(jìn)行評(píng)估：

• GPT-Neo-1.3B
• phi-1.5 (1.3B參數(shù))
• OpenLLaMA-3B
• LLaMA-2-7B

評(píng)估基準(zhǔn)包括：

• MMLU（多任務(wù)語(yǔ)言理解）
• 開放域問答任務(wù)（如BoolQ, PIQA, Hellaswag等）
• 推理任務(wù)（如CommonsenseQA, GSM8k, AQuA）
• 閱讀理解任務(wù)（如RACE, CoQA, CMRC2018等）

實(shí)驗(yàn)結(jié)果顯示，數(shù)據(jù)泄露顯著提升了模型在相關(guān)基準(zhǔn)上的表現(xiàn)。以下是部分結(jié)果的示例：

這些結(jié)果清楚地表明，即使是較小的模型（如1.3B參數(shù)的模型）在數(shù)據(jù)泄露的情況下也能顯著提高性能，有時(shí)甚至超過了未經(jīng)泄露數(shù)據(jù)訓(xùn)練的更大模型。

3. 基準(zhǔn)數(shù)據(jù)泄露的潛在風(fēng)險(xiǎn)

研究還探討了基準(zhǔn)數(shù)據(jù)泄露可能帶來的其他風(fēng)險(xiǎn)：

3.1 對(duì)其他任務(wù)性能的負(fù)面影響

研究者選擇了三個(gè)未包含在泄露數(shù)據(jù)中的任務(wù)來評(píng)估影響：

1. LAMBADA（語(yǔ)言建模任務(wù)）
2. XSum（文本摘要任務(wù)）
3. HumanEval（代碼合成任務(wù)）

結(jié)果顯示，在泄露數(shù)據(jù)上訓(xùn)練后，模型在這些任務(wù)上的性能普遍下降。例如：

這表明，僅在泄露數(shù)據(jù)上訓(xùn)練可能會(huì)導(dǎo)致模型在其他常規(guī)任務(wù)上的性能下降。

3.2 降低模型的適應(yīng)能力

研究者還探討了數(shù)據(jù)泄露對(duì)模型后續(xù)適應(yīng)性的影響。他們使用Alpaca和CodeAlpaca數(shù)據(jù)集對(duì)模型進(jìn)行指令微調(diào)，然后評(píng)估其性能。結(jié)果顯示：

這表明，在泄露數(shù)據(jù)上訓(xùn)練的模型在后續(xù)適應(yīng)新任務(wù)時(shí)可能面臨更大的困難。

4. 討論與建議

基于研究發(fā)現(xiàn)，論文提出了以下建議：

4.1 通用建議

• 使用更廣泛的、來源多樣化的基準(zhǔn)進(jìn)行評(píng)估，以減輕數(shù)據(jù)污染風(fēng)險(xiǎn)。
• 除了評(píng)估高級(jí)能力（如推理和事實(shí)知識(shí)），也應(yīng)該評(píng)估基本能力（如文本生成）。

4.2 對(duì)LLM開發(fā)者的建議

• 在預(yù)訓(xùn)練數(shù)據(jù)中進(jìn)行嚴(yán)格的數(shù)據(jù)去污染檢查，避免包含任何后續(xù)評(píng)估數(shù)據(jù)。
• 如果可能，建議也排除主流評(píng)估基準(zhǔn)的訓(xùn)練數(shù)據(jù)。
• 報(bào)告潛在的數(shù)據(jù)污染風(fēng)險(xiǎn)和污染分析結(jié)果。
• 詳細(xì)報(bào)告預(yù)訓(xùn)練數(shù)據(jù)的組成，特別是與主流評(píng)估基準(zhǔn)相關(guān)的數(shù)據(jù)集。

4.3 對(duì)基準(zhǔn)維護(hù)者的建議

• 提供構(gòu)建基準(zhǔn)的數(shù)據(jù)源詳細(xì)信息，并進(jìn)行與主流預(yù)訓(xùn)練語(yǔ)料庫(kù)的污染分析。
• 要求每次提交都附帶具體的污染分析報(bào)告。
• 提供多樣化的測(cè)試提示，最終評(píng)估結(jié)果應(yīng)該是多次運(yùn)行的平均值。

5. 局限性與未來工作

本研究存在一些局限性：

1. 未直接在預(yù)訓(xùn)練階段引入數(shù)據(jù)泄露，而是在現(xiàn)有預(yù)訓(xùn)練模型上繼續(xù)訓(xùn)練。
2. 未探索更細(xì)粒度的數(shù)據(jù)泄露場(chǎng)景，如僅泄露不帶標(biāo)簽的訓(xùn)練樣本。
3. 未計(jì)算主流基準(zhǔn)與常用預(yù)訓(xùn)練數(shù)據(jù)集之間的污染程度。

未來工作可以focus在這些方向上，進(jìn)行更系統(tǒng)、更全面的研究。

6. 結(jié)論

本研究深入探討了大語(yǔ)言模型評(píng)估中的基準(zhǔn)數(shù)據(jù)泄露問題，得出以下主要結(jié)論：

1. 基準(zhǔn)數(shù)據(jù)泄露會(huì)導(dǎo)致不公平和不可信的評(píng)估結(jié)果，即使是小型模型也可能因此獲得顯著的性能提升。
2. 數(shù)據(jù)泄露不僅影響相關(guān)任務(wù)的性能，還可能對(duì)其他任務(wù)和模型的適應(yīng)能力產(chǎn)生負(fù)面影響。
3. 需要采取多項(xiàng)措施來改善現(xiàn)有評(píng)估基準(zhǔn)的使用，包括更嚴(yán)格的數(shù)據(jù)檢查、多樣化的評(píng)估方法和透明的報(bào)告機(jī)制。

這項(xiàng)研究為公平、可靠地評(píng)估大語(yǔ)言模型提供了寶貴的見解和實(shí)用建議，對(duì)于推動(dòng)LLM評(píng)估領(lǐng)域的發(fā)展具有重要意義。

論文原文：《Don’t Make Your LLM an Evaluation Benchmark Cheater》

本文轉(zhuǎn)載自 ??芝士AI吃魚??，作者： 芝士AI吃魚