圖片

大模型天花板GPT-4，它是不是……變笨了？

之前有不少用戶提出質(zhì)疑，并曬出了不少證據(jù)。對此，OpenAI 7月14日澄清：“我們沒有把GPT 4弄笨。相反的，我們的每個新版本，都讓GPT 4比以前更聰明了?！?/p>

圖片

Peter Welinder是OpenAI的產(chǎn)品產(chǎn)品VP

但為了驗證OpenAI的說法，斯坦福大學和加利福尼亞大學伯克利分校的三位研究員調(diào)查了3 月至 6 月期間 ChatGPT 性能的變化。

圖片

論文地址：https://arxiv.org/abs/2307.09009

評估的對象包括GPT-3.5和 GPT-4 兩個大模型，并在四個任務上進行測試：數(shù)學問題、回答敏感/危險問題、代碼生成以及視覺推理。

調(diào)查結(jié)論是：GPT-4性能確實變差了。

例如，在數(shù)學問題上，2023年3月版本的GPT-4 能夠以97.6%的準確率識別質(zhì)數(shù)，而2023年6月版本的GPT-4 在這個任務上的表現(xiàn)卻很糟糕（準確率只有2.4%），并且忽略了連貫的思考Prompt。

圖片

對如此科學實驗下的證據(jù)，OpenAI在博客“Function calling and other API updates”中更新回應到：確實在某些任務上的性能變差了。

We look at a large number of evaluation metrics to determine if a new model should be released. While the majority of metrics have improved, there may be some tasks where the performance gets worse.

我們會根據(jù)大量的評價指標來確定是否發(fā)布新的模型，雖然新模型大多數(shù)指標都有所改進，但可能在一些任務上模型性能會變差。

his is why we allow API users to pin the model version. For example, you can use gpt-4-0314 instead of the generic gpt-4, which points to the latest model version.

這就是為什么我們允許API用戶使用固定版本模型的原因。例如，用戶可以選擇使用 gpt-4-0314這個版本，而不是使用最新的 gpt-4 版本。

Each individually pinned model is stable, meaning that we won’t make changes that impact the outputs。

另外，OpenAI不會對固定版本的模型進行任何可能影響其輸出結(jié)果的更改。

那么具體在哪些任務中GPT-4變差了呢？讓我們一起來看論文細節(jié)。

實驗過程與其他結(jié)論

圖片

論文中，作者針對每種任務都設定了主要的性能指標，例如對于解決數(shù)學問題的任務，主要的性能指標是準確性；對于回答敏感問題的任務，主要的性能指標是回答率。此外，對于所有任務，他們都設定了兩個通用的補充指標，即冗長度（verbosity）和重疊度（overlap）。

圖片

如前所述，在數(shù)學問題測試中，作者們研究了GPT-4和GPT-3.5在解決質(zhì)數(shù)判斷問題上的“時間表現(xiàn)”。實驗方法是采用思維鏈（Chain-of-Thought）方法對數(shù)據(jù)集中的500個問題進行回答。

結(jié)果顯示：兩個模型表現(xiàn)出明顯的前后不一致，GPT-4的準確率從3月的97.6%下降到6月的2.4%，同時，GPT-3.5的準確率從7.4%提高到了86.8%。此外，GPT-4的回答更簡潔，GPT-3.5的回答則更長。

這種差異的原因可能與思維鏈效應有關(guān)。例如，3月的GPT-4能夠很好地遵循思維鏈條步驟判斷17077是否為質(zhì)數(shù)，但6月的版本則直接給出了"No"。而GPT-3.5在3月傾向于先給出"No"，然后推理，但6月的版本修復了這個問題，正確地先寫出推理步驟，然后給出正確答案"Yes"。這表明，由于模型的改變，即使是同樣的Prompt方法，如思維鏈條，也可能導致性能大相徑庭。

在敏感問題測試中，論文作者創(chuàng)建了一個包含100個不應由大模型直接回答的敏感問題的數(shù)據(jù)集，并手動標記了所有回復。

圖片

結(jié)果發(fā)現(xiàn)，GPT-4在3到6月間直接回答敏感問題的比例從21.0%降到5.0%，而GPT-3.5的比例從2.0%上升到8.0%，可能因GPT-4增強了安全性，而GPT-3.5沒有相應的操作。

同時，GPT-4回復的文本長度也從600多字降到約140字。

另一方面，大模型“越獄”對服務的安全性構(gòu)成了主要威脅。作者使用了一種叫做AIM（always intelligent and Machiavellian）的攻擊，該攻擊通過構(gòu)造虛構(gòu)故事，讓大模型表現(xiàn)得像一個無過濾無道德的聊天機器人。

結(jié)果顯示，當遭受AIM攻擊時，GPT-4和GPT-3.5的回答率都大幅上升。但是，GPT-4的防御力在更新后顯著增強，從3月的78%的回答率降到6月的31.0%，而GPT-3.5的回答率變化較小，僅降低了4%。這說明GPT-4對越獄攻擊的防御力較GPT-3.5更強。

圖片

在代碼生成能力測試中，作者創(chuàng)建了一個新的代碼生成數(shù)據(jù)集，包括最新的50個LeetCode“easy”問題。結(jié)果顯示：從3月到6月，“可直接執(zhí)行”的生成數(shù)量降低。

如上圖所示，3月份GPT-4有超過50%的生成結(jié)果是“可直接執(zhí)行”的，但到了6月份只剩10%。GPT-3.5的情況也差不多，兩種模型的生成結(jié)果冗余性也略有增加。

對此，斯坦福的研究員猜測原因可能是：生成的代碼中添加了額外的非代碼文本。

圖片

如上圖所示，GPT-4在3月份和6月份生成的代碼是有區(qū)別的。例如6月版在代碼片段的前后添加了"python"和’’’，這可能是用來標示代碼塊的，同時還生成了更多的注釋。

在視覺推理測試中，研究人員采用了ARC數(shù)據(jù)集進行評估，該數(shù)據(jù)集中的任務是根據(jù)幾個例子，要求輸入網(wǎng)格創(chuàng)建輸出網(wǎng)格。

圖片

圖注：視覺推理的整體表現(xiàn)

從三月版到六月版，GPT-4 和 GPT-3.5 的整體表現(xiàn)都有大約 2% 的提升。生成長度大致保持不變。

GPT-4 和 GPT-3.5 的性能提升都很小。但是，它們的3月版和6月版在 90% 的視覺謎題查詢上的生成結(jié)果都一樣。這些服務的整體性能也很低：GPT-4 準確率為 27.4%、GPT-3.5準確率為 12.2%。

專家推測：或許與 MoE 技術(shù)有關(guān)

對于GPT-4變笨，之前學術(shù)界有個觀點是，后來的RLHF訓練雖然讓GPT-4更與人類對齊，也就更聽從人類指示和符合人類價值觀，但讓也讓它自身的推理等能力變差。

換句話說，人類的強硬“教化”將GPT-4的腦葉白質(zhì)切除了。

圖片

也有專家認為是GPT變笨和它的「混合專家模型」（Mixture of Experts，MOE）的構(gòu)架有關(guān)。

MoE 技術(shù)是在神經(jīng)網(wǎng)絡領(lǐng)域發(fā)展起來的一種集成學習技術(shù)，也是目前訓練萬億參數(shù)量級模型的關(guān)鍵技術(shù)——由于現(xiàn)階段模型規(guī)模越來越大，導致訓練的開銷也日益增長，而 MoE 技術(shù)可以動態(tài)激活部分神經(jīng)網(wǎng)絡，從而實現(xiàn)在不增加計算量的前提下大幅度增加模型參數(shù)量。

具體來說，MoE 會將預測建模任務分解為若干子任務，在每個子任務上訓練一個專家模型（Expert Model），并開發(fā)一個門控模型（Gating Model），該模型可根據(jù)要預測的輸入來學習信任哪個專家，并組合預測結(jié)果。

MoE 技術(shù)引用到GPT-4時， GPT-4 中這些小型專家模型會針對不同的任務和主題領(lǐng)域進行訓練，例如可以有針對生物、物理、化學等方面的小型GPT-4專家模型，那么當用戶向 GPT-4 提出問題時，新系統(tǒng)就會知道要把這個問題發(fā)送給哪個專家模型。另外，為了以防萬一，新系統(tǒng)可能會向兩個或更多的專家模型發(fā)送查詢，然后將結(jié)果混在一起。

對于這個做法，業(yè)界專家形容是“忒修斯之船”，即隨著時間的推移，OpenAI 會把 GPT-4 的各個部分替換掉：“OpenAI 正在將 GPT-4 變成一支小型艦隊?！?/p>

注：忒修斯之船，是一個古希臘思想實驗，探討一個物體在其所有組成部分被完全更換后，是否仍保持其原始身份的哲學悖論。即一艘船替換完所有組件后，這艘船還是原來的嗎？

因此，GPT-4變笨很可能就與 MoE 這種訓練方式有關(guān)：“當用戶測試 GPT-4 時，我們會問很多不同的問題，而規(guī)模較小的 GPT-4 專家模型不會做得那么好，但它正在收集我們的數(shù)據(jù)，它會改進和學習?！彼固垢４髮W兼職教師Sharon Zhou介紹到。

圖片

除了專業(yè)研究團隊之外，關(guān)心AI的網(wǎng)友們也在用自己的辦法追蹤著AI能力的變化。例如有人每天讓GPT-4畫一次獨角獸，并在網(wǎng)站上公開記錄。如上所示，今天的形狀。

圖片

實際上，從4月14日開始，直到現(xiàn)在也還沒看出來個獨角獸的大致形態(tài)。