lmsys.org的一個嚴肅的競爭對手已經加入了對LLMs（大型語言模型）評估的討論中：SEAL Leaderboards——對領先前沿模型進行的私密、專家評估。

SEAL Leaderboards的設計原則：

??私密 + 無法被利用。在評估上不會過度擬合！ 

??領域專家評估 

??持續(xù)更新，包含新數(shù)據(jù)和模型

https://x.com/karpathy/status/179587366648140201

Andrej Karpathy（原OpenAI的創(chuàng)始成員和研究科學家，也是特斯拉人工智能和自動駕駛部門(Autopilot)原負責人）的一些觀點：

• LLM評估正在改進，但不久前它們的狀況非常糟糕，因為定性體驗經常與定量排名不符。
• 好的評估很難構建——在特斯拉，Karpathy可能花了1/3的時間在數(shù)據(jù)上，1/3在評估上，還有1/3在其他所有事情上。它們必須全面、代表性強、質量高，并測量梯度信號（即不要太容易，也不要太困難），在定性和定量評估一致之前，有很多細節(jié)需要考慮和正確處理。
• 任何公開（非私有）的測試數(shù)據(jù)集不可避免地會滲透到訓練集中。這是人們強烈直覺上懷疑的事情，也是為什么最近的GSM1k引起了轟動。https://arxiv.org/html/2405.00332。
• 即使LLM開發(fā)者盡了最大努力，防止測試集滲透到訓練集中（以及答案被記?。┮彩抢щy的。當然，你可以盡力過濾掉完全匹配的項。你也可以過濾掉近似匹配的項，比如使用n-gram重疊等。但是你如何過濾掉合成數(shù)據(jù)重寫，或者有關數(shù)據(jù)的相關在線討論呢？一旦我們開始常規(guī)地訓練多模態(tài)模型，你如何過濾掉數(shù)據(jù)的圖像/截圖？你如何防止開發(fā)者，例如，向量嵌入測試集，并特別針對與測試集在嵌入空間中高度一致的數(shù)據(jù)進行訓練？
• 大家關心的并非所有LLM任務都可以自動評估（例如，想想摘要等），在這種情況下，你希望涉及人類。當你這樣做時，你如何控制所有涉及的變量，比如人們有多關注實際答案，或者長度，或者風格，或者如何處理拒絕等。
• 好的評估出人意料地困難，工作量巨大，但非常重要。

SEAL Leaderboards一些大模型評估結果，包括一些領先大模型：

- GPT-4o - GPT-4 Turbo - Claude 3 Opus - Gemini 1.5 Pro - Gemini 1.5 Flash - Llama3 - Mistral Large

圖片

圖片

圖片

SEAL Leaderboards  https://scale.com/leaderboard