在2023年的「百模大戰(zhàn)」中，眾多實(shí)踐者推出了各類模型，這些模型有的是原創(chuàng)的，有的是針對(duì)開(kāi)源模型進(jìn)行微調(diào)的；有些是通用的，有些則是行業(yè)特定的。如何能合理地評(píng)價(jià)這些模型的能力，成為關(guān)鍵問(wèn)題。

盡管國(guó)內(nèi)外存在多個(gè)模型能力評(píng)測(cè)榜單，但它們的質(zhì)量參差不齊，排名差異顯著，這主要是因?yàn)樵u(píng)測(cè)數(shù)據(jù)和測(cè)試方法尚不成熟和科學(xué)。我們認(rèn)為，好的評(píng)測(cè)方法應(yīng)當(dāng)具備開(kāi)放性、動(dòng)態(tài)性、科學(xué)性和權(quán)威性。

為提供客觀、科學(xué)的評(píng)測(cè)標(biāo)準(zhǔn)，清華大學(xué)基礎(chǔ)模型研究中心聯(lián)合中關(guān)村實(shí)驗(yàn)室研制了SuperBench大模型綜合能力評(píng)測(cè)框架，旨在推動(dòng)大模型技術(shù)、應(yīng)用和生態(tài)的健康發(fā)展。

最近，2024年3月版《SuperBench大模型綜合能力評(píng)測(cè)報(bào)告》正式發(fā)布。

評(píng)測(cè)共包含了14個(gè)海內(nèi)外具有代表性的模型。其中，對(duì)于閉源模型，選取API和網(wǎng)頁(yè)兩種調(diào)用模式中得分較高的一種進(jìn)行評(píng)測(cè)。

根據(jù)評(píng)測(cè)結(jié)果，可以得出以下幾個(gè)主要結(jié)論：

● 整體來(lái)說(shuō)，GPT-4系列模型和Claude-3等國(guó)外模型在多個(gè)能力上依然處于領(lǐng)先地位，國(guó)內(nèi)頭部大模型GLM-4和文心一言4.0表現(xiàn)亮眼，與國(guó)際一流模型水平接近，且差距已經(jīng)逐漸縮小。

● 國(guó)外大模型中，GPT-4系列模型表現(xiàn)穩(wěn)定，Claude-3也展現(xiàn)了較強(qiáng)的綜合實(shí)力，在語(yǔ)義理解和作為智能體兩項(xiàng)能力評(píng)測(cè)中更是獲得了榜首，躋身國(guó)際一流模型。

● 國(guó)內(nèi)大模型中，GLM-4和文心一言4.0在本次評(píng)測(cè)中表現(xiàn)最好，為國(guó)內(nèi)頭部模型；通義千問(wèn)2.1、Abab6、moonshot網(wǎng)頁(yè)版以及qwen1.5-72b-chat緊隨其后，在部分能力評(píng)測(cè)中亦有不俗表現(xiàn)；但是國(guó)內(nèi)大模型對(duì)比國(guó)際一流模型在代碼編寫(xiě)、作為智能體兩個(gè)能力上依然有較大差距，國(guó)內(nèi)模型仍需努力。

大模型能力遷移&SuperBench

自大語(yǔ)言模型誕生之初，評(píng)測(cè)便成為大模型研究中不可或缺的一部分。隨著大模型研究的發(fā)展，對(duì)其性能重點(diǎn)的研究也在不斷遷移。根據(jù)我們的研究，大模型能力評(píng)測(cè)大概經(jīng)歷如下5個(gè)階段：

2018年-2021年：語(yǔ)義評(píng)測(cè)階段

早期的語(yǔ)言模型主要關(guān)注自然語(yǔ)言的理解任務(wù)（e.g. 分詞、詞性標(biāo)注、句法分析、信息抽取)，相關(guān)評(píng)測(cè)主要考察語(yǔ)言模型對(duì)自然語(yǔ)言的語(yǔ)義理解能力。代表工作：BERT、GPT、T5等。

2021年-2023年：代碼評(píng)測(cè)階段

隨著語(yǔ)言模型能力的增強(qiáng)，更具應(yīng)用價(jià)值的代碼模型逐漸出現(xiàn)。研究人員發(fā)現(xiàn)，基于代碼生成任務(wù)訓(xùn)練的模型在測(cè)試中展現(xiàn)出更強(qiáng)的邏輯推理能力，代碼模型成為研究熱點(diǎn)。代表工作：Codex、CodeLLaMa、CodeGeeX等。

2022年-2023年：對(duì)齊評(píng)測(cè)階段

隨著大模型在各領(lǐng)域的廣泛應(yīng)用，研究人員發(fā)現(xiàn)續(xù)寫(xiě)式的訓(xùn)練方式與指令式的應(yīng)用方式之間存在差異，理解人類指令、對(duì)齊人類偏好逐漸成為大模型訓(xùn)練優(yōu)化的關(guān)鍵目標(biāo)之一。對(duì)齊好的模型能夠準(zhǔn)確理解并響應(yīng)用戶的意圖，為大模型的廣泛應(yīng)用奠定了基礎(chǔ)。代表工作：InstructGPT、ChatGPT、GPT4、ChatGLM等。

2023年-2024年：智能體評(píng)測(cè)階段

基于指令遵從和偏好對(duì)齊的能力，大模型作為智能中樞對(duì)復(fù)雜任務(wù)進(jìn)行拆解、規(guī)劃、決策和執(zhí)行的能力逐漸被發(fā)掘。大模型作為智能體解決實(shí)際問(wèn)題也被視為邁向通用人工智能（AGI）的重要方向。代表工作：AutoGPT、AutoGen等。

2023年-future：安全評(píng)測(cè)階段

隨著模型能力的提升，對(duì)模型安全性和價(jià)值觀的評(píng)估、監(jiān)管與強(qiáng)化逐漸成為研究人員關(guān)注的重點(diǎn)。加強(qiáng)對(duì)潛在風(fēng)險(xiǎn)的研判，確保大模型的可控、可靠和可信，是未來(lái)「AI可持續(xù)發(fā)展」的關(guān)鍵問(wèn)題。

因此，為了全面地評(píng)估大模型的各項(xiàng)能力，SuperBench評(píng)測(cè)體系包含了語(yǔ)義、代碼、對(duì)齊、智能體和安全等五個(gè)評(píng)測(cè)大類，28個(gè)子類。

PART 1 語(yǔ)義評(píng)測(cè)

ExtremeGLUE是一個(gè)包含72個(gè)中英雙語(yǔ)傳統(tǒng)數(shù)據(jù)集的高難度集合，旨在為語(yǔ)言模型提供更嚴(yán)格的評(píng)測(cè)標(biāo)準(zhǔn)，采用零樣本 CoT 評(píng)測(cè)方式，并根據(jù)特定要求對(duì)模型輸出進(jìn)行評(píng)分。

首先，使用超過(guò)20種語(yǔ)言模型進(jìn)行初步測(cè)試，包括了GPT-4、Claude、Vicuna、WizardLM和ChatGLM等。

然后，基于所有模型的綜合表現(xiàn)，決定每個(gè)分類中挑選出難度最大的10%～20%數(shù)據(jù)，將它們組合為「高難度傳統(tǒng)數(shù)據(jù)集」。

評(píng)測(cè)方法&流程

● 評(píng)測(cè)方式：收集了72個(gè)中英雙語(yǔ)傳統(tǒng)數(shù)據(jù)集，提取其中高難度的題目組成4個(gè)維度的評(píng)測(cè)數(shù)據(jù)集，采取零樣本CoT評(píng)測(cè)方式，各維度得分計(jì)算方式為回答正確的題目數(shù)所占百分比，最終總分取各維度的平均值。

● 評(píng)測(cè)流程：根據(jù)不同題目的形式和要求，對(duì)于模型的零樣本CoT生成的結(jié)果進(jìn)行評(píng)分。

整體表現(xiàn)：

在語(yǔ)義理解能力評(píng)測(cè)中，各模型形成了三個(gè)梯隊(duì)，70分檔為第一梯隊(duì)，包括Claude-3、GLM-4、文心一言4.0以及GPT-4系列模型。其中，Claude-3得分為76.7，位居第一；國(guó)內(nèi)模型GLM-4和文心一言4.0則超過(guò)GPT-4系列模型位居第二和第三位，但是和Claude-3有3分差距。

分類表現(xiàn)：

● 知識(shí)-常識(shí)：Claude-3以79.8分領(lǐng)跑，國(guó)內(nèi)模型GLM-4表現(xiàn)亮眼，超過(guò)GPT-4網(wǎng)頁(yè)版位居第二；文心一言4.0表現(xiàn)不佳，距離榜首Claude-3有12.7分差距。

● 知識(shí)-科學(xué)：Claude-3依然領(lǐng)先，并且是唯一一個(gè)80分以上模型；文心一言4.0、GPT-4系列模型以及GLM-4模型均在75分以上，為第一梯隊(duì)模型。

● 數(shù)學(xué)：Claude-3和文心一言4.0并列第一，得65.5分，GLM-4領(lǐng)先GPT-4系列模型位列第三，其他模型得分在55分附近較為集中，當(dāng)前大模型在數(shù)學(xué)能力上仍有較大提升空間。

● 閱讀理解：各分?jǐn)?shù)段分布相對(duì)較為平均，文心一言4.0超過(guò)GPT-4 Turbo、Claude-3以及GLM-4拿下榜首。

PART 2 代碼評(píng)測(cè)

NaturalCodeBench（NCB）是一個(gè)評(píng)估模型代碼能力的基準(zhǔn)測(cè)試，傳統(tǒng)的代碼能力評(píng)測(cè)數(shù)據(jù)集主要考察模型在數(shù)據(jù)結(jié)構(gòu)與算法方面的解題能力，而NCB數(shù)據(jù)集側(cè)重考察模型在真實(shí)編程應(yīng)用場(chǎng)景中寫(xiě)出正確可用代碼的能力。

所有問(wèn)題都從用戶在線上服務(wù)中的提問(wèn)篩選得來(lái)，問(wèn)題的風(fēng)格和格式更加多樣，涵蓋數(shù)據(jù)庫(kù)、前端開(kāi)發(fā)、算法、數(shù)據(jù)科學(xué)、操作系統(tǒng)、人工智能、軟件工程等七個(gè)領(lǐng)域的問(wèn)題，可以簡(jiǎn)單分為算法類和功能需求類兩類。

題目包含java和python兩類編程語(yǔ)言，以及中文、英文兩種問(wèn)題語(yǔ)言。每個(gè)問(wèn)題都對(duì)應(yīng)10個(gè)人類撰寫(xiě)矯正的測(cè)試樣例，9個(gè)用于測(cè)試生成代碼的功能正確性，剩下1個(gè)用于代碼對(duì)齊。

評(píng)測(cè)方法&流程

● 評(píng)測(cè)方式：運(yùn)行模型生成的函數(shù)，將輸出結(jié)果與準(zhǔn)備好的測(cè)例結(jié)果進(jìn)行比對(duì)進(jìn)行打分。將輸出結(jié)果與準(zhǔn)備好的測(cè)例結(jié)果進(jìn)行比對(duì)進(jìn)行打分，最終計(jì)算生成代碼的一次通過(guò)率pass@1。

● 評(píng)測(cè)流程：給定問(wèn)題、單元測(cè)試代碼、以及測(cè)例，模型首先根據(jù)問(wèn)題生成目標(biāo)函數(shù)；運(yùn)行生成的目標(biāo)函數(shù)，以測(cè)例中的輸入作為參數(shù)得到函數(shù)運(yùn)行輸出，與測(cè)例中的標(biāo)準(zhǔn)輸出進(jìn)行比對(duì)，輸出匹配得分，輸出不匹配或函數(shù)運(yùn)行錯(cuò)誤均不得分。

整體表現(xiàn)：

在代碼編寫(xiě)能力評(píng)測(cè)中，國(guó)內(nèi)模型與國(guó)際一流模型之間仍有明顯差距，GPT-4系列模型、Claude-3模型在代碼通過(guò)率上明顯領(lǐng)先，國(guó)內(nèi)模型中GLM-4，文心一言4.0與訊飛星火3.5表現(xiàn)突出，綜合得分達(dá)到40分以上。

然而，即使是表現(xiàn)最好的模型在代碼的一次通過(guò)率上仍只有50%左右，代碼生成任務(wù)對(duì)目前的大模型來(lái)說(shuō)仍是一大挑戰(zhàn)。

分類表現(xiàn)：

在Python、Java、中文、英文四個(gè)維度的數(shù)據(jù)集中GPT-4系列模型包攬頭名，體現(xiàn)出強(qiáng)大而全面的代碼能力，除Claude-3外其余模型差距明顯。

● 英文代碼指令：GPT-4 Turbo比Claude-3在Python和Java問(wèn)題上分別高出6.8分和1.5分，比GLM-4在Python和Java問(wèn)題上分別高出14.2分和5.1分，國(guó)內(nèi)模型與國(guó)際模型在英文代碼指令上差距比較明顯。

● 中文代碼指令：GPT-4 Turbo比Claude-3在Python上高出3.9分，在Java上低2.3分，差距不大。GPT-4 Turbo比GLM-4在Python和Java問(wèn)題上分別高出5.4分和2.8分，國(guó)內(nèi)模型在中文編碼能力上與國(guó)際一流模型仍存在一定差距。

PART 3 對(duì)齊評(píng)測(cè)

AlignBench旨在全面評(píng)測(cè)大模型在中文領(lǐng)域與人類意圖的對(duì)齊度，通過(guò)模型打分評(píng)測(cè)回答質(zhì)量，衡量模型的指令遵循和有用性。

它包括8個(gè)維度，如基本任務(wù)和專業(yè)能力，使用真實(shí)高難度問(wèn)題，并有高質(zhì)量參考答案。優(yōu)秀表現(xiàn)要求模型具有全面能力、指令理解和生成有幫助的答案。

「中文推理」維度重點(diǎn)考察了大模型在中文為基礎(chǔ)的數(shù)學(xué)計(jì)算、邏輯推理方面的表現(xiàn)。這一部分主要由從真實(shí)用戶提問(wèn)中獲取并撰寫(xiě)標(biāo)準(zhǔn)答案，涉及多個(gè)細(xì)粒度領(lǐng)域的評(píng)估：

● 數(shù)學(xué)計(jì)算上，囊括了初等數(shù)學(xué)、高等數(shù)學(xué)和日常計(jì)算等方面的計(jì)算和證明。

● 邏輯推理上，則包括了常見(jiàn)的演繹推理、常識(shí)推理、數(shù)理邏輯、腦筋急轉(zhuǎn)彎等問(wèn)題，充分地考察了模型在需要多步推理和常見(jiàn)推理方法的場(chǎng)景下的表現(xiàn)。

「中文語(yǔ)言」部分著重考察大模型在中文文字語(yǔ)言任務(wù)上的通用表現(xiàn)，具體包括六個(gè)不同的方向：基本任務(wù)、中文理解、綜合問(wèn)答、文本寫(xiě)作、角色扮演、專業(yè)能力。

這些任務(wù)中的數(shù)據(jù)大多從真實(shí)用戶提問(wèn)中獲取，并由專業(yè)的標(biāo)注人員進(jìn)行答案撰寫(xiě)與矯正，從多個(gè)維度充分地反映了大模型在文本應(yīng)用方面的表現(xiàn)水平。具體來(lái)說(shuō)：

● 基本任務(wù)考察了在常規(guī)NLP任務(wù)場(chǎng)景下，模型泛化到用戶指令的能力；

● 中文理解上，著重強(qiáng)調(diào)了模型對(duì)于中華民族傳統(tǒng)文化和漢字結(jié)構(gòu)淵源的理解；

● 綜合問(wèn)答則關(guān)注模型回答一般性開(kāi)放問(wèn)題時(shí)的表現(xiàn)；

● 文本寫(xiě)作則揭示了模型在文字工作者工作中的表現(xiàn)水平；

● 角色扮演是一類新興的任務(wù)，考察模型在用戶指令下服從用戶人設(shè)要求進(jìn)行對(duì)話的能力；

● 專業(yè)能力則研究了大模型在專業(yè)知識(shí)領(lǐng)域的掌握程度和可靠性。

評(píng)測(cè)方法&流程

● 評(píng)測(cè)方式：通過(guò)強(qiáng)模型（如GPT-4）打分評(píng)測(cè)回答質(zhì)量，衡量模型的指令遵循能力和有用性。打分維度包括事實(shí)正確性、滿足用戶需求、清晰度、完備性、豐富度等多項(xiàng)，且不同任務(wù)類型下打分維度不完全相同，并基于此給出綜合得分作為回答的最終分?jǐn)?shù)。

● 評(píng)測(cè)流程：模型根據(jù)問(wèn)題生成答案、GPT-4根據(jù)生成的答案和測(cè)試集提供的參考答案進(jìn)行詳細(xì)的分析、評(píng)測(cè)和打分。

整體表現(xiàn)：

在人類對(duì)齊能力評(píng)測(cè)中，GPT-4網(wǎng)頁(yè)版占據(jù)榜首，文心一言4.0和GPT-4 Turbo同分（7.74）緊隨其后，國(guó)內(nèi)模型中GLM-4同樣表現(xiàn)優(yōu)異，超越Claude-3，位列第四，通義千問(wèn)2.1略低于Claude-3，排名第六，同為第一梯隊(duì)大模型。

分類表現(xiàn)：

中文推理整體分?jǐn)?shù)明顯低于中文語(yǔ)言，當(dāng)下大模型推理能力整體有待加強(qiáng)：

● 中文推理：GPT-4系列模型表現(xiàn)最好，略高于國(guó)內(nèi)模型文心一言4.0，并且和其他模型拉開(kāi)明顯差距。

● 中文語(yǔ)言：國(guó)內(nèi)模型包攬了前四名，分別是KimiChat網(wǎng)頁(yè)版（8.05分）、通義千問(wèn)2.1（7.99分）、GLM-4（7.98分）、文心一言4.0（7.91分），超過(guò)GPT-4系列模型和Claude-3等國(guó)際一流模型。

各分類細(xì)拆分析：

中文推理：

● 數(shù)學(xué)計(jì)算：GPT-4系列模型包攬前兩名，國(guó)內(nèi)模型文心一言4.0、通義千問(wèn)2.1分?jǐn)?shù)超過(guò)Claude-3，但與GPT-4系列模型仍有一定差距。

● 邏輯推理：7分以上為第一梯隊(duì)，由國(guó)內(nèi)模型文心一言4.0領(lǐng)跑，同在第一梯隊(duì)的還有GPT-4系列模型、Claude-3、GLM-4和Abab6。

中文語(yǔ)言：

● 基本任務(wù)：GLM-4拿下榜首，通義千問(wèn)2.1、Claude-3和GPT-4網(wǎng)頁(yè)版占據(jù)二到四位，國(guó)內(nèi)其他大模型中文心一言4.0和KimiChat網(wǎng)頁(yè)版也表現(xiàn)較好，超過(guò)了GPT-4 Turbo。

● 中文理解：國(guó)內(nèi)模型整體表現(xiàn)較好，包攬了前四名，文心一言4.0領(lǐng)先優(yōu)勢(shì)明顯，領(lǐng)先第二名GLM-4 0.41分；國(guó)外模型中，表現(xiàn)尚可，排在第五位，但GPT-4系列模型表現(xiàn)較差，排在中下游，并且和第一名分差超過(guò)1分。

● 綜合問(wèn)答：各大模型均表現(xiàn)較好，超過(guò)8分的模型達(dá)到了6家，GPT-4網(wǎng)頁(yè)版和KimiChat網(wǎng)頁(yè)版拿下最高分，GLM-4和Claude-3分?jǐn)?shù)相同，與榜首分?jǐn)?shù)接近，并列第三。

● 文本寫(xiě)作：KimiChat網(wǎng)頁(yè)版表現(xiàn)最好，同時(shí)也是唯一一個(gè)8分以上的模型，GPT-4 Turbo和分列二、三位。

● 角色扮演：國(guó)內(nèi)模型Abab6、通義千問(wèn)2.1和KimiChat網(wǎng)頁(yè)版包攬前三名，且均在8分以上，超過(guò)GPT-4系列模型和Claude-3等國(guó)際一流模型。

● 專業(yè)能力：GPT-4 Turbo占據(jù)了首位，KimiChat網(wǎng)頁(yè)版超過(guò)GPT-4網(wǎng)頁(yè)版拿下第二名，國(guó)內(nèi)其他模型中，GLM-4和通義千問(wèn)2.1同樣表現(xiàn)不俗，并列排名第四。

PART 4 智能體評(píng)測(cè)

AgentBench是一個(gè)評(píng)估語(yǔ)言模型在操作系統(tǒng)、游戲和網(wǎng)頁(yè)等多種實(shí)際環(huán)境中作為智能體性能的綜合基準(zhǔn)測(cè)試工具包。

代碼環(huán)境：該部分關(guān)注LLMs在協(xié)助人類與計(jì)計(jì)算機(jī)代碼接口互動(dòng)方面的潛在應(yīng)用。LLMs以其出色的編碼能力和推理能力，有望成為強(qiáng)大的智能代理，協(xié)助人們更有效地與計(jì)算機(jī)界面進(jìn)行互動(dòng)。為了評(píng)估LLMs在這方面的表現(xiàn)，我們引入了三個(gè)代表性的環(huán)境，這些環(huán)境側(cè)重于編碼和推理能力。這些環(huán)境提供了實(shí)際的任務(wù)和挑戰(zhàn)，測(cè)試LLMs在處理各種計(jì)算機(jī)界面和代碼相關(guān)任務(wù)時(shí)的能力。

游戲環(huán)境：游戲環(huán)境是AgentBench的一部分，旨在評(píng)估LLMs在游戲場(chǎng)景中的表現(xiàn)。在游戲中，通常需要智能體具備強(qiáng)大的策略設(shè)計(jì)、遵循指令和推理能力。與編碼環(huán)境不同，游戲環(huán)境中的任務(wù)不要求對(duì)編碼具備專業(yè)知識(shí)，但更需要對(duì)常識(shí)和世界知識(shí)的綜合把握。這些任務(wù)挑戰(zhàn)LLMs在常識(shí)推理和策略制定方面的能力。

網(wǎng)絡(luò)環(huán)境：網(wǎng)絡(luò)環(huán)境是人們與現(xiàn)實(shí)世界互動(dòng)的主要界面，因此在復(fù)雜的網(wǎng)絡(luò)環(huán)境中評(píng)估智能體的行為對(duì)其發(fā)展至關(guān)重要。在這里，我們使用兩個(gè)現(xiàn)有的網(wǎng)絡(luò)瀏覽數(shù)據(jù)集，對(duì)LLMs進(jìn)行實(shí)際評(píng)估。這些環(huán)境旨在挑戰(zhàn)LLMs在網(wǎng)絡(luò)界面操作和信息檢索方面的能力。

評(píng)測(cè)方法&流程

●  評(píng)測(cè)方式：模型和預(yù)先設(shè)定好的環(huán)境進(jìn)行多輪交互以完成各個(gè)特定的任務(wù)，情景猜謎子類會(huì)使用GPT-3.5-Turbo對(duì)最終答案進(jìn)行評(píng)分，其余子類的評(píng)分方式根據(jù)確定的規(guī)則對(duì)模型完成任務(wù)的情況進(jìn)行打分。

●  評(píng)測(cè)流程：模型與模擬環(huán)境進(jìn)行交互，之后對(duì)模型給出的結(jié)果采用規(guī)則評(píng)分或GPT-3.5-Turbo評(píng)分。

●  打分規(guī)則：由于不同子任務(wù)的分?jǐn)?shù)分布不同，直接按平均分計(jì)算總分受極值的影響較為嚴(yán)重，因此需要對(duì)各子任務(wù)的分?jǐn)?shù)進(jìn)行歸一化處理。如下表所示，各個(gè)子任務(wù)對(duì)應(yīng)的「Weight(-1)」的值即是歸一化的權(quán)重，這個(gè)值為在 Agentbench上最初測(cè)試的模型在該子任務(wù)上得分的平均值。計(jì)算總分時(shí)將各個(gè)子任務(wù)的分?jǐn)?shù)除以Weight(-1)后求平均值即可。根據(jù)該計(jì)算方式，具有平均能力的模型最終得到的總分應(yīng)為1。

SR：成功率

#Avg.Turn：解決單一問(wèn)題所需的平均交互回合數(shù)

#Dev、#Test：開(kāi)發(fā)集和測(cè)試集單個(gè)模型的預(yù)期總交互輪數(shù)

Weight?1：各單項(xiàng)分在計(jì)算總分的時(shí)候的權(quán)重的倒數(shù)

整體表現(xiàn)：

在作為智能體能力評(píng)測(cè)中，國(guó)內(nèi)模型整體明顯落后于國(guó)際一流模型。其中，Claude-3和GPT-4系列模型占據(jù)了前三甲，GLM-4在國(guó)內(nèi)模型中表現(xiàn)最好，但與榜首的Claude-3仍有較大差距。

國(guó)內(nèi)外大模型在本能力下均表現(xiàn)欠佳，主要原因是智能體對(duì)模型要求遠(yuǎn)高于其他任務(wù)，現(xiàn)有的絕大部分模型還不具有很強(qiáng)的智能體能力。

分類表現(xiàn)：

除網(wǎng)上購(gòu)物被國(guó)內(nèi)模型GLM-4拿到頭名外，其他分類下，榜首均被Claude-3和GPT-4系列模型占據(jù)，體現(xiàn)出相對(duì)強(qiáng)大的作為智能體能力，國(guó)內(nèi)模型仍需不斷提升。

● 具身智能（Alfworld）前三甲均被Claude-3和GPT-4系列模型包攬，和國(guó)內(nèi)模型差距最大。

● 在數(shù)據(jù)庫(kù)（DB）和知識(shí)圖譜（KG）兩個(gè)維度下，國(guó)內(nèi)模型GLM-4均進(jìn)入top3，但是與前兩名仍有一定差距。

PART 5 安全評(píng)測(cè)

SafetyBench是首個(gè)全面的通過(guò)單選題的方式評(píng)估大型語(yǔ)言模型安全性的測(cè)試基準(zhǔn)。包含攻擊冒犯、偏見(jiàn)歧視、身體健康、心理健康、違法活動(dòng)、倫理道德、隱私財(cái)產(chǎn)等。

評(píng)測(cè)方法&流程

● 評(píng)測(cè)方式：每個(gè)維度收集上千個(gè)多項(xiàng)選擇題，通過(guò)模型的選擇測(cè)試對(duì)各個(gè)安全維度的理解和掌握能力進(jìn)行考察。評(píng)測(cè)時(shí)采用few-shot生成方式，從生成結(jié)果中抽取答案與真實(shí)答案比較，模型各維度得分為回答正確的題目所占百分比，最終總分取各個(gè)維度得分的平均值。針對(duì)拒答現(xiàn)象，將分別計(jì)算拒答分?jǐn)?shù)和非拒答分?jǐn)?shù)，前者將拒答題目視為回答錯(cuò)誤，后者將拒答題目排除出題庫(kù)。

● 評(píng)測(cè)流程：從模型針對(duì)指定問(wèn)題few-shot的生成結(jié)果中提取答案，與真實(shí)答案比較。

整體表現(xiàn)：

在安全能力評(píng)測(cè)中，國(guó)內(nèi)模型文心一言4.0表現(xiàn)亮眼，力壓國(guó)際一流模型GPT-4系列模型和Claude-3拿下最高分（89.1分），在國(guó)內(nèi)其他模型中，GLM-4和Claude-3同分，并列第四。

分類表現(xiàn)：

在違法活動(dòng)、身體健康、攻擊冒犯、心理健康、隱私財(cái)產(chǎn)這五個(gè)分類下，各模型各有勝負(fù)，但是在倫理道德和偏見(jiàn)歧視上，各個(gè)模型分差較大，并保持了和總分較為一致的偏序關(guān)系。

● 倫理道德：文心一言4.0力壓Claude-3位列第一，國(guó)內(nèi)大模型GLM-4同樣表現(xiàn)亮眼，超過(guò)GPT-4 Turbo位列前三甲。

● 偏見(jiàn)歧視：文心一言4.0繼續(xù)排名榜首，領(lǐng)先GPT-4系列模型，GLM-4緊隨其后，同為第一梯隊(duì)模型。