在2023杭州云棲大會上，阿里云首席技術(shù)官周靖人發(fā)布千億級參數(shù)大模型通義千問2.0。在10個權(quán)威測評中，通義千問2.0綜合性能超過GPT-3.5，正在加速追趕GPT-4。

據(jù)悉，過去6個月，通義千問2.0在性能上取得巨大飛躍，相比4月發(fā)布的1.0版本，通義千問2.0在復(fù)雜指令理解、文學(xué)創(chuàng)作、通用數(shù)學(xué)、知識記憶、幻覺抵御等能力上均有顯著提升。目前，通義千問的綜合性能已經(jīng)超過GPT-3.5，加速追趕GPT-4。

在MMLU、C-Eval、GSM8K、HumanEval、MATH等10個主流Benchmark測評集上，通義千問2.0的得分整體超越Meta的Llama-2-70B，相比OpenAI的Chat-3.5是九勝一負(fù)，相比GPT-4則是四勝六負(fù)，與GPT-4的差距進(jìn)一步縮小。

中英文理解能力是大語言模型的基本功。英語任務(wù)方面，通義千問2.0在MMLU基準(zhǔn)的得分是82.5，僅次于GPT-4，通過大幅增加參數(shù)量，通義千問2.0能更好地理解和處理復(fù)雜的語言結(jié)構(gòu)和概念;中文任務(wù)方面，通義千問2.0以明顯優(yōu)勢在C-Eval基準(zhǔn)獲得最高得分，這是由于模型在訓(xùn)練中學(xué)習(xí)了更多中文語料，進(jìn)一步強化了中文理解和表達(dá)能力。

在數(shù)學(xué)推理、代碼理解等領(lǐng)域，通義千問2.0進(jìn)步明顯。在推理基準(zhǔn)測試GSM8K中，通義千問排名第二，展示了強大的計算和邏輯推理能力;在HumanEval測試中，通義千問得分緊跟GPT-4和GPT-3.5，該測試主要衡量大模型理解和執(zhí)行代碼片段的能力，這一能力是大模型應(yīng)用于編程輔助、自動代碼修復(fù)等場景的基礎(chǔ)。