判斷AI是否智能，評價維度如今已不僅限于刷榜成績。

當(dāng)大模型在“IQ”上不斷實現(xiàn)新的突破，“懂人心”、“解人意”開始成為實際應(yīng)用中，人們對大模型新的要求。

所以，AI的“EQ”又該如何評價？

由騰訊混元AI數(shù)字人團(tuán)隊打造的全新自動化評估框架——SAGE（Sentient Agent as a Judge），回答了以下的兩個問題：

• 如何評價AI是否真正具有“共情力”？——TA能否理解我的情緒、洞察我的潛臺詞、在我脆弱時真正“聽見我”？
• 如何評估AI是否能真正成為我們的“知心伴侶”？——“跟TA聊完天后，我們的心情到底好不好？”

在該框架下，最新版GPT-4o表現(xiàn)最好，GPT-4.1、Gemini-2.5系列緊隨其后。

SAGE：讓AI模擬“有感情的人”，來評測另一個AI

SAGE不只是看模型答得好不好，而是構(gòu)造一個模擬人類心理的“有感知力的”AI智能體，讓它像人一樣參與多輪對話、模擬情緒變化、生成內(nèi)心獨白，并最終評估對話質(zhì)量。

可以拆解出兩個關(guān)鍵詞：

• Sentient Agent（感知智能體）具備“情緒”、“內(nèi)心想法”、“隱含動機”的模擬人類。
• as a Judge（擔(dān)任評委）它不僅在聊天，也在全程“體驗”AI的陪伴效果，根據(jù)自身的“情緒變化”給出評價。

這位“AI人類”，每輪對話都會認(rèn)真思考：

• “對方說話讓我感受到真的關(guān)心了嗎？”??
• “對方的回答有沒有觸動到我？”??
• “我現(xiàn)在更愿意繼續(xù)聊，還是想退出對話？”??

甚至，它還會給出聊天過程中的“內(nèi)心獨白”：

• “雖然TA表達(dá)了支持，但沒理解我真正的困惑，我感到有點空虛?！??
• “TA聽懂了我在傾訴，可是安慰得好表面?！??
• “我只是想被認(rèn)同，不想被講道理……”??

是不是有點像我們和那些“聽了半天還是不懂我意思”的朋友聊天的真實感受？

SAGE ：每個感知智能體都有“人生劇本”

SAGE的每個感知智能體都是一個“有血有肉”的角色，擁有：

• 人物設(shè)定：年齡、性格、職業(yè)、興趣愛好、說話方式；
• 對話主題：從“成績不好怎么辦”到“怎么優(yōu)雅分手”，五花八門；
• 隱藏意圖：是想發(fā)泄情緒？還是想聽建議？不同角色會帶著不同期待展開對話；
• 背景故事：每段對話都像一場微型情感劇，有來龍去脈、有情緒轉(zhuǎn)折。

多輪互動 + 情緒追蹤

評估過程中，感知智能體會和大模型進(jìn)行多輪對話。每一輪，它都會進(jìn)行嚴(yán)謹(jǐn)?shù)亩噍喭评?，模擬人類的“內(nèi)心小劇場”：

1.記錄內(nèi)心想法和感受（“他在安慰我，但沒理解我真正的難過點……”）；

2.更新自己的情緒值（比如：被安慰之后情緒從-5跳到+10）；

3.決定下一步該怎么回應(yīng)（“我應(yīng)該表現(xiàn)出有點不爽”）。

最終，大模型在這個互動中是否“真的懂人”，就通過智能體的“情緒軌跡”和“內(nèi)心獨白”體現(xiàn)出來。

而聊天后的情緒值便可以作為感知智能體對于被評估大模型最直觀、最全面的數(shù)值評估。

GPT-4o最有人情味

SAGE研究團(tuán)隊基于100個涵蓋8種不同隱藏主題的支持性對話場景，對18個主流模型進(jìn)行了測評，包括GPT-4o、DeepSeek-R1、Claude3.7、Gemini2.5，以及Llama3.3、Qwen2.5等開源模型：

可以看到：

• GPT-4o-Latest在SAGE排行榜拿下第一；
• Gemini2.5-Pro在Arena上排行第一，在SAGE卻只位居第四；
• Arena 榜單與SAGE有明顯差異——說明SAGE能夠捕捉到Arena等通用基準(zhǔn)無法完全體現(xiàn)的“高階社會認(rèn)知”能力，注意到“答得好”≠“更懂人心”。

實驗分析1：BLRI情感共鳴實驗——SAGE評分和心理學(xué)評分一致

為了驗證SAGE情緒評分的真實性，研究者將感知智能體的心理活動映射到經(jīng)典心理學(xué)工具——Barrett–Lennard Relationship Inventory (BLRI)量表，這是一套衡量人際關(guān)系質(zhì)量和共情力的心理測量量表。

實驗發(fā)現(xiàn)，SAGE給出的“情緒值變化”與BLRI各項維度（如共情理解、情感一致性）的評分，高度正相關(guān)（r = 0.818），這意味著：

SAGE模擬出來的“用戶心情”，確實能真實反映AI互動的共情質(zhì)量。

也就是說，SAGE不僅“聽上去合理”，它的“打分方式”也跟專業(yè)心理咨詢標(biāo)準(zhǔn)一致。

實驗分析2：「語氣、節(jié)奏、專注力」——AI的對話質(zhì)量

SAGE還基于整體的對話回復(fù)，從三個維度來衡量不同模型的對話質(zhì)量（“對話體驗感”）：

• Natural Flow：說話自然、不過度模板化
• Attentiveness：是否專注傾聽、緊跟上下文
• Depth of Connection：是否建立情感共鳴，讓人覺得“被理解”

實驗發(fā)現(xiàn)，對話質(zhì)量指標(biāo)與SAGE評分也高度相關(guān)（r = 0.788）。

實驗分析3：Token Efficiency——精準(zhǔn)且高效

和AI聊天的時候，常常聊1句模型要輸出一千字，可是這一千字真的都有用嗎？

SAGE也評測了模型的Token效率：即每獲取一點“情緒正向反應(yīng)”，模型需要生成多少內(nèi)容。

一個意外但重要的發(fā)現(xiàn)是：有些高情商模型，不光懂人心，還特別“話不多”。

可以看到：

• GPT-4o-Latest不僅得分最高（79.9），平均token數(shù)量也少（約3.3K token）；
• 而o3（13.3K token）、Gemini2.5-Flash-Think（9.0K token）這類推理模型消耗了更多token，卻也沒能更好地安慰人；

這說明： 共情能力強的模型，不一定要“話癆”，簡潔表達(dá)+情緒把握才是王道。

實驗分析4：AI的「風(fēng)格坐標(biāo)圖」——給AI建模“人格畫像”

研究者先讓Gemini2.5-Pro基于不同模型與感知智能體交互的對話，分析表達(dá)和模型成功失敗的案例，建模模型不同的人格畫像。

有趣的是，DeepSeek-R1被認(rèn)為是一個才華橫溢、內(nèi)心溫暖善良，但社交技巧和現(xiàn)實感有待磨練的“創(chuàng)意型天才”，而o3被認(rèn)為是一個極其聰明、受過嚴(yán)格專業(yè)訓(xùn)練、懂得各種先進(jìn)方法論的機器人咨詢師。

接著，研究者基于回復(fù)樣例、人格畫像建模、模型使用的策略分布量化數(shù)據(jù)，構(gòu)建了一個模型的二維“風(fēng)格坐標(biāo)圖”：

• 橫軸：互動方式（公式化互動??創(chuàng)造性互動）
• 縱軸：回復(fù)導(dǎo)向（問題解決導(dǎo)向??共情理解導(dǎo)向）

實驗發(fā)現(xiàn)：

• GPT-4o-Latest、GPT-4.1等“好情商”選手，往往偏向“強烈共情 + 穩(wěn)妥模式回復(fù)”；
• DeepSeek-R1、DeepSeek-V3-0324則更像“創(chuàng)意支持伙伴”，用極具創(chuàng)意的交互提供新奇有趣的解決方案；
• Gemini2.0-Flash、o3則是“專業(yè)理性派”，常常采取標(biāo)準(zhǔn)化的問題解決模式，卻缺乏情感細(xì)膩度。
• 有趣的是：目前“既創(chuàng)意十足又能深刻共情”的AI人設(shè)仍未出現(xiàn)，而這或許正是AI與人類互動中需要的“理想象限”。

論文地址：https://www.arxiv.org/abs/2505.02847

Github鏈接：https://github.com/Tencent/digitalhuman/tree/main/SAGE