大模型≠隨機(jī)鸚鵡！Nature子刊最新研究證明：

大模型內(nèi)部存在著類似人類對(duì)現(xiàn)實(shí)世界概念的理解。

LLM能理解現(xiàn)實(shí)世界和各種抽象概念嗎？還是僅僅在“鸚鵡學(xué)舌”，純粹依靠統(tǒng)計(jì)概率預(yù)測(cè)下一個(gè)token? 長期以來，AI社區(qū)對(duì)這一問題存在很大的分歧。

有一種猜測(cè)是，純粹基于語言的形式（例如訓(xùn)練語料庫中token的條件分布）進(jìn)行訓(xùn)練的語言模型不會(huì)獲得任何語義。

相反，它們僅僅是根據(jù)從訓(xùn)練數(shù)據(jù)中收集的表面統(tǒng)計(jì)相關(guān)性來生成文本，其強(qiáng)大的涌現(xiàn)能力則歸因于模型和訓(xùn)練數(shù)據(jù)的規(guī)模。這部分人將LLM稱為“隨機(jī)鸚鵡”。

但現(xiàn)在研究證明，并非如此！

中國科學(xué)院自動(dòng)化研究所與腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心的聯(lián)合團(tuán)隊(duì)在《Nature Machine Intelligence》發(fā)表題為《Human-like object concept representations emerge naturally in multimodal large language models》的研究。

團(tuán)隊(duì)通過行為實(shí)驗(yàn)與神經(jīng)影像分析相結(jié)合，分析了470萬次行為判斷數(shù)據(jù)，首次構(gòu)建了AI模型的“概念地圖”，證實(shí)多模態(tài)大語言模型（MLLMs）能夠自發(fā)形成與人類高度相似的物體概念表征系統(tǒng)。

研究邏輯與科學(xué)問題：從“機(jī)器識(shí)別”到“機(jī)器理解”

傳統(tǒng)AI研究聚焦于物體識(shí)別準(zhǔn)確率，卻鮮少探討模型是否真正“理解”物體含義。

論文通訊作者何暉光研究員指出：“當(dāng)前AI能區(qū)分貓狗圖片，但這種‘識(shí)別’與人類‘理解’貓狗的本質(zhì)區(qū)別仍有待揭示?！?/span>

團(tuán)隊(duì)從認(rèn)知神經(jīng)科學(xué)經(jīng)典理論出發(fā)，提出三個(gè)關(guān)鍵問題：

• 表征相似性：LLMs的物體表征是否具有與人類相似的低維結(jié)構(gòu)？
• 語義可解釋性：大模型是否發(fā)展出可被人類理解的語義維度？
• 神經(jīng)對(duì)應(yīng)性：AI表征是否與大腦處理物體的神經(jīng)活動(dòng)模式存在映射關(guān)系？

為回答這些問題，團(tuán)隊(duì)設(shè)計(jì)了一套融合計(jì)算建模、行為實(shí)驗(yàn)與腦科學(xué)的創(chuàng)新范式。

研究采用認(rèn)知心理學(xué)經(jīng)典的“三選一異類識(shí)別任務(wù)”（triplet odd-one-out），要求模型與人類從物體概念三元組（來自1854種日常概念的任意組合）中選出最不相似的選項(xiàng)。

通過分析470萬次行為判斷數(shù)據(jù)，團(tuán)隊(duì)首次構(gòu)建了AI模型的“概念地圖”。

具體來說，本研究突破傳統(tǒng)神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)分析范式，首創(chuàng)“行為認(rèn)知探針”方法：

• 機(jī)器行為學(xué)實(shí)驗(yàn)：將心理學(xué)實(shí)驗(yàn)范式遷移至AI，通過470萬次三選一任務(wù)構(gòu)建選擇概率矩陣
• 核心認(rèn)知維度提取：稀疏正定相似度嵌入算法從大模型行為數(shù)據(jù)反推其“心智空間”，避免大規(guī)模黑箱神經(jīng)網(wǎng)絡(luò)的可解釋性難題
• 跨模態(tài)驗(yàn)證：同步對(duì)比人類行為數(shù)據(jù)、腦神經(jīng)活動(dòng)與大模型表征，建立三者間的定量映射關(guān)系

“我們不是通過解剖AI模型內(nèi)部的海量神經(jīng)元來理解它，而是讓AI像人類一樣做選擇題，從而逆向破解它的認(rèn)知系統(tǒng)?！闭撐牡谝蛔髡叨砰L德解釋道。這種方法為研究閉源商業(yè)模型（如GPT-4）的認(rèn)知特性提供了可行路徑。

核心發(fā)現(xiàn)：AI的“心智維度”與人類殊途同歸

核心發(fā)現(xiàn)有以下幾點(diǎn)。

1、低維嵌入揭示普適認(rèn)知結(jié)構(gòu)

研究采用稀疏正定相似性嵌入方法，從海量大模型行為數(shù)據(jù)中提取出66個(gè)核心維度。

令人驚訝的是，純文本訓(xùn)練的ChatGPT-3.5與多模態(tài)Gemini模型均展現(xiàn)出穩(wěn)定的低維表征結(jié)構(gòu)，其預(yù)測(cè)人類行為選擇的準(zhǔn)確度分別達(dá)到噪聲上限的87.1%和85.9%。這暗示不同架構(gòu)的AI模型可能收斂到相似的認(rèn)知解決方案。

2、涌現(xiàn)的語義分類能力

在沒有顯式監(jiān)督的情況下，模型自發(fā)形成了18個(gè)高級(jí)物體概念類別（如動(dòng)物、工具、食物）的聚類（圖3）。

MLLM的分類準(zhǔn)確率達(dá)78.3%，接近人類的87.1%，顯著高于傳統(tǒng)視覺模型（包括監(jiān)督學(xué)習(xí)、自監(jiān)督學(xué)習(xí)等模型）。

值得注意的是，模型表現(xiàn)出與人類一致的“生物/非生物”“人造/自然”分類邊界，印證了認(rèn)知神經(jīng)科學(xué)的經(jīng)典發(fā)現(xiàn)。

3、可解釋的認(rèn)知維度

研究為AI模型的“思考維度”賦予語義標(biāo)簽。例如：

• 語義類別相關(guān)的維度：如動(dòng)物、食物、武器或車輛

• 感知特征相關(guān)的維度：如硬度、價(jià)值、厭惡度、溫度或紋理

• 物理成分相關(guān)的維度：如木材、陶瓷、金屬、其他材料

4、與大腦神經(jīng)活動(dòng)的驚人對(duì)應(yīng)

通過分析7T高分辨率fMRI數(shù)據(jù)（NSD數(shù)據(jù)集），團(tuán)隊(duì)發(fā)現(xiàn)MLLM的表征與大腦類別選擇區(qū)域（如處理面孔的FFA、處理場(chǎng)景的PPA、處理軀體的EBA）的神經(jīng)活動(dòng)模式顯著相關(guān)。

在梭狀回面孔區(qū)（FFA），MLLM的低維“心智”嵌入預(yù)測(cè)神經(jīng)活動(dòng)的準(zhǔn)確度達(dá)到人類水平的85%，遠(yuǎn)超純文本模型（60%）。

這一發(fā)現(xiàn)為“AI與人類共享概念處理機(jī)制”提供了直接證據(jù)。

5、哪個(gè)模型在行為選擇模式上更接近人類？

研究還對(duì)比了多個(gè)模型在行為選擇模式上與人類的一致性（Human consistency）。

結(jié)果顯示，大模型（如ChatGPT-3.5、Gemini_Pro、Qwen2_VL）和多模態(tài)模型（如CLIP）在一致性方面表現(xiàn)更優(yōu)，而傳統(tǒng)單模態(tài)模型（如 ResNet18、VGG16、AlexNet、GPT2）一致性得分較低。

此外，隨著模型性能的提升（如從ChatGPT-3.5到GPT-4），一致性得分顯著提高，但仍有一定提升空間，尚未達(dá)到理論上限（Noise ceiling）。

總體而言，大模型和多模態(tài)模型在模擬人類行為選擇模式上更具優(yōu)勢(shì)。

6、人類和大模型做決策時(shí)所依賴的主要維度有什么不同？

下圖展示了人類與LLM及MLLM在決策判斷任務(wù)中所依賴的關(guān)鍵維度的差異。

通過一系列三元組選擇示例，揭示了人類在做決策時(shí)更傾向于結(jié)合視覺特征和語義信息進(jìn)行判斷，而大模型則傾向依賴于語義標(biāo)簽和抽象概念。

盡管兩者在某些選擇上趨于一致，但在背后起作用的關(guān)鍵認(rèn)知維度也存在一些區(qū)別：

人類更具靈活性和感知整合能力，而模型則更側(cè)重語言驅(qū)動(dòng)的語義歸類。這種對(duì)比反映出當(dāng)前人工智能在模仿人類決策過程中的局限性與進(jìn)步空間。

本文研究發(fā)現(xiàn)具有廣闊的應(yīng)用前景，包括：

• 類腦智能：尋找機(jī)器與人類間的認(rèn)知結(jié)構(gòu)差異，開發(fā)與人類認(rèn)知維度對(duì)齊的AI系統(tǒng) (NeuroAI)
• 神經(jīng)科學(xué)：基于大模型的類人“心智維度”探索生物腦實(shí)現(xiàn)概念組合與泛化、靈活決策與推理的神經(jīng)機(jī)制（AI for Neuroscience）
  
• 腦機(jī)接口：利用大模型核心維度表征解碼大腦神經(jīng)信號(hào)，構(gòu)建認(rèn)知增強(qiáng)型腦機(jī)接口系統(tǒng)(AI for BCI)

團(tuán)隊(duì)還指出了下一步重點(diǎn)：

• 拓展至新一代多模態(tài)大模型，形成認(rèn)知基準(zhǔn)測(cè)試平臺(tái)，為評(píng)估AI的語義理解提供客觀標(biāo)準(zhǔn)。正如論文通訊作者何暉光研究員所說：“這項(xiàng)工作不僅是在測(cè)試AI的能力，更是在尋找人與機(jī)器之間共通的認(rèn)知語言，探測(cè)AI模型的“概念地圖”只是第一步，未來需要建立涵蓋推理、情感等維度的完整認(rèn)知評(píng)估體系?！?/span>
• 采用更大規(guī)模、更加細(xì)粒度、層次化的概念集，全面建立大模型“認(rèn)知圖譜”。
• 開發(fā)基于認(rèn)知對(duì)齊的大模型持續(xù)微調(diào)方法，構(gòu)建新一代認(rèn)知增強(qiáng)型大模型。

團(tuán)隊(duì)簡(jiǎn)介

自動(dòng)化所副研究員杜長德為第一作者，何暉光研究員為論文通訊作者。

杜長德，中國科學(xué)院自動(dòng)化研究所副研究員，碩士生導(dǎo)師。

杜長德從事腦認(rèn)知與人工智能方面的研究，在神經(jīng)信息編解碼、多模態(tài)神經(jīng)計(jì)算、NeuroAI、腦機(jī)融合智能等方面發(fā)表論文50余篇，包括Nature Machine Intelligence、IEEE TPAMI、ICLR、ICML等。

曾獲得2019年IEEE ICME Best Paper Runner-up Award、2021年AI華人新星百強(qiáng)、中國科學(xué)院院長優(yōu)秀獎(jiǎng)等。長期擔(dān)任Nature Human Behaviour, TPAMI等重要期刊的審稿人。個(gè)人主頁：https://changdedu.github.io/

何暉光，中國科學(xué)院自動(dòng)化研究所研究員，博士生導(dǎo)師，國家高層次人才，中國科學(xué)院大學(xué)崗位教授，上海科技大學(xué)特聘教授。

其研究領(lǐng)域?yàn)槟X-機(jī)接口、類腦智能、醫(yī)學(xué)影像分析等，在CNS子刊, IEEE TPAMI, ICML等發(fā)表文章200余篇。他還是自動(dòng)化學(xué)報(bào)編委，CCF/CSIG杰出會(huì)員。

論文的主要合作者還包括腦智卓越中心的常樂研究員等。該研究得到了中國科學(xué)院基礎(chǔ)與交叉前沿科研先導(dǎo)專項(xiàng)、國家自然科學(xué)基金、北京市自然科學(xué)基金項(xiàng)目以及腦認(rèn)知與類腦智能全國重點(diǎn)實(shí)驗(yàn)室的資助。

團(tuán)隊(duì)還表示正在招收2026級(jí)博士生、碩士生。招生方向：腦機(jī)接口、NeuroAI、類腦智能、腦機(jī)融合智能等。歡迎對(duì)此方向感興趣的同學(xué)報(bào)考（郵箱：changde.du@ia.ac.cn）。

論文鏈接：https://www.nature.com/articles/s42256-025-01049-z

代碼：https://github.com/ChangdeDu/LLMs_core_dimensions

數(shù)據(jù)集：https://osf.io/qn5uv/