大模型到底是怎么「思考」的?第一篇系統(tǒng)性綜述SAE的文章來(lái)了
作者介紹:本篇文章的作者團(tuán)隊(duì)來(lái)自美國(guó)四所知名高校:西北大學(xué)、喬治亞大學(xué)、新澤西理工學(xué)院和喬治梅森大學(xué)。第一作者束東與共同第一作者吳烜圣、趙海燕分別是上述高校的博士生,長(zhǎng)期致力于大語(yǔ)言模型的可解釋性研究,致力于揭示其內(nèi)部機(jī)制與 “思維” 過(guò)程。通訊作者為新澤西理工學(xué)院的杜夢(mèng)楠教授。
在 ChatGPT 等大語(yǔ)言模型(LLMs)席卷全球的今天,越來(lái)越多的研究者意識(shí)到:我們需要的不只是 “會(huì)說(shuō)話(huà)” 的 LLM,更是 “能解釋” 的 LLM。我們想知道,這些龐大的模型在接收輸入之后,到底是怎么 “思考” 的?
為此,一種叫做 Sparse Autoencoder(簡(jiǎn)稱(chēng) SAE) 的新興技術(shù)正迅速崛起,成為當(dāng)前最熱門(mén)的 mechanistic interpretability(機(jī)制可解釋性) 路線(xiàn)之一。最近,我們撰寫(xiě)并發(fā)布了第一篇系統(tǒng)性的 SAE 綜述文章,對(duì)該領(lǐng)域的技術(shù)、演化和未來(lái)挑戰(zhàn)做了全面梳理,供關(guān)注大模型透明性、可控性和解釋性的研究者參考。
- 論文題目:
A Survey on Sparse Autoencoders: Interpreting the Internal Mechanisms of Large Language Models - 論文地址:
https://arxiv.org/pdf/2503.05613
(圖 1):該圖展示了 SAE 的基本框架。
什么是 Sparse Autoencoder?
簡(jiǎn)單來(lái)說(shuō),LLM 內(nèi)部的許多神經(jīng)元可能是“多義的”,意思是它們同時(shí)處理好幾個(gè)不相關(guān)的信息。在處理輸入時(shí),LLM 會(huì)在內(nèi)部生成一段高維向量表示,這種表示往往難以直接理解。然后,如果我們將它輸入一個(gè)訓(xùn)練好的 Sparse Autoencoder,它會(huì)解構(gòu)出若干稀疏激活的“特征單元”(feature),而每一個(gè)feature,往往都能被解釋為一段可讀的自然語(yǔ)言概念。
舉個(gè)例子:假設(shè)某個(gè)特征(feature 1)代表 “由鋼鐵建造的建筑”,另一個(gè)特征(feature 2)代表 “關(guān)于歷史的問(wèn)題”。當(dāng) LLM 接收到輸入 “這座跨海大橋真壯觀(guān)” 時(shí),SAE 會(huì)激活 feature 1,而不會(huì)激活 feature 2。這說(shuō)明模型 “意識(shí)到” 橋是一種鋼結(jié)構(gòu)建筑,而并未將其理解為歷史類(lèi)話(huà)題。
而所有被激活的特征就像拼圖碎片,可以拼接還原出原始的隱藏表示(representation),讓我們得以窺見(jiàn)模型內(nèi)部的 “思維軌跡”。這也正是我們理解大模型內(nèi)部機(jī)制的重要一步。
(圖 2):該圖展示了 SAE 的發(fā)展歷史。
為什么大家都在研究 SAE?
過(guò)去主流的可解釋方法多依賴(lài)于可視化、梯度分析、注意力權(quán)重等 “間接信號(hào)”,這些方法雖然直觀(guān),但往往缺乏結(jié)構(gòu)性和可控性。而 SAE 的獨(dú)特優(yōu)勢(shì)在于:它提供了一種結(jié)構(gòu)化、可操作、且具語(yǔ)義解釋力的全新視角。它能夠?qū)⒛P蛢?nèi)部的黑盒表示分解為一組稀疏、具備明確語(yǔ)義的激活特征(features)。
更重要的是,SAE 不只是可解釋性工具,更可以用于控制模型怎么想、發(fā)現(xiàn)模型的問(wèn)題、提升模型的安全性等一系列實(shí)際應(yīng)用。當(dāng)前,SAE 已被廣泛應(yīng)用于多個(gè)關(guān)鍵任務(wù):
- 概念探測(cè)(Concept Discovery):自動(dòng)從模型中挖掘具有語(yǔ)義意義的特征,如時(shí)間感知、情緒傾向、語(yǔ)法結(jié)構(gòu)等;
- 模型操控(Steering):通過(guò)激活或抑制特定特征,定向引導(dǎo)模型輸出,實(shí)現(xiàn)更精細(xì)的行為控制;
- 異常檢測(cè)與安全分析:識(shí)別模型中潛藏的高風(fēng)險(xiǎn)特征單元,幫助發(fā)現(xiàn)潛在的偏見(jiàn)、幻覺(jué)或安全隱患。
這種 “解釋 + 操控” 的結(jié)合,也正是 SAE 能在當(dāng)前 LLM 可解釋性研究中脫穎而出的關(guān)鍵所在。目前包括 OpenAI、Anthropic、Google DeepMind 等機(jī)構(gòu)都在推進(jìn) SAE 相關(guān)研究與開(kāi)源項(xiàng)目。
(圖 3):該圖演示了如何通過(guò) SAE 操控模型輸出,實(shí)現(xiàn)對(duì)大語(yǔ)言模型行為的定向引導(dǎo)。
本文有哪些內(nèi)容?
作為該領(lǐng)域的首篇系統(tǒng)綜述,我們的工作涵蓋以下幾個(gè)核心部分:
1. Technical Framework of SAEs(SAE 的技術(shù)框架)
本部分系統(tǒng)介紹了 SAE 的基本結(jié)構(gòu)及其訓(xùn)練流程,它是一種特殊的神經(jīng)網(wǎng)絡(luò)。具體包括:
- 編碼器:把 LLM 的高維向量表示 “分解” 成一個(gè)更高維并且稀疏的特征向量。
- 解碼器:根據(jù)這個(gè)稀疏特征向量,嘗試 “重建” 回原始的 LLM 信息。
- 稀疏性損失函數(shù):確保重建得足夠準(zhǔn)確,并且特征足夠稀疏。
同時(shí)我們總結(jié)了現(xiàn)有的常見(jiàn)架構(gòu)變體與改進(jìn)策略。例如解決收縮偏差(shrinkage bias)的 Gated SAE,通過(guò)直接選擇 Top-K 個(gè)激活來(lái)強(qiáng)制稀疏性的 TopK SAE,等等。
2. Explainability Analysis of SAEs(SAE 可解釋性分析)
總結(jié)當(dāng)前主流的解釋方法,旨在將 SAE 學(xué)習(xí)到的稀疏特征用自然語(yǔ)言進(jìn)行描述,從而把模型的 “抽象思維” 轉(zhuǎn)化為人類(lèi)可理解的見(jiàn)解 。這些方法主要分為兩大類(lèi):
- 輸入驅(qū)動(dòng):尋找那些能最大程度激活某個(gè)特征的文本片段。通過(guò)總結(jié)這些文本,我們就能大致推斷出這個(gè)特征代表什么意思(如 MaxAct、PruningMaxAct)。
- 輸出驅(qū)動(dòng):將特征與 LLM 生成的詞語(yǔ)聯(lián)系起來(lái)。例如,一個(gè)特征激活時(shí),LLM 最可能輸出哪些詞,這些詞就能幫助我們理解這個(gè)特征的含義(如 VocabProj、Mutual Info)。
3. Evaluation Metrics and Methods(評(píng)估指標(biāo)與方法)
評(píng)估 SAE 就像評(píng)估一個(gè)工具:既要看它內(nèi)部構(gòu)造是否合理(結(jié)構(gòu)評(píng)估),也要看它實(shí)際用起來(lái)有沒(méi)有效果(功能評(píng)估)。
- 構(gòu)性評(píng)估:檢查 SAE 是否按設(shè)計(jì)工作,比如重建的準(zhǔn)確度如何,稀疏性是否達(dá)到要求(如重構(gòu)精度與稀疏度)。
- 功能評(píng)估:評(píng)估 SAE 能否幫助我們更好地理解 LLM,以及它學(xué)習(xí)到的特征是否穩(wěn)定和通用(如可解釋性、健壯性與泛化能力)。
4. Applications in Large Language Models(在大語(yǔ)言模型中的應(yīng)用)
SAE 不僅能幫助我們理解 LLM,還能實(shí)際操作它們。我們展示了 SAE 在模型操控、行為分析、拒答檢測(cè)、幻覺(jué)控制、情緒操控等方面的實(shí)際應(yīng)用案例與前沿成果。
5. 與 Probing 方法的對(duì)比分析
除了 SAE,還有一種叫做 “Probing(探針)” 的方法也被用于理解 LLM。本文比較了 SAE 與傳統(tǒng)的 Probing 技術(shù)在模型操縱和特征提取等方面的優(yōu)勢(shì)與不足。盡管 Probing 方法在某些方面表現(xiàn)出色,但 SAE 作為一種新興的機(jī)制可解釋性方法,具有其獨(dú)特的潛力。然而,研究也指出,在某些復(fù)雜場(chǎng)景(如數(shù)據(jù)稀缺、類(lèi)別不平衡等)下,SAE 在提供一致優(yōu)勢(shì)方面仍有很長(zhǎng)的路要走。
6. 當(dāng)前研究挑戰(zhàn)與未來(lái)方向
盡管 SAE 前景廣闊,但仍面臨一些挑戰(zhàn),如:語(yǔ)義解釋仍不穩(wěn)定;特征字典可能不完整;重構(gòu)誤差不可忽視;訓(xùn)練計(jì)算成本較高。同時(shí)也展望了未來(lái)可能的突破點(diǎn),包括跨模態(tài)擴(kuò)展、自動(dòng)解釋生成、架構(gòu)輕量化等。
結(jié)語(yǔ):從 “看得懂” 到 “改得動(dòng)”
在未來(lái),解釋型 AI 系統(tǒng)不能只滿(mǎn)足于可視化 attention 或 saliency map,而是要具備結(jié)構(gòu)化理解和可操作性。SAE 提供了一個(gè)極具潛力的路徑 —— 不僅讓我們看到模型 “在想什么”,還讓我們有能力去 “改它在想什么”。
我們希望這篇綜述能為廣大研究者提供一個(gè)系統(tǒng)、全面、易于參考的知識(shí)框架。如果您對(duì)大模型可解釋性、AI 透明性或模型操控感興趣,這將是一篇值得收藏的文章。