情感分析一直是人工智能一個(gè)頗具人文色彩的技術(shù)分支，最初，它只是對(duì)文本進(jìn)行“字里行間”的揣摩，一條推文是憤怒還是喜悅，一篇評(píng)論是褒揚(yáng)還是批評(píng)。

隨著社交媒體和視頻平臺(tái)的興起，人類表達(dá)情緒的方式早已不再局限于文字。表情、語(yǔ)調(diào)、肢體動(dòng)作，甚至一個(gè)微妙的停頓，都可能傳遞出豐富的情感信息。于是情感分析從單一的文本處理，逐漸演進(jìn)為多模態(tài)情感分析（MSA），同時(shí)吸納視頻、音頻和圖像信號(hào)，試圖更全面地理解人類的情緒。

問(wèn)題隨之而來(lái)，現(xiàn)有的多模態(tài)模型在準(zhǔn)確率上表現(xiàn)不俗，甚至在一些基準(zhǔn)數(shù)據(jù)集上屢屢刷新紀(jì)錄。但它們往往是“黑箱”，我們知道它們能預(yù)測(cè)對(duì)，卻不知道它們?yōu)槭裁搭A(yù)測(cè)對(duì)。

模型的決策過(guò)程像一場(chǎng)魔術(shù)表演，觀眾看到了結(jié)果，卻無(wú)法理解背后的邏輯。這在學(xué)術(shù)研究中是遺憾，在實(shí)際應(yīng)用中則可能是風(fēng)險(xiǎn)。如果一個(gè)情感識(shí)別系統(tǒng)被用于心理健康監(jiān)測(cè)或司法場(chǎng)景，用戶和監(jiān)管者一定會(huì)追問(wèn)：模型憑什么得出這樣的結(jié)論？

這正是可解釋人工智能（XAI）的價(jià)值所在，AI不僅要“預(yù)測(cè)對(duì)”，還要“解釋清楚”。解釋性不僅能增加用戶的信任感，還能幫助研究者發(fā)現(xiàn)模型的偏差與盲點(diǎn)，從而推動(dòng)更穩(wěn)健的改進(jìn)。

情緒分析研究的核心問(wèn)題，正是如何在多模態(tài)情感分析中實(shí)現(xiàn)“雙層級(jí)可解釋性”——既要解釋不同模態(tài)（文本、視覺(jué)、聲學(xué)）的相對(duì)貢獻(xiàn)，又要揭示時(shí)間維度上哪些片段真正影響了模型的判斷。換句話說(shuō)，不僅要知道“文本比圖像更重要”，還要知道“文本中的第二句話比第一句話更關(guān)鍵”。

這項(xiàng)成果之所以引人注目，還因?yàn)樗巧狭恕禢ature》旗下的《Scientific Reports》。在AI研究競(jìng)爭(zhēng)激烈的今天，能在國(guó)際頂級(jí)刊物上發(fā)表，意味著這項(xiàng)工作不僅在技術(shù)上有突破，也在學(xué)術(shù)價(jià)值和應(yīng)用前景上獲得了認(rèn)可。

研究團(tuán)隊(duì)的背景也頗具看點(diǎn)。第一作者Chenguang Song, 以及Ke Chao, Bingjing Jia來(lái)自中國(guó)的安徽科技學(xué)院，他們長(zhǎng)期深耕于人工智能與多模態(tài)數(shù)據(jù)處理的應(yīng)用研究。而合作者Yiqing She則來(lái)自美國(guó)的約翰斯·霍普金斯大學(xué)，專注于計(jì)算機(jī)視覺(jué)與醫(yī)學(xué)影像分析。中美跨國(guó)合作的組合，使得這項(xiàng)研究既有應(yīng)用導(dǎo)向的務(wù)實(shí)視角，又有國(guó)際前沿的理論支撐。

1.研究背景與相關(guān)工作

要理解這項(xiàng)研究的意義，先得看看“可解釋深度學(xué)習(xí)”這條研究脈絡(luò)。

在深度學(xué)習(xí)的世界里，解釋性方法大致分為兩類。一類是“內(nèi)在可解釋性”，即模型在設(shè)計(jì)之初就帶有解釋機(jī)制。例如決策樹，天生就能展示決策路徑；再比如ProtoPNet（原型網(wǎng)絡(luò)），通過(guò)學(xué)習(xí)“原型”來(lái)解釋分類結(jié)果；還有概念學(xué)習(xí)方法，直接將抽象概念與模型輸出掛鉤。這類方法的優(yōu)點(diǎn)是解釋性天然嵌入模型之中，缺點(diǎn)是靈活性和性能可能受限。

另一類是“事后可解釋性”，即模型先訓(xùn)練好，再用外部工具來(lái)解釋。典型代表有LIME和SHAP，它們通過(guò)擾動(dòng)輸入或計(jì)算特征貢獻(xiàn)，來(lái)推測(cè)模型的決策依據(jù)。這類方法靈活，能應(yīng)用于各種黑箱模型，但往往只能提供近似解釋，難以真正揭示模型的內(nèi)部邏輯。

無(wú)論哪種方法，大多數(shù)研究都停留在單模態(tài)或靜態(tài)特征層面。換句話說(shuō)，它們能解釋“哪些特征重要”，卻很少能解釋“在時(shí)間維度上，哪些片段更重要”。

與此同時(shí)，多模態(tài)情感分析（MSA）也在快速發(fā)展。早期的多模態(tài)融合方法，如MFM（Multimodal Factorized Model），嘗試在訓(xùn)練過(guò)程中分析模態(tài)交互；后來(lái)出現(xiàn)的MURO（Multimodal Routing）借鑒了膠囊網(wǎng)絡(luò)的思想，用動(dòng)態(tài)路由來(lái)解釋模態(tài)貢獻(xiàn)；再到IMCF（Interpretable Multimodal Capsule Fusion），通過(guò)層次化結(jié)構(gòu)增強(qiáng)解釋性。這些方法的確推動(dòng)了模態(tài)層面的可解釋性，但依然存在一個(gè)明顯的短板：它們只能告訴你“文本比圖像更重要”，卻無(wú)法告訴你“文本的哪一句話”或“視頻的哪一幀”起了決定性作用。

這正是MMPNet要解決的空白。它不僅要解釋模態(tài)，還要解釋時(shí)間片段，讓模型的“思考過(guò)程”真正透明化。

2.研究問(wèn)題與創(chuàng)新點(diǎn)

在多模態(tài)情感分析的世界里，一個(gè)核心難題始終揮之不去：到底是哪些片段、哪些模態(tài)在決定情感分類時(shí)最關(guān)鍵？

圖1：現(xiàn)有方法和MMPNet之間的貢獻(xiàn)排名比較。

當(dāng)一個(gè)人說(shuō)“我今天過(guò)得挺好”，嘴角卻下垂，語(yǔ)調(diào)低沉。文本模態(tài)告訴你“積極”，視覺(jué)模態(tài)和聲學(xué)模態(tài)卻在暗示“消極”。如果模型只能告訴你“文本比視覺(jué)更重要”，那解釋力依然有限。真正有價(jià)值的解釋應(yīng)該是：“文本的第二句話權(quán)重最高，但視覺(jué)模態(tài)的第三幀和聲學(xué)模態(tài)的開頭片段也起到了關(guān)鍵作用?！边@就是研究團(tuán)隊(duì)要解決的核心問(wèn)題——把模態(tài)層面的解釋細(xì)化到時(shí)間維度，讓模型的“思考過(guò)程”透明化。

為此，研究團(tuán)隊(duì)提出了幾大創(chuàng)新。

擴(kuò)展ProtoPNet到多模態(tài)時(shí)間序列：原本的ProtoPNet主要用于圖像分類，而這里的挑戰(zhàn)是如何讓它處理視頻、音頻、文本這種動(dòng)態(tài)序列。

雙分支架構(gòu)設(shè)計(jì)：局部原型分支（LPN）專注于單一模態(tài)的時(shí)間片段模式，全局原型分支（GPN）則捕捉跨模態(tài)的整體交互。兩者結(jié)合，既能看清“局部細(xì)節(jié)”，又能把握“全局大勢(shì)”。

雙層級(jí)可解釋性：不僅能解釋“哪個(gè)模態(tài)更重要”，還能解釋“模態(tài)內(nèi)部的哪個(gè)時(shí)間片段更重要”。

性能與效率雙優(yōu)：在保證解釋性的同時(shí)，MMPNet在準(zhǔn)確率和計(jì)算效率上都超過(guò)了現(xiàn)有方法，真正打破了“可解釋性與性能不可兼得”的魔咒。

3.方法框架（MMPNet）

圖2：用于可解釋多模態(tài)情感分析的MMPNet架構(gòu)概述。

MMPNet的整體設(shè)計(jì)可以看作是一條流水線，從原始數(shù)據(jù)到最終預(yù)測(cè)，每一步都為“可解釋性”埋下了伏筆。

首先是數(shù)據(jù)序列化。不同模態(tài)的數(shù)據(jù)需要被轉(zhuǎn)化為統(tǒng)一的“語(yǔ)言”。視覺(jué)模態(tài)通過(guò)視頻幀特征提取，文本模態(tài)通過(guò)詞向量（如GloVe），聲學(xué)模態(tài)則依賴音頻特征提取工具（如COVAREP）。這些原始特征經(jīng)過(guò)一維卷積處理，變成標(biāo)準(zhǔn)化的時(shí)間序列，方便后續(xù)統(tǒng)一建模。

接下來(lái)是模態(tài)專屬Transformer編碼器。每個(gè)模態(tài)都有自己的Transformer，它既能保留時(shí)間序列的細(xì)節(jié)，又能通過(guò)全局token聚合出模態(tài)的整體表示。這樣，模型既不會(huì)丟掉“某一幀的皺眉”，也能捕捉“整段語(yǔ)音的整體情緒基調(diào)”。

核心部分是雙分支原型網(wǎng)絡(luò)。

局部分支（LPN）：針對(duì)每個(gè)模態(tài)的時(shí)間序列，學(xué)習(xí)一組“原型片段”。這些原型就像是模型的“記憶庫(kù)”，當(dāng)輸入序列出現(xiàn)類似片段時(shí)，模型會(huì)說(shuō)：“啊，這和我記憶里的某個(gè)典型片段很像?！?/p>

全局分支（GPN）：把各模態(tài)的全局token拼接在一起，再與全局原型進(jìn)行匹配。這一步確保模型能理解“文本和語(yǔ)音同時(shí)傳遞積極信號(hào)”這種跨模態(tài)的互動(dòng)。

最后是情感預(yù)測(cè)器。它將局部和全局的相似度分?jǐn)?shù)結(jié)合起來(lái)，映射到具體的情感類別。更妙的是，每個(gè)情感類別都綁定了一組原型，這意味著模型在預(yù)測(cè)時(shí)能明確指出：“我之所以判定為積極，是因?yàn)檩斎肫魏头e極原型X、Y高度相似?！?/p>

圖3：MMPNet中原型相似性計(jì)算機(jī)制的說(shuō)明。

在關(guān)鍵機(jī)制上，研究團(tuán)隊(duì)做了幾項(xiàng)巧妙設(shè)計(jì)。

時(shí)間片段轉(zhuǎn)二維特征圖：把時(shí)間序列切分成重疊片段，轉(zhuǎn)化為二維特征圖，方便原型匹配。

原型相似度計(jì)算：采用“Patch匹配+對(duì)數(shù)穩(wěn)定化”的方式，既能找到最相似的片段，又能保證訓(xùn)練過(guò)程的數(shù)值穩(wěn)定。

時(shí)間片段貢獻(xiàn)排序（R(m)）：為每個(gè)模態(tài)生成時(shí)間片段的重要性排序，讓解釋性落到“第幾句話、第幾幀畫面”這種細(xì)粒度層面。

模態(tài)交互的全局解釋：通過(guò)全局分支，模型能揭示不同模態(tài)之間的互動(dòng)關(guān)系，而不僅僅是孤立地看單一模態(tài)。

4.實(shí)驗(yàn)與結(jié)果

要驗(yàn)證一套新模型是否靠譜，實(shí)驗(yàn)就是最有力的證據(jù)。研究團(tuán)隊(duì)選擇了多模態(tài)情感分析領(lǐng)域的兩大“試金石”數(shù)據(jù)集：CMU-MOSI和CMU-MOSEI。前者規(guī)模較小，包含2199個(gè)視頻片段，來(lái)自93條YouTube影評(píng)；后者則是“大型豪華版”，收錄了23453個(gè)片段，覆蓋5000個(gè)視頻。這兩個(gè)數(shù)據(jù)集不僅包含文本，還同步提供了音頻和視頻特征，是檢驗(yàn)多模態(tài)模型的標(biāo)準(zhǔn)舞臺(tái)。

在實(shí)驗(yàn)設(shè)置上，團(tuán)隊(duì)采用了PyTorch框架，硬件則是性能強(qiáng)勁的NVIDIA RTX 3090Ti顯卡。模型的核心參數(shù)也經(jīng)過(guò)精心設(shè)計(jì)：Transformer編碼器堆疊了5層，每層有5個(gè)注意力頭；原型數(shù)量設(shè)定為40，既保證了表達(dá)能力，又避免了過(guò)度膨脹的計(jì)算開銷。

當(dāng)然，單看自己的表現(xiàn)還不夠，必須和“前輩們”比一比。研究團(tuán)隊(duì)挑選了幾種經(jīng)典的對(duì)比方法：MFM（多模態(tài)因子化模型）、MURO（多模態(tài)路由）、IMCF（可解釋多模態(tài)膠囊融合）以及MULT（多模態(tài)Transformer）。這些方法在過(guò)去幾年里都是MSA領(lǐng)域的代表作，能否超越它們，是檢驗(yàn)MMPNet價(jià)值的關(guān)鍵。

結(jié)果相當(dāng)亮眼。MMPNet在CMU-MOSI上的準(zhǔn)確率比MULT高出2.9%，在CMU-MOSEI上也提升了1.6%。別小看這幾個(gè)百分點(diǎn)，在已經(jīng)高度優(yōu)化的基準(zhǔn)任務(wù)中，這樣的提升往往意味著模型在細(xì)節(jié)捕捉和泛化能力上有了質(zhì)的突破。

表：CMU-OSI數(shù)據(jù)集的性能比較。結(jié)果顯示了積極和消極情緒分類的準(zhǔn)確性（'Acc.'）、精確度（'Prec.'）、召回率（'Rec.'）和F1得分。標(biāo)有?的方法本質(zhì)上是可解釋的，通過(guò)內(nèi)置機(jī)制為其決策過(guò)程提供透明度。粗體和下劃線值分別表示最佳和次佳性能。

更令人驚訝的是，MMPNet在參數(shù)量上實(shí)現(xiàn)了“瘦身成功”。它只用了23.6萬(wàn)參數(shù)，而MURO則高達(dá)3090萬(wàn)。換句話說(shuō)，MMPNet不僅更聰明，還更輕盈，計(jì)算效率提升了99%以上。這對(duì)于實(shí)際部署來(lái)說(shuō)意義重大——在資源有限的環(huán)境里，它能以更低的成本提供更強(qiáng)的性能。

除了性能指標(biāo)，研究團(tuán)隊(duì)還展示了MMPNet的可解釋性成果。通過(guò)t-SNE可視化，可以看到不同情感類別的原型在特征空間中形成了清晰的聚類，正負(fù)情緒涇渭分明。而在時(shí)間片段貢獻(xiàn)矩陣中，模型能明確指出“哪一幀視頻”“哪一句話”“哪一段語(yǔ)音”對(duì)最終預(yù)測(cè)起到了決定性作用。這種細(xì)粒度的解釋，不僅讓研究者能更好地理解模型，也讓用戶對(duì)AI的判斷過(guò)程更有信心。

總結(jié)來(lái)看，MMPNet在實(shí)驗(yàn)中實(shí)現(xiàn)了“三重勝利”：準(zhǔn)確率更高、參數(shù)量更小、解釋性更強(qiáng)。這讓它不僅是一篇學(xué)術(shù)論文里的新模型，更像是一位準(zhǔn)備走向?qū)嶋H應(yīng)用的“全能選手”。

5.消融實(shí)驗(yàn)

一項(xiàng)新模型的真正價(jià)值，往往要通過(guò)“拆解”來(lái)檢驗(yàn)。研究團(tuán)隊(duì)對(duì)MMPNet進(jìn)行了消融實(shí)驗(yàn)，逐一剖析不同模塊的作用。

首先是單模態(tài)原型的貢獻(xiàn)。實(shí)驗(yàn)結(jié)果顯示，文本模態(tài)的原型貢獻(xiàn)最為突出，幾乎撐起了模型的半壁江山；視覺(jué)和聲學(xué)模態(tài)則相對(duì)次之。這其實(shí)并不意外——在影評(píng)、訪談等場(chǎng)景中，語(yǔ)言往往是情緒表達(dá)的主渠道，而表情和語(yǔ)調(diào)則起到輔助作用。但這并不意味著視覺(jué)和聲學(xué)可以被忽略，它們?cè)谀承┢沃星∏∧芴峁╆P(guān)鍵的“反諷”或“補(bǔ)充”信息。

接著是局部分支與全局分支的對(duì)比。當(dāng)模型只保留局部分支（LPN）時(shí)，它能捕捉到模態(tài)內(nèi)部的時(shí)間片段模式，但缺乏跨模態(tài)的整體理解；而只保留全局分支（GPN）時(shí)，雖然能把握模態(tài)之間的互動(dòng)，卻失去了對(duì)細(xì)節(jié)的敏銳洞察。兩者單獨(dú)使用時(shí)性能均有下降，唯有結(jié)合在一起，才能實(shí)現(xiàn)“細(xì)節(jié)與全局”的互補(bǔ)。這就像看電影，既要注意演員的眼神變化，也要理解劇情的整體走向，缺一不可。

圖4：使用t-SNE降維對(duì)CMU-MOSI數(shù)據(jù)集上的學(xué)習(xí)原型表示進(jìn)行可視化。這些圖展示了MMPNet學(xué)習(xí)辨別特征的能力，在積極（藍(lán)色）和消極（橙色）情緒原型之間有明顯的區(qū)別。（a）文本原型Pt顯示出不同的聚類模式，表明對(duì)情感特定語(yǔ)言特征的有效學(xué)習(xí)。（b） 視覺(jué)原型Pv展示了明確的分離，反映了模型捕捉有意義的視覺(jué)情感線索的能力。（c）聲學(xué)原型Pa顯示了與語(yǔ)音相關(guān)的情感模式的結(jié)構(gòu)化組織，盡管有一些重疊反映了聲學(xué)情感分析的固有復(fù)雜性。（d）全球多模態(tài)原型Pm表現(xiàn)出最明顯的分離，證明了MMPNet的雙分支架構(gòu)在整合不同模態(tài)的互補(bǔ)信息方面的有效性。所有模態(tài)的一致聚類行為驗(yàn)證了原型學(xué)習(xí)機(jī)制在CMU-MOSI數(shù)據(jù)集中捕獲可解釋情緒模式的能力。

最后是可解釋性與性能的平衡。在AI研究中，常常存在一個(gè)尷尬的取舍：模型越復(fù)雜，準(zhǔn)確率越高，但解釋性越差；模型越透明，性能往往就打折扣。而MMPNet的特別之處在于，它實(shí)現(xiàn)了“雙贏”。不僅在CMU-MOSI和CMU-MOSEI上刷新了準(zhǔn)確率，還能清晰地告訴我們“為什么”做出這樣的判斷。這種平衡的實(shí)現(xiàn)，正是它能登上《Nature》子刊的關(guān)鍵原因。

圖5：在CMU-MOSEI數(shù)據(jù)集上學(xué)習(xí)原型表示的t-SNE可視化，展示了MMPNet學(xué)習(xí)情感分類判別特征的能力。每個(gè)子圖都顯示了原型嵌入的二維投影，藍(lán)色和橙色的點(diǎn)分別代表積極和消極的情緒原型。（a）文本原型Pt表現(xiàn)出明顯的情感聚類，表明有效地捕捉了語(yǔ)言模式。（b）視覺(jué)原型Pv顯示了不同的分組，反映了面部表情和手勢(shì)等圖像特征的學(xué)習(xí)表示。（c）聲學(xué)原型Pa展示了基于語(yǔ)音特征的情感類之間的分離。（d）來(lái)自全球分支的多模態(tài)原型Pm顯示出增強(qiáng)的分離，表明跨模態(tài)特征的成功整合。所有模態(tài)的情緒簇之間的明確分離驗(yàn)證了MMPNet的原型學(xué)習(xí)機(jī)制及其在捕獲模態(tài)特定和綜合情緒模式方面的有效性。

6.結(jié)論與展望

這項(xiàng)研究的貢獻(xiàn)可以用一句話概括：MMPNet首次在多模態(tài)情感分析中實(shí)現(xiàn)了時(shí)間+模態(tài)的雙層級(jí)可解釋性。它不僅能告訴我們“文本比視覺(jué)更重要”，還能進(jìn)一步指出“文本的第二句話比第一句話更關(guān)鍵”。在性能、效率和可解釋性三方面，它都優(yōu)于現(xiàn)有方法，堪稱“三棲全能”。

當(dāng)然，研究也并非完美無(wú)缺。與圖像領(lǐng)域的ProtoPNet相比，MMPNet還無(wú)法生成直觀的可視化解釋，比如“高亮某個(gè)畫面區(qū)域”那樣的直觀展示。此外，它目前僅適用于分類任務(wù)，不支持連續(xù)情感預(yù)測(cè)（如情緒強(qiáng)度的回歸建模）。這些都是未來(lái)需要攻克的方向。

圖6：案例研究證明MMPNet的綜合情態(tài)水平可解釋性。該圖顯示了文本、視覺(jué)、聽(tīng)覺(jué)和組合多模態(tài)特征中積極（綠色）和消極（灰色）情緒的貢獻(xiàn)得分。該分析檢查了一個(gè)視頻片段，其中演講者以中性語(yǔ)氣討論了IRA捐款。與消極情緒（0.510）相比，文本形態(tài)顯示出更強(qiáng)的積極情緒（0.715），而視覺(jué)特征則顯示出略強(qiáng)的消極情緒（0.5007對(duì)0.5234）。聲學(xué)特征以中性和平靜的聲音為特征，表現(xiàn)出平衡的貢獻(xiàn)。多模態(tài)整合（zg|zg|zp）顯示出增強(qiáng)的辨別能力，具有明顯區(qū)分的正vta（1.3717）和負(fù)（1.1084）情緒得分，突顯了MMPNet基于原型的融合機(jī)制的有效性。

展望未來(lái)，研究團(tuán)隊(duì)提出了兩個(gè)值得期待的方向。其一是改進(jìn)可視化方法，讓模型的解釋更加直觀易懂；其二是擴(kuò)展應(yīng)用場(chǎng)景，不僅限于二元情感分類，還能處理連續(xù)情緒預(yù)測(cè)，甚至遷移到醫(yī)療、教育、司法等跨領(lǐng)域應(yīng)用。

MMPNet是一個(gè)“可解釋AI”的新范式，它讓我們看到，AI不必在“聰明”和“透明”之間二選一，而是可以同時(shí)做到“既聰明又透明”。這對(duì)于未來(lái)的人機(jī)交互、智能決策乃至社會(huì)信任體系的構(gòu)建，都有著深遠(yuǎn)意義。（END）

參考資料：???https://www.nature.com/articles/s41598-025-19850-6??

本文轉(zhuǎn)載自??波動(dòng)智能??，作者：FlerkenS