多模態(tài)融合技術(shù)已成為人工智能重要領(lǐng)域，它涉及將來(lái)自不同傳感器、時(shí)間和空間的數(shù)據(jù)進(jìn)行有效整合，以提高決策系統(tǒng)的性能。特別是在高風(fēng)險(xiǎn)的決策環(huán)境中，如醫(yī)療診斷、金融市場(chǎng)分析和國(guó)防安全，準(zhǔn)確預(yù)測(cè)人類決策表現(xiàn)對(duì)于避免錯(cuò)誤和提高效率至關(guān)重要。多模態(tài)融合技術(shù)的應(yīng)用前景廣闊，它能夠結(jié)合人類的生理信號(hào)（如腦電圖EEG數(shù)據(jù)）和外部信息（如視覺(jué)圖像），為我們提供了一種全新的預(yù)測(cè)和分析人類行為的方法。

本文解讀的研究成果由一支跨學(xué)科團(tuán)隊(duì)完成，他們?cè)诙嗄B(tài)數(shù)據(jù)融合領(lǐng)域的探索為我們預(yù)測(cè)人類決策表現(xiàn)提供了新的視角。研究團(tuán)隊(duì)由Xuan-The Tran、Thomas Do、Nikhil R. Pal、Tzyy-Ping Jung和Chin-Teng Lin等專家組成，他們分別來(lái)自澳大利亞科技大學(xué)的GrapheneX-UTS HAI Centre、印度統(tǒng)計(jì)研究所的Electronics and Communication Sciences Unit以及加州大學(xué)圣地亞哥分校的Institute for Neural Computation和Institute of Engineering in Medicine。這個(gè)團(tuán)隊(duì)匯集了工程技術(shù)、通信科學(xué)、神經(jīng)計(jì)算和醫(yī)學(xué)工程等領(lǐng)域的頂尖專家，他們的合作研究不僅拓寬了多模態(tài)融合技術(shù)的應(yīng)用范圍，也為相關(guān)領(lǐng)域的研究提供了寶貴的經(jīng)驗(yàn)和見(jiàn)解。6月8日，他們的論文《Multimodal fusion for anticipating human decision performance》在《自然》科學(xué)期刊發(fā)表。

他們研究的主要貢獻(xiàn)包括：

1.引入了一種具有挑戰(zhàn)性的決策制定范式，通過(guò)提供六個(gè)決策選項(xiàng)來(lái)降低正確猜測(cè)的可能性。

2.確定了作為決策準(zhǔn)確性有效區(qū)分器的重要EEG特征。

3.提出了新的圖像特征提取方法以增強(qiáng)決策預(yù)測(cè)準(zhǔn)確性。

4.展示了多模態(tài)EEG和圖像特征融合在預(yù)測(cè)人類決策表現(xiàn)方面優(yōu)于單一模態(tài)特征的優(yōu)越性。

在接下來(lái)我們將深入探討這項(xiàng)研究的方法論、實(shí)驗(yàn)設(shè)計(jì)、數(shù)據(jù)分析和得出的結(jié)論，以及這些發(fā)現(xiàn)對(duì)未來(lái)研究的啟示和影響。通過(guò)這篇解讀，我們將能夠更好地理解多模態(tài)融合技術(shù)在預(yù)測(cè)人類決策表現(xiàn)中的重要性和潛力。

?相關(guān)工作

這項(xiàng)研究提出了一種多模態(tài)機(jī)器學(xué)習(xí)方法，利用圖像特征和腦電圖（EEG）數(shù)據(jù)來(lái)預(yù)測(cè)人在復(fù)雜視覺(jué)搜索任務(wù)中的反應(yīng)正確性。研究中使用了一個(gè)新穎的圖像特征集，這些特征涉及到對(duì)象關(guān)系，并通過(guò)Segment Anything Model (SAM)提取，與傳統(tǒng)特征相比，這些特征能夠提高預(yù)測(cè)準(zhǔn)確性。此外，該方法有效地結(jié)合了EEG信號(hào)和圖像特征，簡(jiǎn)化了隨機(jī)森林分類器（RFC）所需的特征集，同時(shí)保持了高準(zhǔn)確率。這項(xiàng)研究的發(fā)現(xiàn)對(duì)于開(kāi)發(fā)先進(jìn)的故障警報(bào)系統(tǒng)具有重大潛力，特別是在醫(yī)療和防御等關(guān)鍵決策環(huán)境中。

決策理論是研究個(gè)體或集體如何做出選擇的學(xué)科，它涉及心理學(xué)、統(tǒng)計(jì)學(xué)、經(jīng)濟(jì)學(xué)和管理學(xué)等多個(gè)領(lǐng)域。在實(shí)驗(yàn)心理學(xué)中，決策理論尤其關(guān)注如何在不確定性下做出最優(yōu)選擇?；灸Ｐ桶ㄆ谕в美碚?、前景理論以及信號(hào)檢測(cè)理論等。這些模型試圖解釋和預(yù)測(cè)人們?cè)诿鎸?duì)不同選項(xiàng)時(shí)的行為模式，如何權(quán)衡風(fēng)險(xiǎn)與回報(bào)，以及如何處理概率信息。在高風(fēng)險(xiǎn)環(huán)境中，如醫(yī)療診斷或金融投資，這些理論對(duì)于設(shè)計(jì)決策支持系統(tǒng)和評(píng)估決策質(zhì)量具有重要意義。

腦電圖（EEG）是一種記錄大腦電活動(dòng)的技術(shù)，它通過(guò)測(cè)量頭皮上的電位變化來(lái)捕捉神經(jīng)元的群體活動(dòng)。在決策研究中，EEG被用來(lái)揭示決策過(guò)程中的神經(jīng)機(jī)制。特定的EEG波形，如事件相關(guān)電位（ERP）組件，可以反映決策相關(guān)的認(rèn)知過(guò)程，例如注意力分配、信息加工和記憶檢索。通過(guò)分析這些波形，研究人員能夠更深入地理解決策過(guò)程中的大腦活動(dòng)，以及如何通過(guò)生理信號(hào)來(lái)預(yù)測(cè)決策結(jié)果。

多模態(tài)融合是指將來(lái)自不同傳感器、模態(tài)或來(lái)源的數(shù)據(jù)結(jié)合起來(lái)，以提高信息的準(zhǔn)確性和完整性。這項(xiàng)技術(shù)的發(fā)展始于早期的傳感器融合研究，隨著時(shí)間的推移，它已經(jīng)擴(kuò)展到包括視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)和生理信號(hào)在內(nèi)的多種模態(tài)。在人工智能和機(jī)器學(xué)習(xí)的推動(dòng)下，多模態(tài)融合技術(shù)已經(jīng)取得了顯著進(jìn)展，特別是在圖像和語(yǔ)音識(shí)別、情感分析以及社交媒體分析等領(lǐng)域。當(dāng)前的研究正在探索如何將這些技術(shù)應(yīng)用于更復(fù)雜的任務(wù)，例如預(yù)測(cè)人類決策表現(xiàn)，其中EEG數(shù)據(jù)的融合為理解和預(yù)測(cè)決策提供了新的可能性。

研究還介紹了一種基于視覺(jué)搜索的新決策制定范式，通過(guò)結(jié)合EEG腦成像信號(hào)來(lái)分析參與者在更具挑戰(zhàn)性的情境中的決策過(guò)程。為了增加視覺(jué)搜索任務(wù)的復(fù)雜性和挑戰(zhàn)性，研究中使用了偽裝對(duì)象。這種范式涉及在圖像中的六個(gè)子區(qū)域中識(shí)別偽裝目標(biāo)對(duì)象，從而將正確猜測(cè)反應(yīng)的概率降低到1/6。此外，研究利用EEG和圖像特征來(lái)預(yù)測(cè)參與者決策的正確性，并應(yīng)用多模態(tài)方法結(jié)合圖像（作為信息來(lái)源）和EEG（作為大腦對(duì)信息的反應(yīng)）特征來(lái)預(yù)測(cè)在具有挑戰(zhàn)性的視覺(jué)搜索任務(wù)中人類決策的準(zhǔn)確性。

研究方法

本研究的實(shí)驗(yàn)設(shè)計(jì)旨在通過(guò)多模態(tài)融合技術(shù)預(yù)測(cè)人類在復(fù)雜視覺(jué)搜索任務(wù)中的決策表現(xiàn)。實(shí)驗(yàn)包括了使用圖像特征和腦電圖（EEG）數(shù)據(jù)作為輸入，以訓(xùn)練機(jī)器學(xué)習(xí)模型進(jìn)行預(yù)測(cè)。參與者由14名健康成年志愿者組成，他們?cè)诮邮芰嗽敿?xì)的實(shí)驗(yàn)說(shuō)明并簽署知情同意書(shū)后參與了實(shí)驗(yàn)。實(shí)驗(yàn)任務(wù)要求參與者在一系列視覺(jué)搜索任務(wù)中識(shí)別偽裝的動(dòng)物，這些任務(wù)設(shè)計(jì)來(lái)模擬現(xiàn)實(shí)生活中的決策場(chǎng)景。實(shí)驗(yàn)流程包括了提示階段、注視期、圖像展示、反應(yīng)時(shí)間和反饋，旨在捕捉參與者在每個(gè)決策點(diǎn)的行為和生理反應(yīng)。

EEG數(shù)據(jù)的收集使用了Neuroscan Synamps 2放大器和64通道Quik-Cap，以1000 Hz的采樣率記錄參與者在實(shí)驗(yàn)過(guò)程中的腦電活動(dòng)。圖像數(shù)據(jù)則來(lái)自公開(kāi)可用的偽裝圖像數(shù)據(jù)集COD10K，這些圖像經(jīng)過(guò)調(diào)整以適應(yīng)實(shí)驗(yàn)的視覺(jué)要求。所有數(shù)據(jù)收集均在嚴(yán)格遵守倫理標(biāo)準(zhǔn)和隱私保護(hù)的前提下進(jìn)行。

從EEG數(shù)據(jù)中提取的特征包括事件相關(guān)電位（ERP）組件和振幅值，這些特征反映了大腦在決策過(guò)程中的活動(dòng)。圖像數(shù)據(jù)的特征提取則包括顏色、對(duì)比度和圖像質(zhì)量等基本視覺(jué)屬性，以及利用Segment Anything Model（SAM）提取的高級(jí)特征，如目標(biāo)對(duì)象的大小、遮擋情況和中心偏見(jiàn)。這些特征被用于訓(xùn)練隨機(jī)森林分類器，以預(yù)測(cè)參與者在視覺(jué)搜索任務(wù)中的決策正確性。

隨機(jī)森林分類器的參數(shù)設(shè)置對(duì)模型的性能有著重要影響。在本研究中，分類器包含100棵樹(shù)，每棵樹(shù)的最大深度設(shè)置為10，以捕捉數(shù)據(jù)中的復(fù)雜模式同時(shí)避免過(guò)擬合。分類器的訓(xùn)練采用了引導(dǎo)抽樣方法，并設(shè)置了“gini”作為分裂質(zhì)量的衡量標(biāo)準(zhǔn)。此外為了確保結(jié)果的可重復(fù)性，設(shè)置了固定的隨機(jī)狀態(tài)，并采用了平衡類權(quán)重的方法來(lái)調(diào)整訓(xùn)練過(guò)程中的類頻率。這些參數(shù)的選擇旨在優(yōu)化分類器的預(yù)測(cè)能力，確保在多模態(tài)融合任務(wù)中達(dá)到最佳性能。

圖1：隨機(jī)森林分類器的性能在組級(jí)使用來(lái)自14名受試者的數(shù)據(jù)進(jìn)行訓(xùn)練，使用各種特征集：前10個(gè)腦電圖特征、前10個(gè)圖像特征，以及前5個(gè)腦電圖和5個(gè)圖像特征的組合作為多模式方法。誤差條表示5倍交叉驗(yàn)證的標(biāo)準(zhǔn)偏差。

圖2：通過(guò)隨機(jī)森林分類器識(shí)別的前10個(gè)關(guān)鍵圖像和腦電圖特征是重要特征分析。

在這項(xiàng)研究中，通過(guò)使用排列測(cè)試和Bonferroni校正（EEGLAB工具箱中）進(jìn)行了大平均事件相關(guān)電位（ERP）分析，以確定哪些EEG通道及其時(shí)間段在正確和錯(cuò)誤反應(yīng)之間有顯著差異。研究發(fā)現(xiàn)，九個(gè)ERP成分在正確和錯(cuò)誤反應(yīng)之間表現(xiàn)出統(tǒng)計(jì)學(xué)上的顯著差異，這些成分分布在四個(gè)大腦區(qū)域（12個(gè)EEG通道）中。正確反應(yīng)的振幅一致高于錯(cuò)誤反應(yīng)。這些ERP成分的識(shí)別導(dǎo)致提取了540個(gè)EEG ERP特征，使用了五種特征提取方法。

此外研究還進(jìn)行了重要特征分析，以確定對(duì)隨機(jī)森林分類器最有影響的EEG和圖像特征，并選擇特征進(jìn)行多模態(tài)分類器訓(xùn)練。結(jié)果顯示，多模態(tài)特征在準(zhǔn)確性、精確性和F1分?jǐn)?shù)方面（分別為0.85、0.85和0.91）優(yōu)于單一的EEG特征（0.79、0.80、0.85）和圖像特征（0.76、0.77、0.84）。

在個(gè)體數(shù)據(jù)集水平上訓(xùn)練隨機(jī)森林分類器，以評(píng)估分類器模型預(yù)測(cè)參與者決策的能力。研究比較了模型的準(zhǔn)確性與反映參與者決策行為表現(xiàn)準(zhǔn)確性的“參考準(zhǔn)確性”。如果模型的準(zhǔn)確性超過(guò)參考準(zhǔn)確性，表明它可以有效地識(shí)別正確和錯(cuò)誤的參與者反應(yīng)。關(guān)鍵發(fā)現(xiàn)包括：

1.多模態(tài)EEG-圖像特征在所有受試者數(shù)據(jù)集中均優(yōu)于單一的EEG特征（t(14) = 3.05, p = 0.009）和圖像特征（t(14) = 4.52, p = 0.0006）。

2.使用多模態(tài)EEG-圖像特征的隨機(jī)森林分類器的準(zhǔn)確性在所有受試者數(shù)據(jù)集中均超過(guò)了參考準(zhǔn)確性（t(14) = 7.34, p = 5.67e–6）。

3.EEG特征的表現(xiàn)并不比圖像特征明顯更好（t(14) = 1.51, p = 0.15）。

4.在比較單一特征時(shí)，使用圖像特征的分類器的準(zhǔn)確性并沒(méi)有顯著更好（t(14) = 1.14, p = 0.28），在S03、S05、S07和S14中未能超過(guò)參考準(zhǔn)確性。相比之下，使用EEG特征的隨機(jī)森林分類器的準(zhǔn)確性顯著高于參考準(zhǔn)確性（t(14) = 3.13, p = 0.008），但在S05、S12和S14中未能超過(guò)參考準(zhǔn)確性。

5.在個(gè)體水平訓(xùn)練中，隨機(jī)森林分類器的平均準(zhǔn)確性高于群體水平訓(xùn)練的所有圖像、EEG和多模態(tài)圖像-EEG特征。具體來(lái)說(shuō)，使用所有特征的群體水平訓(xùn)練的準(zhǔn)確性、精確性和F1分?jǐn)?shù)低于單一受試者訓(xùn)練。

從公開(kāi)可用的偽裝圖像數(shù)據(jù)集COD10K29中選取了200張圖像。這些圖像特征是在一個(gè)尋找動(dòng)物的挑戰(zhàn)場(chǎng)景中的單個(gè)動(dòng)物。為了增強(qiáng)視覺(jué)清晰度并最小化搜索動(dòng)物對(duì)象時(shí)的頭部移動(dòng)，所有圖像都被調(diào)整大小到1000×600像素。圖3展示了每次試驗(yàn)的過(guò)程。在每次試驗(yàn)開(kāi)始時(shí)，會(huì)顯示一個(gè)2秒的提示，顯示動(dòng)物的種類，然后是1秒的注視期。隨后，包含動(dòng)物的圖像顯示3秒，由細(xì)網(wǎng)格線劃分為六個(gè)等大小的區(qū)域。參與者被指示定位并指出動(dòng)物所在的區(qū)域。在1秒的注視期后，他們有2秒時(shí)間通過(guò)按鍵盤(pán)上的1到6號(hào)鍵做出決策。一旦他們做出選擇，對(duì)象的正確位置就會(huì)被突出顯示2秒，然后是下一個(gè)試驗(yàn)開(kāi)始前的2秒休息時(shí)間。

圖3：試驗(yàn)表現(xiàn)：在試驗(yàn)過(guò)程中，參與者識(shí)別出圖像中的一只動(dòng)物，并將其物種作為提示。參與者通過(guò)按下鍵盤(pán)上的數(shù)字1-6來(lái)指示動(dòng)物的位置。然后揭示正確的位置，讓參與者評(píng)估他們的反應(yīng)。例如，如果正確的位置在區(qū)域2中，則綠色邊界框會(huì)高亮顯示該區(qū)域。

圖4:本研究中的偽裝物體與圖像背景具有相似的顏色和形狀特征。（a） 示例圖像展示了各種目標(biāo)對(duì)象特征，包括目標(biāo)對(duì)象大?。╒M-非常小、M-小、L-大和VL-非常大）、沒(méi)有中心偏移（NoCB-位于圖像的側(cè)子區(qū)域1、3、4和6中的目標(biāo)對(duì)象）、存在中心偏移（CB-位于圖像的中心子區(qū)域2和5中的目標(biāo)物體）、沒(méi)有遮擋（NoOC-未被圖像中的另一個(gè)對(duì)象覆蓋的目標(biāo)目標(biāo)物體）和遮擋（OC-被另一個(gè)物體部分覆蓋的目標(biāo)物體。邊界框用于在視覺(jué)上表示圖像中目標(biāo)對(duì)象的子區(qū)域位置。由分段任意模型（SAM）分割的目標(biāo)對(duì)象的例子證明了分割方法的高質(zhì)量，即使對(duì)于小的或被遮擋的對(duì)象也是如此。（b） 熱圖顯示了圖像數(shù)據(jù)集中八個(gè)目標(biāo)對(duì)象特征（NoCB、CB、NoOC、OC、VM、M、L、VM）的分布。（c） 弦圖描繪了圖像數(shù)據(jù)集中的八個(gè)目標(biāo)對(duì)象特征之間的相關(guān)性。目標(biāo)對(duì)象大?。↙、M和VM）與其他目標(biāo)對(duì)象特性之間的相關(guān)性表現(xiàn)出良好的平衡關(guān)系。相反，可能由于圖像數(shù)據(jù)集中VL目標(biāo)對(duì)象的數(shù)量有限，涉及VL對(duì)象大小的相關(guān)性較低。此外，雖然CB和NoCB與其他目標(biāo)對(duì)象特性的相關(guān)性是平衡的，但涉及OC和NoOC的相關(guān)性往往偏向于NoOC特性。

?實(shí)驗(yàn)結(jié)果

這項(xiàng)研究的主要目標(biāo)是識(shí)別能夠區(qū)分正確和錯(cuò)誤決策的重要EEG特征。ERP分析突出了枕葉、頂葉和中央頂葉大腦區(qū)域內(nèi)的關(guān)鍵片段，作為預(yù)測(cè)決策準(zhǔn)確性的重要區(qū)分因素。進(jìn)一步分析確定了對(duì)隨機(jī)森林分類器重要的EEG特征，強(qiáng)調(diào)了頂葉區(qū)域EEG通道的重要性。這一發(fā)現(xiàn)與之前的研究一致，強(qiáng)調(diào)了頂葉皮層在視覺(jué)搜索和決策任務(wù)中的關(guān)鍵作用。

研究的第二個(gè)重要目標(biāo)是評(píng)估圖像特征對(duì)決策結(jié)果的預(yù)測(cè)能力。通過(guò)使用傳統(tǒng)和創(chuàng)新的特征提取方法，包括SAM，研究了基于圖像的信息對(duì)決策正確性的影響。SAM方法明確了基本圖像和目標(biāo)對(duì)象特征之間的關(guān)系，對(duì)分類器特別有效。這突出了視覺(jué)信息在認(rèn)知結(jié)果中的預(yù)測(cè)價(jià)值，與Li等人和Iigaya等人的研究結(jié)果相呼應(yīng)，他們分別展示了圖像特征在分類視覺(jué)質(zhì)量和預(yù)測(cè)參與者選擇行為中的潛力。

第三個(gè)目標(biāo)是確定多模態(tài)融合的EEG和圖像特征是否能夠在預(yù)測(cè)決策準(zhǔn)確性方面超越單一模態(tài)特征。通過(guò)嚴(yán)格訓(xùn)練分類器使用多模態(tài)和單一模態(tài)特征集，我們一致觀察到多模態(tài)方法的優(yōu)越性。這一發(fā)現(xiàn)與認(rèn)知神經(jīng)科學(xué)和機(jī)器學(xué)習(xí)領(lǐng)域日益增長(zhǎng)的共識(shí)一致，即整合多個(gè)數(shù)據(jù)源可以顯著提高模型準(zhǔn)確性。類似的好處已經(jīng)在使用多模態(tài)數(shù)據(jù)的研究中報(bào)告，例如EEG和眼動(dòng)追蹤用于情感和注意力分類，以及EEG與面部表情或語(yǔ)音信號(hào)用于情感識(shí)別。他們的結(jié)果進(jìn)一步證實(shí)了多模態(tài)特征整合的有效性，表明這是一個(gè)提高認(rèn)知科學(xué)和決策研究中預(yù)測(cè)模型的有前景的方向。

他們引入了一個(gè)以視覺(jué)搜索任務(wù)為中心的新穎決策制定實(shí)驗(yàn)范式。這種范式旨在解決傳統(tǒng)歧視性決策任務(wù)的局限性，特別是正確猜測(cè)的高可能性，通過(guò)將偽裝對(duì)象作為目標(biāo)。這種方法增加了任務(wù)的復(fù)雜性，要求參與者更多的注意力，從而引發(fā)了分析所必需的更明顯的認(rèn)知模式。這種方法論創(chuàng)新是創(chuàng)造一個(gè)挑戰(zhàn)參與者并引發(fā)決策過(guò)程中強(qiáng)大神經(jīng)生理標(biāo)記的任務(wù)環(huán)境的關(guān)鍵。

通過(guò)參與具有偽裝目標(biāo)的要求嚴(yán)格的視覺(jué)搜索任務(wù)，他們進(jìn)入了一個(gè)可能與現(xiàn)有關(guān)于決策中大腦動(dòng)態(tài)的發(fā)現(xiàn)不完全一致的領(lǐng)域。他們的方法與Luck的研究有相似之處，該研究也探討了在復(fù)雜視覺(jué)場(chǎng)景中的決策過(guò)程。這項(xiàng)研究強(qiáng)調(diào)了EEG成分在視覺(jué)處理中的重要作用，主要觀察到后腦區(qū)域的EEG成分。我們的發(fā)現(xiàn)證實(shí)了這些成分在受試者進(jìn)行的視覺(jué)搜索任務(wù)中的參與，并且我們還識(shí)別了與決策過(guò)程和受試者重新評(píng)估其決策相關(guān)的晚期正電位（LPP）和晚期負(fù)電位（LNP）成分。這種解釋得到了最近研究的支持，豐富了我們對(duì)在視覺(jué)復(fù)雜任務(wù)中決策的神經(jīng)基礎(chǔ)的理解。

此外，這項(xiàng)研究比較了使用單一模態(tài)EEG特征與圖像特征的分類器性能，以及群體水平和個(gè)體水平訓(xùn)練之間的性能差異。他們的結(jié)果表明，EEG特征在一致性上超過(guò)了圖像特征，這一趨勢(shì)我們歸因于EEG數(shù)據(jù)的動(dòng)態(tài)性質(zhì)。與缺乏時(shí)間信息的靜態(tài)圖像特征不同，EEG數(shù)據(jù)在整個(gè)試驗(yàn)過(guò)程中連續(xù)收集，捕捉大腦的快速反應(yīng)以及試驗(yàn)和參與者之間的固有變異性。這豐富的時(shí)間信息提供了與決策準(zhǔn)確性相關(guān)的大腦活動(dòng)的更詳細(xì)理解。個(gè)體水平和群體水平訓(xùn)練之間性能的區(qū)別是由參與者和實(shí)驗(yàn)條件之間的變異性驅(qū)動(dòng)的。

在本研究中，EEG特征的分析揭示了決策過(guò)程中大腦活動(dòng)的復(fù)雜性。通過(guò)事件相關(guān)電位（ERP）組件的觀察，研究團(tuán)隊(duì)能夠識(shí)別出與決策正確性相關(guān)的顯著腦區(qū)和時(shí)間段。例如，ERP成分如P300，其振幅變化與決策任務(wù)中的注意力分配和工作記憶處理密切相關(guān)。這些發(fā)現(xiàn)不僅支持了先前的神經(jīng)科學(xué)研究，而且還提供了一種新的視角來(lái)理解在復(fù)雜視覺(jué)搜索任務(wù)中的決策動(dòng)態(tài)。通過(guò)精確測(cè)量和分析這些ERP成分，研究團(tuán)隊(duì)成功地預(yù)測(cè)了參與者在特定任務(wù)中的表現(xiàn)，準(zhǔn)確率顯著高于隨機(jī)水平，這證明了EEG特征在預(yù)測(cè)人類決策表現(xiàn)中的有效性。

圖像特征的分析側(cè)重于從視覺(jué)信息中提取決策相關(guān)的線索。研究中使用的圖像特征包括顏色、對(duì)比度、圖像質(zhì)量以及利用Segment Anything Model（SAM）提取的目標(biāo)對(duì)象特征。這些特征反映了圖像的視覺(jué)復(fù)雜性和目標(biāo)對(duì)象的難以識(shí)別性，對(duì)于預(yù)測(cè)參與者在視覺(jué)搜索任務(wù)中的表現(xiàn)至關(guān)重要。實(shí)驗(yàn)結(jié)果表明，圖像特征，特別是SAM提取的特征，能夠顯著提高預(yù)測(cè)模型的準(zhǔn)確性。這些特征通過(guò)揭示圖像中的隱蔽信息，為理解決策過(guò)程中的視覺(jué)處理提供了寶貴的洞見(jiàn)。

將EEG和圖像特征結(jié)合起來(lái)的多模態(tài)方法在預(yù)測(cè)人類決策表現(xiàn)方面顯示出了顯著的優(yōu)勢(shì)。多模態(tài)特征融合通過(guò)整合來(lái)自大腦活動(dòng)和視覺(jué)感知的信息，提供了一個(gè)更全面的決策表現(xiàn)預(yù)測(cè)框架。實(shí)驗(yàn)結(jié)果證實(shí)，多模態(tài)融合模型在準(zhǔn)確性、精確性和F1分?jǐn)?shù)等關(guān)鍵性能指標(biāo)上均優(yōu)于單一模態(tài)模型。這表明，多模態(tài)融合技術(shù)能夠有效地利用不同數(shù)據(jù)源中的互補(bǔ)信息，從而提高決策預(yù)測(cè)的準(zhǔn)確性和可靠性。

總體而言，這些實(shí)驗(yàn)結(jié)果強(qiáng)調(diào)了多模態(tài)融合在提高決策預(yù)測(cè)性能方面的潛力，為未來(lái)在高風(fēng)險(xiǎn)決策環(huán)境中開(kāi)發(fā)先進(jìn)的預(yù)測(cè)和警報(bào)系統(tǒng)提供了堅(jiān)實(shí)的科學(xué)基礎(chǔ)。

?討論

?這項(xiàng)研究也有一些值得關(guān)注的局限性。首先，相對(duì)較小的數(shù)據(jù)集（只有14個(gè)受試者）可能限制了我們ERP發(fā)現(xiàn)的普遍性，并可能影響群體水平上分類器訓(xùn)練結(jié)果的穩(wěn)定性或可靠性。其次盡管圖像特征提供了檢測(cè)目標(biāo)對(duì)象的挑戰(zhàn)洞見(jiàn)，但需要進(jìn)行更全面的行為實(shí)驗(yàn)，具有不同的難度水平和受控條件，以準(zhǔn)確確定每張圖像的復(fù)雜性。這樣的數(shù)據(jù)將使我們能夠更細(xì)致地分析與對(duì)象檢測(cè)任務(wù)相關(guān)的大腦動(dòng)態(tài)。他們計(jì)劃擴(kuò)大和多樣化EEG和行為數(shù)據(jù)收集，以解決這些限制并增強(qiáng)他們發(fā)現(xiàn)的穩(wěn)健性。

他們的研究有效地展示了利用多模態(tài)EEG和圖像特征來(lái)預(yù)測(cè)人類決策準(zhǔn)確性的實(shí)用性。他們的結(jié)果表明，特別是來(lái)自頂葉皮層的EEG特征，顯著增強(qiáng)了分類模型的區(qū)分能力，這一點(diǎn)通過(guò)改進(jìn)的分類指標(biāo)得到了證明。此外他們引入了SAM作為提取圖像特征的技術(shù)，這在提高分類器性能方面已被證明是有益的。通過(guò)在視覺(jué)搜索和決策任務(wù)中加入偽裝對(duì)象來(lái)模擬現(xiàn)實(shí)世界的復(fù)雜性，他們的實(shí)驗(yàn)范式緊密地反映了實(shí)際決策情境中遇到的挑戰(zhàn)，需要增加參與者的參與度。這些洞見(jiàn)為開(kāi)發(fā)旨在預(yù)先提示基于決策準(zhǔn)確性預(yù)測(cè)模型的潛在人為錯(cuò)誤的先進(jìn)故障警報(bào)系統(tǒng)鋪平了道路。?

本研究通過(guò)多模態(tài)融合技術(shù)，即結(jié)合EEG和圖像特征，為預(yù)測(cè)人類在復(fù)雜視覺(jué)搜索任務(wù)中的決策表現(xiàn)提供了新的視角。研究結(jié)果對(duì)于理解人類決策過(guò)程具有重要意義，尤其是在揭示大腦如何處理多種信息源以做出決策的機(jī)制方面。這些發(fā)現(xiàn)在實(shí)際應(yīng)用中的潛在價(jià)值巨大，特別是在需要快速準(zhǔn)確決策的高風(fēng)險(xiǎn)環(huán)境中，如醫(yī)療診斷、緊急響應(yīng)和安全監(jiān)控等領(lǐng)域。通過(guò)預(yù)測(cè)可能的錯(cuò)誤決策，可以及時(shí)采取干預(yù)措施，從而減少不良后果。

盡管研究成果令人鼓舞，但也存在一些局限性。首先樣本大小相對(duì)較小，僅包括14名受試者，這可能限制了研究結(jié)果的普遍性和分類器訓(xùn)練結(jié)果的穩(wěn)定性。其次，特征選擇可能受到了現(xiàn)有技術(shù)和理論的限制，未來(lái)的研究可能會(huì)發(fā)現(xiàn)更有效的特征組合。此外，模型的泛化能力也是一個(gè)關(guān)鍵問(wèn)題，當(dāng)前的研究可能無(wú)法完全捕捉到不同個(gè)體和復(fù)雜環(huán)境下的決策行為。

未來(lái)的研究可以在多個(gè)方向上進(jìn)行拓展。首先可以通過(guò)增加樣本量和多樣性來(lái)驗(yàn)證和改進(jìn)模型的泛化能力。其次可以探索更多種類的數(shù)據(jù)源和特征提取方法，以進(jìn)一步提高預(yù)測(cè)準(zhǔn)確性。此外，研究可以擴(kuò)展到其他類型的決策任務(wù)，以測(cè)試模型在不同情境下的適用性。研究可以考慮實(shí)時(shí)數(shù)據(jù)處理和決策預(yù)測(cè)，這對(duì)于開(kāi)發(fā)實(shí)時(shí)監(jiān)控和預(yù)警系統(tǒng)尤為重要。通過(guò)這些努力，多模態(tài)融合技術(shù)在預(yù)測(cè)人類決策表現(xiàn)方面的應(yīng)用前景將更加廣闊。（END）

參考資料：https://www.nature.com/articles/s41598-024-63651-2