[[418206]]

「在某種程度上，所有藝術(shù)都是抽象的?！?/p>

二十世紀(jì)世界著名的雕塑大師亨利·摩爾（Henry Spencer Moore）認(rèn)為，藝術(shù)是抽象的最好例子之一。但抽象絕不限于藝術(shù)創(chuàng)作等高級認(rèn)知行為，抽象是人類思維超越直接感官信息的獨(dú)特能力。

大腦十分擅長構(gòu)建和使用抽象。在最近的一項(xiàng)神經(jīng)科學(xué)的研究中，研究人員通過結(jié)合使用強(qiáng)化學(xué)習(xí)算法和大腦成像技術(shù)，為我們展示了一種基于感官特征評估的抽象機(jī)制，這為教育和康復(fù)、精神疾病治療以及人工智能新算法的開發(fā)開辟新的道路。

這項(xiàng)研究于 7 月 13 日以「 Value signals guide abstraction during learning 」為題發(fā)表在《eLife》雜志上。

抽象涵蓋了我們與環(huán)境交互的方方面面。想象一下，你在森林里散步時(shí)需要穿過一條小溪，這一看似簡單的行為卻需要處理無數(shù)的視覺和聽覺等特征。強(qiáng)化學(xué)習(xí)（RL）直接從高維感官輸入（看到、聽到河流）中輸出行為（過河），會遇到計(jì)算瓶頸，而抽象表示已被認(rèn)為是克服這一問題的有效解決方案。

抽象可以被認(rèn)為是從更高維空間雕刻出簡化的地圖，其中細(xì)節(jié)已被刪除，以便專注于更高階的概念、類別或模式。那么，大腦中的抽象表征是如何構(gòu)建的？

研究團(tuán)隊(duì)邀請志愿者進(jìn)行反復(fù)學(xué)習(xí)事物關(guān)聯(lián)規(guī)則的實(shí)驗(yàn)，并用功能性磁共振成像（fMRI）技術(shù)記錄他們的大腦活動。接著，他們通過強(qiáng)化學(xué)習(xí)建模跟蹤志愿者的評估過程并根據(jù)抽象程度分離他們的學(xué)習(xí)策略。

學(xué)習(xí)過程中價(jià)值建構(gòu)的神經(jīng)基質(zhì)。（來源：論文）

論文合著者、京都 ATR 計(jì)算神經(jīng)科學(xué)實(shí)驗(yàn)室主任 Mitsuo Kawato 博士具體解釋了神經(jīng)反饋操作：「通過機(jī)器學(xué)習(xí)和先進(jìn)的神經(jīng)成像技術(shù)，我們現(xiàn)在可以實(shí)時(shí)檢測大腦中是否以及何時(shí)會出現(xiàn)低于意識閾值的心理表征。當(dāng)我們給參與者一個(gè)小的獎勵時(shí)，隨著時(shí)間的推移，這種心理表征與獎勵（價(jià)值）相匹配。通過這種方式，我們能夠『欺騙』大腦使用這些新的有價(jià)值的心理表征來構(gòu)建抽象思想?！?/p>

實(shí)驗(yàn)表明，通過學(xué)習(xí)，高價(jià)值的抽象表征越來越多地引導(dǎo)志愿者的行為，從而產(chǎn)生更好的選擇和更高的主觀信心，其中「價(jià)值」是形成目標(biāo)依賴的抽象表示的關(guān)鍵因素。

通過簡單的決策問題研究高級的抽象功能

領(lǐng)導(dǎo)該團(tuán)隊(duì)的京都國際高級電信研究所首席研究員 Aurelio Cortese 博士說：「這項(xiàng)研究在同類研究中非常獨(dú)特，因?yàn)樗褂没镜囊曈X刺激和簡單的決策問題研究了抽象等高級復(fù)雜功能。」

該團(tuán)隊(duì)給實(shí)驗(yàn)參與者的問題是吃豆人更喜歡哪種水果，其中，吃豆人有三種特征：顏色、嘴巴方向和條紋方向。參與者會在選擇后看到結(jié)果，從不斷的試驗(yàn)中學(xué)習(xí)特征和水果的隱藏關(guān)聯(lián)，并被告知關(guān)聯(lián)規(guī)則發(fā)現(xiàn)的越快，獎勵越高。

志愿者參與實(shí)驗(yàn)的學(xué)習(xí)任務(wù)和行為結(jié)果。（來源：論文）

「然而，這種簡單性將我們直接帶到了潛在機(jī)制，幫助解決了一個(gè)長期存在的問題神經(jīng)科學(xué)文獻(xiàn)：為什么我們總是在大腦中看到價(jià)值信號？抽象可能是關(guān)鍵。我們需要不斷地以抽象的方式思考，不然我們的世界就太復(fù)雜了?！?/p>

研究人員基于經(jīng)典的 RL 算法 Q-learning 提出了特征強(qiáng)化學(xué)習(xí)（Feature RL）和抽象強(qiáng)化學(xué)習(xí)（Abstract RL）。經(jīng)過實(shí)驗(yàn)對比發(fā)現(xiàn)，為了更快地學(xué)習(xí)，智能體必須使用抽象強(qiáng)化學(xué)習(xí)，其他的策略則會導(dǎo)致任務(wù)塊的完成速度變慢。

強(qiáng)化學(xué)習(xí)專家和價(jià)值計(jì)算的混合。（來源：論文）

價(jià)值信號和抽象思維的關(guān)系

該團(tuán)隊(duì)還進(jìn)行了第二個(gè)實(shí)驗(yàn)，研究了價(jià)值在通過感覺皮層的定向效應(yīng)促進(jìn)抽象的因果作用。通過直接分析來測試特征評估指導(dǎo)學(xué)習(xí)中的抽象的因果假設(shè)，以獎勵的形式人為地為特征表示增加價(jià)值導(dǎo)致抽象的使用增加。

雖然價(jià)值和抽象在減少任務(wù)空間的維度方面似乎緊密相關(guān)，但其潛在的機(jī)制是什么？

論文合著者、倫敦大學(xué)學(xué)院認(rèn)知神經(jīng)科學(xué)研究所教授 Benedetto De Martino 博士認(rèn)為：「價(jià)值傳統(tǒng)上與享樂相關(guān)，例如巧克力棒的價(jià)值。價(jià)值可能對智力的某些方面至關(guān)重要這一結(jié)論或許是激進(jìn)的。價(jià)值本身很可能是一種抽象，并且與決策中的任務(wù)狀態(tài)概念緊密相關(guān)?！?/p>

但是，這項(xiàng)工作為價(jià)值在產(chǎn)生抽象思維中的作用提供了一個(gè)新的視角，即大腦中價(jià)值信號在復(fù)雜學(xué)習(xí)策略的發(fā)展中起著重要的算法作用。「這項(xiàng)研究是我們廣泛努力的一部分，旨在了解人類思維的算法本質(zhì)，并最終將這些知識轉(zhuǎn)化為人工智能的新架構(gòu)，并為精神疾病帶來新的治療方法?！?/p>