?Deepmind 旨在建立一個(gè)能夠?qū)W習(xí)直觀物理學(xué)的模型，并剖析模型實(shí)現(xiàn)這種能力的原因。

從 AlphaFold? 到數(shù)學(xué)推理，DeepMind 一直在嘗試將 AI 和基礎(chǔ)科學(xué)結(jié)合?，F(xiàn)在，DeepMind 又創(chuàng)建了一個(gè)可以學(xué)習(xí)簡(jiǎn)單物理規(guī)則的新模型。

發(fā)育心理學(xué)家測(cè)試分析了嬰兒如何通過目光來跟隨物體的運(yùn)動(dòng)。例如，當(dāng)播放視頻中有一個(gè)球突然消失時(shí)，孩子們會(huì)表現(xiàn)出驚訝。

DeepMind 的計(jì)算機(jī)科學(xué)家 Luis Piloto 及其同事希望為人工智能 (AI) 開發(fā)類似的測(cè)試。該團(tuán)隊(duì)使用立方體和球等簡(jiǎn)單物體的動(dòng)畫視頻訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)，該模型通過從大量數(shù)據(jù)中發(fā)現(xiàn)模式來學(xué)習(xí)。研究論文于 7 月 11 日發(fā)表在《Nature Human Behaviour》上。

• 論文地址：https://www.nature.com/articles/s41562-022-01394-8
• 數(shù)據(jù)集地址：https://github.com/deepmind/physical_concepts

該模型通過自動(dòng)編碼和跟蹤對(duì)象進(jìn)行物理學(xué)習(xí)，因此命名為 PLATO (Physics Learning through Auto-encoding and Tracking Objects)。PLATO 接收來自視頻的原始圖像和突出顯示場(chǎng)景中每個(gè)對(duì)象目標(biāo)的圖像版本。PLATO 旨在開發(fā)對(duì)象物理特性的內(nèi)部表征，例如它們的位置和速度。

該系統(tǒng)接受了大約 30 個(gè)小時(shí)的視頻訓(xùn)練，這些視頻展示了簡(jiǎn)單的運(yùn)動(dòng)機(jī)制（例如一個(gè)球從斜坡上滾下來），并開發(fā)了預(yù)測(cè)這些對(duì)象在不同情況下行為的能力。特別地，PLATO 學(xué)習(xí)了連續(xù)性和穩(wěn)固性，保證目標(biāo)的軌跡是不間斷的，物體形狀是持久的。隨著視頻的播放，模型的預(yù)測(cè)會(huì)變得更加準(zhǔn)確。

當(dāng)播放帶有「不可能」事件的視頻時(shí)，例如一個(gè)物體突然消失，PLATO 可以度量視頻和它自己的預(yù)測(cè)之間的差異，從而提供一種「驚訝」的衡量標(biāo)準(zhǔn)。

Piloto 說：「PLATO 并非設(shè)計(jì)為嬰兒行為模型，但它可以測(cè)試關(guān)于人類嬰兒如何學(xué)習(xí)的假設(shè)。我們希望認(rèn)知科學(xué)家最終可以使用它來模擬嬰兒的行為?！?/p>

英屬哥倫比亞大學(xué)的計(jì)算機(jī)科學(xué)家 Jeff Clune 表示，「將 AI 與人類嬰兒的學(xué)習(xí)方式進(jìn)行比較是一個(gè)重要的研究方向。PLATO 的研究者手工設(shè)計(jì)了許多賦予人工智能模型優(yōu)勢(shì)的先驗(yàn)知識(shí)?！笴lune 等研究人員正試圖讓程序開發(fā)自己的算法來理解物理世界。

運(yùn)用發(fā)展心理學(xué)的知識(shí)

為了在 AI 系統(tǒng)中追求更豐富的物理直覺，DeepMind 的研究團(tuán)隊(duì)從發(fā)展心理學(xué)中汲取靈感。研究團(tuán)隊(duì)構(gòu)建了一個(gè)深度學(xué)習(xí)系統(tǒng)，該系統(tǒng)整合了發(fā)展心理學(xué)的核心見解，即物理學(xué)是在離散對(duì)象及其相互作用的層面上理解的。

直覺物理學(xué)的核心依賴于一組離散的概念（例如，對(duì)象的持久性、穩(wěn)固性、連續(xù)性等），可以區(qū)分、操作和單獨(dú)探測(cè)。傳統(tǒng)的 AI 學(xué)習(xí)直觀物理的標(biāo)準(zhǔn)方法通過視頻或狀態(tài)預(yù)測(cè)指標(biāo)、二元結(jié)果預(yù)測(cè)、問答性能或強(qiáng)化學(xué)習(xí)任務(wù)來學(xué)習(xí)物理世界。這些方法似乎需要理解直覺物理學(xué)的某些方面，但并沒有明確地操作或戰(zhàn)略性地探索一組明確的概念。

另一方面，發(fā)展心理學(xué)認(rèn)為一個(gè)物理概念對(duì)應(yīng)于一組未來如何展開的期望。例如人們期望物體不會(huì)神奇地從一個(gè)地方突然傳送到另一個(gè)地方，而是通過時(shí)間和空間追蹤連續(xù)的路徑，這就有了連續(xù)性的概念。因此，有一種測(cè)量特定物理概念知識(shí)的方法：違反期望 (VoE) 范式。

使用 VoE 范式探索特定概念時(shí)，研究人員向嬰兒展示視覺上相似的陣列（稱為探測(cè)（probe）），這些陣列與物理概念一致（物理上可能）或不一致（物理上不可能）。在這個(gè)范式中，「驚訝」是通過凝視持續(xù)時(shí)間來衡量的。

方法介紹

首先，DeepMind 提出了一個(gè)非常豐富的視頻語(yǔ)料庫(kù) ——Physical Concepts 數(shù)據(jù)集。該數(shù)據(jù)集包含 VoE 探測(cè)視頻，針對(duì)五個(gè)重要的物理概念，這些概念在發(fā)展心理學(xué)中被視為核心要素，包括連續(xù)性、目標(biāo)持久性和穩(wěn)固性。第四種是不可變性，用于捕捉某些目標(biāo)屬性 (例如形狀) 不會(huì)改變的概念；第五個(gè)概念是方向慣性，涉及到運(yùn)動(dòng)物體在與慣性原理一致的方向上發(fā)生變化的期望。

最重要的是 Physical Concepts 數(shù)據(jù)集還包括一個(gè)單獨(dú)的視頻語(yǔ)料庫(kù)作為訓(xùn)練數(shù)據(jù)。這些視頻展示了各種程序生成的物理事件。

圖 2：用于訓(xùn)練模型的視頻數(shù)據(jù)集示例

PLATO 模型架構(gòu)

Deepmind 旨在建立一個(gè)能夠?qū)W習(xí)直觀物理學(xué)的模型，并剖析模型實(shí)現(xiàn)這種能力的原因。PLATO 模型中實(shí)例化了 AI 領(lǐng)域一些先進(jìn)的系統(tǒng)。

首先是目標(biāo)個(gè)性化過程。目標(biāo)個(gè)性化過程將視覺的連續(xù)感知輸入切割成一組離散的實(shí)體，其中每個(gè)實(shí)體都有一組對(duì)應(yīng)的屬性。在 PLATO 中，每個(gè)分段的視頻幀通過感知模塊分解為一組目標(biāo)代碼（圖 3a-c），從而實(shí)現(xiàn)從視覺輸入到個(gè)體目標(biāo)的映射。PLATO 沒有學(xué)習(xí)分割場(chǎng)景，但給定一個(gè)分割目標(biāo)，其學(xué)習(xí)一個(gè)壓縮表示。

其次，目標(biāo)跟蹤（或目標(biāo)索引）為每個(gè)目標(biāo)分配一個(gè)索引，從而實(shí)現(xiàn)跨時(shí)間目標(biāo)感知和動(dòng)態(tài)屬性計(jì)算之間的對(duì)應(yīng)關(guān)系（圖 3b，c）。在 PLATO 中，目標(biāo)代碼在目標(biāo)緩沖區(qū)中的幀上累積和跟蹤（圖 3d）。

最后一個(gè)組件是這些被跟蹤目標(biāo)的關(guān)系處理，這一過程受到發(fā)展心理學(xué)中提出的「物理推理系統(tǒng)」的啟發(fā)，該系統(tǒng)可以動(dòng)態(tài)地處理物體的表征，產(chǎn)生新的表征，這些表征會(huì)受到物體與其他物體之間關(guān)系和互動(dòng)的影響。

PLATO 學(xué)習(xí)目標(biāo)內(nèi)存和目標(biāo)感知?dú)v史之間的交互作用（圖 3d），以生成針對(duì)下一個(gè)目標(biāo)的預(yù)測(cè)視頻幀并更新基于目標(biāo)的內(nèi)存。

圖 3：PLATO 包括兩個(gè)組件：感知模塊（左）和動(dòng)態(tài)預(yù)測(cè)（右）

實(shí)驗(yàn)結(jié)果

在測(cè)試時(shí)，當(dāng)使用五種不同的隨機(jī)種子進(jìn)行訓(xùn)練時(shí)，PLATO 在所有五個(gè)探測(cè)類別中都顯示出強(qiáng)大的 VoE 效果。

圖 5：PLATO 在 Physical Concepts 數(shù)據(jù)集的探測(cè)中顯示出穩(wěn)健的效果。

Physical Concepts 數(shù)據(jù)集中的訓(xùn)練語(yǔ)料庫(kù)共包含 300000 個(gè)視頻。用保守計(jì)算方法，大約需要 52 天的持續(xù)視覺體驗(yàn)。從 AI 和開發(fā)的角度來看，這存在一個(gè)問題，即在測(cè)試中產(chǎn)生 VoE 效果實(shí)際上需要多少訓(xùn)練數(shù)據(jù)。為了評(píng)估這一點(diǎn)，Deepmind 在大小逐漸減小的數(shù)據(jù)集上訓(xùn)練了三個(gè) PLATO 動(dòng)態(tài)預(yù)測(cè)器的隨機(jī)種子（圖 6），計(jì)算了所有五個(gè)探測(cè)類別的 VoE 效應(yīng)的總平均值。

在僅對(duì) 50000 個(gè)示例進(jìn)行訓(xùn)練后，研究結(jié)果表明，在使用少至 50000 個(gè)示例（相當(dāng)于 28 小時(shí)的視覺體驗(yàn)）進(jìn)行訓(xùn)練后，Deepmind 的模型中出現(xiàn)了穩(wěn)健的 VoE 效果。

圖 6：PLATO 只需短短 28 小時(shí)的視覺體驗(yàn)就能顯示出強(qiáng)大的效果。

泛化測(cè)試：Deepmind 采用 ADEPT 數(shù)據(jù)集，該數(shù)據(jù)集旨在探索直觀的物理知識(shí)。如圖 7 所示，PLATO 對(duì)所有三個(gè)探測(cè)類別都顯示出清晰的 VoE 效果。

圖 7：PLATO 展示了在不可見目標(biāo)和動(dòng)態(tài)上的魯棒效果，而無需任何重新訓(xùn)練。

更多內(nèi)容，請(qǐng)查看原論文。?