首次！大模型自動(dòng)搜索人工生命，做出AI科學(xué)家的Sakana AI又放大招

2024-12-25 12:04:34

今年 8 月，Transformer 論文作者之一的 Llion Jones 與前谷歌研究人員 David Ha 共同創(chuàng)立的人工智能公司 Sakana AI 造出了「世界上第一個(gè)用于自動(dòng)化科學(xué)研究和開(kāi)放式發(fā)現(xiàn)的 AI 系統(tǒng)」。

2024 臨近尾聲，AI 又給了所有人一個(gè)大驚喜，這次可以用來(lái)自動(dòng)發(fā)現(xiàn)新的人工生命形式了。

今年 8 月，Transformer 論文作者之一的 Llion Jones 與前谷歌研究人員 David Ha 共同創(chuàng)立的人工智能公司 Sakana AI 造出了「世界上第一個(gè)用于自動(dòng)化科學(xué)研究和開(kāi)放式發(fā)現(xiàn)的 AI 系統(tǒng)」。他們稱(chēng)之為 AI Scientist，即人工智能科學(xué)家，詳情可參閱報(bào)道《首個(gè)全自動(dòng)科學(xué)發(fā)現(xiàn) AI 系統(tǒng)，Transformer 作者創(chuàng)業(yè)公司 Sakana AI 推出 AI Scientist》。

而現(xiàn)在，他們又拿出了另一項(xiàng)震撼性的重磅研究成果：使用基礎(chǔ)模型搜索人工生命的系統(tǒng) ASAL。

人工生命（Artificial Life），聽(tīng)起來(lái)很科幻，但其定義并不復(fù)雜：就是被制造出來(lái)的生命。數(shù)學(xué)家約翰?何頓?康威在 1970 年提出的著名的「生命游戲」便是一種模擬人工生命系統(tǒng)，其中定義的規(guī)則可讓其中的「細(xì)胞」像生命體一樣運(yùn)作。

研究人工生命的一個(gè)核心哲學(xué)理念是我們不僅想要了解「我們所知的生命」，還想要探索「可能存在的生命」。下圖為 ASAL 其中一位作者 Phillip Isola 的推文以及他分享的一種人工生命。

此外，人工生命研究還可以得到有望改變和加速 AI 進(jìn)步的關(guān)鍵見(jiàn)解。該團(tuán)隊(duì)表示：「通過(guò)利用 AI 加速人工生命的發(fā)現(xiàn)，我們可以加速對(duì)涌現(xiàn)、進(jìn)化和智能的理解 —— 這些核心原則可以啟發(fā)下一代 AI 系統(tǒng)！」

該研究發(fā)布后吸引了大量點(diǎn)贊和討論。

知名博主 Aran Komatsuzaki 表示，這是視覺(jué)語(yǔ)言模型在人工生命中的首次應(yīng)用，可以跨基質(zhì)發(fā)現(xiàn)多樣性、全新的模擬生命。

目前，人工生命研究主要是通過(guò)計(jì)算模擬進(jìn)行，而這種方法必然意味著搜索并描繪出整個(gè)可能的模擬空間，而不是研究任何單個(gè)模擬。這樣一來(lái)，研究者便可以了解不同的模擬配置可以怎樣產(chǎn)生不同的涌現(xiàn)行為。Sakana AI 的這篇論文首次實(shí)現(xiàn)了借助基礎(chǔ)模型來(lái)自動(dòng)化這個(gè)搜索過(guò)程。另外，OpenAI、MIT等其他機(jī)構(gòu)和獨(dú)立研究者也參與了研究。

論文標(biāo)題：Automating the Search for Artificial Life with Foundation Models
論文地址：https://arxiv.org/pdf/2412.17799
在線論文：https://pub.sakana.ai/asal/
項(xiàng)目代碼：https://github.com/SakanaAI/asal/

雖然人工生命模擬的進(jìn)化和學(xué)習(xí)的具體機(jī)制有很多，但迄今為止，該領(lǐng)域取得實(shí)質(zhì)性進(jìn)展的一個(gè)主要障礙是：缺乏一種系統(tǒng)的方法來(lái)搜索所有可能的模擬配置。如果沒(méi)有這種方法，在設(shè)計(jì)人工世界最重要的方面（世界本身的規(guī)則）時(shí)，研究者就必須依靠直覺(jué)。

對(duì)此，一部分挑戰(zhàn)在于簡(jiǎn)單組件的大規(guī)模相互作用可能會(huì)產(chǎn)生復(fù)雜的涌現(xiàn)現(xiàn)象，這些現(xiàn)象很難甚至不可能被提前預(yù)測(cè)。

正是由于模擬配置與涌現(xiàn)現(xiàn)象之間缺乏關(guān)聯(lián)，因此研究者很難憑直覺(jué)設(shè)計(jì)出能展現(xiàn)出自我復(fù)制、類(lèi)似生態(tài)系統(tǒng)的動(dòng)態(tài)或具有開(kāi)放屬性的模擬。因此，這一領(lǐng)域的實(shí)際做法往往是針對(duì)簡(jiǎn)單和預(yù)期的結(jié)果來(lái)設(shè)計(jì)模擬，這就限制了意外發(fā)現(xiàn)的可能性。

也許，是時(shí)候自動(dòng)化了！這樣，研究者就無(wú)需將注意力放在設(shè)定正確的規(guī)則和互動(dòng)上，而可以關(guān)注更加高層面的問(wèn)題，比如如何最好地描述我們最終希望涌現(xiàn)的現(xiàn)象，然后讓搜索該現(xiàn)象的過(guò)程自動(dòng)完成即可。

不過(guò)，描述目標(biāo)現(xiàn)象本身就極具挑戰(zhàn)性。雖然之前已經(jīng)有一些研究試圖通過(guò)復(fù)雜的度量（比如生命、復(fù)雜度、有趣度等）來(lái)量化人工生命，但這些度量基本上都無(wú)法完全體現(xiàn)人類(lèi)想要表達(dá)的那種微妙的生命概念。

Sakana AI 表示：「雖然我們還不了解我們的宇宙為何或如何變得如此復(fù)雜、豐富和有趣，但我們?nèi)匀豢梢詫⑵渥鳛橹敢龑?dǎo)我們創(chuàng)建引人入勝的人工生命世界?！?/span>

該團(tuán)隊(duì)認(rèn)為，在大量自然數(shù)據(jù)上訓(xùn)練得到的基礎(chǔ)模型具備類(lèi)似于人類(lèi)的表征，甚至可能基于我們的真實(shí)世界統(tǒng)計(jì)數(shù)據(jù)得到一個(gè)理想化的表征。這種特性使得基礎(chǔ)模型非常適合用于量化人類(lèi)對(duì)人工生命復(fù)雜度的概念。

該團(tuán)隊(duì)的 ASAL（自動(dòng)搜索人工生命）研究便是基于這一思路開(kāi)展的。他們表示這是一種人工生命研究的新范式。

既然是新范式，那么肯定需要做一些定義。

首先，該團(tuán)隊(duì)將所需的模擬集合定義為 substrate，即基質(zhì)。然后，如圖 1 所示，ASAL 讓基礎(chǔ)模型可使用三種不同的方法來(lái)識(shí)別所需的人工生命模擬：

監(jiān)督式目標(biāo)：搜索能產(chǎn)生指定目標(biāo)事件或事件序列的模擬，有助于發(fā)現(xiàn)任意世界或與我們自己的世界相似的世界。
開(kāi)放式：在基礎(chǔ)模型的表征空間中搜索會(huì)隨時(shí)間不斷提供新變化的模擬，由此可以發(fā)現(xiàn)對(duì)人類(lèi)觀察者來(lái)說(shuō)總是很有趣的世界。
闡明（Illumination）：搜索一組相關(guān)的多樣化模擬，從而展現(xiàn)對(duì)我們來(lái)說(shuō)非常陌生的世界。

研究者基于 Boids、Particle Life（粒子生命）、Game of Life（生命游戲）、Lenia 和 Neural Cellular Automatas（神經(jīng)元胞自動(dòng)機(jī)）等多種人工生命基質(zhì)展現(xiàn)了這種新的自動(dòng)化方法的有效性。

在每種基質(zhì)中，ASAL 都發(fā)現(xiàn)了以前從未見(jiàn)過(guò)的生命形式，并擴(kuò)展了人工生命中涌現(xiàn)結(jié)構(gòu)的邊界。例如，ASAL 揭示了 Boids 中奇異的群集模式、Lenia 中新的自組織細(xì)胞，并找到了像著名的康威生命游戲一樣開(kāi)放式元胞自動(dòng)機(jī)。

方法：自動(dòng)搜索人工生命

圖 2 展示了新提出的 ASAL 范式，其中包括三種基于視覺(jué) - 語(yǔ)言基礎(chǔ)模型的算法。每種方法都能通過(guò)不同類(lèi)型的自動(dòng)搜索發(fā)現(xiàn)人工生命模擬。深入細(xì)節(jié)之前，先來(lái)看看相關(guān)概念和符號(hào)。

人工生命基質(zhì)（substrate），記為 S，其包含任何一組相關(guān)的人工生命模擬（例如，所有 Lenia 模擬的集合）。這些模擬可能在初始狀態(tài)、轉(zhuǎn)換規(guī)則或兩者上有所不同。S 由 θ 參數(shù)化，它定義的單個(gè)模擬具有三個(gè)分量：

初始狀態(tài)分布 Init_θ
前向動(dòng)態(tài)階躍函數(shù) Step_θ
渲染函數(shù)，Render_θ，作用是將狀態(tài)轉(zhuǎn)換為圖像

雖然通常而言，并不需要參數(shù)化和搜索渲染函數(shù)，但當(dāng)狀態(tài)值難以先驗(yàn)地解讀時(shí)，就很有必要了。將這些項(xiàng)串到一起，可定義一個(gè) θ 函數(shù)，它對(duì)初始狀態(tài) s_0 進(jìn)行采樣，運(yùn)行 T 步模擬，并將最終狀態(tài)渲染為圖像：

最后，還有另外兩個(gè)函數(shù) VLM_img (?) 和 VLM_txt (?)，它們的作用是通過(guò)視覺(jué) - 語(yǔ)言基礎(chǔ)模型嵌入圖像和自然語(yǔ)言文本，以及相應(yīng)的內(nèi)積 ??,??，以促進(jìn)該嵌入空間的相似性測(cè)量。

監(jiān)督式目標(biāo)

人工生命的一個(gè)重要目標(biāo)是找到能讓所需事件或事件序列發(fā)生的模擬。這樣的發(fā)現(xiàn)將使研究者能夠找到與我們自己的世界相似的世界，或測(cè)試某些反事實(shí)的進(jìn)化軌跡在給定基質(zhì)中是否可能，從而深入了解某些生命形式的可行性。

為此，ASAL 會(huì)搜索一種模擬，該模擬會(huì)產(chǎn)生與基礎(chǔ)模型表示中的目標(biāo)自然語(yǔ)言提示詞相匹配的圖像。研究者可以控制在每個(gè)時(shí)間步驟應(yīng)用哪個(gè)提示（如果有的話）。

開(kāi)放式

人工生命的一大挑戰(zhàn)是尋找開(kāi)放式模擬。找到這樣的世界才能復(fù)現(xiàn)現(xiàn)實(shí)世界中永無(wú)止境的有趣新奇事物的爆發(fā)。

盡管開(kāi)放性是主觀的且難以定義，但正確表示空間的新穎性（novelty）可以體現(xiàn)開(kāi)放性的一般概念。這樣一來(lái)，可將測(cè)量開(kāi)放性的主觀性外包給表征函數(shù)的構(gòu)建。在本文中，視覺(jué) - 語(yǔ)言基礎(chǔ)模型表征充當(dāng)了人類(lèi)表征的代理。

闡明

人工生命的另一個(gè)關(guān)鍵目標(biāo)是自動(dòng)闡明不同現(xiàn)象構(gòu)成的整個(gè)空間，而這些現(xiàn)象是從基質(zhì)涌現(xiàn)出來(lái)的?；诖?，可以讓我們了解「生命的可能模樣」。因此，闡明是描繪和分類(lèi)整體基質(zhì)的第一步。

為了實(shí)現(xiàn)這一目標(biāo)，ASAL 會(huì)搜索一組模擬并且這些模擬產(chǎn)生的圖像與基礎(chǔ)模型表征中的最近鄰相距甚遠(yuǎn)。該團(tuán)隊(duì)發(fā)現(xiàn)最近鄰多樣性比基于方差的多樣性能實(shí)現(xiàn)更好的闡明。

實(shí)驗(yàn)表明 ASAL 還真行

該團(tuán)隊(duì)使用不同的基質(zhì)驗(yàn)證了 ASAL 范式的有效性。

首先，他們使用的基礎(chǔ)模型包括 CLIP 和 DINOv2?；|(zhì)則如下所述：

Boids：模擬的是 N 個(gè)「鳥(niǎo)狀物體（boids）」在 2D 歐幾里得空間中的移動(dòng)情況。所有 boids 都共享權(quán)重一樣的神經(jīng)網(wǎng)絡(luò)，其會(huì)根據(jù)局部參考系中 K 個(gè)近鄰 boids 向左或向右操縱每個(gè) boid。該基質(zhì)是神經(jīng)網(wǎng)絡(luò)的權(quán)重空間。
粒子生命：模擬 N 個(gè)粒子，這些粒子又可分為 K 類(lèi)；它們?cè)谝粋€(gè) 2D 歐幾里得空間運(yùn)動(dòng)。該基質(zhì)是 K × K 相互作用矩陣的空間，β 參數(shù)確定了粒子之間的距離。初始狀態(tài)是隨機(jī)采樣的，粒子會(huì)自組織形成動(dòng)態(tài)模式。
類(lèi)生命的元胞自動(dòng)機(jī)（CA：將康威生命游戲泛化到所有在 2D 柵格中運(yùn)作的二元狀態(tài)元胞自動(dòng)機(jī)，其中狀態(tài)轉(zhuǎn)換僅取決于活著的 Moore 鄰居的數(shù)量和細(xì)胞的當(dāng)前狀態(tài)。該基質(zhì)有 2^18 = 262,144 種可能的模擬。
Lenia：將康威生命游戲推廣到連續(xù)空間和時(shí)間，允許更高的維度、多個(gè)核和多個(gè)通道。該團(tuán)隊(duì)使用了 LeniaBreeder 代碼庫(kù)，它定義了基質(zhì)，其中動(dòng)態(tài)維度為 45 個(gè)，初始狀態(tài)維度為 32 × 32 × 3 = 3,072 個(gè)。其搜索空間以 Bert Wang-Chak Chan 2020 年在論文《Lenia and expanded universe》中找到的解為中心。
神經(jīng)元胞自動(dòng)機(jī)（NCA）：通過(guò)神經(jīng)網(wǎng)絡(luò)表示局部轉(zhuǎn)換函數(shù)來(lái)參數(shù)化任何連續(xù)元胞自動(dòng)機(jī)。該基質(zhì)是神經(jīng)網(wǎng)絡(luò)的權(quán)重空間。

搜索目標(biāo)模擬

其中包括單個(gè)目標(biāo)和隨時(shí)間變化的目標(biāo)序列。

對(duì)于單個(gè)目標(biāo)，以下動(dòng)圖定性地展示 ASAL 的良好效果，可以找到與指定提示詞匹配的模擬。

對(duì)于時(shí)間目標(biāo)，下圖表明可以找到能產(chǎn)生遵循一系列提示詞的軌跡的模擬。通過(guò)指定所需的進(jìn)化軌跡并使用約束基質(zhì)，ASAL 可以識(shí)別體現(xiàn)所需進(jìn)化過(guò)程本質(zhì)的更新規(guī)則。例如，當(dāng)提示詞序列為「一個(gè)細(xì)胞」然后是「兩個(gè)細(xì)胞」時(shí)，相應(yīng)的更新規(guī)則本質(zhì)上就是實(shí)現(xiàn)自我復(fù)制。

搜索開(kāi)放式模擬

圖 5 展示了 ASAL 在類(lèi)生命元胞自動(dòng)機(jī)的開(kāi)放式模擬中的潛力。

根據(jù) 3 式中的開(kāi)放式指標(biāo)，著名的康威生命游戲位列最開(kāi)放的元胞自動(dòng)機(jī)（CA）的前 5%。

圖 5a 表明，最開(kāi)放的 CA 表現(xiàn)了處于混沌邊緣的非平凡動(dòng)態(tài)模式，因?yàn)樗鼈兗葲](méi)有穩(wěn)定也沒(méi)有爆發(fā)。

圖 5b 則描繪了三個(gè) CA 在 CLIP 空間中隨模擬時(shí)間的軌跡。由于基礎(chǔ)模型的表征與人類(lèi)表征相關(guān)，因此通過(guò)基礎(chǔ)模型的表征空間在軌跡中產(chǎn)生新穎性也會(huì)為人類(lèi)觀察者產(chǎn)生一系列新穎性。

圖 5c 則可視化了所有類(lèi)生命元胞自動(dòng)機(jī)，從中可以看到涌現(xiàn)出的有意義的結(jié)構(gòu)：最開(kāi)放的 CA 緊密地靠在模擬主島外的一個(gè)小島上。

闡明整體基質(zhì)

該團(tuán)隊(duì)使用了 Lenia 和 Boids 基質(zhì)來(lái)研究公式 4 中的闡明算法的有效性?；A(chǔ)模型是 CLIP 。他們定制了一個(gè)用于搜索的遺傳算法：在每一代，隨機(jī)選擇父母，創(chuàng)建變異的孩子，然后保留最多樣化的解子集。

下面的 2 個(gè)「Simulation Atlas」展示了生成的模擬集。

此可視化凸顯了按視覺(jué)相似性組織的行為的多樣性。使用 Lenia 時(shí)，ASAL 發(fā)現(xiàn)了許多前所未見(jiàn)的生命形式，這些生命形式類(lèi)似于按顏色和形狀組織的細(xì)胞和細(xì)菌。使用 Boids 時(shí)，ASAL 重新發(fā)現(xiàn)了群集行為（flocking behavior），以及其他行為，例如蛇行、分組、盤(pán)旋和其它變體。

量化人工生命

基礎(chǔ)模型不僅有助于搜索有趣現(xiàn)象，而且還可以量化以前只能進(jìn)行定性分析的現(xiàn)象。圖 7 展示了量化這些復(fù)雜系統(tǒng)的涌現(xiàn)行為的不同方法。

在圖 7a 中，對(duì)兩個(gè) Boids 模擬之間的參數(shù)進(jìn)行線性插值。這個(gè)中間模擬缺乏任一模擬的特征并且顯得無(wú)序，表明了 boids 參數(shù)空間的非線性、混沌性質(zhì)。重要的是，現(xiàn)在可以通過(guò)測(cè)量中間模擬的最終狀態(tài)與兩個(gè)原始模擬的 CLIP 相似性來(lái)為這種定性觀察提供定量支持。

圖 7b 則評(píng)估了粒子生命中粒子數(shù)量對(duì)其表示某些生命形式的能力的影響。在這種情況下，如果搜索「一只毛毛蟲(chóng)（a caterpillar）」，則可發(fā)現(xiàn)只有在模擬中至少有 1000 個(gè)粒子時(shí)才能找到它們，這符合 1972 年的「更多即不同（more is different）」的觀察結(jié)果。

在圖 7c 中，通過(guò)單獨(dú)掃描每個(gè)參數(shù)并測(cè)量 CLIP 提示詞對(duì)齊分?jǐn)?shù)的結(jié)果標(biāo)準(zhǔn)偏差，量化了粒子生命中每個(gè)模擬參數(shù)的重要性。在確定最重要的參數(shù)后，便對(duì)應(yīng)上了綠色和黃色粒子之間的相互作用強(qiáng)度，這對(duì)于毛毛蟲(chóng)的形成至關(guān)重要。