擴散模型居然就是生物的進化算法！

這個結論來自「新常春藤」塔夫茨大學（Tufts University）于近日發(fā)表的一項研究：

論文地址：https://arxiv.org/pdf/2410.02543

論文的壓軸大佬是美國發(fā)育和合成生物學家Michael Levin，博士畢業(yè)于哈佛大學，目前擔任塔夫茨大學Allen Discovery Center主任。

Michael Levin長期從事生物電、人工生命和許多其他生物學相關主題的研究，曾在NeurIPS 2018上發(fā)表了題為「What Bodies Think About：Bioelectric Computation Outside the Nervous System」的精彩演講：

視頻地址：https://youtu.be/RjD1aLm4Thg

在ALife 2020上，Michael Levin還闡述了有關「機器人癌癥」的話題：「what the bioelectrics of embryogenesis and regeneration can teach us about unconventional computing, cognition, and the software of life」。

這位懂計算機的生物學專家是如何理解「擴散模型就是進化算法」的？

答案是數(shù)學。

擴散模型的本質

在生物圈中，至少有兩個過程能夠泛化并創(chuàng)造新事物：

進化：生物通過自然選擇適應環(huán)境的緩慢過程（需要多代）；

學習：生物個體獲取知識并概括主觀經(jīng)驗的快速過程（自己這一代）。

研究者不斷探索進化與學習之間的聯(lián)系，從Hinton的經(jīng)典著作《How Learning Can Guide Evolution》（1987年），到Vanchurin、Wolf、Katsnelson、Koonin的《Toward a theory of evolution as multilevel learning》（2022年），以及Watson和Levin的《The collective intelligence of evolution and development》（2023年）。

目前的工作認為，在擴散模型的框架中，生成模型執(zhí)行順序隨機去噪，可以通過執(zhí)行自然選擇、突變和生殖隔離的進化過程來理解。

前向擴散過程將圖像作為輸入（也可以是任何其他信號），并逐步按順序添加噪聲，直到它變成一坨完完全全的噪聲。

與之相對，擴散模型的反向是一個去噪的過程，以噪聲作為輸入并依次去除，最終發(fā)掘出隱藏在噪聲背后的圖像。

原始擴散模型：https://arxiv.org/abs/2006.11239

想象一個復雜的任務（例如，找到飛機機翼的最佳形狀），我們可以先創(chuàng)建一組隨機解決方案——就像自然界中的生物種群。然后根據(jù)特定標準（比如飛行情況）評估每個解決方案。

過程中可以「雜交」不同解決方案的優(yōu)勢（從一個方案中獲取一些參數(shù)，從另一個方案中獲取另一些參數(shù)），偶爾還可以隨機改變這些方案（的參數(shù)），由此獲得新一版解決方案。

將這個過程重復多次，就像在自然選擇中一樣，通過遺傳和變異，更成功的版本存活下來并繼續(xù)發(fā)展。

通常，參數(shù)空間的結構事先是未知的，因此初始總體通常以標準正態(tài)分布開始。這種方法的主要優(yōu)點是它不需要精確理解任務的工作原理——只需能夠評估解決方案的質量就足夠了。

擴散模型在每個時間步長直接從樣本的噪聲中預測原始數(shù)據(jù)樣本:

樣本x的估計可以表示為條件概率，結合貝葉斯公式可得：

基于深度學習的擴散模型是使用均方誤差損失進行訓練的，所以估計函數(shù)變?yōu)椋?/span>

其中的高斯項僅對局部鄰居敏感，將上式簡化：

由此可知，擴散模型和進化算法都涉及迭代數(shù)據(jù)更新和從復雜分布中對新對象進行采樣，兩者都是定向更新和隨機擾動的組合。

在進化的情況下，是選擇+突變，而在擴散的情況下，是隨機噪聲+學習去噪。

這就提出了一個問題：這兩個過程的機制是否從根本上相互關聯(lián)？生物進化和生成建模之間是否存在深刻的數(shù)學二元性？

擴散與進化

首先，作者從生成模型的角度分析了進化。

觀察生物圈中的物種種群，變異進化過程可以理解為基因型和表型分布的轉變。突變和選擇共同改變了這些分布的形狀。

許多受生物啟發(fā)的進化算法都是通過維護和迭代大量種群的分布，來優(yōu)化目標函數(shù)。

同樣的概念（分布變換）是許多生成模型的核心：VAE、GAN和擴散模型學習將簡單的分布（如標準的高斯分布）轉換為更復雜的分布（分布中的樣本代表有意義的圖像、聲音和文本）。

另一方面，也可以從進化的角度來看待擴散。

在訓練過程中，向數(shù)據(jù)點逐步加入干擾，模型會學習預測這種干擾以逆轉該過程。在采樣階段，模型從高斯分布開始，通過降噪逐步更新數(shù)據(jù)點。

在這種情況下，定向降噪可以解釋為有向選擇，并且每個步驟都會增加一個類似于突變的小噪聲，與生物的進化過程一致。

而如果把進化過程反過來，那么高度適應自然的進化種群將逐漸溶解，類似于正向擴散過程。

考慮統(tǒng)計物理學中的能量和概率，進化任務可以將適應度映射到概率密度，從而來與生成任務聯(lián)系起來（高適應度對應于高概率密度）。

作者最終從數(shù)學上推導出了一種稱為Diffusion Evolution的新算法，基于迭代誤差校正來進行優(yōu)化，類似于擴散模型，但不依賴于神經(jīng)網(wǎng)絡：

1）從一組隨機解開始（如擴散模型中的噪聲）；

2）在每個步驟中，每個解決方案都由一個適應度函數(shù)評估，對每個解決方案進行「去噪」（與相鄰解決方案加權平均來估計），并向前邁出一小步，同時加入一個小的隨機突變；

3）逐漸減小相鄰搜索半徑（首先全局探索解決方案空間，然后在本地進行優(yōu)化）

與許多經(jīng)典進化算法通常收斂為單個解不同，Diffusion Evolution可以同時發(fā)現(xiàn)并維護多個表現(xiàn)良好的解。

實驗

研究人員在多個二維優(yōu)化場景中進行了實驗（Rosenbrock和Beale有一個最優(yōu)值，Himmelblau、Ackley和Rastrigin有多個最優(yōu)值），并與其他進化算法（CMA-ES、OpenES和PEPG）做出比較。

每種方法運行進化算法100次，每個實驗的群體規(guī)模為512，使用25次迭代（OpenES需要1000步才能收斂）。

結果表明，Diffusion Evolution找到了高質量和多樣化的解決方案，尤其是在最后三種情況下，其他方法都遇到了困難，并且往往收斂到單一解決方案。

在進化算法中，適應度評估通常是計算成本最高的操作，作者通過從擴散模型的工作中借用余弦調度來減少迭代次數(shù)。

在另一項實驗中，研究人員提出了 Latent Space Diffusion Evolution，靈感來自潛在空間擴散模型 （通過探索低維潛在空間來解決高維參數(shù)空間的問題）。

學習和進化，本質上是在做同樣的事情，順著這條路，我們可以繼續(xù)思考：

模型推理是有限的，而真正的進化可能是無限且開放式的，如何使Diffusion Evolution適應開放式環(huán)境？

其他版本的擴散模型會衍生出新的進化算法嗎？擴散模型中的歸納偏差可以被引入進化算法嗎？擴散模型可以通過進化的思想來改進嗎？