早在2014年，Mehta和Schwab就證明了“基于受限玻爾茲曼機(jī)（RBM）的深度模型和變分RG之間存在精確對(duì)應(yīng)”。深度網(wǎng)絡(luò)底層神經(jīng)元捕捉細(xì)節(jié)，高層神經(jīng)元提取抽象特征，本質(zhì)上等同于RG中積分掉高頻自由度壓縮與粗化信息的過(guò)程。

2022年Erdmenger等學(xué)者引入相對(duì)熵、最優(yōu)輸運(yùn)（OT）等非微擾工具，來(lái)描述深度網(wǎng)絡(luò)，證明多層神經(jīng)網(wǎng)絡(luò)的特征提取過(guò)程與RG的粗?；襟E具有形式一致性。深度學(xué)習(xí)并非在模仿物理，而是在自然演化中與物理過(guò)程趨同。

圖片

沿最優(yōu)輸運(yùn)方向重整化

重整化群流作為最優(yōu)輸運(yùn)，不僅確定了精確重整化群流的方程等效于場(chǎng)的相對(duì)熵的最優(yōu)輸運(yùn)梯度流，還巧妙的使用最優(yōu)輸運(yùn)的思想將重整化群轉(zhuǎn)化為變分問(wèn)題。筆者進(jìn)一步總結(jié)：

尺度變換的每一步，RG Flow 的流向，都將沿著最優(yōu)輸運(yùn)的方向進(jìn)行，也就是物理量的 RG Flow 尺度變換前的概率分布與尺度變換后的概率分布的距離最近的方向，而這就是Wasserstein 距離決定的方向。

Wasserstein 距離是概率分布空間上的距離度量，在最優(yōu)輸運(yùn)中起著核心作用，用于衡量?jī)蓚€(gè)概率分布之間的距離。世界的不斷演進(jìn)，都是冥冥中遵循最小化各種代價(jià)或成本的方式進(jìn)行，最優(yōu)輸運(yùn)某種意義上是自然演化的必然方向和準(zhǔn)則。

大模型數(shù)理認(rèn)知框架

筆者借鑒類(lèi)似思想，構(gòu)建了大模型的數(shù)理認(rèn)知框架：1、重整化從海量語(yǔ)料中提取出范疇，2、持續(xù)重整化驅(qū)動(dòng)范疇解構(gòu)重組結(jié)晶，3、于范疇中采樣變分生成，即逆重整化過(guò)程。這里的重整化，均沿最優(yōu)輸運(yùn)方向進(jìn)行。

圖片

數(shù)理框架的核心視角是將深度網(wǎng)絡(luò)的后續(xù)層看作沿著最優(yōu)輸運(yùn)方向的 RG 流。到目前為止，用這個(gè)數(shù)理框架來(lái)理解和解釋大模型的各種行為特征，分析預(yù)判相應(yīng)的技術(shù)與行業(yè)演進(jìn)方向，均表現(xiàn)健全且自洽。

自旋玻璃與重整化

數(shù)據(jù)雕刻自旋玻璃中筆者介紹過(guò)spin-transformer ：一個(gè)可微的矢量自旋系統(tǒng)，由數(shù)據(jù)驅(qū)動(dòng)，其集體行為可以通過(guò)訓(xùn)練來(lái)塑造。這是一個(gè)高度自適應(yīng)的系統(tǒng)，其中自旋交互形勢(shì)全景本身是由輸入動(dòng)態(tài)塑造的。

自旋玻璃實(shí)際上不是玻璃，而是形象化比喻一個(gè)網(wǎng)絡(luò)狀的自旋系統(tǒng)。"玻璃"二字形容自旋方向的無(wú)規(guī)則分布，自旋玻璃的集體微觀無(wú)序到宏觀有序行為，天然適合用重整化描述。

一個(gè)由大量自由度描述的無(wú)序系統(tǒng)，逐級(jí)尺度執(zhí)行粗粒度化操作，自由度子集被組合在一起平均，形成新的集體變量或隱變量。遵循成本最低原則即最優(yōu)輸運(yùn)的重整化，成為刻畫(huà)這些系統(tǒng)物理本質(zhì)特征的最佳方式。

圖片

自旋玻璃是自然界中眾多復(fù)雜體系的代表，在物理世界中無(wú)處不在、無(wú)時(shí)不有。研究清楚其特征和規(guī)律對(duì)認(rèn)知其他復(fù)雜體系可以觸類(lèi)旁通，從構(gòu)建遷移學(xué)習(xí)的統(tǒng)計(jì)模型，到整合量子場(chǎng)論與愛(ài)因斯坦引力。

自旋玻璃角度看遷移學(xué)習(xí)

遷移學(xué)習(xí)（TL）使用從相關(guān)源任務(wù)獲得的信息來(lái)提高特定目標(biāo)任務(wù)的泛化性能。盡管經(jīng)驗(yàn)結(jié)果證明了TL功能強(qiáng)大，其理論基礎(chǔ)卻至今不夠清晰，尤其是在有限寬度的設(shè)定下，或者當(dāng)源與目標(biāo)任務(wù)在結(jié)構(gòu)上相關(guān)卻不完全相同時(shí)。

利用深度學(xué)習(xí)理論比例極限機(jī)制的最新進(jìn)展，結(jié)合自旋玻璃理論中經(jīng)典“Franz-Parisi ”形式、核重整化方法等統(tǒng)計(jì)力學(xué)的工具，最近的研究【文獻(xiàn)1】提出了一種新的TL理論方法。

在比例極限中，TL通過(guò)重整化的源-目標(biāo)核函數(shù)實(shí)現(xiàn)——該核函數(shù)量化任務(wù)間關(guān)聯(lián)性并決定TL是否能改善泛化性能，也就是精確量化TL何時(shí)或如何改善泛化能力，以及在什么條件下會(huì)變得無(wú)效甚至有害。

重整化彌合引力與量子場(chǎng)論

讀者或許了解，現(xiàn)代物理學(xué)兩大基石 - 量子場(chǎng)論與愛(ài)因斯坦引力理論之間存在根本性矛盾。量子理論描述微觀世界的概率性粒子相互作用，而廣義相對(duì)論詮釋宏觀物體的引力現(xiàn)象。將引力納入統(tǒng)一框架是幾代物理學(xué)家的夙愿。

量子場(chǎng)論運(yùn)用的是與量子場(chǎng)內(nèi)部自由度相關(guān)的緊致有限維對(duì)稱性，而廣義相對(duì)論則建立在非緊致無(wú)限維外部時(shí)空對(duì)稱性之上?！疚墨I(xiàn)2】試圖借助重整化加持的新型量子引力理論，利用緊致有限維對(duì)稱性推導(dǎo)引力規(guī)范。

在一個(gè)自洽的數(shù)學(xué)框架內(nèi)，標(biāo)準(zhǔn)模型所有基本相互作用的量子場(chǎng)共同描述引力。論文給出了統(tǒng)一引力的費(fèi)曼規(guī)則，研究了一階項(xiàng)的可重整化性及輻射修正。等效原理要求慣性質(zhì)量與引力質(zhì)量的重整化值相等。

統(tǒng)一引力有望為構(gòu)建完整的、可重整化的量子引力理論奠定基礎(chǔ)。新理論通過(guò)"重整化"處理計(jì)算中出現(xiàn)的無(wú)窮大量，證明在"一階項(xiàng)"計(jì)算中有效，但高階項(xiàng)的有效性尚未完整證明。學(xué)者們相信成功概率很高，一旦成功，將是革命性的。

雖然論文沒(méi)有明確重整化的方向，其遵循的物理殼層重整化方案（On-Shell Renormalization Scheme）嚴(yán)格遵循自由粒子的質(zhì)量、能量和動(dòng)量關(guān)系，因而筆者判斷其天然符合自然演化的規(guī)律，類(lèi)似最優(yōu)輸運(yùn)的最小成本方向。

生成化學(xué)反應(yīng)過(guò)渡態(tài)的最優(yōu)輸運(yùn)方法

Nature上有一項(xiàng)來(lái)自化學(xué)反應(yīng)過(guò)渡態(tài)（TS：transition state）領(lǐng)域的有趣的研究【文獻(xiàn)3】 -- 用于生成化學(xué)反應(yīng)過(guò)渡態(tài)的最優(yōu)輸運(yùn)方法。讓我們驚訝于最優(yōu)輸運(yùn)在自然界的廣泛存在與意義。

化學(xué)反應(yīng)TS是瞬態(tài)結(jié)構(gòu)，對(duì)于理解反應(yīng)機(jī)理和設(shè)計(jì)催化劑至關(guān)重要，但通過(guò)實(shí)驗(yàn)捕獲極具挑戰(zhàn)性。論文開(kāi)發(fā)了基于最優(yōu)輸運(yùn)的方法React-OT，可從反應(yīng)物和產(chǎn)物生成獨(dú)特的TS結(jié)構(gòu)。筆者理解類(lèi)似該領(lǐng)域的AlphaFold。

React-OT方法的核心創(chuàng)新在于將反應(yīng)物到產(chǎn)物的結(jié)構(gòu)轉(zhuǎn)換建模為最優(yōu)輸運(yùn)問(wèn)題。通過(guò)流匹配(flow matching)技術(shù)，構(gòu)建從反應(yīng)物分布到產(chǎn)物分布的確定性傳輸路徑，而過(guò)渡態(tài)恰好對(duì)應(yīng)于傳輸過(guò)程中"質(zhì)量"重新分配劇烈的臨界點(diǎn)(critical point）。

高階拉普拉斯重整化中探討過(guò)臨界點(diǎn)不穩(wěn)定，常常發(fā)生對(duì)稱性破缺，導(dǎo)致劇烈的相變。相變是重整化流中的特殊階段，是最劇烈和難以把控的部分，但從React-OT的效果可以推斷其同樣遵循最優(yōu)輸運(yùn)的方向。

這種視角將化學(xué)反應(yīng)動(dòng)力學(xué)與概率分布的演化聯(lián)系起來(lái)。大規(guī)模預(yù)訓(xùn)練實(shí)際上是在構(gòu)建化學(xué)空間的基礎(chǔ)度量，即學(xué)習(xí)如何準(zhǔn)確衡量不同分子結(jié)構(gòu)之間的"距離"。這種度量決定了過(guò)渡態(tài)間傳輸成本函數(shù)的合理性，前景同樣堪比AlphaFold。

世界演化的核心方式

從微觀到宏觀，從物理變化彌合量子場(chǎng)論與引力，到化學(xué)反應(yīng)復(fù)雜劇烈的能量與物質(zhì)交換，重整化和最優(yōu)輸運(yùn)這兩個(gè)好搭檔，與自然現(xiàn)象相伴相生。物理變化化學(xué)反應(yīng)本質(zhì)并無(wú)差異，只是相變的時(shí)間尺度和劇烈程度的不同。

道生萬(wàn)物的現(xiàn)代物理學(xué)解讀中筆者講萬(wàn)事萬(wàn)物不過(guò)是能量傳遞與演化的不同方式。重整化帶來(lái)不同的尺度，而最優(yōu)輸運(yùn)則決定演化的方向。

道生“能量”，能量“源”“匯”分布，產(chǎn)生“空間”；“源”“匯”的相互流動(dòng)產(chǎn)生“時(shí)間”；能量流動(dòng)的尺度和速度，決定不同的時(shí)空，也促成能量到“質(zhì)量”的轉(zhuǎn)換，從“波”到“粒子”。

能量在時(shí)空中流動(dòng)，穿越邊界的通量變化，派生散度與旋度，即電場(chǎng)和磁場(chǎng)；波放慢速度鈍化成粒子（薛定諤的愛(ài)情與狄拉克的996），粒子構(gòu)成化學(xué)元素，元素物理變化或者化學(xué)反應(yīng)形成實(shí)物世界。自由能喂食生命體；能量分布的辨識(shí)產(chǎn)生信息；對(duì)信息的分尺度重整化即為認(rèn)知。獲取能量分布的局部認(rèn)知，進(jìn)一步推斷出原始整體分布，就是學(xué)習(xí)和智能。 

文獻(xiàn)1，Statistical mechanics of transfer learning in fully-connected networks in the proportional limit，https://arxiv.org/html/2407.07168v1

文獻(xiàn)2，Gravity generated by four one-dimensional unitary gauge symmetries and the Standard Model，https://iopscience.iop.org/article/10.1088/1361-6633/adc82e/pdf

文獻(xiàn)3，Optimal transport for generating transition states in chemical reactions，https://www.nature.com/articles/s42256-025-01010-0

本文轉(zhuǎn)載自????????清熙????，作者：王慶法