機器學(xué)習(xí)讓計算機圖形學(xué)（CG）仿真更真實了！

方法名為神經(jīng)流向圖（Neural Flow Maps，NFM），四個渦旋的煙霧也能精確模擬的那種：

更為復(fù)雜的也能輕松實現(xiàn)：

要知道，在這個AI應(yīng)用滿天飛的時代，CG物理仿真仍然是傳統(tǒng)數(shù)值算法的天下。

△NFM模擬“蛙跳”

盡管神經(jīng)網(wǎng)絡(luò)應(yīng)用在CG能創(chuàng)造目眩神迷的視覺效果，它卻無法嚴(yán)格、魯棒地描述物理性質(zhì)。

△NFM模擬“墨滴”

也正是因此，基于神經(jīng)網(wǎng)絡(luò)的物理仿真至今還處于概念驗證（proof of concept）的階段，所生成的效果也遠非SOTA。

基于這個難題，來自達特茅斯學(xué)院、佐治亞理工學(xué)院以及斯坦福大學(xué)的研究團隊提出了神經(jīng)流向圖這一新方法，通過將神經(jīng)網(wǎng)絡(luò)的優(yōu)異性質(zhì)與先進的物理模型相結(jié)合，同時達到了前所未有的視覺效果和物理精確性。

該論文發(fā)表于圖形學(xué)頂刊ACM Transactions on Graphics（TOG），并獲SIGGRAPH Asia 2023最佳論文。

NFM長啥樣？

研究團隊的核心觀點是：想利用AI去更好地解決物理問題，就不能局限地將可學(xué)習(xí)模塊（learnable modules）嵌入已有的方法框架（例如SPH，stable fluids）中。

現(xiàn)有方法是針對傳統(tǒng)數(shù)值方法的能力范疇量身定制的，也正因為如此，機器學(xué)習(xí)的發(fā)展所提出的一系列的全新的能力（例如NeRF對時空信號的緊湊表達），往往在已有的框架中找不到用武之地。

因此，研究人員認為與其套用AI在現(xiàn)有的框架中，不如基于AI提出的新能力，來設(shè)計數(shù)學(xué)和數(shù)值的新框架，從而最大化這些能力的價值。

物理模型

基于上述思路，研究人員通過對物理和AI進行協(xié)同設(shè)計（co-design），構(gòu)建一個超越SOTA的流體模擬器。

物理部分，NFM首先使用了一套基于沖量的（impulse-based）流體方程，通過對常見的歐拉方程進行度規(guī)變換（gauge transformation），確立了速度場與流向圖（flow map）以及其空間導(dǎo)數(shù)的關(guān)系。

換言之，只要可以得到精確的flow map數(shù)值解，那么演化的速度場就可以被精確的重構(gòu)出來。

為了最精確地計算flow map，NFM提出了一個精心設(shè)計的“雙向行進”（bidirectional marching）數(shù)值算法。

該算法比已有算法的精度高出3至5個數(shù)量級，但它同時也要求存儲長期的時空（spatiotemporal）速度場。

對大規(guī)模3D模擬來說，存儲單幀的速度場尚且存在挑戰(zhàn)，存儲數(shù)十上百幀的速度場則全然不可行。因此“雙向行進”的算法盡管精準(zhǔn)，但用傳統(tǒng)的手段卻無法實現(xiàn)。

神經(jīng)網(wǎng)絡(luò)存儲

NFM巧妙地結(jié)合了基于流向圖的物理模型對于存儲高精度速度場的需求，和隱式神經(jīng)表示（implicit neural representation，或INR）進行高質(zhì)量時空信號壓縮的能力，讓上述高度精確但無法實現(xiàn)的模擬方法變得可行。

INR通常對每個場景只需訓(xùn)練一次，但NFM卻把它用作一個中間變量在模擬的過程中不斷的進行更新，這也對INR的性能提出了更苛刻的要求。

針對這點，NFM提出了一種稱作SSNF的新型高性能INR。

通過自動規(guī)劃空間稀疏存儲中每個格點的開啟狀態(tài)，以及一個基于Lagrange多項式的時間處理方案，SSNF達到了比Instant-NGP、KPlanes等方法更快的收斂速度，更高的壓縮比，以及更高的存儲精度。

拿下最新SOTA

實驗結(jié)果表明，作為一個基于AI的模擬器，NFM顯著地超越了SOTA方法：bimocq、covector fluids以及MC+R。

在2D點渦（point vortex）保持的實驗中，NFM的平均絕對誤差對比其余三者減少了最少14，最多308倍。

在3D蛙跳（leapfrogging vortices）實驗中，NFM也顯著提升了能量守恒的能力。

同時，這種數(shù)值能力體現(xiàn)為對自然現(xiàn)象的更好模擬：根據(jù)物理定律，蛙跳中的兩對渦管將永不融和，而NFM的兩個渦管在完成5次蛙跳后仍然保持分離，對比的方法至多在3次之后就完全融和。

最后，文章還通過一系列算例（如固體交互，瑞利泰勒不穩(wěn)定性，渦管重連等）展示了NFM在創(chuàng)作復(fù)雜視覺效果上的優(yōu)越性。

在這個層面上值得注意的是，盡管都是利用AI賦予流體更多的細節(jié)，現(xiàn)有的AI超分辨率算法只能提升畫面細節(jié)，但NFM卻突破性地以物理的方式提升了動力學(xué)細節(jié)，從而根本性地提高了流體模擬的真實度。

項目鏈接：https://yitongdeng-projects.github.io/neural_flow_maps_webpage/