人大高瓴人工智能學(xué)院孫浩團(tuán)隊(duì)Nature子刊發(fā)文：AI走進(jìn)工程應(yīng)用，數(shù)據(jù)驅(qū)動(dòng)多學(xué)科復(fù)雜系統(tǒng)
眾所周知，大到宇宙天體運(yùn)動(dòng)、大氣動(dòng)力演化，小到細(xì)胞群、分子運(yùn)動(dòng)，復(fù)雜物理系統(tǒng)都滿足著某種特定的規(guī)律。
作為精美的科學(xué)符號(hào)語(yǔ)言，數(shù)學(xué)方程可以用于準(zhǔn)確描述這些復(fù)雜的現(xiàn)象，如開普勒行星運(yùn)動(dòng)定律、牛頓運(yùn)動(dòng)定律和納維葉—斯托克斯方程（Navier-Stokes equations）等，它們都可以用一系列經(jīng)典的微分方程來(lái)表達(dá)。
然而，在實(shí)際應(yīng)用中，不少測(cè)量數(shù)據(jù)具有 “小樣本、高維度、稀疏、噪聲大” 等特征，這導(dǎo)致現(xiàn)有的提取偏微分方程的方法不再適用。
為此，中國(guó)人民大學(xué)高瓴人工智能學(xué)院長(zhǎng)聘副教授孫浩帶領(lǐng)其團(tuán)隊(duì)提出了一種新穎的“物理驅(qū)動(dòng)深度學(xué)習(xí)+稀疏回歸”（Physics-informed Neural Network with Sparse Regression，簡(jiǎn)稱 PINN-SR）方法。該方法基于 “小樣本稀疏噪聲”測(cè)量數(shù)據(jù)，可準(zhǔn)確提取出復(fù)雜系統(tǒng)的控制方程，這種控制方程又被稱為時(shí)空偏微分方程簡(jiǎn)明解析式。
相關(guān)論文以《從稀缺數(shù)據(jù)中學(xué)習(xí)控制方程的物理學(xué)知識(shí)》（Physics-informed learning of governing equations from scarce data）為題發(fā)表在 Nature Communications ，第一作者為陳釗，美國(guó)東北大學(xué)機(jī)械與工業(yè)工程系助理教授、博導(dǎo)劉揚(yáng)為共同通訊作者[1]。
圖 | 相關(guān)論文（來(lái)源：Nature Communications）
在工程應(yīng)用的研究中，科學(xué)家們通常依賴于完全已知的控制方程，對(duì)常規(guī)的物理系統(tǒng)進(jìn)行建模與仿真。而推導(dǎo)系統(tǒng)狀態(tài)控制方程的傳統(tǒng)方法主要為利用守恒定律、現(xiàn)象觀測(cè)與猜想，可能不適用一些復(fù)雜物理系統(tǒng)。
多元化的測(cè)量數(shù)據(jù)和深度學(xué)習(xí)的發(fā)展，為解決這一難題帶來(lái)了新思路。研究者們從數(shù)據(jù)角度進(jìn)行探索，可面向復(fù)雜物理系統(tǒng)構(gòu)造出物理可詮釋性的數(shù)據(jù)驅(qū)動(dòng)模型，這有助于推進(jìn)系統(tǒng)的建模與仿真，并加深人們對(duì)該類系統(tǒng)的認(rèn)識(shí)。
當(dāng)前，通用深度學(xué)習(xí)理論和技術(shù)存在一定的弊端，其雖然擁有強(qiáng)大的信息挖掘和表示能力，但主要依賴大量監(jiān)督數(shù)據(jù)，這樣得到的數(shù)據(jù)驅(qū)動(dòng)模型并不具備明確的物理含義，且外推和泛化能力普遍較弱，在面臨非理想化數(shù)據(jù)下的科學(xué)問(wèn)題時(shí)往往力不從心。
圖 | 孫浩（來(lái)源：孫浩）
孫浩表示，“現(xiàn)有提取偏微分方程的大多數(shù)方法基于稀疏回歸，利用數(shù)值方法求導(dǎo)數(shù)，因此局限于理想化的小噪聲或零噪聲、非稀疏結(jié)構(gòu)性的高質(zhì)量測(cè)量數(shù)據(jù)。”
因此，該團(tuán)隊(duì)首先構(gòu)建了一個(gè)深度神經(jīng)網(wǎng)絡(luò)，用來(lái)近似于偏微分方程，利用自動(dòng)微分得到導(dǎo)數(shù)解析表達(dá)，形成候選代數(shù)項(xiàng)文庫(kù)，進(jìn)而用來(lái)表達(dá)未知的偏微分控制方程；通過(guò)深度神經(jīng)網(wǎng)絡(luò)和偏微分方程的相互約束，形成整體單一型網(wǎng)絡(luò)結(jié)構(gòu)（one-network architecture）。
圖 | PINN-SR 框架的示意圖架構(gòu)（來(lái)源：Nature Communications）
由于訓(xùn)練參數(shù)具有異構(gòu)屬性，如深度神經(jīng)網(wǎng)絡(luò)參數(shù)是連續(xù)的、方程代數(shù)項(xiàng)系數(shù)是稀疏的等，會(huì)形成 NP-hard 優(yōu)化問(wèn)題，無(wú)法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行統(tǒng)一訓(xùn)練。
對(duì)此，該團(tuán)隊(duì)提出一種交替方向優(yōu)化（alternating direction optimization）的方法，將神經(jīng)網(wǎng)絡(luò)參數(shù)和方程代數(shù)項(xiàng)系數(shù)進(jìn)行交替迭代優(yōu)化，從而訓(xùn)練出具有外推能力的高質(zhì)量神經(jīng)網(wǎng)絡(luò)，用來(lái)近似系統(tǒng)響應(yīng)，進(jìn)而提供精確的導(dǎo)數(shù)估值，確保稀疏回歸識(shí)別方程系數(shù)的嚴(yán)格稀疏性。
圖 | 劉揚(yáng)（來(lái)源：劉揚(yáng)）
孫浩稱，對(duì)于一些未知的復(fù)雜非線性或混沌系統(tǒng)，用作描述其狀態(tài)和響應(yīng)的方程解析表達(dá)通常是未知的，如新材料的本構(gòu)關(guān)系、宏觀經(jīng)濟(jì)指標(biāo)演化規(guī)律、在特殊培養(yǎng)環(huán)境下細(xì)胞群運(yùn)動(dòng)規(guī)律、環(huán)境指標(biāo)的時(shí)空演化、極端天氣下的大氣動(dòng)力系統(tǒng)等等。
而該團(tuán)隊(duì)提出的方法，在解決這些挑戰(zhàn)性問(wèn)題上，有很大的應(yīng)用潛力， 一方面為進(jìn)一步仿真、了解、控制此類系統(tǒng)提供理論基礎(chǔ)，另一方面利用可詮釋性 AI 技術(shù)推動(dòng)了此類應(yīng)用學(xué)科的新發(fā)展。
目前，該團(tuán)隊(duì)提出的方法已成功應(yīng)用在各類物理及生物、化學(xué)系統(tǒng)，如流體、反應(yīng)擴(kuò)散系統(tǒng)、量子系統(tǒng)和細(xì)胞群體運(yùn)動(dòng)等。
審稿人認(rèn)為，該方法是一項(xiàng)重要的成果，能夠有效 解決 “從小樣本、高維度、稀疏、高噪聲測(cè)量數(shù)據(jù)中準(zhǔn)確提取偏微分方程” 這一挑戰(zhàn)性難題，并以實(shí)驗(yàn)充分證明了該方法具有較好的通用性，可用在各類復(fù)雜物理、化學(xué)、生物系統(tǒng)中。
目前，文章的第一作者陳釗在美國(guó)太平洋國(guó)家實(shí)驗(yàn)室做博士后。此前，他在美國(guó)東北大學(xué)取得博士學(xué)位，指導(dǎo)老師為孫浩教授。
圖 | 陳釗（來(lái)源：陳釗）
陳釗表示，寫這篇文章的過(guò)程中，在工作學(xué)習(xí)、生活?yuàn)蕵?lè)等方面發(fā)生了許多有意思的事情，讓人有 “work hard, play hard” 的感覺。在改進(jìn)算法、提升結(jié)果的時(shí)候，該團(tuán)隊(duì)經(jīng)常會(huì)集思廣益，“唇槍舌戰(zhàn)” 也不時(shí)發(fā)生過(guò)。而在課題構(gòu)思、算法設(shè)計(jì)和論文寫作等方面，團(tuán)隊(duì)的老師們都投入了巨大的精力，事無(wú)巨細(xì)給學(xué)生提供了很有針對(duì)性的指導(dǎo)，好像很多細(xì)節(jié)都在腦海中提前過(guò)了一遍一樣。
此外，陳釗稱，孫浩老師很善于文字表達(dá)和視覺設(shè)計(jì)，經(jīng)過(guò)他修改過(guò)的段落或圖片令人印象深刻，很值得學(xué)習(xí)。
