在實(shí)際應(yīng)用中，數(shù)據(jù)集的數(shù)據(jù)分布往往隨著時(shí)間而不斷變化，預(yù)測(cè)模型需要持續(xù)更新以保持準(zhǔn)確性。

時(shí)域泛化旨在預(yù)測(cè)未來(lái)數(shù)據(jù)分布，從而提前更新模型，使模型與數(shù)據(jù)同步變化。

然而，傳統(tǒng)方法假設(shè)領(lǐng)域數(shù)據(jù)在固定時(shí)間間隔內(nèi)收集，忽視了現(xiàn)實(shí)任務(wù)中數(shù)據(jù)集采集的隨機(jī)性和不定時(shí)性，無(wú)法應(yīng)對(duì)數(shù)據(jù)分布在連續(xù)時(shí)間上的變化。

此外，傳統(tǒng)方法也難以保證泛化過(guò)程在整個(gè)時(shí)間流中保持穩(wěn)定和可控。

為此，研究人員提出了連續(xù)時(shí)域泛化任務(wù)，并設(shè)計(jì)了一個(gè)基于模型動(dòng)態(tài)系統(tǒng)的時(shí)域泛化框架Koodos，使得模型在連續(xù)時(shí)間中與數(shù)據(jù)分布的變化始終保持協(xié)調(diào)一致。

下圖展示了模型在領(lǐng)域數(shù)據(jù)隨時(shí)間發(fā)生旋轉(zhuǎn)和膨脹時(shí)的泛化表現(xiàn)。通過(guò)在一些隨機(jī)時(shí)間點(diǎn)（藍(lán)色標(biāo)記點(diǎn)）的觀測(cè)，模型可以在任意時(shí)刻生成適用的神經(jīng)網(wǎng)絡(luò)，其決策邊界始終與數(shù)據(jù)分布保持協(xié)調(diào)一致。

圖片

Koodos通過(guò)庫(kù)普曼算子將模型的復(fù)雜非線性動(dòng)態(tài)轉(zhuǎn)化為可學(xué)習(xí)的連續(xù)動(dòng)態(tài)系統(tǒng)，同時(shí)利用先驗(yàn)知識(shí)以確保泛化過(guò)程的穩(wěn)定性和可控性。實(shí)驗(yàn)表明，Koodos顯著超越現(xiàn)有方法，為時(shí)域泛化開(kāi)辟了全新的研究方向。

圖片

論文鏈接：https://arxiv.org/pdf/2405.16075

開(kāi)源代碼：https://github.com/Zekun-Cai/Koodos/

逐步教程：https://github.com/Zekun-Cai/Koodos/blob/main/Tutorial_for_Koodos.ipynb

研究人員在代碼庫(kù)中提供了詳細(xì)的逐步教程，涵蓋了Koodos的實(shí)現(xiàn)、核心概念的解讀以及可視化演示。整個(gè)教程流程緊湊，十分鐘即可快使掌握Koodos的使用方法，力薦嘗試！

研究背景

在實(shí)際應(yīng)用中，訓(xùn)練數(shù)據(jù)的分布通常與測(cè)試數(shù)據(jù)不同，導(dǎo)致模型在訓(xùn)練環(huán)境之外的泛化能力受限。領(lǐng)域泛化（Domain Generalization, DG）作為一種重要的機(jī)器學(xué)習(xí)策略，旨在學(xué)習(xí)一個(gè)能夠在未見(jiàn)目標(biāo)領(lǐng)域中也保持良好表現(xiàn)的模型。

近年來(lái)研究人員發(fā)現(xiàn)，在動(dòng)態(tài)環(huán)境中，領(lǐng)域數(shù)據(jù)（Domain Data）分布往往具有顯著的時(shí)間依賴(lài)性，這促使了時(shí)域泛化（Temporal Domain Generalization, TDG）技術(shù)的快速發(fā)展。

時(shí)域泛化將多個(gè)領(lǐng)域視為一個(gè)時(shí)間序列而非一組獨(dú)立的靜態(tài)個(gè)體，利用歷史領(lǐng)域預(yù)測(cè)未來(lái)領(lǐng)域，從而實(shí)現(xiàn)對(duì)模型參數(shù)的提前調(diào)整，顯著提升了傳統(tǒng)DG方法的效果。

然而，現(xiàn)有的時(shí)域泛化研究集中在「離散時(shí)間域」假設(shè)下，即假設(shè)領(lǐng)域數(shù)據(jù)在固定時(shí)間間隔（如逐周或逐年）收集。

基于這一假設(shè)，概率模型被用于預(yù)測(cè)時(shí)域演變，例如通過(guò)隱變量模型生成未來(lái)數(shù)據(jù)，或利用序列模型（如LSTM）預(yù)測(cè)未來(lái)的模型參數(shù)。然而在現(xiàn)實(shí)中，領(lǐng)域數(shù)據(jù)的觀測(cè)并不總是在離散、規(guī)律的時(shí)間點(diǎn)上，而是隨機(jī)且稀疏地分布在連續(xù)時(shí)間軸上。

例如，圖1展示了一個(gè)典型的例子——基于推文數(shù)據(jù)進(jìn)行社交媒體輿情預(yù)測(cè)。與傳統(tǒng)TDG假設(shè)的領(lǐng)域在時(shí)間軸上規(guī)律分布不同，實(shí)際中只能在特定事件（如總統(tǒng)辯論）發(fā)生時(shí)獲得一個(gè)域，而這些事件的發(fā)生時(shí)間并不固定。

同時(shí)，概念漂移（Concept Drift）在時(shí)間軸上發(fā)生，即領(lǐng)域數(shù)據(jù)分布隨著時(shí)間不斷演變：如活躍用戶增加、新交互行為形成、年齡與性別分布變化等。理想情況下，每個(gè)時(shí)態(tài)域?qū)?yīng)的預(yù)測(cè)模型也應(yīng)隨時(shí)間逐漸調(diào)整，以應(yīng)對(duì)這種概念漂移。

最后，由于未來(lái)的域采集時(shí)間未知，預(yù)測(cè)模型需要泛化到連續(xù)時(shí)間的任意時(shí)刻。

圖片

 圖1：連續(xù)時(shí)域泛化示意圖。圖中展示了通過(guò)推文訓(xùn)練分類(lèi)模型進(jìn)行輿情預(yù)測(cè)。其中訓(xùn)練域僅能在特定政治事件（如總統(tǒng)辯論）前后采集。研究人員的目標(biāo)是通過(guò)這些不規(guī)律時(shí)間分布的訓(xùn)練域來(lái)捕捉分布漂移，最終使模型能夠推廣到任意未來(lái)時(shí)刻

事實(shí)上，領(lǐng)域分布在連續(xù)時(shí)間上的場(chǎng)景十分常見(jiàn)，例如：

1. 事件驅(qū)動(dòng)的數(shù)據(jù)采集：僅在特定事件發(fā)生時(shí)采集領(lǐng)域數(shù)據(jù)，事件之間沒(méi)有數(shù)據(jù)。

2. 流數(shù)據(jù)的隨機(jī)觀測(cè)：領(lǐng)域數(shù)據(jù)在數(shù)據(jù)流的任意時(shí)間點(diǎn)開(kāi)始或結(jié)束采集，而非持續(xù)進(jìn)行。

3. 離散時(shí)態(tài)域但缺失：盡管領(lǐng)域數(shù)據(jù)基于離散時(shí)間點(diǎn)采集，但部分時(shí)間節(jié)點(diǎn)的領(lǐng)域數(shù)據(jù)缺失。

為了應(yīng)對(duì)這些場(chǎng)景中的模型泛化，研究人員提出了「連續(xù)時(shí)域泛化」（Continuous Temporal Domain Generalization, CTDG）任務(wù)，其中觀測(cè)和未觀測(cè)的領(lǐng)域均分布于連續(xù)時(shí)間軸上隨機(jī)的時(shí)間點(diǎn)。

CTDG關(guān)注于如何表征時(shí)態(tài)領(lǐng)域的連續(xù)動(dòng)態(tài)，使得模型能夠在任意時(shí)間點(diǎn)實(shí)現(xiàn)穩(wěn)定、適應(yīng)性的調(diào)整，從而完成泛化預(yù)測(cè)。

核心挑戰(zhàn)

CTDG任務(wù)的挑戰(zhàn)遠(yuǎn)超傳統(tǒng)的TDG方法。CTDG不僅需要處理不規(guī)律時(shí)間分布的訓(xùn)練域，還能夠讓模型泛化到任意時(shí)刻，即要求在連續(xù)時(shí)間的每個(gè)點(diǎn)上都能精確描述模型狀態(tài)。

而TDG方法則僅關(guān)注未來(lái)的單步泛化：在觀測(cè)點(diǎn)優(yōu)化出當(dāng)前模型狀態(tài)后，只需將其外推一步即可。

該特性使得CTDG區(qū)別于TDG任務(wù)：CTDG的關(guān)鍵在于如何在連續(xù)時(shí)間軸上同步數(shù)據(jù)分布和模型參數(shù)的動(dòng)態(tài)演變，而不是僅局限于未來(lái)某一特定時(shí)刻的模型表現(xiàn)。

具體而言，與TDG任務(wù)相比，CTDG的復(fù)雜性主要來(lái)自以下幾個(gè)尚未被充分探索的核心挑戰(zhàn)：

1. 如何建模數(shù)據(jù)動(dòng)態(tài)并同步模型動(dòng)態(tài)

CTDG要求在連續(xù)時(shí)間軸上捕捉領(lǐng)域數(shù)據(jù)的動(dòng)態(tài)，并據(jù)此同步調(diào)整模型狀態(tài)。然而，數(shù)據(jù)動(dòng)態(tài)本身難以直接觀測(cè)，需要通過(guò)觀測(cè)時(shí)間點(diǎn)來(lái)學(xué)習(xí)。此外，模型動(dòng)態(tài)的演變過(guò)程也同樣復(fù)雜。理解數(shù)據(jù)演變?nèi)绾悟?qū)動(dòng)模型演變構(gòu)成了CTDG的首要挑戰(zhàn)。

2. 如何在高度非線性模型動(dòng)態(tài)中捕捉主動(dòng)態(tài)

領(lǐng)域數(shù)據(jù)的預(yù)測(cè)模型通常依賴(lài)過(guò)參數(shù)化（over-parametrized）的深度神經(jīng)網(wǎng)絡(luò)，模型動(dòng)態(tài)因此呈現(xiàn)出高維、非線性的復(fù)雜特征，導(dǎo)致模型的主動(dòng)態(tài)嵌藏在大量潛在維度中。如何有效提取并將這些主動(dòng)態(tài)映射到可學(xué)習(xí)的空間，是CTDG任務(wù)中的另一重大挑戰(zhàn)。

3. 如何確保長(zhǎng)期泛化的穩(wěn)定性和可控性

為實(shí)現(xiàn)未來(lái)任意時(shí)刻的泛化，CTDG必須確保模型的長(zhǎng)期穩(wěn)定性。此外，在許多情況下，用戶可能擁有數(shù)據(jù)動(dòng)態(tài)的高層次先驗(yàn)知識(shí)。如何將這些先驗(yàn)知識(shí)嵌入CTDG的優(yōu)化過(guò)程中，進(jìn)而提升泛化的穩(wěn)定性和可控性，是一個(gè)重要的開(kāi)放性問(wèn)題。

技術(shù)方法

問(wèn)題定義

在CTDG中，一個(gè)域D(t)表示在時(shí)間t采集的數(shù)據(jù)集，由實(shí)例集組成，其中和N(t)分別為特征值，目標(biāo)值和實(shí)例數(shù)。

研究重點(diǎn)關(guān)注連續(xù)時(shí)間上的漸進(jìn)性概念漂移，表示為領(lǐng)域數(shù)據(jù)的條件概率分布P(Y(t)|X(t))隨時(shí)間平滑變化。

在訓(xùn)練階段，模型接收一系列在不規(guī)律時(shí)間點(diǎn)T={t1,t2,…,tT}上收集的觀測(cè)域{D(t1),D(t2),…,D(tT)}，其中每個(gè)時(shí)間點(diǎn)ti∈T是定義在連續(xù)時(shí)間軸R+上的實(shí)數(shù)，且滿足t1<t2<…<tT

在每個(gè)ti∈T上，模型學(xué)習(xí)到領(lǐng)域數(shù)據(jù)D(ti)的預(yù)測(cè)函數(shù)g(?;θ(ti))，其中θ(ti)表示ti時(shí)刻的模型參數(shù)；CTDG的目標(biāo)是建模參數(shù)的動(dòng)態(tài)變化，以便在任意給定時(shí)刻s?T上預(yù)測(cè)模型參數(shù)θ(s)，從而得到泛化模型g(?;θ(s))。

在后續(xù)部分中，使用簡(jiǎn)寫(xiě)符號(hào)Di、Xi、Yi和θi，分別表示在時(shí)間ti上的D(ti)、X(ti)、Y(ti)和θ(ti)

設(shè)計(jì)思路

該方法通過(guò)模型與數(shù)據(jù)的同步、動(dòng)態(tài)簡(jiǎn)化表示，以及高效的聯(lián)合優(yōu)化展開(kāi)。具體思路如下：

1. 同步數(shù)據(jù)和模型的動(dòng)態(tài)

研究人員證明了連續(xù)時(shí)域中模型參數(shù)的連續(xù)性，而后借助神經(jīng)微分方程（Neural ODE）建立模型動(dòng)態(tài)系統(tǒng)，從而實(shí)現(xiàn)模型動(dòng)態(tài)與數(shù)據(jù)動(dòng)態(tài)的同步。

2. 表征高維動(dòng)態(tài)到低維空間

將高維模型參數(shù)映射到一個(gè)結(jié)構(gòu)化的庫(kù)普曼空間（Koopman Space）中。該空間通過(guò)可學(xué)習(xí)的低維線性動(dòng)態(tài)來(lái)捕捉模型的主要?jiǎng)討B(tài)。

3. 聯(lián)合優(yōu)化模型與其動(dòng)態(tài)

將單個(gè)領(lǐng)域的模型學(xué)習(xí)與各時(shí)間點(diǎn)上的連續(xù)動(dòng)態(tài)進(jìn)行聯(lián)合優(yōu)化，并設(shè)計(jì)了歸納偏置的約束接口，通過(guò)端到端優(yōu)化保證泛化的穩(wěn)定性和可控性。

解決方案

Step 1. 數(shù)據(jù)動(dòng)態(tài)建模與模型動(dòng)態(tài)同步

1. 分布變化的連續(xù)性假設(shè)

首先假設(shè)數(shù)據(jù)分布在時(shí)間上具有連續(xù)演化的特性，即條件概率分布Pt(Y|X)隨時(shí)間平滑變化，其演化規(guī)律可由一個(gè)函數(shù)f所描述的動(dòng)態(tài)系統(tǒng)刻畫(huà)。

盡管真實(shí)世界中的漸進(jìn)概念漂移可能較為復(fù)雜，但因概念漂移通常源于底層的連續(xù)過(guò)程（如自然、生物、物理、社會(huì)或經(jīng)濟(jì)因素），這一假設(shè)不失普適性。

2. 分布變化引發(fā)的模型參數(shù)連續(xù)演化

基于上述假設(shè)，模型的函數(shù)功能空間g(?;θt)應(yīng)隨數(shù)據(jù)分布變化同步調(diào)整。

借助常微分方程來(lái)描述這一過(guò)程：

由此可推導(dǎo)出模型參數(shù)θt的演化滿足：

其中，Jg(θt)是g對(duì)θt的雅可比矩陣。

這一結(jié)果表明，如果數(shù)據(jù)分布的演化在時(shí)間上具有連續(xù)性，那么θt的演化過(guò)程也具有連續(xù)性，即模型參數(shù)會(huì)隨數(shù)據(jù)分布的變化而平滑調(diào)整。上式為θt建立了一個(gè)由微分方程描述的模型動(dòng)態(tài)系統(tǒng)。

3、模型動(dòng)態(tài)系統(tǒng)學(xué)習(xí)

由于數(shù)據(jù)動(dòng)態(tài)f的具體形式未知，直接求解上述微分方程并不可行。為此，引入一個(gè)由神經(jīng)網(wǎng)絡(luò)定義的連續(xù)動(dòng)態(tài)系統(tǒng)，用可學(xué)習(xí)的函數(shù)h(θt,t;?)描述模型參數(shù)θt的變化。通過(guò)鼓勵(lì)模型動(dòng)態(tài)和數(shù)據(jù)動(dòng)態(tài)之間的拓?fù)涔曹棧═opological Conjugation）關(guān)系使h逼近真實(shí)動(dòng)態(tài)。

具體而言，拓?fù)涔曹椧笸ㄟ^(guò)泛化獲得的模型參數(shù)與直接訓(xùn)練得到的參數(shù)保持一致。為此，設(shè)定以下優(yōu)化目標(biāo)，以學(xué)習(xí)h的參數(shù)?：

其中，θi通過(guò)在時(shí)刻ti的領(lǐng)域上直接訓(xùn)練獲得，則表示從時(shí)間tj通過(guò)動(dòng)態(tài)h演變至ti的泛化參數(shù)：

通過(guò)這一優(yōu)化過(guò)程，可以建立模型動(dòng)態(tài)與數(shù)據(jù)動(dòng)態(tài)之間的同步機(jī)制；借助動(dòng)態(tài)函數(shù)h，可以在任意時(shí)刻精確求解模型的狀態(tài)。

Step 2. 通過(guò)庫(kù)普曼算子簡(jiǎn)化模型動(dòng)態(tài)

非線性動(dòng)態(tài)線性化

在實(shí)際任務(wù)中，預(yù)測(cè)模型通常依賴(lài)于過(guò)參數(shù)化的深度神經(jīng)網(wǎng)絡(luò)，使得模型動(dòng)態(tài)h呈現(xiàn)為在高維空間中糾纏的非線性動(dòng)態(tài)。直接對(duì)h建模不僅計(jì)算量大，且極易導(dǎo)致泛化不穩(wěn)定。

然而，h受數(shù)據(jù)動(dòng)態(tài)f的支配，而數(shù)據(jù)動(dòng)態(tài)通常是簡(jiǎn)單、可預(yù)測(cè)的。這意味著在過(guò)參數(shù)化空間中，模型的主動(dòng)態(tài)（Principal Dynamics）可以在適當(dāng)轉(zhuǎn)換的空間內(nèi)進(jìn)行更易于管理的表示。

受此驅(qū)動(dòng)，研究人員引入庫(kù)普曼理論（Koopman Theory）來(lái)簡(jiǎn)化復(fù)雜的模型動(dòng)態(tài)。庫(kù)普曼理論在保持動(dòng)態(tài)系統(tǒng)特征的同時(shí)將復(fù)雜的非線性動(dòng)態(tài)線性化。

具體而言，定義一個(gè)庫(kù)普曼嵌入函數(shù)?，將原始的高維參數(shù)空間映射到一個(gè)低維的庫(kù)普曼空間中：

其中，z表示庫(kù)普曼空間中的低維表示。通過(guò)庫(kù)普曼算子K，可以在線性空間中刻畫(huà)z的動(dòng)態(tài)：

一旦獲得了簡(jiǎn)化的動(dòng)態(tài)表示，可以在庫(kù)普曼空間中更新模型參數(shù)，而后將其反映射回原始參數(shù)空間：

最終，通過(guò)庫(kù)普曼算子的引入，實(shí)現(xiàn)了對(duì)模型動(dòng)態(tài)的簡(jiǎn)化，保證了泛化過(guò)程的穩(wěn)健性。

Step 3. 聯(lián)合優(yōu)化與先驗(yàn)知識(shí)結(jié)合

模型及其動(dòng)力學(xué)的聯(lián)合優(yōu)化

研究人員對(duì)多個(gè)組件同時(shí)施加約束確保模型能穩(wěn)定泛化，其包含以下關(guān)鍵項(xiàng)：

1. 預(yù)測(cè)準(zhǔn)確性：通過(guò)最小化預(yù)測(cè)誤差，使預(yù)測(cè)模型在每個(gè)觀測(cè)時(shí)間點(diǎn)都能準(zhǔn)確預(yù)測(cè)實(shí)際數(shù)據(jù)。

2. 泛化準(zhǔn)確性：通過(guò)最小化預(yù)測(cè)誤差，使泛化模型在每個(gè)觀測(cè)時(shí)間點(diǎn)都能準(zhǔn)確預(yù)測(cè)實(shí)際數(shù)據(jù)。

3. 重構(gòu)一致性：確保模型參數(shù)在原始空間與庫(kù)普曼空間之間的轉(zhuǎn)換具有一致性。

4. 動(dòng)態(tài)保真性：約束庫(kù)普曼空間的動(dòng)態(tài)行為，使得映射后的空間符合預(yù)期的動(dòng)態(tài)系統(tǒng)特征。

5. 參數(shù)一致性：確保泛化模型參數(shù)映射回原始空間后與預(yù)測(cè)模型參數(shù)保持一致。

利用庫(kù)普曼算子評(píng)估和控制泛化過(guò)程

引入庫(kù)普曼理論的另一優(yōu)勢(shì)在于，可以通過(guò)庫(kù)普曼算子的譜特性來(lái)評(píng)估模型的長(zhǎng)期穩(wěn)定性。此外，還可以在庫(kù)普曼算子中施加約束來(lái)控制模型的動(dòng)態(tài)行為。

- 系統(tǒng)穩(wěn)定性評(píng)估

通過(guò)觀察庫(kù)普曼算子的特征值，可以判斷系統(tǒng)是否穩(wěn)定：

1、若所有特征值實(shí)部為負(fù)，系統(tǒng)會(huì)穩(wěn)定地趨向于一個(gè)平衡狀態(tài)。

2、若存在特征值實(shí)部為正，系統(tǒng)將變得不穩(wěn)定，模型在未來(lái)可能會(huì)崩塌。

3、若特征值實(shí)部為零，系統(tǒng)可能表現(xiàn)出周期性行為。通過(guò)分析這些特征值的分布，可以預(yù)測(cè)系統(tǒng)的長(zhǎng)期行為，識(shí)別模型在未來(lái)是否可能出現(xiàn)崩潰的風(fēng)險(xiǎn)。

- 泛化過(guò)程約束

可以通過(guò)對(duì)庫(kù)普曼算子施加顯式約束來(lái)調(diào)控模型的動(dòng)態(tài)行為。例如：

1. 周期性約束：當(dāng)數(shù)據(jù)動(dòng)態(tài)為周期性時(shí)，可將庫(kù)普曼算子K設(shè)為反對(duì)稱(chēng)矩陣，使其特征值為純虛數(shù)，從而使模型表現(xiàn)出周期性行為。

2. 低秩近似：將K表示為低秩矩陣，有助于控制模型的自由度，避免過(guò)擬合到次要信息。

通過(guò)這些手段，不僅提高了泛化的長(zhǎng)期穩(wěn)定性，還增強(qiáng)了模型在特定任務(wù)中的可控性。

實(shí)驗(yàn)

實(shí)驗(yàn)設(shè)置

為驗(yàn)證算法效果，研究人員使用了合成數(shù)據(jù)集和多種真實(shí)世界場(chǎng)景的數(shù)據(jù)集：

合成數(shù)據(jù)集

包括Rotated 2-Moons和Rotated MNIST數(shù)據(jù)集，通過(guò)在連續(xù)時(shí)間區(qū)間內(nèi)隨機(jī)生成時(shí)間戳，并對(duì)Moons和MNIST數(shù)據(jù)按時(shí)間戳逐步旋轉(zhuǎn)生成連續(xù)時(shí)域。

真實(shí)世界數(shù)據(jù)集

1. 事件驅(qū)動(dòng)數(shù)據(jù)集Cyclone：基于熱帶氣旋的衛(wèi)星圖像預(yù)測(cè)風(fēng)力強(qiáng)度，氣旋發(fā)生日期對(duì)應(yīng)連續(xù)時(shí)域。 

2. 流數(shù)據(jù)集Twitter和House：分別從任意時(shí)間段抽取推文和房?jī)r(jià)數(shù)據(jù)流構(gòu)成一個(gè)領(lǐng)域，多次隨機(jī)抽取形成連續(xù)時(shí)域。 

3. 不規(guī)則離散數(shù)據(jù)集Yearbook：人像圖片預(yù)測(cè)性別，從84年中隨機(jī)抽取40年數(shù)據(jù)作為連續(xù)時(shí)域。

實(shí)驗(yàn)結(jié)果與分析

定量分析

研究人員首先對(duì)比了Koodos方法與各基線方法的定量性能。

圖片

表1顯示，Koodos方法在所有數(shù)據(jù)集上展現(xiàn)了顯著的性能提升。在合成數(shù)據(jù)集上，Koodos能夠輕松應(yīng)對(duì)持續(xù)的概念漂移，而所有基線方法在這種場(chǎng)景下全部失效。

在真實(shí)世界數(shù)據(jù)集上，盡管某些基線方法（如CIDA、DRAIN和DeepODE）在少數(shù)場(chǎng)景中略有表現(xiàn)，但其相較于簡(jiǎn)單方法（如Offline）的改進(jìn)非常有限。

相比之下，Koodos顯著優(yōu)于所有現(xiàn)有方法，彰顯出在時(shí)域泛化任務(wù)中考慮分布連續(xù)變化的關(guān)鍵作用。 

定性分析

1. 決策邊界

為直觀展示泛化效果，研究人員在Rotated 2-Moons數(shù)據(jù)集上進(jìn)行了決策邊界的可視化。

該任務(wù)具有極高難度：模型需在0到35秒左右的35個(gè)連續(xù)時(shí)域上訓(xùn)練，隨后泛化到不規(guī)律分布在35到50秒的15個(gè)測(cè)試域。而現(xiàn)有方法通常只能泛化至未來(lái)的一個(gè)時(shí)域（T+1），且難以處理不規(guī)律的時(shí)間分布。

圖2：2-Moons數(shù)據(jù)集決策邊界的可視化（紫色和黃色表示數(shù)據(jù)區(qū)域，紅線表示決策邊界）。從上到下比較了兩種基線方法和Koodos；從左到右顯示了部分測(cè)試域（15選7，所有測(cè)試域的分布在時(shí)間軸上用紅點(diǎn)標(biāo)記）。

圖2從15個(gè)測(cè)試域中選取了7個(gè)進(jìn)行可視化。

結(jié)果清晰地表明，基線方法在應(yīng)對(duì)連續(xù)時(shí)域的動(dòng)態(tài)變化時(shí)表現(xiàn)不足。隨著時(shí)間推進(jìn)，決策邊界逐漸偏離理想狀態(tài)。尤其是最新的DRAIN方法（ICLR23）在多步泛化任務(wù)中明顯失效。

相比之下，Koodos在所有測(cè)試域上展現(xiàn)出卓越的泛化能力，始終保持清晰、準(zhǔn)確的決策邊界，與實(shí)際數(shù)據(jù)分布變化高度同步。這一效果突顯了Koodos在時(shí)域泛化任務(wù)中的革命性優(yōu)勢(shì)。 

2. 模型演變軌跡

為更深入地分析模型的泛化能力，通過(guò)t-SNE降維，將不同方法的模型參數(shù)的演變過(guò)程（Model Evolution Trajectory）在隱空間中可視化（圖3）。

圖3：模型狀態(tài)在隱空間中的時(shí)空軌跡。Koodos展現(xiàn)出與數(shù)據(jù)動(dòng)態(tài)和諧同步的模型動(dòng)態(tài)

可以看出，Koodos的軌跡呈現(xiàn)出平滑而有規(guī)律的螺旋式上升路徑，從訓(xùn)練域平滑延伸至測(cè)試域。

這一軌跡表明，Koodos能夠在隱空間中有效捕捉數(shù)據(jù)分布的連續(xù)變化，并隨時(shí)間自然地?cái)U(kuò)展泛化。相比之下，基線模型的軌跡在隱空間中缺乏清晰結(jié)構(gòu)，隨著時(shí)間推移，逐漸出現(xiàn)明顯的偏離，未能形成一致的動(dòng)態(tài)模式。 

時(shí)域泛化的分析與控制

在Koodos模型中，庫(kù)普曼算子為分析模型動(dòng)態(tài)提供了有效手段。

對(duì)Koodos在2-Moons數(shù)據(jù)集上分析表明，庫(kù)普曼算子的特征值在復(fù)平面上分布在穩(wěn)定區(qū)和不穩(wěn)定區(qū)，這意味著Koodos在中短期內(nèi)能穩(wěn)定泛化，但在極長(zhǎng)時(shí)間的預(yù)測(cè)上將會(huì)逐漸失去穩(wěn)定性，偏離預(yù)期路徑（圖4b）。

為提升模型的穩(wěn)定性，研究人員通過(guò)將庫(kù)普曼算子配置為反對(duì)稱(chēng)矩陣（即Koodos+版本），確保所有特征值為純虛數(shù)，使模型具有周期性穩(wěn)定特性。

在這一配置下，Koodos+展現(xiàn)出高度一致的軌跡，即使在長(zhǎng)時(shí)間外推過(guò)程中依然保持穩(wěn)定和準(zhǔn)確，證明了引入先驗(yàn)知識(shí)對(duì)增強(qiáng)模型穩(wěn)健性的效果（圖4c）。

圖片

圖4：非受控和受控條件下的極長(zhǎng)期泛化預(yù)測(cè)模型軌跡。a：部分訓(xùn)練域數(shù)據(jù)；b：不受控，模型最終偏離預(yù)期；c：受控，模型始終穩(wěn)定且準(zhǔn)確。

結(jié)論

研究人員設(shè)計(jì)了一種基于模型連續(xù)動(dòng)態(tài)系統(tǒng)的時(shí)域泛化方法，能夠在數(shù)據(jù)域隨時(shí)間逐漸演變的環(huán)境中，實(shí)現(xiàn)泛化模型的穩(wěn)定性與可控性，未來(lái)還計(jì)劃從多個(gè)方向進(jìn)一步拓展這一技術(shù)的應(yīng)用：

1. 生成式模型擴(kuò)展：時(shí)域泛化與生成式模型任務(wù)有天然的關(guān)聯(lián)，Koodos所具備的泛化能力能夠?yàn)樯窠?jīng)網(wǎng)絡(luò)生成技術(shù)帶來(lái)新的可能。

2. 非時(shí)態(tài)泛化任務(wù)：Koodos的應(yīng)用并不局限于時(shí)域泛化，也可以適用于其他分布變化的任務(wù)中，研究人員計(jì)劃探索其在非時(shí)態(tài)領(lǐng)域的應(yīng)用。

3. 大模型集成：將探索時(shí)域泛化在大模型中的集成，幫助LLM在復(fù)雜多變的分布中保持魯棒性和穩(wěn)定性。

參考資料：https://github.com/Zekun-Cai/Koodos/