今天給大家介紹一篇ICML 2025的時間序列預(yù)測工作，提出了一個輕量級、兼容不同類型數(shù)據(jù)的周期性差異的時間序列基礎(chǔ)模型，在Zero-shot learning、Full-shot learning等場景中都取得了顯著效果提升。

論文標(biāo)題：LightGTS: A Lightweight General Time Series Forecasting Model

下載地址：??https://arxiv.org/pdf/2506.06005??

1.研究背景

時間序列基礎(chǔ)模型希望構(gòu)建類似LLM的時序領(lǐng)域通用模型，在大量多樣性的數(shù)據(jù)集上預(yù)訓(xùn)練，訓(xùn)練好的模型在下游進(jìn)行應(yīng)用。

現(xiàn)有的時間序列基礎(chǔ)模型往往存在2個問題。第一個是結(jié)構(gòu)復(fù)雜，參數(shù)量大，在下游的應(yīng)用中存在資源瓶頸。第二個是也是本文要主要解決問題是，時序基礎(chǔ)模型需要在多樣化的數(shù)據(jù)上訓(xùn)練，然而不同時間序列數(shù)據(jù)的周期性不同，現(xiàn)有的統(tǒng)一建模方法會忽略這種數(shù)據(jù)差異，影響了擬合效果。

為了解決上述問題，本文提出了一種能兼容不同數(shù)據(jù)周期性的時間序列基礎(chǔ)模型，不僅提升了模型在多種數(shù)據(jù)上的兼容能力，也顯著降低了模型的參數(shù)量。下圖是不同時序基礎(chǔ)模型的MSE和參數(shù)量對比，本文提出的模型MSE低切參數(shù)量也很小。

2.建模方法

本文的核心思路是，針對不同周期性的時間序列，使用不同長度的窗口進(jìn)行patch生成，從而使得每個patch內(nèi)都包含一個完整周期的信息。下圖對比了不同Embedding的方法，相比單點Embedding和Patch Embedding，本文的方法能夠保證單個patch的周期性信息是完整的。

整體的模型結(jié)構(gòu)如下圖所示，核心包括3個模塊：周期Token生成、自適應(yīng)Patch映射、Transformer結(jié)構(gòu)。下面展開介紹這3個模塊的實現(xiàn)方法。

周期Token生成相比一般的Patch Embedding生成方法，核心是讓每個patch能保留當(dāng)前數(shù)據(jù)的一個完整周期。對于每個輸入樣本，根據(jù)該樣本的采樣率，或者使用傅里葉變換等工具，獲取該樣本的周期長度，使用這個長度進(jìn)行不同樣本個性化的Patch劃分。

自適應(yīng)Patch映射的核心是為了適配不同Patch長度的映射。由于周期Token生成的引入，不同樣本的patch長度不一樣，采用統(tǒng)一的MLP映射成統(tǒng)一維度，會導(dǎo)致不同patch大小的樣本不兼容。文中的解決方法是，讓模型自動學(xué)習(xí)一個插值矩陣，并以某一個patch長度作為基準(zhǔn)，讓模型自動學(xué)習(xí)一個能夠最小化誤差的插值矩陣。公式如下，其中A是插值矩陣，theta是基準(zhǔn)patch的MLP參數(shù)，第一項為當(dāng)前樣本patch長度和基準(zhǔn)patch長度的比例的平方根。

在模型結(jié)構(gòu)上，基本沿用了Transformer Encoder-Decoder的結(jié)構(gòu)，Encoder對歷史序列編碼，Decoder基于Encoder的表征解碼。一個核心差異在于，Decoder部分的輸入使用Encoder最后一個時刻的表征。Encoder最后一個時刻的表征匯聚了所有歷史信息，并且歷史信息對于預(yù)測未來幫助很大，因此直接將這個表征平鋪到Decoder每個時刻的輸入中。同時，考慮到預(yù)測窗口越長，歷史信息的影響越弱，因此引入了一個根據(jù)位置衰減的權(quán)重，逐步減少Encoder最后一個表征對預(yù)測的影響。

3.實驗效果

下表是在zero-shot、full-shot等場景的實驗效果對比，本文提出的時序基礎(chǔ)模型取得了顯著的效果提升。

文中也對比了不同Embedding處理方法的case預(yù)測結(jié)果，本文提出的多周期patch劃分方法，讓每個patch保留完整周期信息，因此更加準(zhǔn)確的實現(xiàn)了周期性的預(yù)測。

本文轉(zhuǎn)載自???????圓圓的算法筆記???????，作者：Fareise