今天給大家介紹一篇浙大、中南、南洋理工、上交、北大等多所高校聯(lián)合提出的一種時(shí)間序列預(yù)測(cè)建模方法，針對(duì)目前時(shí)序預(yù)測(cè)直接預(yù)測(cè)方法沒(méi)有考慮到預(yù)測(cè)各個(gè)時(shí)間步關(guān)系的問(wèn)題，提出了在頻域中進(jìn)行預(yù)測(cè)的方法，可適配到各類時(shí)序SOTA模型中，取得了長(zhǎng)短周期時(shí)序預(yù)測(cè)的效果提升。

論文標(biāo)題：FREDF: LEARNING TO FORECAST IN FREQUENCY DOMAIN

下載地址：??https://arxiv.org/pdf/2402.02399??

開源代碼：??https://github.com/Master-PLC/FreDF??

1.背景

在天氣預(yù)報(bào)、工業(yè)維護(hù)等領(lǐng)域，準(zhǔn)確的時(shí)序預(yù)測(cè)可以幫助我們做出更好的決策和規(guī)劃。時(shí)間序列數(shù)據(jù)的自相關(guān)性——即不同時(shí)間點(diǎn)數(shù)據(jù)之間的相關(guān)性——為預(yù)測(cè)帶來(lái)了獨(dú)特的挑戰(zhàn)。這種自相關(guān)性既存在于多步輸入序列中，也存在于多步預(yù)測(cè)的標(biāo)簽序列中。

現(xiàn)有的時(shí)間序列預(yù)測(cè)方法主要關(guān)注輸入序列中的自相關(guān)性。為了建模自相關(guān)性，各種模型結(jié)構(gòu)(如RNN、CNN、GNN等)被相繼提出。但大多數(shù)方法卻忽略了一個(gè)關(guān)鍵方面：預(yù)測(cè)標(biāo)簽之間的自相關(guān)性：這種相關(guān)關(guān)系難以通過(guò)設(shè)計(jì)模型結(jié)構(gòu)來(lái)建模，需要對(duì)預(yù)測(cè)范式進(jìn)行特別設(shè)計(jì)。

特別是，時(shí)下流行的直接預(yù)測(cè)方法（Direct Forecast，DF），通過(guò)多任務(wù)方式一次性預(yù)測(cè)多步，以避免誤差累積，從而提升建模精度。然而本文證明：DF假設(shè)標(biāo)簽序列在給定輸入序列的條件下是條件獨(dú)立的，從而忽略了標(biāo)簽序列中的自相關(guān)性。

為了繞開標(biāo)簽序列在時(shí)域中的自相關(guān)性，本文提出將其投影到“自相關(guān)不顯著”的視圖中，再用DF對(duì)投影值做模型訓(xùn)練和預(yù)測(cè)。例如，把標(biāo)簽序列投影到頻域：，其中 是不同頻率上的頻譜分量。與時(shí)域中的自相關(guān) 不同，在頻域中，頻點(diǎn)1的頻譜分量對(duì)頻點(diǎn)2的頻譜分量沒(méi)有直接影響，從而對(duì)標(biāo)簽自相關(guān)性的影響進(jìn)行了抑制。

※和現(xiàn)有FFT-based工作的區(qū)別：在時(shí)間序列預(yù)測(cè)領(lǐng)域，已經(jīng)有了較多基于頻域?qū)W習(xí)的工作，例如AutoFormer、FedFormer、FreTS等。這些方法主要是通過(guò)設(shè)計(jì)模型結(jié)構(gòu)處理輸入序列中的自相關(guān)性。相對(duì)地，F(xiàn)reDF使用頻域變換優(yōu)化預(yù)測(cè)范式，處理標(biāo)簽序列中的自相關(guān)性（LA）；不涉及改變模型結(jié)構(gòu)以處理輸入序列中的自相關(guān)性。

2.標(biāo)簽序列中的自相關(guān)性

LA在時(shí)域的顯著性：在時(shí)間序列的生成過(guò)程中，當(dāng)前時(shí)刻的預(yù)測(cè)不僅與歷史數(shù)據(jù)有關(guān)，更與上一時(shí)刻的狀態(tài)有關(guān)。也就是說(shuō)：在給定歷史數(shù)據(jù)后，不同時(shí)間步之間的標(biāo)簽也應(yīng)該存在相關(guān)性（如藍(lán)色箭頭表示）。為驗(yàn)證這一假說(shuō)，使用DoubleML方法量化給定歷史數(shù)據(jù)后預(yù)測(cè)時(shí)間步之間的因果關(guān)系強(qiáng)度，結(jié)果說(shuō)明：LA在真實(shí)數(shù)據(jù)中是非常顯著的。

現(xiàn)有直接預(yù)測(cè)范式忽略了對(duì)LA的建模：直接預(yù)測(cè)（Direct Forecast，DF）范式使用一個(gè)多輸出頭同時(shí)預(yù)測(cè)未來(lái)多個(gè)時(shí)間步的標(biāo)簽值。然而，DF只是復(fù)用了一般的多任務(wù)學(xué)習(xí)方法，沒(méi)有考量標(biāo)簽之間的依存關(guān)系（LA）。特別是，即使標(biāo)簽之間沒(méi)有關(guān)聯(lián)，也可以使用上述損失函數(shù)訓(xùn)練一個(gè)多任務(wù)模型。在訓(xùn)練模型時(shí)，DF試圖最小化預(yù)測(cè)標(biāo)簽序列與真實(shí)標(biāo)簽序列之間的誤差；這假設(shè)了標(biāo)簽序列在不同時(shí)間步之間是條件獨(dú)立的，從而忽略了標(biāo)簽序列內(nèi)部各時(shí)間步之間的相關(guān)性（LA）。

LA在頻域的顯著性得到抑制：為了處理LA，是不是可以對(duì)標(biāo)簽序列進(jìn)行一定的變換，使得變換后序列的相關(guān)性得到抑制呢？對(duì)序列來(lái)說(shuō)，一個(gè)很自然的方法是傅里葉變換，將序列用時(shí)域轉(zhuǎn)換到頻域?yàn)轵?yàn)證這一假說(shuō)，圖1（c-d）量化了給定歷史數(shù)據(jù)后頻域點(diǎn)之間的因果關(guān)系強(qiáng)度，發(fā)現(xiàn)不同頻點(diǎn)上的頻譜分量基本沒(méi)有相關(guān)性。所以，將標(biāo)簽序列變換到頻域可以有效抑制LA。

論文中進(jìn)一步提供了在3個(gè)額外真實(shí)數(shù)據(jù)的驗(yàn)證，實(shí)驗(yàn)結(jié)果均展現(xiàn)出類似性質(zhì)。

3.FreDF模型結(jié)構(gòu)

FreDF 的核心思想是將預(yù)測(cè)任務(wù)從時(shí)域轉(zhuǎn)換到頻域。之前的驗(yàn)證表明，標(biāo)簽序列變換到頻域后LA不顯著，因此適配DF的條件獨(dú)立性假設(shè)，所以可以使用多任務(wù)方法直接預(yù)測(cè)多個(gè)頻點(diǎn)的頻譜分量。這種方法避免了自相關(guān)性對(duì)模型的影響，且繞開了顯式建模自相關(guān)性的復(fù)雜性。

具體的實(shí)現(xiàn)方法如下。文中使用傅里葉變換將標(biāo)簽序列和預(yù)測(cè)序列都從時(shí)域轉(zhuǎn)換到頻域。這里和其他頻域信息引入工作的區(qū)別在于，其他工作一般是將輸入轉(zhuǎn)換到頻域，但最后還是在時(shí)域中預(yù)測(cè)。本文則是完全將數(shù)據(jù)轉(zhuǎn)換到頻域，預(yù)測(cè)也是在頻域中進(jìn)行預(yù)測(cè)的，損失函數(shù)也定義在頻域中。頻域損失函數(shù)如下：

最終損失函數(shù)由時(shí)域和頻域損失函數(shù)融合得到：

FreDF 方法不依賴于特定的預(yù)測(cè)模型或變換方法。它可以與現(xiàn)有的多種預(yù)測(cè)模型（Transformer、MLP）和變換方法（如用Chebyshev、Legendre變換代替FFT等）結(jié)合使用，從而提高了方法的適用性和靈活性。

4.實(shí)驗(yàn)效果

文中在長(zhǎng)期和短期時(shí)間序列預(yù)測(cè)上均進(jìn)行了實(shí)驗(yàn)驗(yàn)證。FreDF可以顯著提高預(yù)測(cè)性能。以ETTm1數(shù)據(jù)集為例，F(xiàn)reDF將iTransformer的MSE降低了0.019,這一改進(jìn)與過(guò)去1.5年中該數(shù)據(jù)集性能提升可比（Fedformer到TimesNet,MSE降低了0.017）。FreDF這一簡(jiǎn)單的改進(jìn)，可以超越部分設(shè)計(jì)精巧的模型架構(gòu)所能帶來(lái)的性能提升。在部分?jǐn)?shù)據(jù)集上，它將iTransformer的性能提升到了超過(guò)了一些原本優(yōu)于iTransformer的模型：ETT、Weather。

論文還測(cè)試了FreDF在不同神經(jīng)網(wǎng)絡(luò)架構(gòu)上的表現(xiàn)，包括iTransformer、DLinear、Autoformer和Transformer等，以證明其與模型無(wú)關(guān)的特性：可以切實(shí)有效提升大多數(shù)主流時(shí)序預(yù)測(cè)模型的精度。

論文進(jìn)一步測(cè)試了FreDF使用不同變換方案的性能表現(xiàn)，包括廣義FFT方法（沿時(shí)間維度的1dFFT、沿變量維度的1dFFT、時(shí)間-變量維度的2dFFT）和正交基投影方法（勒讓德基、拉蓋爾基、切比雪夫基、傅里葉基），也有一些很有趣的發(fā)現(xiàn)和討論；具體請(qǐng)參考論文原文。

本文轉(zhuǎn)載自 ??圓圓的算法筆記??，作者： Fareise