近年來，深度學(xué)習(xí)一直在時間序列預(yù)測中追趕著提升樹模型，其中新的架構(gòu)已經(jīng)逐漸為最先進(jìn)的性能設(shè)定了新的標(biāo)準(zhǔn)。

這一切都始于2020年的N-BEATS，然后是2022年的NHITS。2023年，PatchTST和TSMixer被提出，最近的iTransformer進(jìn)一步提高了深度學(xué)習(xí)預(yù)測模型的性能。

這是2024年4月《SOFTS: Efficient Multivariate Time Series Forecasting with Series-Core Fusion》中提出的新模型，采用集中策略來學(xué)習(xí)不同序列之間的交互，從而在多變量預(yù)測任務(wù)中獲得最先進(jìn)的性能。

在本文中，我們詳細(xì)探討了SOFTS的體系結(jié)構(gòu)，并介紹新的STar聚合調(diào)度(STAD)模塊，該模塊負(fù)責(zé)學(xué)習(xí)時間序列之間的交互。然后，我們測試將該模型應(yīng)用于單變量和多變量預(yù)測場景，并與其他模型作為對比。

SOFTS介紹

SOFTS是 Series-cOre Fused Time Series的縮寫，背后的動機(jī)來自于長期多元預(yù)測對決策至關(guān)重要的認(rèn)識：

首先我們一直研究Transformer的模型，它們試圖通過使用補(bǔ)丁嵌入和通道獨(dú)立等技術(shù)(如PatchTST)來降低Transformer的復(fù)雜性。但是由于通道獨(dú)立性，消除了每個序列之間的相互作用，因此可能會忽略預(yù)測信息。

iTransformer 通過嵌入整個序列部分地解決了這個問題，并通過注意機(jī)制處理它們。但是基于transformer的模型在計算上是復(fù)雜的，并且需要更多的時間來訓(xùn)練非常大的數(shù)據(jù)集。

另一方面有一些基于mlp的模型。這些模型通常很快，并產(chǎn)生非常強(qiáng)的結(jié)果，但當(dāng)存在許多序列時，它們的性能往往會下降。

所以出現(xiàn)了SOFTS：研究人員建議使用基于mlp的STAD模塊。由于是基于MLP的，所以訓(xùn)練速度很快。并且STAD模塊，它允許學(xué)習(xí)每個序列之間的關(guān)系，就像注意力機(jī)制一樣，但計算效率更高。

SOFTS架構(gòu)

在上圖中可以看到每個序列都是單獨(dú)嵌入的，就像在iTransformer 中一樣。

然后將嵌入發(fā)送到STAD模塊。每個序列之間的交互都是集中學(xué)習(xí)的，然后再分配到各個系列并融合在一起。

最后再通過線性層產(chǎn)生預(yù)測。

這個體系結(jié)構(gòu)中有很多東西需要分析，我們下面更詳細(xì)地研究每個組件。

1、歸一化與嵌入

首先使用歸一化來校準(zhǔn)輸入序列的分布。使用了可逆實(shí)例的歸一化(RevIn)。它將數(shù)據(jù)以單位方差的平均值為中心。然后每個系列分別進(jìn)行嵌入，就像在iTransformer 模型。

在上圖中我們可以看到，嵌入整個序列就像應(yīng)用補(bǔ)丁嵌入，其中補(bǔ)丁長度等于輸入序列的長度。

這樣，嵌入就包含了整個序列在所有時間步長的信息。

然后將嵌入式系列發(fā)送到STAD模塊。

2、STar Aggregate-Dispatch (STAD)

STAD模塊是soft模型與其他預(yù)測方法的真正區(qū)別。使用集中式策略來查找所有時間序列之間的相互作用。

嵌入的序列首先通過MLP和池化層，然后將這個學(xué)習(xí)到的表示連接起來形成核（上圖中的黃色塊表示）。

核構(gòu)建好了以后就進(jìn)入了“重復(fù)”和“連接”的步驟，在這個步驟中，核表示被分派給每個系列。

MLP和池化層未捕獲的信息還可以通過殘差連接添加到核表示中。然后在融合（fuse）操作的過程中，核表示及其對應(yīng)系列的殘差都通過MLP層發(fā)送。最后的線性層采用STAD模塊的輸出來生成每個序列的最終預(yù)測。

與其他捕獲通道交互的方法(如注意力機(jī)制)相比，STAD模塊的主要優(yōu)點(diǎn)之一是它降低了復(fù)雜性。

因?yàn)镾TAD模塊具有線性復(fù)雜度，而注意力機(jī)制具有二次復(fù)雜度，這意味著STAD在技術(shù)上可以更有效地處理具有多個序列的大型數(shù)據(jù)集。

下面我們來實(shí)際使用SOFTS進(jìn)行單變量和多變量場景的測試。

使用SOFTS預(yù)測

這里，我們使用 Electricity Transformer dataset 數(shù)據(jù)集。

這個數(shù)據(jù)集跟蹤了中國某省兩個地區(qū)的變壓器油溫。每小時和每15分鐘采樣一個數(shù)據(jù)集，總共有四個數(shù)據(jù)集。

我門使用neuralforecast庫中的SOFTS實(shí)現(xiàn)，這是官方認(rèn)可的庫，并且這樣我們可以直接使用和測試不同預(yù)測模型的進(jìn)行對比。

在撰寫本文時，SOFTS還沒有集成在的neuralforecast版本中，所以我們需要使用源代碼進(jìn)行安裝。

pip install git+https://github.com/Nixtla/neuralforecast.git

然后就是從導(dǎo)入包開始。使用datasetsforecast以所需格式加載數(shù)據(jù)集，以便使用neuralforecast訓(xùn)練模型，并使用utilsforecast評估模型的性能。這就是我們使用neuralforecast的原因，因?yàn)樗际且惶椎?/span>

import pandas as pd
 import numpy as np
 import matplotlib.pyplot as plt
 
 from datasetsforecast.long_horizon import LongHorizon
 
 from neuralforecast.core import NeuralForecast
 from neuralforecast.losses.pytorch import MAE, MSE
 from neuralforecast.models import SOFTS, PatchTST, TSMixer, iTransformer
 
 from utilsforecast.losses import mae, mse
 from utilsforecast.evaluation import evaluate

編寫一個函數(shù)來幫助加載數(shù)據(jù)集，以及它們的標(biāo)準(zhǔn)測試大小、驗(yàn)證大小和頻率。

def load_data(name):
    if name == "ettm1":
        Y_df, *_ = LongHorizon.load(directory='./', group='ETTm1')
        Y_df = Y_df[Y_df['unique_id'] == 'OT'] # univariate dataset
        Y_df['ds'] = pd.to_datetime(Y_df['ds'])
        val_size = 11520
        test_size = 11520
        freq = '15T'
    elif name == "ettm2":
        Y_df, *_ = LongHorizon.load(directory='./', group='ETTm2')
        Y_df['ds'] = pd.to_datetime(Y_df['ds'])
        val_size = 11520
        test_size = 11520
        freq = '15T'
 
    return Y_df, val_size, test_size, freq

然后就可以對ETTm1數(shù)據(jù)集進(jìn)行單變量預(yù)測。

1、單變量預(yù)測

加載ETTm1數(shù)據(jù)集，將預(yù)測范圍設(shè)置為96個時間步長。

可以測試更多的預(yù)測長度，但我們這里只使用96。

Y_df, val_size, test_size, freq = load_data('ettm1')
 
 horizon = 96

然后初始化不同的模型，我們將soft與TSMixer, iTransformer和PatchTST進(jìn)行比較。

所有模型都使用的默認(rèn)配置將最大訓(xùn)練步數(shù)設(shè)置為1000，如果三次后驗(yàn)證損失沒有改善，則停止訓(xùn)練。

models = [
    SOFTS(h=horizon, input_size=3*horizon, n_series=1, max_steps=1000, early_stop_patience_steps=3),
    TSMixer(h=horizon, input_size=3*horizon, n_series=1, max_steps=1000, early_stop_patience_steps=3),
    iTransformer(h=horizon, input_size=3*horizon, n_series=1, max_steps=1000, early_stop_patience_steps=3),
    PatchTST(h=horizon, input_size=3*horizon, max_steps=1000, early_stop_patience_steps=3)
 ]

然后初始化NeuralForecast對象訓(xùn)練模型。并使用交叉驗(yàn)證來獲得多個預(yù)測窗口，更好地評估每個模型的性能。

nf = NeuralForecast(models=models, freq=freq)
 nf_preds = nf.cross_validation(df=Y_df, val_size=val_size, test_size=test_size, n_windows=None)
 nf_preds = nf_preds.reset_index()

評估計算了每個模型的平均絕對誤差(MAE)和均方誤差(MSE)。因?yàn)橹暗臄?shù)據(jù)是縮放的，因此報告的指標(biāo)也是縮放的。

ettm1_evaluation = evaluate(df=nf_preds, metrics=[mae, mse], models=['SOFTS', 'TSMixer', 'iTransformer', 'PatchTST'])

從上圖可以看出，PatchTST的MAE最低，而softts、TSMixer和PatchTST的MSE是一樣的。在這種特殊情況下，PatchTST仍然是總體上最好的模型。

這并不奇怪，因?yàn)镻atchTST在這個數(shù)據(jù)集中是出了名的好，特別是對于單變量任務(wù)。下面我們開始測試多變量場景。

2、多變量預(yù)測

使用相同的load_data函數(shù)，我們現(xiàn)在為這個多變量場景使用ETTm2數(shù)據(jù)集。

Y_df, val_size, test_size, freq = load_data('ettm2')
 
 horizon = 96

然后簡單地初始化每個模型。我們只使用多變量模型來學(xué)習(xí)序列之間的相互作用，所以不會使用PatchTST，因?yàn)樗鼞?yīng)用通道獨(dú)立性(意味著每個序列被單獨(dú)處理)。

然后保留了與單變量場景中相同的超參數(shù)。只將n_series更改為7，因?yàn)橛?個時間序列相互作用。

models = [SOFTS(h=horizon, input_size=3*horizon, n_series=7, max_steps=1000, early_stop_patience_steps=3, scaler_type='identity', valid_loss=MAE()),
          TSMixer(h=horizon, input_size=3*horizon, n_series=7, max_steps=1000, early_stop_patience_steps=3, scaler_type='identity', valid_loss=MAE()),
          iTransformer(h=horizon, input_size=3*horizon, n_series=7, max_steps=1000, early_stop_patience_steps=3, scaler_type='identity', valid_loss=MAE())]

訓(xùn)練所有的模型并進(jìn)行預(yù)測。

nf = NeuralForecast(models=models, freq='15min')
 
 nf_preds = nf.cross_validation(df=Y_df, val_size=val_size, test_size=test_size, n_windows=None)
 nf_preds = nf_preds.reset_index()

最后使用MAE和MSE來評估每個模型的性能。

ettm2_evaluation = evaluate(df=nf_preds, metrics=[mae, mse], models=['SOFTS', 'TSMixer', 'iTransformer'])

上圖中可以看到到當(dāng)在96的水平上預(yù)測時，TSMixer large在ETTm2數(shù)據(jù)集上的表現(xiàn)優(yōu)于iTransformer和soft。

雖然這與soft論文的結(jié)果相矛盾，這是因?yàn)槲覀儧]有進(jìn)行超參數(shù)優(yōu)化，并且使用了96個時間步長的固定范圍。

這個實(shí)驗(yàn)的結(jié)果可能不太令人印象深刻，我們只在固定預(yù)測范圍的單個數(shù)據(jù)集上進(jìn)行了測試，所以這不是SOFTS性能的穩(wěn)健基準(zhǔn)，同時也說明了SOFTS在使用時可能需要更多的時間來進(jìn)行超參數(shù)的優(yōu)化。

總結(jié)

SOFTS是一個很有前途的基于mlp的多元預(yù)測模型，STAD模塊是一種集中式方法，用于學(xué)習(xí)時間序列之間的相互作用，其計算強(qiáng)度低于注意力機(jī)制。這使得模型能夠有效地處理具有許多并發(fā)時間序列的大型數(shù)據(jù)集。

雖然在我們的實(shí)驗(yàn)中，SOFTS的性能可能看起來有點(diǎn)平淡無奇，但請記住，這并不代表其性能的穩(wěn)健基準(zhǔn)，因?yàn)槲覀冎辉诠潭ㄒ暯绲膯蝹€數(shù)據(jù)集上進(jìn)行了測試。

但是SOFTS的思路還是非常好的，比如使用集中式學(xué)習(xí)時間序列之間的相互作用，并且使用低強(qiáng)度的計算來保證數(shù)據(jù)計算的效率，這都是值得我們學(xué)習(xí)的地方。

并且每個問題都需要其獨(dú)特的解決方案，所以將SOFTS作為特定場景的一個測試選項(xiàng)是一個明智的選擇。