今天給大家介紹最近的一篇探索如何在更好地建模通道(channel)之間的相關(guān)性的多元時(shí)間序列文章。文章旨在解決通道獨(dú)立(channel independent)方法缺乏對(duì)通道之間相關(guān)性的利用，以及通道依賴(lài)(channel dependent)方法不夠魯棒的問(wèn)題。這篇文章，提出了一種新穎的中心化結(jié)構(gòu)傳遞不同通道的信息，相比于分布式結(jié)構(gòu)如Attention，Mixer等，這種中心化的結(jié)構(gòu)既降低了計(jì)算開(kāi)銷(xiāo)，而且提高了對(duì)于異常通道的魯棒性，以更低的復(fù)雜度獲得更好的性能。

論文標(biāo)題：SOFTS: Efficient Multivariate Time Series Forecasting with Series-Core Fusion

下載地址：??https://arxiv.org/pdf/2404.14197??

論文代碼: https://github.com/Secilia-Cxy/SOFTS

1.背景介紹

在多元時(shí)間序列領(lǐng)域，學(xué)術(shù)界存在兩種建模方式，一種是通道獨(dú)立(channel independent)方法，一種是通道依賴(lài)(channel dependent)方法。

通道獨(dú)立方法將多元時(shí)間序列將多個(gè)通道的序列看做多條單元時(shí)間序列，使用一個(gè)統(tǒng)一的單元時(shí)序預(yù)測(cè)模型進(jìn)行預(yù)測(cè)，這種方法因其在非平穩(wěn)數(shù)據(jù)上的出色魯棒性被眾多先進(jìn)方法采用，但是其忽略了通道之間的相關(guān)，阻礙了其進(jìn)一步的性能提升。

通道依賴(lài)方法利用特定的通道信息融合模塊實(shí)現(xiàn)通道間信息的交互，然而這些方法要么過(guò)于依賴(lài)通道之間的相關(guān)性導(dǎo)致缺乏足夠的魯棒性對(duì)抗序列的非平穩(wěn)性，要么使用了復(fù)雜的關(guān)系建模模塊如Attention使得復(fù)雜度過(guò)高難以擴(kuò)展。

因此，如何利用通道獨(dú)立的魯棒性，并且設(shè)計(jì)更魯棒和高效的通道交互模塊，是先進(jìn)多元時(shí)序預(yù)測(cè)方法必須要考慮的問(wèn)題。

為了解決上述問(wèn)題，文章主要有以下幾個(gè)貢獻(xiàn)：

提出了Series-cOre Fused Time Series（SOFTS）模型，這是一種基于MLP的簡(jiǎn)單模型，具有較低的復(fù)雜度但表現(xiàn)出最先進(jìn)的性能。

提出了STar Aggregate-Redistribute（STAR）模塊，作為SOFTS的基礎(chǔ)。STAR設(shè)計(jì)為一種中心化結(jié)構(gòu)，使用一個(gè)核心來(lái)聚合和交換各通道的信息。與Attention等分布式結(jié)構(gòu)相比，STAR不僅降低了復(fù)雜度，還提高了對(duì)通道異常的魯棒性。

最后，通過(guò)廣泛的實(shí)驗(yàn)，我們驗(yàn)證了SOFTS的有效性、可擴(kuò)展性以及魯棒性。

1.實(shí)現(xiàn)方法

這篇文章提出了一個(gè)非常簡(jiǎn)單且高效的基于MLP的方法，其名字為Series-cOre Fused Time Series forecaster (SOFTS)。正如其名，該方法通過(guò)多個(gè)通道的序列表示和整個(gè)多元序列的核心表示融合來(lái)實(shí)現(xiàn)通道之間關(guān)系的建模。

主要架構(gòu)如圖下圖所示?？梢钥吹剑?SOFTS和iTransformer一樣，使用序列級(jí)別的embedding，提取每個(gè)通道的表示，不同的是，SOFTS通過(guò)一種星型聚合分發(fā)模塊(STar Aggregate Redistribute module, 簡(jiǎn)稱(chēng)STAR)提取不同通道的序列之間的相關(guān)性，交換不同序列的信息。最后，SOFTS通過(guò)線(xiàn)性層對(duì)每個(gè)通道的未來(lái)做出預(yù)測(cè)

STAR是整個(gè)SOFTS方法的核心，它針對(duì)性地解決了現(xiàn)有通道交互模塊的兩個(gè)問(wèn)題：(1) Attention等模塊需要兩兩對(duì)比不同通道并計(jì)算相似度，導(dǎo)致平方級(jí)別的復(fù)雜度 (2) 這種兩兩比較易受通道本身的質(zhì)量影響，而在現(xiàn)實(shí)的非平穩(wěn)數(shù)據(jù)上，往往存在很多異常通道。為了實(shí)現(xiàn)高效性和魯棒性，STAR借鑒了計(jì)算機(jī)網(wǎng)絡(luò)結(jié)構(gòu)中的中心化架構(gòu)，相比于深度學(xué)習(xí)里常用的分布式架構(gòu)如Attention, Mixer, GNN等，STAR能夠?qū)?fù)雜度縮小到線(xiàn)性級(jí)別的同時(shí)，并且減小異常通道的影響。

具體而言，多個(gè)通道的序列表示首先通過(guò)一個(gè)MLP映射，然后通過(guò)一個(gè)pooling操作得到一個(gè)核心(core)向量，這個(gè)核心向量綜合了不同序列的特征，代表了整個(gè)序列的全局信息，然后將這個(gè)核心向量拼接到每個(gè)表示后，并用另一個(gè)MLP層進(jìn)行融合。整個(gè)過(guò)程的計(jì)算復(fù)雜度只與通道數(shù)量，序列長(zhǎng)度等呈線(xiàn)性關(guān)系。

3.實(shí)驗(yàn)結(jié)果

在實(shí)驗(yàn)效果上，本文提出的SOFTS模型結(jié)構(gòu)在現(xiàn)有的多元時(shí)序預(yù)測(cè)benchmark上均取得了比較明顯的提升。在下表展示出的24個(gè)結(jié)果中，有21個(gè)是第一，3個(gè)是第二。

基于純MLP結(jié)構(gòu)，SOFTS能以更小的計(jì)算和存儲(chǔ)代價(jià)獲得更好的性能，如右圖所示，以更快的推理和更小的內(nèi)存消耗獲得了最好的性能。且由于SOFTS模型的線(xiàn)性復(fù)雜度，其更易擴(kuò)展到更大規(guī)模的數(shù)據(jù)集和問(wèn)題中，如左圖所示，對(duì)比了同樣性能較好的iTransformer和PatchTST模型，SOFTS在通道迅速增長(zhǎng)的情況下依舊可用，而另兩個(gè)模型則迅速超過(guò)常用的24G顯存上限。

通過(guò)STAR模塊，SOFTS能夠調(diào)整異常序列的表征，下圖(a)表示了進(jìn)入STAR之前的序列表示，異常的通道出現(xiàn)在遠(yuǎn)離正常分布的位置，在這種表示上預(yù)測(cè)僅能獲得0.414的預(yù)測(cè)誤差，而通過(guò)STAR調(diào)整后，這些通道的表示被重新調(diào)整，根據(jù)不同序列的特征聚類(lèi)到類(lèi)似的正常通道附近，其預(yù)測(cè)性能也被提升至0.374，提升幅度達(dá)9%。其性能受通道噪聲的影響也更小，如下圖(c)。因此，采用STAR結(jié)構(gòu)的SOFTS更具魯棒性。

4.總結(jié)

盡管通道獨(dú)立已被證明是提高多變量時(shí)間序列預(yù)測(cè)魯棒性的有效策略，但通道間的相關(guān)性是進(jìn)一步提升性能的重要信息。之前的方法在提取相關(guān)性時(shí)面臨著模型復(fù)雜性和性能之間的兩難困境。在本文中，我們通過(guò)引入Series-cOre Fused Time Series預(yù)測(cè)器（SOFTS）解決了這一難題。SOFTS在保持低復(fù)雜度的同時(shí)，實(shí)現(xiàn)了最先進(jìn)的性能，并且通過(guò)創(chuàng)新的STar Aggregate-Redistribute（STAR）模塊高效地捕捉了通道間的相關(guān)性。

本文轉(zhuǎn)載自 ??圓圓的算法筆記??，作者： 韓路