時間序列預(yù)測的transformers的衰落和時間序列嵌入方法的興起，還有異常檢測、分類也取得了進步

2022年整個領(lǐng)域在幾個不同的方面取得了進展，本文將嘗試介紹一些在過去一年左右的時間里出現(xiàn)的更有前景和關(guān)鍵的論文，以及Flow Forecast [FF]預(yù)測框架。

時間序列預(yù)測

1、Are Transformers Really Effective for Time Series Forecasting?

??https://arxiv.org/pdf/2205.13504.pdf??

Transformer相關(guān)研究對比Autoformer、Pyraformer、Fedformer等，它們的效果和問題

隨著 Autoformer (Neurips 2021)、Pyraformer (ICLR 2022)、Fedformer (ICML 2022)、EarthFormer (Neurips 2022) 和 Non-Stationary Transformer (Neurips) 等模型的出現(xiàn)，時間序列預(yù)測架構(gòu)的 Transformer 系列不斷發(fā)展壯）。但是這些模型準確預(yù)測數(shù)據(jù)并優(yōu)于現(xiàn)有方法的能力仍然存在疑問，特別是根據(jù)新研究（我們將在稍后討論）。

Autoformer ：擴展并改進了 Informer 模型的性能。Autoformer 具有自動關(guān)聯(lián)機制，使模型能夠比標準注意力更好地學(xué)習(xí)時間依賴性。它旨在準確分解時態(tài)數(shù)據(jù)的趨勢和季節(jié)成分。

Pyraformer：作者介紹了“金字塔注意模塊 (PAM)，其中尺度間樹結(jié)構(gòu)總結(jié)了不同分辨率下的特征，尺度內(nèi)相鄰連接對不同范圍的時間依賴性進行建模。”

Fedformer：該模型側(cè)重于在時間序列數(shù)據(jù)中捕捉全球趨勢。作者提出了一個季節(jié)性趨勢分解模塊，旨在捕捉時間序列的全局特征。

Earthformer: 可能是這些論文中最獨特的一個，它特別專注于預(yù)測地球系統(tǒng)，如天氣、氣候和農(nóng)業(yè)等。介紹了一種新的cuboid 注意力架構(gòu)。這篇論文應(yīng)該是潛力巨大的望，因為在河流和暴洪預(yù)測方面的研究，許多經(jīng)典的Transformer都失敗了。

Non-Stationary Transformer：這是使用transformer 用于預(yù)測的最新論文。作者旨在更好地調(diào)整 Transformer 以處理非平穩(wěn)時間序列。他們采用兩種機制：去平穩(wěn)注意里和一系列平穩(wěn)化機制。這些機制可以插入到任何現(xiàn)有的Transformer模型中，作者測試將它們插入 Informer、Autoformer 和傳統(tǒng)的Transformer 中，都可以提高性能（在附錄中，還表明它可以提高 Fedformer 的性能）。

論文的評估方法：與 Informer 類似，所有這些模型（Earthformer 除外）都在電力、交通、金融和天氣數(shù)據(jù)集上進行了評估。主要根據(jù)均方誤差 (MSE) 和平均絕對誤差 (MAE) 指標進行評估：

這篇論文很好，但是它只對比了Transformer相關(guān)的論文，其實應(yīng)該與更簡單的方法進行比較，比如簡單的線性回歸、LSTM/GRU、甚至是XGB等樹形模型。另外就是它們應(yīng)該不僅僅局限在一些標準數(shù)據(jù)集，因為我在其他時間序列相關(guān)數(shù)據(jù)集上沒有看到很好的表現(xiàn)。比如說informer準確預(yù)測河流流量方面遇到了巨大的問題，與LSTM或甚至是普通的Transformer相比，它的表現(xiàn)通常很差。

另外就是由于與計算機視覺不同，圖像維度至少保持不變，時間序列數(shù)據(jù)在長度、周期性、趨勢和季節(jié)性方面可能存在巨大差異，因此需要更大范圍的數(shù)據(jù)集。

在OpenReview的Non-Stationary Transformer的評論中，一位評論者也表達了這些問題，但它在最終的元評論中被否決了:

“由于該模型屬于Transformer領(lǐng)域，而且Transformer之前已經(jīng)在許多任務(wù)中表現(xiàn)出了最先進的水平，我認為沒有必要與其他‘家族’方法進行比較?！?/p>

這是一個非常有問題的論點，并導(dǎo)致研究在現(xiàn)實世界中缺乏適用性。就像我們所認知的：XGB在表格數(shù)據(jù)的壓倒性優(yōu)勢還沒有改變，Transformer的閉門造車又有什么意義？每次都超越，每次都被吊打。

作為一個在實踐中重視最先進的方法和創(chuàng)新模型的人，當我花了幾個月的時間試圖讓一個所謂的“好”模型工作時，但是最后卻發(fā)現(xiàn)，他的表現(xiàn)還不如簡單的線性回歸，那這幾個月有什么意思？這個所謂的好”模型又有什么意義。

所有的 transformer 論文都同樣存在有限評估的問題。我們應(yīng)該從一開始就要求更嚴格的比較和對缺點的明確說明。一個復(fù)雜的模型最初可能并不總是優(yōu)于簡單模型，但需要在論文中明確指出這一點，而不是掩蓋或簡單地假設(shè)沒有這種情況。

但是這篇論文還是很好的，比如Earthformer 在MovingMNIST 數(shù)據(jù)集和N-body MNIST數(shù)據(jù)集上進行了評估，作者用它來驗證cuboid 注意力的有效性，評估了它的降水量即時預(yù)報和厄爾尼諾周期預(yù)報。我認為這是一個很好的例子，將物理知識整合到具有注意力的模型架構(gòu)中，然后設(shè)計出好的測試。

2、Are Transformers Effective for Time Series Forecasting (2022)?

??https://arxiv.org/pdf/2205.13504.pdf??

這篇論文探討了 Transformer 預(yù)測數(shù)據(jù)與基線方法的能力。結(jié)果在某種程度上再次證實了Transformers 的性能通常比更簡單的模型差，而且難以調(diào)整。這篇論文中的幾個有趣的觀點：

• 用基本的線性層替換自注意力并發(fā)現(xiàn)：“Informer 的性能隨著逐漸簡化而增長，表明至少對于現(xiàn)有的 LTSF 基準來說，自注意力方案和其他復(fù)雜模塊是不必要的”
• 調(diào)查了增加回溯窗口（ look-back window ）是否會提高 Transformer 的性能并發(fā)現(xiàn)：“SOTA Transformers 的性能略有下降，表明這些模型僅從相鄰的時間序列序列中捕獲相似的時間信息?！?/li>
• 探討了位置嵌入是否真的能很好地捕捉時間序列的時間順序。通過將輸入序列隨機混洗到Transformer中來做到這一點。他們在幾個數(shù)據(jù)集上發(fā)現(xiàn)這種改組并沒有影響結(jié)果（這個編碼很麻煩）。

在過去的幾年里，Transformer模型的無數(shù)次時間序列實驗在絕大多數(shù)情況下結(jié)果都不太理想。在很長一段時間里，我們都認為一定是做錯了什么，或者遺漏了一些小的實現(xiàn)細節(jié)。所有這些都被認為是下一個SOTA模型的思路。但是這個論文卻有一致的思路就是?如果一個簡單的模型勝過Transformer，我們應(yīng)該繼續(xù)使用它們嗎?是所有的Transformer都有固有的缺陷，還是只是當前的機制?我們是否應(yīng)該回到lstm、gru或簡單的前饋模型這樣的架構(gòu)?這些問題我都不知道答案，但是這篇論文的整體影響還有待觀察。到目前為止，我認為答案可能是退一步，專注于學(xué)習(xí)有效的時間序列表示。畢竟最初BERT在NLP環(huán)境中成功地形成了良好的表示。

也就是說，我不認為我們應(yīng)該把時間序列的Transformer視為完全死亡。Fedformer的表現(xiàn)非常接近簡單模型，并且在各種消融打亂任務(wù)中表現(xiàn)更好。雖然的基準在很多情況下都難以進行預(yù)測，但他們對數(shù)據(jù)的內(nèi)部表示卻相當不錯。我認為還需要進一步了解內(nèi)部表示和實際預(yù)測輸出之間的脫節(jié)。另外就是正如作者所建議的那樣，改進位置嵌入可以在提高整體性能方面發(fā)揮關(guān)鍵作用。最后有一個Transformer的模型，在各種異常檢測數(shù)據(jù)集上表現(xiàn)非常好，下面就會介紹。

3、Anomaly Transformer (ICLR Spolight 2022)

??https://arxiv.org/abs/2110.02642??

相當多的研究都集中在將 transformers 應(yīng)用于預(yù)測，但是異常檢測的研究相對較少。這篇介紹了一種（無監(jiān)督）Transformer 來檢測異常。該模型結(jié)合使用特別構(gòu)建的異常注意機制和 minmax 策略。

本文在五個真實世界的數(shù)據(jù)集上評估了模型的性能，包括Server Machine Dataset, Pooled Server Metrics, Soil Moisture Active Passive和NeurIPS-TS(它本身由五個不同的數(shù)據(jù)集組成)。雖然有人可能會對這個模型持懷疑態(tài)度，特別是關(guān)于第二篇論文的觀點，但這個評估是相當嚴格的。Neurips-TS是一個最近創(chuàng)建的，專門用于提供更嚴格的異常檢測模型評估的數(shù)據(jù)集。與更簡單的異常檢測模型相比，該模型似乎確實提高了性能。

作者提出了一種獨特的無監(jiān)督Transformer，它在過多的異常檢測數(shù)據(jù)集上表現(xiàn)良好。這是過去幾年時間序列Transformer領(lǐng)域最有前途的論文之一。因為預(yù)測比分類甚至異常檢測更具挑戰(zhàn)性，因為你試圖預(yù)測未來多個時間步驟的巨大可能值范圍。這么多的研究都集中在預(yù)測上，而忽略了分類或異常檢測，對于Transformer我們是不是應(yīng)該從簡單的開始呢？

4、WaveBound: Dynamic Error Bounds for Stable Time Series Forecasting (Neurips 2022):

??https://openreview.net/forum?id=vsNQkquutZk??

論文介紹了一種新的正則化形式，可以改進深度時間序列預(yù)測模型（特別是上述transformers ）的訓(xùn)練。

作者通過將其插入現(xiàn)有的 transformer + LSTNet模型來評估。他們發(fā)現(xiàn)它在大多數(shù)情況下顯著提高了性能。盡管他們只測試了Autoformer 模型，而沒有測試 Fedformer 這樣的更新模型。

新形式的正則化或損失函數(shù)總是有用的，因為它們通常可以插入任何現(xiàn)有的時間序列模型中。如果你 Fedformer + 非平穩(wěn)機制 + Wavebound 結(jié)合起來，你可能會在性能上擊敗簡單的線性回歸 :)。

時間序列表示

雖然Transformer 再預(yù)測方向上的效果并不好，但在創(chuàng)建有用的時間序列表示方面Transformer還是取得了許多進展。我認為這是時間序列深度學(xué)習(xí)領(lǐng)域中一個令人印象深刻的新領(lǐng)域，應(yīng)該進行更深入的探索。

5、TS2Vec: Towards Universal Representation of Time Series (AAAI 2022)

??https://arxiv.org/abs/2106.10466??

TS2Vec是一個學(xué)習(xí)時間序列表示/嵌入的通用框架。這篇論文本身已經(jīng)有些過時了，但它確實開始了時間序列表示學(xué)習(xí)論文的趨勢。

對使用表示進行預(yù)測和異常檢測進行評估，該模型優(yōu)于許多模型，例如 Informer 和 Log Transformer。

6、Learning Latent Seasonal-Trend Representations for Time Series Forecasting(Neurips 2022)

??https://openreview.net/forum?id=C9yUwd72yy??

作者創(chuàng)建了一個模型(LAST)，使用變分推理創(chuàng)建季節(jié)性和趨勢的分離表示。

作者對他們的模型進行了下游預(yù)測任務(wù)的評價，他們通過在表示上添加一個預(yù)測器(見上圖中的B)來做到這一點。它們還提供了有趣的圖來顯示表示的可視化。該模型在幾個預(yù)測任務(wù)以及TS2Vec和成本方面都優(yōu)于Autoformer。在一些預(yù)測任務(wù)上，它看起來也可能比上面提到的簡單線性回歸表現(xiàn)更好。

盡管我仍然對那些只評估標準預(yù)測任務(wù)的模型持懷疑態(tài)度，但這個模型的確很亮眼，因為它關(guān)注的是表征而不是預(yù)測任務(wù)本身。如果我們看一下論文中展示的一些圖表，可以看到模型似乎確實學(xué)會了區(qū)分季節(jié)性和趨勢。不同數(shù)據(jù)集的可視化表示也嵌入到相同的空間中，如果它們顯示出實質(zhì)性的差異，那將是很有趣的。

7、CoST: Contrastive Learning of Disentangled Seasonal-Trend Representations for Time Series Forecasting (ICLR 2022)

??https://openreview.net/forum?id=PilZY3omXV2??

這是2022年早些時候在ICLR上發(fā)表的一篇論文，在學(xué)習(xí)季節(jié)和趨勢表示方面與LaST非常相似。由于LaST在很大程度上已經(jīng)取代了它的性能，這里就不做過多的描述了。但鏈接在上面供那些想要閱讀的人閱讀。

其他有趣的論文

8、Domain Adaptation for Time Series Forecasting via Attention Sharing(ICML 2022)

??https://arxiv.org/abs/2102.06828??

當缺乏訓(xùn)練數(shù)據(jù)時，預(yù)測對 DNN 來說是一項挑戰(zhàn)。這篇論文對具有豐富數(shù)據(jù)的領(lǐng)域使用共享注意力層，然后對目標領(lǐng)域使用單獨的模塊。

它所提出的模型使用合成數(shù)據(jù)集和真實數(shù)據(jù)集進行評估。在合成環(huán)境中，測試了冷啟動學(xué)習(xí)和少樣本學(xué)習(xí)，發(fā)現(xiàn)他們的模型優(yōu)于普通 Transformer 和 DeepAR。對于真實數(shù)據(jù)集采用了 Kaggle 零售數(shù)據(jù)集，該模型在這些實驗中大大優(yōu)于基線。

冷啟動、少樣本和有限學(xué)習(xí)是極其重要的主題，但很少有論文涉及時間序列。該模型為解決其中一些問題提供了重要的一步。也就是說他們可以在更多不同的有限現(xiàn)實世界數(shù)據(jù)集上進行評估，并與更多基準模型進行比較， 微調(diào)或正則化的好處在于可以對任何架構(gòu)進行調(diào)整。

9、When to Intervene: Learning Optimal Intervention Policies for Critical Events (Neurips 2022)

??https://openreview.net/pdf?id=rP9xfRSF4F??

雖然這不是一篇“典型的”時間序列論文，但我選擇將其列入這個列表，因為本文的重點是在機器發(fā)生故障之前找到進行干預(yù)的最佳時間。這被稱為OTI或最佳時間干預(yù)

評估OTI的問題之一是潛在生存分析的準確性(如果不正確，評估也會不正確)。作者根據(jù)兩個靜態(tài)閾值評估了他們的模型，發(fā)現(xiàn)它表現(xiàn)得很好，并且繪制了不同政策的預(yù)期表現(xiàn)和命中與失敗的比率。

這是一個有趣的問題，作者提出了一個新穎的解決方案，Openreview的一位評論者指出:“如果有一個圖表顯示失敗概率和預(yù)期干預(yù)時間之間的權(quán)衡，那么實驗可能會更有說服力，這樣人們就可以直觀地看到這個權(quán)衡曲線的形狀?！?/p>

最近的數(shù)據(jù)集/基準

最后就是數(shù)據(jù)集的測試的基準

Monash Time Series Forecasting Archive (Neurips 2021)：該存檔旨在形成不同時間序列數(shù)據(jù)集的“主列表”，并提供更權(quán)威的基準。該存儲庫包含 20 多個不同的數(shù)據(jù)集，涵蓋多個行業(yè)，包括健康、零售、拼車、人口統(tǒng)計等等。

??https://forecastingdata.org/??

Subseasonal Forecasting Microsoft (2021)：這是 Microsoft 公開發(fā)布的數(shù)據(jù)集，旨在促進使用機器學(xué)習(xí)來改進次季節(jié)預(yù)測（例如未來兩到六周）。次季節(jié)預(yù)報有助于政府機構(gòu)更好地為天氣事件和農(nóng)民的決定做準備。微軟為該任務(wù)包含了幾個基準模型，與其他方法相比，一般來說深度學(xué)習(xí)模型的表現(xiàn)相當差。最好的 DL 模型是一個簡單的前饋模型，而 Informer 的表現(xiàn)非常糟糕。

??https://www.microsoft.com/en-us/research/project/subseasonal-climate-forecasting/??

Revisiting Time Series Outlier Detection：本文評述了許多現(xiàn)有的異常/異常值檢測數(shù)據(jù)集，并提出了35個新的合成數(shù)據(jù)集和4個真實世界數(shù)據(jù)集用于基準測試。

??https://openreview.net/forum?id=r8IvOsnHchr??

開源的時序預(yù)測框架FF

Flow Forecast是一個開源的時序預(yù)測框架，它包含了以下模型:

Vanilla LSTM (LSTM)、SimpleTransformer、Multi-Head Attention、Transformer with a linear decoder、DARNN、Transformer XL、Informer、DeepAR、DSANet 、SimpleLinearModel等等

這是一個學(xué)習(xí)使用深度學(xué)習(xí)進行時間預(yù)測的很好的模型代碼來源，有興趣的可以看看。

??https://github.com/AIStream-Peelout/flow-forecast??

總結(jié)

在過去的兩年里，我們已經(jīng)看到了Transformer在時間序列預(yù)測中的興起和可能的衰落和時間序列嵌入方法的興起，以及異常檢測和分類方面的額外突破。

但是對于深度學(xué)習(xí)的時間序列來說：可解釋性、可視化和基準測試方法還是有所欠缺，因為模型在哪里執(zhí)行，在哪里出現(xiàn)性能故障是非常重要的。此外，更多形式的正則化、預(yù)處理和遷移學(xué)習(xí)來提高性能可能會在未來中出現(xiàn)。

也許Transformer對時間序列預(yù)測有好處（也許不是），就像VIT那樣如果沒有Patch的出現(xiàn)Transformer可能還會被認為不行，我們也將繼續(xù)關(guān)注Transformer在時間序列的發(fā)展或者替代。