今天給大家介紹一篇清華大學(xué)關(guān)于深度時(shí)序模型的最新綜述性工作。這篇文章的著眼點(diǎn)是深度時(shí)間序列模型的模型結(jié)構(gòu)方面，提供了各類時(shí)間序列問題的深度學(xué)習(xí)模型結(jié)構(gòu)發(fā)展過程和效果對(duì)比，并提供了一套復(fù)現(xiàn)各類深度時(shí)序模型的開源代碼，目前git上已經(jīng)5k+個(gè)star。

下面整體介紹一下本文的核心內(nèi)容，包括任務(wù)類型、基礎(chǔ)模塊、模型結(jié)構(gòu)、Benchmark、實(shí)驗(yàn)評(píng)估等5個(gè)部分。其中，開源代碼的代碼解析，已經(jīng)逐步更新到了知識(shí)星球中，感興趣的同學(xué)歡迎加入星球，在【代碼解析專欄】獲取相應(yīng)資料。

論文標(biāo)題：Deep Time Series Models: A Comprehensive Survey and Benchmark

下載地址：https://arxiv.org/pdf/2407.13278v1

開源代碼：https://github.com/thuml/Time-Series-Library

1.任務(wù)類型

本文著眼點(diǎn)是深度時(shí)間序列模型的模型結(jié)構(gòu)，面向各個(gè)類型的時(shí)間序列任務(wù)，包括時(shí)間序列預(yù)測（Forecasting）、時(shí)間序列填充（Imputation）、異常值檢測（Anomaly Detection）、分類（Classification）等4種類型。各個(gè)類型任務(wù)的示意圖如下，對(duì)應(yīng)的在本文的代碼實(shí)現(xiàn)中，每個(gè)模型也同時(shí)兼容4種類型任務(wù)。

2.基礎(chǔ)模塊

在介紹模型結(jié)構(gòu)之前，本文重點(diǎn)介紹了深度時(shí)間序列相配套的基礎(chǔ)模塊?；A(chǔ)模塊部分主要是如何處理原始的時(shí)間序列數(shù)據(jù)，讓其更好適配深度時(shí)序模型。具體可以分為以下幾個(gè)模塊。

平穩(wěn)性處理：包括ReVIN等的時(shí)間序列預(yù)處理方法，讓輸入序列具備平穩(wěn)的均值、方差等統(tǒng)計(jì)量；

分解：包括趨勢(shì)項(xiàng)、季節(jié)項(xiàng)分解，或者類似NBeats中basis擴(kuò)展、多變量預(yù)測中的變量維度/時(shí)間維度的矩陣分解等；

傅里葉變換：包括各類的傅里葉變換，將時(shí)間序列數(shù)據(jù)從時(shí)域轉(zhuǎn)換成頻域，在頻域建模這類方法。

3.模型結(jié)構(gòu)

下圖展示了深度時(shí)間序列模型的各種結(jié)構(gòu)，以及各個(gè)模型的提出時(shí)間，涵蓋了深度時(shí)序模型的發(fā)展歷程。這些模型在知識(shí)星球中基本都有詳細(xì)解析，此外目前在知識(shí)星球持續(xù)更新的時(shí)間序列預(yù)測專題，也按照類似的思路詳細(xì)整理了各個(gè)模型結(jié)構(gòu)的原理，感興趣的同學(xué)可以加入查看相應(yīng)專欄。

第一類模型是基于MLP的建模方法。這類模型很簡單，以歷史序列作為輸入，通過一個(gè)全連接網(wǎng)絡(luò)，映射到輸出維度；

第二類模型是基于RNN的建模方法，核心是基于RNN的自回歸建模能力，對(duì)歷史規(guī)律進(jìn)行捕捉，并自回歸的逐個(gè)解碼出未來每個(gè)時(shí)間步的預(yù)測結(jié)果；

第三類模型是基于CNN的建模方法，包括基礎(chǔ)的1D建模，以及在TimesNet中提出的2D建模方法；

第四類模型是基于GNN的建模方法，主要用在多變量時(shí)間序列建模中，將各個(gè)變量之間的關(guān)系，通過圖學(xué)習(xí)的方式刻畫出來；

第五類模型是基于Transformer的建模方法，也是目前最常見的模型。文中又根據(jù)attention的建模維度，進(jìn)一步分為point-wise、patch-wise、series-wise類型。Point-wise就是最基礎(chǔ)的Transformer，每個(gè)時(shí)間步之間計(jì)算attention score；patch-wise就是PatchTST中的方法，將相鄰幾個(gè)時(shí)間步的序列聚合成patch，attention作用到patch之間；series-wise指的是iTransformer這種方法，將一個(gè)序列作為整體，attention主要用在變量間關(guān)系的計(jì)算。

4.Benchmark

文中搭建了一套完整的深度時(shí)間序列模型Benchmark，整體構(gòu)造如下圖，包括數(shù)據(jù)源、模型Layer、整體模型、適配不同任務(wù)的head、模型評(píng)估等模塊。

在這個(gè)benchmark中，將各個(gè)深度學(xué)習(xí)時(shí)間序列模型拆分成基礎(chǔ)的組件，也就是Layers中，再基于這些Layers組件，拼湊成各個(gè)SOTA的時(shí)間序列模型完整結(jié)構(gòu)。同時(shí)，通過不同的head輸出設(shè)計(jì)，適配包括分類、填充、預(yù)測、異常檢測等多項(xiàng)任務(wù)。

5.實(shí)驗(yàn)評(píng)估

基于上述的深度時(shí)序模型Benchmark，本文進(jìn)行了一系列實(shí)驗(yàn)，評(píng)估各個(gè)模型在各類任務(wù)上的效果。下圖是區(qū)分CNN、RNN、MLP、Transformer等模型結(jié)構(gòu)在不同任務(wù)上的效果。整體來看，Transformer模型在各個(gè)任務(wù)上都取得了更好的效果，而CNN模型在分類問題、填充問題、異常檢測問題上，可以取得比Transformer更優(yōu)的效果。

在具體的模型效果上，下圖列舉了不同SOTA模型在各個(gè)任務(wù)上的效果排名，其中iTransformer、Transformer、PatchTST在時(shí)序預(yù)測上取得了最優(yōu)效果了；TimesNet則在剩余的填充任務(wù)、分類任務(wù)、異常檢測任務(wù)中取得了最優(yōu)效果。

? 圖片 ?

本文轉(zhuǎn)載自 ??圓圓的算法筆記??，作者： Fareise