在這個(gè)系列里，圓圓會帶大家梳理2024年時(shí)間序列預(yù)測領(lǐng)域的經(jīng)典工作，涉及多個(gè)優(yōu)化方向。在這一節(jié)里，會為大家整體介紹2024年的時(shí)間序列一些具有突破性進(jìn)展的領(lǐng)域。后續(xù)章節(jié)將持續(xù)在知識星球中更新，深入解讀和串聯(lián)這些領(lǐng)域的相關(guān)工作。

1.時(shí)間序列基礎(chǔ)模型

2024年是時(shí)間序列預(yù)測與大模型深度結(jié)合的元年，涌現(xiàn)了很多時(shí)間序列基礎(chǔ)模型和大模型中建模方法在時(shí)間序列預(yù)測的應(yīng)用。

一方面，今年出現(xiàn)了很多類型的時(shí)間序列基礎(chǔ)模型，希望通過多源數(shù)據(jù)的聯(lián)合訓(xùn)練，構(gòu)建一個(gè)類似于LLM的統(tǒng)一時(shí)間序列模型，能夠解決各類時(shí)間序列問題。這其中的各類問題，包括各類時(shí)間序列任務(wù)（如預(yù)測、分類、填充等）、各類分布的時(shí)間序列數(shù)據(jù)集、各類時(shí)間序列數(shù)據(jù)形式（如預(yù)測長度、變量數(shù)量等）。業(yè)內(nèi)也逐漸關(guān)注時(shí)間序列基礎(chǔ)模型在zero-shot、few-shot中的效果。

另一方面，LLM中的建模方法也在時(shí)間序列中取得應(yīng)用，例如In-context Learning、RAG等建模方式，都嘗試了在時(shí)間序列領(lǐng)域的遷移，并取得了一定的效果。

2.擴(kuò)散模型和時(shí)間序列

擴(kuò)散模型在時(shí)間序列中的應(yīng)用，在最近兩三年一直是一個(gè)研究熱點(diǎn)。特別是在今年Sora等生成式大模型發(fā)布后，擴(kuò)散模型和時(shí)間序列的結(jié)合更加緊密。并且，今年相關(guān)領(lǐng)域中，重點(diǎn)研究了如何針對時(shí)間序列生成的特有問題，對擴(kuò)散模型中的各個(gè)模塊進(jìn)行優(yōu)化升級，讓擴(kuò)散模型更適配時(shí)間序列這種低密度、高不確定性的數(shù)據(jù)形式。

3.時(shí)序模型結(jié)構(gòu)優(yōu)化

在模型結(jié)構(gòu)方面，繼去年的線性模型和Transformer模型之爭、PatchTST的提出，今年仍然有許多針對Transformer時(shí)間序列模型的升級。

除了Transformer模型的優(yōu)化外，一些近期在LLM領(lǐng)域逐漸興起的LSTM、Mamba等傳統(tǒng)序列模型和序列模型的升級版本，也因其天然適配于時(shí)間序列數(shù)據(jù)形式，被在時(shí)間序列領(lǐng)域follow了起來。特別是2024年的下半年，涌現(xiàn)了一大批基于Mamba的時(shí)間序列模型。

4.時(shí)序信息維度優(yōu)化

相比從模型結(jié)構(gòu)上的優(yōu)化，今年更多的工作是信息構(gòu)建形式上的優(yōu)化，例如頻域信息的進(jìn)一步應(yīng)用、輸入信號的分解、時(shí)間序列的多尺度建模等方面，今年都提出了很多新穎有效的解決方案。

例如，如何將時(shí)間序列進(jìn)行更細(xì)粒度的分解，傳統(tǒng)的趨勢項(xiàng)、季節(jié)項(xiàng)分解是否已經(jīng)能夠滿足需求？頻域信息如何和時(shí)域信息更有機(jī)的進(jìn)行結(jié)合？多尺度時(shí)間序列數(shù)據(jù)的聯(lián)合建模和融合方法。這些都是今年從時(shí)間序列信息增量的維度，更進(jìn)一步深入研究的主題。

5.多變量關(guān)系建模

多變量關(guān)系建模仍然是時(shí)間序列領(lǐng)域關(guān)注的焦點(diǎn)，因?yàn)槠湓趯?shí)際應(yīng)用中最為常見。相比之前采用的時(shí)序、變量間關(guān)系耦合在一起建模，今年的工作更進(jìn)一步實(shí)現(xiàn)了多變量關(guān)系、時(shí)間序列建模的拆解。針對多變量關(guān)系建模中存在的問題，提出了包括基于聚類、解耦attention、圖學(xué)習(xí)等多個(gè)角度的優(yōu)化，均取得了不錯(cuò)的效果提升。

6.總結(jié)

2024年涌現(xiàn)了很多深度學(xué)習(xí)+時(shí)間序列的優(yōu)秀工作，擴(kuò)散模型、LLM在時(shí)間序列問題的應(yīng)用成為主流。同時(shí)，像去年比較火的時(shí)間序列表示學(xué)習(xí)、時(shí)間序列線性模型等方向，進(jìn)展減少，更多的是融合到了其他優(yōu)化工作中。

本文轉(zhuǎn)載自 ??圓圓的算法筆記??，作者： Fareise