今天給大家介紹一篇最近東南大學(xué)發(fā)表的長周期時間序列預(yù)測工作。這篇文章的側(cè)重點(diǎn)也是多尺度建模，但和以往工作側(cè)重對輸入進(jìn)行多尺度處理不同，本文的核心是引入多尺度的預(yù)測，并對不同尺度預(yù)測結(jié)果進(jìn)行變量粒度個性化的加權(quán)融合。

論文標(biāo)題：A Multi-scale Representation Learning Framework for Long-Term Time Series Forecasting

下載地址：??https://arxiv.org/pdf/2505.08199??

1、研究背景

多元長周期時序預(yù)測是時間序列預(yù)測中比較有挑戰(zhàn)性一個問題，其中多尺度信息的利用是目前研究的一個重點(diǎn)。不同尺度下，時間序列體現(xiàn)出的規(guī)律性不同，通過多尺度信息的融合可以提升預(yù)測的效果。

之前多尺度的工作，基本都是在輸入維度上做的，對輸入序列進(jìn)行不同尺度的融合，構(gòu)建多尺度輸入。而本文則從輸入維度進(jìn)行多尺度建模，進(jìn)行不同尺度的預(yù)測，再進(jìn)行不同尺度預(yù)測結(jié)果的分變量個性化的融合。

2.建模方法

本文的核心模型結(jié)構(gòu)如下圖所示，對于輸入序列使用ReVIN、趨勢季節(jié)項(xiàng)分解、分Patch Embedding等方式進(jìn)行處理。在模型結(jié)構(gòu)方面，核心使用MLP、Linear進(jìn)行趨勢項(xiàng)和季節(jié)項(xiàng)的建模，并進(jìn)行不同尺度的預(yù)測。最終的預(yù)測結(jié)果，使用各個尺度的預(yù)測結(jié)果進(jìn)行個性化的權(quán)重融合得到。

在輸入層面，首先對原始序列使用ReVIN進(jìn)行歸一化。接下來，使用基礎(chǔ)的季節(jié)項(xiàng)、趨勢項(xiàng)分解，生成季節(jié)項(xiàng)序列和趨勢項(xiàng)序列。對于兩個序列，分別使用分patch的方法生成patch embedding，拼接上position embedding，輸入到后續(xù)模型中。其中季節(jié)項(xiàng)使用MLP網(wǎng)絡(luò)建模，趨勢項(xiàng)使用線性模型建模。

對于季節(jié)項(xiàng)和趨勢項(xiàng)兩路模型，均使用多尺度的預(yù)測方法。使用多個head，將編碼結(jié)果映射到多個尺度的預(yù)測結(jié)果上。這里每個head主要是映射到的維度不同，粗粒度的映射到的維度小，細(xì)粒度的映射出的維度大。具體每個尺度的計(jì)算邏輯如下，最后生成趨勢項(xiàng)、季節(jié)項(xiàng)多個尺度的預(yù)測結(jié)果。

為了將多個尺度的輸出結(jié)果進(jìn)行融合，文中采用了一種從粗到細(xì)的層次融合方法。每一層的預(yù)測結(jié)果是當(dāng)前尺度的預(yù)測和上一層累積預(yù)測結(jié)果映射后的求和。最終的預(yù)測結(jié)果由趨勢項(xiàng)和季節(jié)項(xiàng)各自的結(jié)果加和得到。

不同的變量可能需要進(jìn)行不同尺度預(yù)測結(jié)果的個性化融合，文中采用一個Gate網(wǎng)絡(luò)實(shí)現(xiàn)。將序列的趨勢項(xiàng)、季節(jié)項(xiàng)進(jìn)行pooling作為Gate網(wǎng)絡(luò)的輸入，生成每個變量使用各個尺度預(yù)測結(jié)果的打分。同時，由于各個尺度預(yù)測長度不同，使用插值的方法擴(kuò)展到同一長度，然后基于上述產(chǎn)生的權(quán)重進(jìn)行多尺度的加權(quán)求和。

在損失函數(shù)方面，一方面是整體的預(yù)測效果作為擬合目標(biāo)，另一方面是不同尺度都通過相應(yīng)的序列聚合生成對應(yīng)尺度的label，每個尺度的預(yù)測有一個對應(yīng)的擬合目標(biāo)。

3.實(shí)驗(yàn)效果

在和多個SOTA模型的效果對比中，本文的方法取得了預(yù)測準(zhǔn)度上的提升。

同時，文中也對各個模塊進(jìn)行了消融實(shí)驗(yàn)：

本文轉(zhuǎn)載自???圓圓的算法筆記???，作者：Fareise