1 創(chuàng)新模型效果：

1.1 模型評估：

1.2 風(fēng)電功率預(yù)測可視化：

1.3 電力負(fù)荷預(yù)測可視化：

2 模型創(chuàng)新點介紹

2.1 結(jié)合Informer和BiGRU-GATT的優(yōu)勢

• Informer：擅長處理長時間序列，能夠并行計算，提高了計算效率和預(yù)測性能。Informer在Transformer的基礎(chǔ)上進(jìn)行了改進(jìn)，使其更適合時序數(shù)據(jù)，特別是具有長時間依賴的序列數(shù)據(jù)。
• BiGRU-GlobalAttention：通過雙向門控循環(huán)單元（BiGRU）同時從前向和后向?qū)π蛄羞M(jìn)行建模，以更好地捕獲序列中的依賴關(guān)系，同時應(yīng)用全局注意力機制GlobalAttention，對BiGRU的輸出進(jìn)行加權(quán)處理，使模型能夠聚焦于序列中最重要的部分，提高預(yù)測性能。
  ?

通過將這兩種模型并行使用，可以更好地捕捉不同時間尺度上的模式，提高預(yù)測的準(zhǔn)確性和魯棒性。

2.2 并行模型架構(gòu)

并行使用Informer和BiGRU-GATT，通過兩個分支并行學(xué)習(xí)，可以使模型在不同的時間尺度上進(jìn)行信息提取和處理：

（1）Informer部分：

• 主要用于捕捉全局時序模式，適合處理長時間序列數(shù)據(jù)。
• 通過稀疏自注意力機制提高對遠(yuǎn)程時序依賴的捕捉能力。
• 對輸入數(shù)據(jù)進(jìn)行全局特征提取。

（2）BiGRU-GATT部分：

多特征序列數(shù)據(jù)同時通過基于GlobalAttention優(yōu)化的BiGRU網(wǎng)絡(luò),GlobalAttention是一種用于加強模型對輸入序列不同部分的關(guān)注程度的機制。在 BiGRU 模型中，全局注意力機制可以幫助模型更好地聚焦于輸入序列中最相關(guān)的部分，從而提高模型的性能和泛化能力。在每個時間步，全局注意力機制計算一個權(quán)重向量，表示模型對輸入序列各個部分的關(guān)注程度，然后將這些權(quán)重應(yīng)用于 BiGRU 輸出的特征表示，通過對所有位置的特征進(jìn)行加權(quán)，使模型能夠更有針對性地關(guān)注重要的時域特征, 提高了模型對多特征序列時域特征的感知能力。

這種架構(gòu)能夠更全面地捕捉時序數(shù)據(jù)的特征，提升模型的預(yù)測性能。

2.3 模型融合

將Informer和BiGRU-GATT的輸出拼接在一起，通過一個全連接層融合不同模型的特征。這種融合方式使得模型能夠同時利用Informer的全局信息提取能力和BiGRU-GATT的局部時序關(guān)系建模能力。

2.4 高效計算

Informer的使用大大提高了長時間序列的計算效率，同時BiGRU-GATT的使用確保了局部時序信息的充分利用。這種組合在保證高效計算的同時，提升了預(yù)測的精度和可靠性。

3 Informer 詳解，三大創(chuàng)新點

3.1 概率稀疏注意力機制（ProbSparse Self-attention）

概率稀疏自注意力是Informer模型中引入的一種稀疏自注意力機制。其核心思想是通過概率方法選擇最重要的一部分注意力權(quán)重進(jìn)行計算，而忽略那些對結(jié)果影響較小的權(quán)重。這種方法能夠顯著降低計算復(fù)雜度，同時保持較高的模型性能。

• 稀疏自注意力：不同于標(biāo)準(zhǔn) Transformer 的密集自注意力機制，Informer 引入了 ProbSparse Self-attention，通過概率抽樣機制選擇重要的 Q-K 對進(jìn)行計算，減少了計算復(fù)雜度。
• 效率提升：稀疏注意力機制顯著降低了計算復(fù)雜度，從 O(L2?d) 降低到 O(L?log(L)?d)，其中 L 是序列長度，d 是每個時間步的特征維度。

3.2 多尺度特征提取-信息蒸餾

Informer的架構(gòu)圖并沒有像Transformer一樣在Encoder的左邊標(biāo)注來表示N個Encoder的堆疊，而是一大一小兩個梯形。橫向看完單個Encoder（也就是架構(gòu)圖中左邊的大梯形，是整個輸入序列的主堆棧）。

Encoder的作用是Self-attention Distilling，由于ProbSparse自相關(guān)機制有很多都是用V的mean填充的，所以天然就存在冗余的attention sorce ,因此在相鄰的Attention Block之間應(yīng)用卷積與池化來對特征進(jìn)行下采樣，所以作者在設(shè)計Encoder時，采用蒸餾的操作不斷抽取重點特征，從而得到值得重點關(guān)注的特征圖。

• 多尺度時間序列特征提取：Informer 通過多尺度的方式對不同時間粒度的特征進(jìn)行建模，可以更好地捕捉時間序列中的多尺度依賴關(guān)系。
• 信息蒸餾：引入了信息蒸餾機制，通過層次化的時間卷積池化層逐步縮減時間步長，提取不同尺度的特征，實現(xiàn)長時間依賴的高效建模。
• 卷積降維：在編碼器中使用1D卷積池化層進(jìn)行降維，步長為2，使得序列長度減半，進(jìn)一步減少計算復(fù)雜度。
• 信息壓縮：通過卷積池化層進(jìn)行信息壓縮，將長序列信息濃縮到較短的時間步長中，從而更高效地進(jìn)行時序建模。

3.3 時間編碼

Informer在原始向量上不止增加了Transformer架構(gòu)必備的PositionEmbedding（位置編碼）還增加了與時間相關(guān)的各種編碼：

• 日周期編碼：表示一天中的時間點。
• 周周期編碼：表示一周中的時間點。
• 月周期編碼：表示一個月中的時間點。

在 LSTF 問題中，捕獲遠(yuǎn)程獨立性的能力需要全局信息，例如分層時間戳（周、月和年）和不可知時間戳（假期、事件）。

具體在這里增加什么樣的GlobalTimeStamp還需要根據(jù)實際問題來確認(rèn)，如果計算高鐵動車車站的人流量，顯然“假期”的時間差就是十分重要的。如果計算公交地鐵等通勤交通工具的人流量，顯然“星期”可以更多的揭示是否為工作日。

4 風(fēng)電功率等數(shù)據(jù)集介紹

4.1 導(dǎo)入數(shù)據(jù)

風(fēng)電功率數(shù)據(jù)集一共35040個樣本，15個特征，取前6000條數(shù)據(jù)進(jìn)行可視化

4.2 數(shù)據(jù)集制作與預(yù)處理

詳細(xì)介紹見提供的文檔！

5 基于Informer-BiGRU-GATT的并行預(yù)測模型

5.1 定義Informer-BiGRU-GATT并行預(yù)測網(wǎng)絡(luò)模型

5.2 設(shè)置參數(shù)，訓(xùn)練模型

50個epoch，MSE 為0.01284，Informer-BiGRU-GATT并行預(yù)測效果顯著，模型能夠充分利用Informer的長時間依賴建模能力和BiGRU-GATT的短期依賴捕捉能力征，收斂速度快，性能優(yōu)越，預(yù)測精度高，適當(dāng)調(diào)整模型參數(shù)，還可以進(jìn)一步提高模型預(yù)測表現(xiàn)。

6 結(jié)果可視化和模型評估

6.1 預(yù)測結(jié)果可視化

6.2 模型評估

由預(yù)測結(jié)果可見，在Informer-BiGRU-GATT并行預(yù)測模型下擬合效果良好，通過這種設(shè)計，可以充分利用Informer和BiGRU-GATT的優(yōu)勢，實現(xiàn)高效且準(zhǔn)確的時序預(yù)測,組合預(yù)測效果顯著！

本文轉(zhuǎn)載自??建模先鋒??，作者： 小蝸愛建模 ????