LFPLM：基于預訓練語言模型的通用靈活負荷預測框架 原創(chuàng)
??摘要——準確的負荷預測對于維持發(fā)電機和消費者之間的電力平衡至關重要，特別是在可再生能源日益融合的情況下，這些能源帶來了顯著的間歇性波動。隨著數(shù)據(jù)驅(qū)動方法的發(fā)展，基于機器學習和深度學習的模型已成為負荷預測任務的主要方法。近年來，預訓練語言模型（PLM）在各個領域表現(xiàn)出色，取得了顯著進展。本文提出了一種基于PLM的負荷預測方法，該方法不僅具有準確的預測能力，還具有通用性和靈活性。此外，本文還提出了一種數(shù)據(jù)建模方法，可以有效地將負荷序列數(shù)據(jù)轉(zhuǎn)換為自然語言以進行PLM訓練。我們還引入了一種數(shù)據(jù)增強策略，以消除PLM幻覺對預測結(jié)果的影響。所提出方法的有效性已在兩個現(xiàn)實世界數(shù)據(jù)集上得到了驗證。與現(xiàn)有方法相比，我們的方法在所有驗證指標上均表現(xiàn)出最先進的性能。
I. 引言
負荷預測在維持現(xiàn)代電力系統(tǒng)的穩(wěn)定性中起著重要作用。通過準確的預測結(jié)果，電力系統(tǒng)可以最大限度地整合不穩(wěn)定的可再生能源，如光伏和風能。近年來，基于機器學習和深度學習的方法由于其出色的性能，已成為負荷預測任務的主流方法。各種網(wǎng)絡不斷被改進以提高預測精度，如極端梯度提升（XGBoost）、隨機森林（RF）和長短期記憶網(wǎng)絡（LSTM）。
除了模型本身，用于訓練這些模型的數(shù)據(jù)的質(zhì)量和分布也對預測精度有影響。為了確保模型在一般任務上的最佳表現(xiàn)，通常會為特定模型設計數(shù)據(jù)建模和特征工程策略。例如，參考文獻中，通過增加可用特征數(shù)量并將每日電力負荷信息轉(zhuǎn)換為每周負荷信息，提出了一種基于XGBoost的電力負荷預測方案。另一篇文獻展示了基于RF的負荷預測與專家選擇相結(jié)合的靈活性，以適應復雜的客戶行為。還有文獻描述了一種基于LSTM的住宅負荷預測框架，結(jié)合了客戶級別的數(shù)據(jù)分析。
面對來自不同場景的負荷數(shù)據(jù)的日益多樣性，單一模型的有限能力有時難以實現(xiàn)高精度預測。一些研究通過結(jié)合多種方法來提高總體性能。例如，參考文獻中，將RF和平均生成函數(shù)結(jié)合使用，設置可調(diào)權重參數(shù)用于短期負荷預測。另一篇文獻提出了一種基于CNN和LSTM網(wǎng)絡集成的混合方法來預測短期電力負荷。此外，還有文獻通過結(jié)合時間卷積網(wǎng)絡（TCN）和LightGBM來擴展多種不同類型工業(yè)客戶的負荷預測應用。
最近，預訓練語言模型（PLM）在深度學習領域表現(xiàn)出強大的準確性和靈活性。PLM模型中的注意力機制被證明在捕捉時間序列數(shù)據(jù)的長程依賴性方面非常有效，這對負荷預測任務很有幫助。一些正在進行的研究已經(jīng)將PLM應用于時間序列預測。例如，有研究引入了一種基于提示的學習范式，用于時間序列預測，其中用戶的數(shù)據(jù)集直接在模型上訓練。另一篇研究通過對提示進行標記，并在保持大語言模型參數(shù)靜止的情況下完成訓練，通過更新重編程層參數(shù)完成訓練。然而，PLM也有其自身的局限性，即在各種下游研究中普遍存在幻覺現(xiàn)象。在負荷預測任務中，幻覺可能導致極其不準確的預測或輸出序列中的缺失值。
因此，本文提出了一種名為LFPLM的負荷預測框架，利用其靈活性和通用性，在多時間尺度和多場景數(shù)據(jù)集上實現(xiàn)更準確的結(jié)果。此外，本文引入了一種數(shù)據(jù)集建模方法，使PLM能夠有效地執(zhí)行預測。根據(jù)作者的知識，這是首個在電力系統(tǒng)負荷預測任務中應用PLM的研究。
本文的具體貢獻如下：
1) 提出了一種基于PLM的通用且靈活的電力系統(tǒng)負荷預測方法。該方法可以應用于具有不同時間尺度的各種負荷預測任務。
2) 提出了一種結(jié)合語言和統(tǒng)計信息的數(shù)據(jù)集格式化方法，以更好地利用PLM的預測能力。
3) 提出了一種數(shù)據(jù)增強方法，通過將數(shù)值序列與語言描述分離來解決PLM的幻覺問題。
4) 驗證了所提出方法在不同時間尺度的開源和現(xiàn)實世界負荷預測數(shù)據(jù)集上的有效性。與現(xiàn)有負荷預測方法相比，所提出框架的優(yōu)越性和適應性得到了明確證明。
II. 數(shù)據(jù)集描述和建模
在本節(jié)中，我們介紹一種創(chuàng)建數(shù)據(jù)集以訓練LFPLM的方法。從將數(shù)值數(shù)據(jù)轉(zhuǎn)換為文本數(shù)據(jù)開始，我們將詳細說明如何通過這些方法有效地微調(diào)模型。此外，還介紹了一種解決PLM幻覺現(xiàn)象的技術。需要強調(diào)的是，所提出的數(shù)據(jù)集建模方法適用于所有基于PLM的負荷預測任務。
A. 結(jié)合語言和統(tǒng)計信息
在常見的負荷預測任務中，歷史負荷數(shù)據(jù)通常作為預測的輸入。輸入數(shù)據(jù)通常被建模為一個連續(xù)序列X ∈ RL×d，其中L和d分別表示序列的長度和維度。由于LFPLM需要以文本格式輸入數(shù)據(jù)，我們提出了一種數(shù)據(jù)集建模方法，將數(shù)值序列轉(zhuǎn)換為自然語言表達Xtext，如下所示：
其中，xi 是輸入序列中的第i個數(shù)據(jù)，R 表示實數(shù)集合，S代表從實數(shù)到文本的轉(zhuǎn)換。
此外，為了進一步利用文本表達的優(yōu)勢，我們引入了統(tǒng)計信息 Xstat 來增強輸入數(shù)據(jù)的特征維度，表示為 Xts。統(tǒng)計信息包括最大值、最小值和平均值。具體來說，我們使用預測時間前Nobs步內(nèi)的最大值和最小值來建模全局特征，并用輸入序列的平均值表示局部特征。
其中，Xts表示具有統(tǒng)計信息的PLM輸入，Xstat是包含最大值、最小值和平均值的統(tǒng)計信息，Xobs表示預測時間前Nobs時間步內(nèi)的歷史負荷數(shù)據(jù)。
B. 將數(shù)值序列與語言分離
負荷預測任務中幻覺現(xiàn)象的原因，如數(shù)據(jù)缺失或生成多余數(shù)據(jù)，可歸因于兩個主要方面：1）在將數(shù)值數(shù)據(jù)轉(zhuǎn)換為文本描述的過程中，以字符串格式存儲的數(shù)據(jù)長度不一致。2）PLM的預訓練參數(shù)來源于自然語言的訓練，因此缺乏有效識別純數(shù)值的能力。
利用PLM對語言描述的敏感性，本節(jié)提出了一種數(shù)據(jù)增強方法，將數(shù)值數(shù)據(jù)與文本信息分離。增強輸入數(shù)據(jù)集 Xets 基于 Xtext* 構(gòu)建如下所示：
其中，Xtext* 是帶有時間信息的數(shù)值序列的文本表達，ti 是文本表達中與 xi 對應的時間步。
由于LFPLM的輸出數(shù)據(jù)也以文本形式存在，因此在訓練過程中需要相應的文本真實值。對于每種輸入格式的 X，我們生成對應的真實值 Ygt。
C. 預測數(shù)據(jù)集
為了評估所提出方法在負荷預測任務中的通用性和準確性，我們選擇了以下兩個不同時間尺度的現(xiàn)實世界數(shù)據(jù)集進行研究。
1) 電力負荷預測數(shù)據(jù)集（ELFD）：這是一個在Kaggle上可用的開源數(shù)據(jù)集，涵蓋了2015年至2020年間巴拿馬地區(qū)超過40,000條小時負荷數(shù)據(jù)。該數(shù)據(jù)集可通過以下網(wǎng)址訪問：kaggle.com/datasets/saurabhshahane/electricity-load-forecasting/data。
2) 工業(yè)客戶負荷數(shù)據(jù)集（ICLD）：這個現(xiàn)實世界數(shù)據(jù)集包括了2018年至2021年間10個工業(yè)客戶約9000條日負荷數(shù)據(jù)。該數(shù)據(jù)集來自中國東部一個真實的電力系統(tǒng)。
兩個數(shù)據(jù)集的分布如圖1所示。本節(jié)中建立的策略下的詳細示例數(shù)據(jù)集如表I所示。上述方法的有效性將在第四節(jié)中驗證。
表I 基于所提出方法的數(shù)據(jù)集示例
圖1. 負荷預測數(shù)據(jù)集的分布
III. 提出的框架
在本節(jié)中，我們詳細介紹了所提出的預測框架的基本結(jié)構(gòu)和用于完成預測任務的PLM。此外，我們還詳細說明了不同PLM的訓練方法，并列出了用于評估其預測結(jié)果的指標。
A. 用于負荷預測的PLM
PLM結(jié)構(gòu)上可以分為三類：
1. 僅編碼器模型：以BERT為代表，這些模型通過掩碼語言建模學習雙向上下文編碼器。訓練目標包括隨機掩碼部分文本并預測被掩碼的單詞。這種架構(gòu)主要適用于不需要序列生成的任務，而是需要編碼和處理輸入的任務，如文本分類和情感分析。
2. 僅解碼器模型：以GPT和BLOOM為代表，這些模型通常用于序列生成任務，稱為生成模型。它們直接從輸入生成序列，并執(zhí)行無監(jiān)督預訓練。然而，它們需要大量的訓練數(shù)據(jù)來提高生成文本的質(zhì)量和多樣性。
3. 編碼器-解碼器模型：以T5和BART為代表，這些模型使用編碼器處理輸入序列，提取特征和語義信息，并使用解碼器生成相應的輸出序列。被稱為序列到序列模型，它擅長處理輸入和輸出序列之間的關系，提高在機器翻譯和對話生成等任務中的準確性。
根據(jù)負荷預測任務的特點，我們主要考慮基于僅解碼器和編碼器-解碼器架構(gòu)的PLM，如表II所示。此外，還選擇了不同語言訓練的PLM，以驗證預測結(jié)果是否受自然語言表達的影響。
B. 不同PLM的訓練策略
我們的工作框架如圖2所示。為了充分利用大模型中的預訓練參數(shù)，我們采用多種訓練方法針對不同的PLM，旨在實現(xiàn)最佳預測結(jié)果，同時保持訓練效率。
1. 全參數(shù)訓練：在LFPLM下的全參數(shù)化訓練方法用于訓練PLM（除BLOOM外）與所提出的數(shù)據(jù)集。盡管這種方法犧牲了它們預訓練參數(shù)的原始問題解決能力，但它可以在負荷預測任務中表現(xiàn)良好。
2. 參數(shù)高效微調(diào)（PEFT）：如BLOOM等大語言模型，針對一般任務預訓練，其預訓練參數(shù)中編碼了對知識的全面理解。然而，完全在專用數(shù)據(jù)集上訓練這些模型會破壞預訓練參數(shù)的分布模式，降低其在文本理解中的可行性。因此，我們采用了LoRA技術的PEFT方法微調(diào)模型參數(shù)。在此方法中，我們使用低秩分解模擬基于原始模型參數(shù)分布的參數(shù)變化，從而間接訓練一個參數(shù)較少的大模型。我們處理來自原始模型的參數(shù)矩陣Wd×k如下：
Wd×k = Ud×r · Vr×k r < d, k
其中r是低秩系數(shù)，U和V是低秩矩陣。
在我們的研究中，PEFT選定的參數(shù)是自注意層中的WQ、WK和WV指標，可訓練參數(shù)總量占原始模型的10%。
C. 評估方法和指標
對于模型的預測結(jié)果，我們主要關心自然語言中的數(shù)值序列的準確性。根據(jù)第二節(jié)中的真實值格式設置，我們可以輕松從文本中提取數(shù)據(jù)序列，借此計算預測準確性以分析模型性能。
幻覺率被提出用于評估預測結(jié)果中的幻覺現(xiàn)象。我們研究中的三個評價指標分別是幻覺率、平均絕對誤差（MAE）和均方根誤差（RMSE），其定義如下：
其中，N是樣本數(shù)量，Yi是第i個預測結(jié)果，Yi,gt是對應的真實值，H ∈ (0, 1)是幻覺率，nh是幻覺樣本的數(shù)量。
IV. 案例研究
在本節(jié)中，我們將驗證所提出方法的有效性。首先，我們將展示訓練過程中使用的物理環(huán)境和超參數(shù)配置。其次，我們將應用LFPLM預測框架到第二節(jié)介紹的兩個數(shù)據(jù)集上。作為PLM的代表，Mengzi-T5模型將接受深入評估，并與傳統(tǒng)方法的統(tǒng)計結(jié)果進行比較。此外，還將測試第三節(jié)提到的各種PLM，以確認其在預測任務中的能力。
A. 參數(shù)配置
我們的模型使用PyTorch和來自HuggingFace的Transformers實現(xiàn)，所有實驗在NVIDIA 4090-24G GPU上進行。所有模型可以通過表II中的訪問密鑰從HuggingFace Model Hub訪問。所提出框架和對比方法的超參數(shù)如表IV所示。
B. 不同時間尺度數(shù)據(jù)集的預測結(jié)果
在ICLD和ELFD的驗證集（長度分別為860和2670）中，我們計算了預測數(shù)據(jù)的幻覺率、MAE和RMSE。PLM的幻覺可能導致結(jié)果中出現(xiàn)缺失或多余問題。為了確保指標計算的準確性，我們解決這個問題的方法如下：1）用零補充缺失數(shù)據(jù)，2）移除多余數(shù)據(jù)以保持所有輸出序列長度一致。我們使用Mengzi-T5模型作為LFPLM框架，并與傳統(tǒng)方法（包括XGBoost、隨機森林和LSTM）進行比較。如表III所示，LFPLM方法相比三種傳統(tǒng)預測方法表現(xiàn)出最先進的性能。LFPLM、LFPLM-ts和LFPLM-ets方法僅在輸入數(shù)據(jù)格式上有所不同，分別對應Xtext、Xts和Xets。預測結(jié)果表明，將長期統(tǒng)計信息整合到數(shù)據(jù)中可以提高預測準確性。為了提供直觀的展示，LFPLM與其他方法的預測曲線如圖3和圖4所示。
特別是，表III中的紅色數(shù)據(jù)突出了預測中幻覺問題的影響，尤其是在ICLD數(shù)據(jù)集中，這導致RMSE顯著高于正常值。我們確認這個問題源于預測數(shù)據(jù)序列中的缺失值。使用Xets作為輸入數(shù)據(jù)時，幻覺率降至零，MAE和RMSE也顯著改善。這些結(jié)果表明，在未預處理原始數(shù)據(jù)的情況下，PLM的預測能力尚未充分發(fā)揮。使用第二節(jié)中提出的方法，LFPLM可以有效消除幻覺并提高預測準確性。
C. 基于不同PLM模型的預測結(jié)果
我們驗證了所提出方法在表II中給出的不同結(jié)構(gòu)的PLM上的通用性。如表V所示，基于LFPLM的預測框架在不同PLM上始終實現(xiàn)了較低的MAE和RMSE，Mengzi-T5模型在兩個數(shù)據(jù)集上的預測性能最佳。結(jié)果還表明，基于中文預訓練參數(shù)和相應數(shù)據(jù)集的模型在預測任務中表現(xiàn)更好。我們通過兩個中文預訓練模型Mengzi-T5和BART-CN實現(xiàn)了更好的預測結(jié)果。使用我們提出的數(shù)據(jù)建模方法結(jié)合PEFT，BLOOM和BLOOM-CN模型在負荷預測任務中表現(xiàn)不佳。模型輸出不準確，幻覺大量存在，如“電力消耗為1834,133,12699,,- - -,192,,”。盡管其輸出的文本部分可以反映一些訓練信息，但數(shù)值輸出顯示出顯著的扭曲。因此，這兩個模型的結(jié)果被排除在統(tǒng)計之外。
V. 結(jié)論
本文提出了一種基于預訓練語言模型的通用且靈活的負荷預測框架，得出以下結(jié)論：
1. 建立了一種數(shù)據(jù)集格式化方法，將序列格式的數(shù)據(jù)轉(zhuǎn)換為自然語言，以便PLM訓練，并整合統(tǒng)計信息的語言描述以拓寬輸入特征維度。
2. 針對PLM在負荷預測任務中的幻覺問題，提出了一種數(shù)據(jù)增強方法。通過適當分離數(shù)值序列和語言描述，幻覺率顯著降低至0%。
3. 在兩個現(xiàn)實世界數(shù)據(jù)集上驗證了LFPLM的綜合預測性能。LFPLM的MAE在ICLD和ELFD上分別降至40.6和4.0，顯示出相對于現(xiàn)有方法的優(yōu)越預測準確性。
在未來的工作中，我們旨在將更大的語言模型應用于負荷預測問題。我們將專注于建立適合大語言模型的數(shù)據(jù)集和開發(fā)訓練方法，確?？煽康呢摵深A測，同時最大限度地利用預訓練參數(shù)。此外，中文預訓練模型在負荷預測任務中表現(xiàn)更好的原因尚不明確，我們將繼續(xù)探究其背后的原因。此外，我們還將探索PLM在其他電力系統(tǒng)任務中的潛力，如故障診斷和電能質(zhì)量分析。
Gao M, Zhou S, Gu W, et al. LFPLM: A General and Flexible Load Forecasting Framework based on Pre-trained Language Model[J]. arXiv preprint arXiv:2406.11336, 2024.
Southeast University
State Grid Jiangsu Electric Power Co.Ltd
?
本文轉(zhuǎn)載自公眾號AIRoobt ，作者：AIRoobt
原文鏈接：??https://mp.weixin.qq.com/s/Fpikk13kncoWo-Lze7CZqg??
