好久沒(méi)有見(jiàn)到時(shí)間序列預(yù)測(cè)方向大的突破了，部分可能歸因于兩點(diǎn)：1. 現(xiàn)有方法能力已被推至極限；2. 所預(yù)測(cè)對(duì)象本身內(nèi)生的隨機(jī)性。

近日Nature上有學(xué)者提出未來(lái)引導(dǎo)學(xué)習(xí)（Future Guided Learning, FGL），引入“未來(lái)信息”動(dòng)態(tài)反饋機(jī)制，在多個(gè)任務(wù)中顯著提升預(yù)測(cè)性能。

核心機(jī)制

FGL 由兩個(gè)模型構(gòu)成：

檢測(cè)模型（Future Model / Teacher），利用未來(lái)時(shí)間窗口的數(shù)據(jù)判斷關(guān)鍵事件是否會(huì)發(fā)生。

預(yù)測(cè)模型（Predictive Model / Student），依賴歷史與當(dāng)前數(shù)據(jù)進(jìn)行實(shí)時(shí)預(yù)測(cè)。

兩者通過(guò)動(dòng)態(tài)反饋機(jī)制協(xié)作，預(yù)測(cè)結(jié)果與檢測(cè)結(jié)果差異越大，預(yù)測(cè)模型的更新信號(hào)就越強(qiáng)。這相當(dāng)于“未來(lái)的老師”指導(dǎo)“現(xiàn)在的學(xué)生”，讓預(yù)測(cè)模型不斷對(duì)齊未來(lái)事實(shí)。

A 在FGL框架中，教師模型專注于長(zhǎng)期預(yù)測(cè)的學(xué)生模型的相對(duì)未來(lái)時(shí)間域進(jìn)行運(yùn)作。在完成教師模型面向未來(lái)任務(wù)的訓(xùn)練后，雙模型會(huì)在學(xué)生模型的訓(xùn)練階段同步進(jìn)行推理。

通過(guò)提取教師與學(xué)生模型的概率分布，基于公式(1)計(jì)算損失函數(shù)。A1 知識(shí)蒸餾通過(guò)類別分布間的KL散度實(shí)現(xiàn)信息傳遞。

B 在事件預(yù)測(cè)場(chǎng)景中，教師模型直接基于事件本身進(jìn)行訓(xùn)練，而學(xué)生模型則被訓(xùn)練來(lái)預(yù)測(cè)這些事件。盡管使用相對(duì)歷史數(shù)據(jù)，教師模型生成的未來(lái)標(biāo)簽仍被蒸餾至學(xué)生模型，引導(dǎo)其預(yù)測(cè)結(jié)果與教師模型更緊密對(duì)齊。

C 在回歸預(yù)測(cè)任務(wù)中，教師與學(xué)生模型分別承擔(dān)短期與長(zhǎng)期預(yù)測(cè)職責(zé)。與事件預(yù)測(cè)類似，學(xué)生模型在訓(xùn)練過(guò)程中持續(xù)從教師模型獲取洞察，從而增強(qiáng)其面向更長(zhǎng)遠(yuǎn)未來(lái)的預(yù)測(cè)能力。

關(guān)鍵實(shí)驗(yàn)成果

事件預(yù)測(cè)，使用真實(shí) EEG 數(shù)據(jù)，AUC-ROC 上提升44.8%，顯著提高對(duì)發(fā)作前兆的敏感度和準(zhǔn)確率。

回歸預(yù)測(cè)，在多個(gè)模擬系統(tǒng)中進(jìn)行回歸與分類任務(wù)，均方誤差MSE 降低 23.4%，分類準(zhǔn)確率顯著提高。

理論與意義

FGL 借鑒了預(yù)測(cè)編碼（predictive coding），大腦不斷生成未來(lái)預(yù)期，并用真實(shí)結(jié)果修正預(yù)測(cè)，減少“surprise 驚訝”。

FGL 是這一認(rèn)知機(jī)制在深度學(xué)習(xí)中的一次落地，實(shí)現(xiàn)了“未來(lái)信息到當(dāng)前預(yù)測(cè)”的動(dòng)態(tài)閉環(huán)。

與現(xiàn)有方法差異：

不同于多步預(yù)測(cè)，F(xiàn)GL 不直接預(yù)測(cè)遠(yuǎn)未來(lái)，而是用未來(lái)窗口引導(dǎo)訓(xùn)練；

不同于知識(shí)蒸餾，F(xiàn)GL 的“蒸餾”是動(dòng)態(tài)的、時(shí)間差異驅(qū)動(dòng)的。

不同于自監(jiān)督學(xué)習(xí)，對(duì)比學(xué)習(xí)，F(xiàn)GL 的監(jiān)督信號(hào)更直接、可解釋。

背后機(jī)理分析

FGL通過(guò)“未來(lái)檢測(cè)器”與“當(dāng)前預(yù)測(cè)器”的差異反饋，實(shí)現(xiàn)了動(dòng)態(tài)、有針對(duì)性的監(jiān)督。

檢測(cè)器利用未來(lái)窗口信息，將長(zhǎng)期依賴和關(guān)鍵事件的信號(hào)壓縮傳遞給預(yù)測(cè)器，從而放大重要樣本的學(xué)習(xí)效果，提高信噪比，并快速適應(yīng)分布漂移。

FGL 增強(qiáng)了歷史表征與未來(lái)結(jié)果的互信息，改善了長(zhǎng)期依賴建模、稀有事件的信用分配以及模型的表征對(duì)齊，使預(yù)測(cè)更準(zhǔn)確、更穩(wěn)健。

對(duì)未來(lái)數(shù)據(jù)依賴、可能的信息泄漏、檢測(cè)器偏差和額外計(jì)算成本有可能會(huì)是FGL潛在局限的方面。

數(shù)據(jù)可用性 

研究中使用的所有數(shù)據(jù)集都是公開(kāi)可用的：

CHB-MIT 頭皮腦電波數(shù)據(jù)庫(kù)：可在?? https://physionet.org/content/chbmit/1.0.0/ ??獲取。

Kaggle Seizure Prediction Challenge：可在?? https://www.kaggle.com/competitions/seizure-prediction ??獲取。

Kaggle UPenn & Mayo Clinic Seizure Detection Challenge：可在?? https://www.kaggle.com/competitions/seizure-detection ??獲取。

合成的 Mackey-Glass 時(shí)間序列使用了標(biāo)準(zhǔn)的 Mackey-Glass 延遲微分方程，參數(shù)設(shè)置和生成腳本在隨附的代碼庫(kù)中提供。

代碼可用性 

代碼在GitHub 存儲(chǔ)庫(kù)中公開(kāi)可用：??https://github.com/SkyeGunasekaran/FutureGuidedLearning??。

文獻(xiàn)1，A predictive approach to enhance time-series forecasting，???https://www.nature.com/articles/s41467-025-63786-4??

本文轉(zhuǎn)載自??清熙??，作者：王慶法