時(shí)間序列預(yù)測來到真正意義上的“高維賽場”！

從原來幾百維的小數(shù)據(jù)集到萬維系統(tǒng)，時(shí)序預(yù)測模型面對真實(shí)世界，終于不用再“一碰就脆”。

這是來自全華人團(tuán)隊(duì)最新研究——業(yè)界首個專為高維時(shí)間序列預(yù)測設(shè)計(jì)的大規(guī)模基準(zhǔn)Time-HD。

該基準(zhǔn)涵蓋神經(jīng)科學(xué)、云計(jì)算、氣象、金融等十個領(lǐng)域的16個數(shù)據(jù)集，變量數(shù)量最高可達(dá)兩萬。

團(tuán)隊(duì)還圍繞該基準(zhǔn)發(fā)布了首個高維時(shí)序開源框架Time-HD-Lib，提供了標(biāo)準(zhǔn)化預(yù)處理、統(tǒng)一評估策略、自動化超參數(shù)搜索以及分布式訓(xùn)練，系統(tǒng)地填補(bǔ)了高維時(shí)序預(yù)測評測的空白。

同時(shí)提出預(yù)測模型U-Cast，不僅可以在多個數(shù)據(jù)集中將誤差降低15%，訓(xùn)練速度還能提升近一倍。

下面是有關(guān)該基準(zhǔn)的更多細(xì)節(jié)內(nèi)容。

時(shí)序預(yù)測領(lǐng)域向高維邁進(jìn)

從金融市場的上千支股票，到智慧城市交通網(wǎng)絡(luò)的上萬個傳感器，毫無疑問我們正全面進(jìn)入一個由高維時(shí)間序列數(shù)據(jù)驅(qū)動的時(shí)代。

然而，當(dāng)前主流的時(shí)間序列預(yù)測（TSF）模型，大多仍停留在僅包含幾個或幾百個變量的低維環(huán)境（如ETT、Traffic）。

在面對成千上萬個變量構(gòu)成的高維復(fù)雜系統(tǒng)時(shí)（Time-HD），則往往表現(xiàn)出明顯的效率和性能的局限性。

另外也只有高維環(huán)境才能真正釋放通道依賴型模型的價(jià)值。

在現(xiàn)有的低維數(shù)據(jù)集上，通道依賴型（Channel-Dependent， CD）模型相較通道獨(dú)立型（Channel-Independent，CI）模型并未表現(xiàn)出穩(wěn)定且顯著的優(yōu)勢。

而大規(guī)模數(shù)據(jù)集已被證明是多個研究領(lǐng)域取得突破的關(guān)鍵支撐，例如，CV中的ImageNet、MS COCO，NLP中的GLUE、SQuAD，以及Graph中的OGB，都在推動相應(yīng)領(lǐng)域的發(fā)展中發(fā)揮了決定性作用。

但在時(shí)序預(yù)測領(lǐng)域，始終缺乏同類的大規(guī)模基準(zhǔn)，現(xiàn)有的大多數(shù)基準(zhǔn)并不包含高維數(shù)據(jù)集，其中Time-MoE和TFB僅各包含一個高維數(shù)據(jù)集（分別為1K和2K維），而且用于訓(xùn)練基礎(chǔ)模型的數(shù)據(jù)集通常存在數(shù)據(jù)點(diǎn)未對齊的問題，無法直接用于評測。

這些現(xiàn)象均表明，盡管社區(qū)中已有嘗試向高維時(shí)序任務(wù)拓展，但其覆蓋范圍仍然有限，從而削弱了現(xiàn)有基準(zhǔn)作為全面評測工具的有效性。

為時(shí)序預(yù)測設(shè)立全新高維基準(zhǔn)

為了進(jìn)一步推動時(shí)序社區(qū)發(fā)展，研究團(tuán)隊(duì)構(gòu)建了Time-HD——首個專為高維時(shí)間序列預(yù)測設(shè)計(jì)的大規(guī)?；鶞?zhǔn)，具有以下特性：

1、高維特性（High Dimensionality）：

Time-HD包含16個高維時(shí)間序列預(yù)測數(shù)據(jù)集，這些數(shù)據(jù)集的變量數(shù)（維度）范圍從1161到20000，顯著高于常用基準(zhǔn)（如ETT、Weather、ECL、Solar和Traffic，它們通常僅包含7–862個通道）。

2、數(shù)據(jù)來源多樣性（Diverse Sources）：

Time-HD同時(shí)包含模擬數(shù)據(jù)集和真實(shí)世界數(shù)據(jù)集。

Neurolib和SIRS是基于領(lǐng)域知識的微分方程進(jìn)行模擬生成的，適用于科學(xué)建模與假設(shè)檢驗(yàn)，其余數(shù)據(jù)集則來源于真實(shí)觀測數(shù)據(jù)，能夠用于評估預(yù)測模型在實(shí)際場景中的泛化能力。

3、數(shù)據(jù)規(guī)模多層次（Varied Scales）：

Time-HD提供了不同規(guī)模的數(shù)據(jù)集，其規(guī)模由變量數(shù)量和時(shí)間序列長度共同決定，并可通過磁盤占用反映這種差異。

如表所示，其中包含4個大規(guī)模（GB級）、8個中等規(guī)模（數(shù)百M(fèi)B級）和4個小規(guī)模（數(shù)十MB級）數(shù)據(jù)集。

中小規(guī)模數(shù)據(jù)集可以在單個GPU的內(nèi)存中運(yùn)行，適合用于評估計(jì)算資源密集型模型；而大規(guī)模數(shù)據(jù)集則支持基于小批量和分布式訓(xùn)練的可擴(kuò)展方法研究。

4、采樣頻率多樣性（Different Sampling Frequencies）：

Time-HD覆蓋了多種采樣頻率，包括毫秒、分鐘、小時(shí)和天，這種多樣性反映了不同應(yīng)用領(lǐng)域的真實(shí)場景，使得模型能夠在不同時(shí)間分辨率下進(jìn)行評估。

此外，Time-HD采用與采樣頻率對應(yīng)的預(yù)測長度，而非以往基準(zhǔn)中常見的固定預(yù)測步長，從而更貼近實(shí)際預(yù)測需求。

5、領(lǐng)域覆蓋廣泛（Broad Domain Coverage）：

Time-HD包含來自10個不同領(lǐng)域的數(shù)據(jù)集，包括神經(jīng)科學(xué)、能源、云計(jì)算、氣象、交通、流行病學(xué)、金融和社會行為等。

這樣的多領(lǐng)域覆蓋支持通用型預(yù)測模型的開發(fā)，并便于與特定領(lǐng)域方法進(jìn)行對比研究。

具體來說，研究團(tuán)隊(duì)提出了U-Cast架構(gòu)，主要針對變量飆升帶來的兩大挑戰(zhàn)：

• 復(fù)雜的層級結(jié)構(gòu)：在大規(guī)模系統(tǒng)中，變量之間往往呈現(xiàn)出隱含的層級關(guān)系（例如，金融市場中從板塊到行業(yè)再到具體公司的層次），而現(xiàn)有模型大多無法有效捕捉這種多尺度關(guān)聯(lián) 。
• 效率與擴(kuò)展性瓶頸：傳統(tǒng)的依賴通道間交互的模型，在面對上千個變量時(shí)，其計(jì)算成本和內(nèi)存消耗會呈指數(shù)級增長，變得不切實(shí)際。

其核心設(shè)計(jì)包括：

1、層級式潛查詢網(wǎng)絡(luò)（Hierarchical Latent Query Network）：

U-Cast不再依賴在所有變量間進(jìn)行全局注意力計(jì)算的傳統(tǒng)方式，而是引入一小組可學(xué)習(xí)的“潛查詢” （latent queries）。

這些潛查詢?nèi)缤畔⑻崛∑?，能夠逐層從高維變量中篩選并壓縮關(guān)鍵信息，從而高效建構(gòu)數(shù)據(jù)的潛在層級結(jié)構(gòu)，實(shí)現(xiàn)對復(fù)雜多尺度依賴關(guān)系的建模。

• Channel Embedding

給定輸入多條時(shí)間序列，是時(shí)序輸入長度，先通過Linear層獲取其相應(yīng)的embedding （），代表channel數(shù)量（即維度），代表embedding dimension。

• Hierarchical Latent Query Network

每一層都用一個latent query （可學(xué)習(xí)）作為query與embedding做attention來達(dá)到降維（）的目的。

• Hierarchical Upsampling Network

使用skip connection 作為query參與attention來指導(dǎo)維度重建，可以在保留原有信息的基礎(chǔ)上增加層次結(jié)構(gòu)信息。

• Output Projection

最后使用Linear層將映射到時(shí)序預(yù)測長度。

2、全秩正則化（Full-Rank Regularization）：

高維時(shí)間序列普遍存在冗余性，導(dǎo)致模型容易陷入學(xué)習(xí)重復(fù)或低效表示，為此，U-Cast在訓(xùn)練過程中引入一種新穎的正則化目標(biāo)，以約束表示空間保持更高秩的多樣性。

該機(jī)制能夠有效減少通道間冗余信息，促使模型學(xué)習(xí)到更加獨(dú)立且結(jié)構(gòu)化的特征表示，從而提升預(yù)測的精度與穩(wěn)健性。

這里

3、優(yōu)化目標(biāo)（Overall Objective）：

最終同時(shí)優(yōu)化ground truth loss和研究者提出的Full-Rank Regularization loss。

實(shí)驗(yàn)效果

實(shí)驗(yàn)結(jié)果表明，在16個數(shù)據(jù)集里，U-Cast在12個數(shù)據(jù)集的MSE指標(biāo)上排名第一，尤其是與iTransformer相比，平均預(yù)測誤差降低了15%。

而且U-Cast不僅預(yù)測得更準(zhǔn)，還更快、更省資源。

如圖所示，在達(dá)到最低預(yù)測誤差（MSE）的同時(shí)，U-Cast的訓(xùn)練速度（12ms/iter）和顯存占用（0.2GB）遠(yuǎn)低于表現(xiàn)相近的iTransformer（20.8ms, 2.8GB）等模型 。

消融實(shí)驗(yàn)也驗(yàn)證了每個模塊對U-Cast的影響，消融掉任何一個模塊都會降低U-Cast的表現(xiàn)。

另外通過觀察變量的協(xié)方差矩陣\boldsymbol{\Sigma}從隨機(jī)初始化狀態(tài)（Epoch 0）到較優(yōu)收斂狀態(tài)（Epoch 10）的演化過程，可以發(fā)現(xiàn)，隨著訓(xùn)練迭代，協(xié)方差矩陣的結(jié)構(gòu)發(fā)生了顯著變化，由稠密逐漸轉(zhuǎn)向稀疏。

這表明滿秩約束能夠通過減少通道間的冗余，有效促進(jìn)表示的解耦。

研究團(tuán)隊(duì)通過發(fā)布Time-HD基準(zhǔn)，開源Time-HD-Lib框架，和提出U-Cast方法，為高維時(shí)間序列預(yù)測設(shè)立了新的標(biāo)桿。

不僅提供了性能卓越、效率優(yōu)越的基線模型，也為研究社區(qū)探索更大規(guī)模、更真實(shí)場景的時(shí)序預(yù)測開辟了新方向。

未來高維時(shí)序預(yù)測研究有望迎來新一輪創(chuàng)新浪潮，助力時(shí)序預(yù)測邁向高維。

論文鏈接：https://arxiv.org/pdf/2507.15119

代碼鏈接：https://github.com/UnifiedTSAI/Time-HD-Lib

數(shù)據(jù)集鏈接：https://huggingface.co/datasets/Time-HD-Anonymous/High_Dimensional_Time_Series