今天給大家介紹一篇WWW 2024中，由于新嘉博國立大學和香港科技大學聯(lián)合發(fā)表的多模態(tài)時間序列預測模型UniTime，通過文本信息實現(xiàn)統(tǒng)一跨域時間序列預測。

論文標題：UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting

下載地址：??https://arxiv.org/pdf/2310.09751v1.pdf??

1、背景

在很多時間序列預測場景中，會涉及到跨域?qū)W習，即有多個領(lǐng)域的時間序列數(shù)據(jù)，不同領(lǐng)域的數(shù)據(jù)分布、特征都可能不同，需要對這些領(lǐng)域都進行預測。解決這種問題的一個基礎(chǔ)方法為，為每個domain獨立訓練一個模型。這種方法的問題在于資源占用多，無法共享不同domain時間序列數(shù)據(jù)的信息。

Cross Domain相關(guān)的方法研究如何將多個不同domain的數(shù)據(jù)聯(lián)合到一起訓練一個模型。這其中需要面臨的問題包括，如何讓模型兼容不同類型的數(shù)據(jù)、如何有效區(qū)分不同domain的數(shù)據(jù)等問題。本文就建立在這個問題之上，希望建立一個能夠聯(lián)合訓練不同domain時間序列數(shù)據(jù)的統(tǒng)一時間序列模型。

2、實現(xiàn)方法

針對上述問題，本文提出了一種使用文本信息增強時間序列cross domain學習能力的方法。

首先，整體的模型結(jié)構(gòu)采用了Patch+Linear的基礎(chǔ)方式，對于每個時間序列，使用patch的方式將序列轉(zhuǎn)換為token embedding。由于不同domain的學習速率不同，為了防止那些學習快的domain出現(xiàn)過擬合，文中采用了一種mask的思路，將時間序列隨機mask掉一部分點，讓模型不能只根據(jù)domain數(shù)據(jù)自身的特征進行簡單預測導致過擬合。這一步的輸出為mask標記和被mask序列的Gate融合結(jié)果。

接下來，文中引入了文本信息輔助跨域?qū)W習。對于每個domain的數(shù)據(jù)，使用一個文本描述，輸入到Transfomer中生成表征，描述這個domain的樣本，以此作為一個domain的標識信息。這部分信息和時間序列本身的輸出結(jié)果拼接到一起后，整體再過一個Transfomer融合文本和時序的信息。

最后，上述Transformer結(jié)果會輸入到Decoder中，為了適配不同domain的序列長度可能不同的問題，使用一個可學習的padding向量對Encoder的輸出結(jié)果進行補全。補全結(jié)果輸入到Transformer Decoder中得到最終預測結(jié)果。

3、實驗效果

在實驗中，文中對比了多個數(shù)據(jù)集中，不同預測窗口的預測效果。對比的模型包括在所有數(shù)據(jù)集上聯(lián)合訓練的方法，也包括在單獨數(shù)據(jù)集上訓練的方法?？梢钥吹剑琔niTime在多個數(shù)據(jù)集的不同配置上都取得了比較明顯的效果提升。

同時，通過下圖可以看出，通過引入instruction，可以讓各個domain數(shù)據(jù)的表征學習的更加合理，各個domain在表征空間區(qū)分的更分散。

本文轉(zhuǎn)載自 ??圓圓的算法筆記??，作者： Fareise