今天給大家介紹一篇時(shí)間序列大模型研究工作。這項(xiàng)工作基于預(yù)訓(xùn)練的語(yǔ)言模型，增強(qiáng)時(shí)間序列預(yù)測(cè)效果，文中提出了多層次、多頻率表征抽取和語(yǔ)義對(duì)齊模塊，實(shí)現(xiàn)LLM在時(shí)間序列數(shù)據(jù)形式上更好的應(yīng)用。

論文標(biāo)題：LLM-PS: Empowering Large Language Models for Time Series Forecasting with Temporal Patterns and Semantics

下載地址：??https://arxiv.org/pdf/2503.09656??

1.研究背景

使用大模型進(jìn)行時(shí)間序列預(yù)測(cè)已經(jīng)成為一個(gè)目前的熱點(diǎn)研究方向。然而，目前借助預(yù)訓(xùn)練大語(yǔ)言模型進(jìn)行時(shí)序預(yù)測(cè)，存在2個(gè)核心難點(diǎn)。首先是時(shí)間序列的多樣化的pattern，和文本差異比較大，文本的含義都是穩(wěn)定的，而時(shí)間序列數(shù)據(jù)經(jīng)常出現(xiàn)各種各樣的不同變化，給語(yǔ)言模型適配時(shí)間序列數(shù)據(jù)帶來(lái)難度。其次，相比文本token的確定性含義，時(shí)間序列需要相對(duì)較長(zhǎng)的序列長(zhǎng)度才能具有明確的含義，比如是上漲趨勢(shì)還是下降趨勢(shì)，這給如何將時(shí)間序列轉(zhuǎn)換成文本token帶來(lái)難度。

為了解決上述問(wèn)題，本文提出了LLM-PS方法，通過(guò)多層次的卷積網(wǎng)絡(luò)提取不同類型的序列信息，并通過(guò)序列表征和token embedding的對(duì)齊實(shí)現(xiàn)將時(shí)間序列映射到文本表征的作用。LLM-PS在多個(gè)數(shù)據(jù)集上取得了效果提升，下面給大家展開(kāi)介紹一些具體實(shí)現(xiàn)方法。

2.建模方法

本文的核心模型結(jié)構(gòu)如下圖所示，整體的工作流程如下。對(duì)于原始時(shí)間序列，使用多層次的卷積和小波變換，提取局部/全域信息以及高頻/低頻信息。同時(shí)，構(gòu)建Time-Text模塊進(jìn)行時(shí)間序列和LLM詞向量空間的對(duì)齊關(guān)系。最后通過(guò)時(shí)序表征和對(duì)齊后的文本表征聯(lián)合優(yōu)化，基于LoRA進(jìn)行大模型的微調(diào)。

首先介紹第一個(gè)核心模塊MSCNN。這個(gè)模塊用來(lái)從原始時(shí)間序列中提取長(zhǎng)短周期等信息，解決時(shí)間序列pattern多樣性的問(wèn)題。MSCNN通過(guò)多層的卷積進(jìn)行表征提取，每層卷積為3*3的卷積核，通過(guò)多層嵌套逐步擴(kuò)展感受野，得到從局部到全局的多組時(shí)序表征F。

這些表征，分別使用小波變化，分界處低頻和高頻信號(hào)，對(duì)低頻和高頻部分分別使用逆向小波變換，還原出對(duì)應(yīng)的低頻和高頻表征。同時(shí)，使用從全局到局部和從局部到全局的各個(gè)F對(duì)應(yīng)低頻和高頻信號(hào)進(jìn)行逐層加和，得到高頻部分從局部到全局的表征，以及低頻部分從局部到全局的標(biāo)注。MSCNN模塊可以說(shuō)起到了從多個(gè)維度相對(duì)全面將時(shí)間序列表征進(jìn)行解耦抽取的作用。

接下來(lái)介紹第二個(gè)模塊，Time-Text模塊。這個(gè)模塊的核心是將時(shí)序表征映射到LLM的詞向量空間，實(shí)現(xiàn)時(shí)間序列到文本的轉(zhuǎn)換。其核心是通過(guò)patch對(duì)原始時(shí)間序列進(jìn)行處理，并進(jìn)行75%的大比例隨機(jī)mask，通過(guò)Encoder生成中間表征，Decoder還原，類似于一個(gè)自編碼器。其中Encoder的中間表征和LLM的embedding計(jì)算相似度，根據(jù)相似度將每個(gè)patch映射到對(duì)應(yīng)的文本上。

最后，這兩部分表征會(huì)進(jìn)行融合，作為L(zhǎng)LM的輸入進(jìn)行時(shí)序預(yù)測(cè)，使用LoRA進(jìn)行LLM的微調(diào)，以MSE作為損失函數(shù)進(jìn)行訓(xùn)練。

3.實(shí)驗(yàn)效果

文中對(duì)比了多元長(zhǎng)周期時(shí)序預(yù)測(cè)、短期時(shí)序預(yù)測(cè)，LLM-PS取得了顯著效果提升。

本文轉(zhuǎn)載自??圓圓的算法筆記??