我們已經(jīng)看到了語(yǔ)言模型的巨大進(jìn)步，但時(shí)間序列任務(wù)，如預(yù)測(cè)呢？今天我們推薦一篇論文，對(duì)現(xiàn)有的語(yǔ)言模型和時(shí)間序列做了深入的研究。將探討了是否可以從大型語(yǔ)言模型（LLMs）中獲益于時(shí)間序列（TS）預(yù)測(cè)。

時(shí)間序列

時(shí)間序列是機(jī)器學(xué)習(xí)中最具挑戰(zhàn)性的工作領(lǐng)域之一，解決時(shí)間序列任務(wù)，如異常檢測(cè)、時(shí)間序列預(yù)測(cè)等，在多個(gè)行業(yè)中至關(guān)重要，能夠節(jié)省大量資金。

由OpenAI發(fā)起的規(guī)?；▌t顯示，模型能在更多原始數(shù)據(jù)上更好地泛化結(jié)果就得到了ChatGPT。自那以后，大型語(yǔ)言模型（LLMs）吸引了所有人的注意。

自那以后，研究者們一直在嘗試將LLMs用于時(shí)間序列！這在某種程度上是有道理的，因?yàn)闊o(wú)論是語(yǔ)言數(shù)據(jù)還是時(shí)間序列都是序列數(shù)據(jù)，研究者認(rèn)為如果LLMs能在語(yǔ)言數(shù)據(jù)上表現(xiàn)出良好的泛化能力，那么它可能也適用于時(shí)間序列。

關(guān)于這方面有很多酷炫的研究成果，但問(wèn)題是“有多少LLMs真正適用于時(shí)間序列任務(wù)？”

我認(rèn)為一些工作展示了時(shí)間序列的光明未來(lái)，例如使用LLMs實(shí)現(xiàn)的時(shí)間序列推理和理解（代理）等。

時(shí)間序列推理：

使用大型語(yǔ)言模型（LLMs）進(jìn)行時(shí)間序列推理可以通過(guò)整合三種主要的分析任務(wù)來(lái)增強(qiáng)時(shí)間序列推理：因果推理、問(wèn)答和輔助上下文預(yù)測(cè)。

因果推理涉及假設(shè)觀察到的時(shí)間序列模式背后的潛在原因，使模型能夠識(shí)別最有可能產(chǎn)生給定時(shí)間序列數(shù)據(jù)的場(chǎng)景。

問(wèn)答使模型能夠解釋和回應(yīng)關(guān)于時(shí)間序列的事實(shí)性查詢，如識(shí)別趨勢(shì)或?qū)?shù)據(jù)變化進(jìn)行反事實(shí)推斷。

輔助上下文預(yù)測(cè)允許模型利用額外的文本信息來(lái)增強(qiáng)對(duì)未來(lái)數(shù)據(jù)點(diǎn)的預(yù)測(cè)，整合相關(guān)上下文以提高預(yù)測(cè)準(zhǔn)確性。

但當(dāng)前的LLMs在這些任務(wù)中表現(xiàn)出有限的熟練程度，比如在因果和問(wèn)答任務(wù)中的表現(xiàn)僅略高于隨機(jī)水平，并在輔助上下文預(yù)測(cè)中顯示出適度的改進(jìn)。

社會(huì)理解：

使用大型語(yǔ)言模型（LLMs）進(jìn)行時(shí)間序列分析可以顯著提高社會(huì)理解，使代理能夠系統(tǒng)地分析和預(yù)測(cè)社會(huì)趨勢(shì)和行為。基于LLM的代理使用來(lái)自財(cái)經(jīng)、經(jīng)濟(jì)、民調(diào)和搜索趨勢(shì)等多個(gè)領(lǐng)域的真實(shí)世界時(shí)間序列數(shù)據(jù)來(lái)近似社會(huì)的隱藏狀態(tài)。這種近似有助于通過(guò)將時(shí)間序列數(shù)據(jù)與新聞和社交媒體等其他信息源相關(guān)聯(lián)，對(duì)社會(huì)行為進(jìn)行假設(shè)和驗(yàn)證。

通過(guò)整合這些多樣化的數(shù)據(jù)流，LLMs能夠深入洞察多面且動(dòng)態(tài)的社會(huì)問(wèn)題，促進(jìn)包含邏輯和數(shù)字分析的復(fù)雜和混合推理。

這種方法確保代理不僅僅是執(zhí)行歷史數(shù)據(jù)擬合，而是積極與不斷流動(dòng)的真實(shí)世界數(shù)據(jù)互動(dòng)并適應(yīng)，使其分析和預(yù)測(cè)在真實(shí)場(chǎng)景中保持相關(guān)和適用。

但是當(dāng)涉及到時(shí)間序列時(shí)，這些新模型并沒(méi)有使用預(yù)訓(xùn)練的LMs的自然推理能力。

LLMs對(duì)時(shí)間序列任務(wù)真的有幫助嗎？

一項(xiàng)新研究顯示，如果我們用注意力層替換語(yǔ)言模型，性能不會(huì)有顯著變化。即使完全移除它們，性能會(huì)變得更好。這甚至可以將訓(xùn)練和推理速度提高多達(dá)三個(gè)數(shù)量級(jí)。

研究者選擇了三種改造方法：刪除或替換LLM組件。這三種修改如下：

不使用LLM（圖1（b））。完全移除語(yǔ)言模型，將輸入令牌直接傳遞給參考方法的最后一層。

LLM2Attn（圖1（c））。用一個(gè)單獨(dú)的隨機(jī)初始化的多頭注意力層替換語(yǔ)言模型。

LLM2Trsf（圖1（d））。用一個(gè)單獨(dú)的隨機(jī)初始化的Transformer塊替換語(yǔ)言模型。

測(cè)試結(jié)果

使用的數(shù)據(jù)集主要是所有其他時(shí)間序列研究中的基準(zhǔn)數(shù)據(jù)集:ETT、疾病、天氣、交通、電力、匯率、Covid死亡人數(shù)、出租車(30分鐘)、NN5(每日)和FRED-MD。

在所有情況下，這些改造方法都優(yōu)于Time-LLM，在22個(gè)中的26個(gè)案例中優(yōu)于LLaTA，在19個(gè)中的26個(gè)案例中優(yōu)于OneFitsAll。這里使用的指標(biāo)是MAE和MSE，分別代表平均絕對(duì)誤差和均方誤差。

可以得出的結(jié)論是，LLMs在時(shí)間序列預(yù)測(cè)任務(wù)上并沒(méi)有以有意義的方式提高性能。

現(xiàn)在讓我們看一下參數(shù)和時(shí)間消耗:

在時(shí)間序列任務(wù)中，LLM（如LLaMA和GPT-2）顯著增加了訓(xùn)練時(shí)間。表格顯示了在ETTh1和Weather數(shù)據(jù)上，對(duì)長(zhǎng)度為96的預(yù)測(cè)，三種方法的模型參數(shù)數(shù)量（以百萬(wàn)計(jì)）和總訓(xùn)練時(shí)間（以分鐘計(jì)）。與原始方法“帶LLM”的比較是“不帶LLM”，“LLM2Attn”和“LLM2Trsf”。

Time-LLM、OneFitsAll和LLaTA的平均訓(xùn)練時(shí)間分別是修改后模型的28.2倍、2.3倍和1.2倍。這表明，LLMs在時(shí)間序列計(jì)算上的權(quán)衡并不值得。

那么使用語(yǔ)言數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練是否能夠改善時(shí)間序列預(yù)測(cè)的結(jié)果？

該研究采用了四種不同的組合：預(yù)訓(xùn)練 + 微調(diào)、隨機(jī)初始化 + 微調(diào)、預(yù)訓(xùn)練 + 不微調(diào)以及隨機(jī)初始化 + 不微調(diào)。

隨機(jī)初始化LLM參數(shù)并從頭開(kāi)始訓(xùn)練（無(wú)預(yù)訓(xùn)練，woPre）比使用預(yù)訓(xùn)練（Pre）模型取得了更好的結(jié)果。“無(wú)微調(diào)”（woFT）和“微調(diào)”（FT）分別指的是LLM參數(shù)是凍結(jié)的還是可訓(xùn)練的。

語(yǔ)言知識(shí)對(duì)預(yù)測(cè)的改進(jìn)非常有限。然而，“預(yù)訓(xùn)練 + 不微調(diào)”和基線“隨機(jī)初始化 + 不微調(diào)”分別在少樣本（5次）和零樣本的比較中表現(xiàn)最好，這暗示在微調(diào)過(guò)程中語(yǔ)言知識(shí)并沒(méi)有幫助。

在ETTh1（預(yù)測(cè)長(zhǎng)度為96）和Illness（預(yù)測(cè)長(zhǎng)度為24）的輸入打亂/遮蔽實(shí)驗(yàn)中，模型修改前后，輸入打亂對(duì)時(shí)間序列預(yù)測(cè)性能的影響并沒(méi)有顯著變化。

在這個(gè)實(shí)驗(yàn)中，使用了三種類型的打亂方式：隨機(jī)洗牌整個(gè)序列（“sf-all”），只洗牌序列的前半部分（“sf-half”），以及交換序列的前半部和后半部（“ex-half”）。

結(jié)果表明，基于LLM的模型對(duì)輸入打亂的脆弱性并不比其改造版本更高。

總結(jié)

這項(xiàng)研究表明，最好還是讓傳統(tǒng)的時(shí)間序列預(yù)測(cè)方法繼續(xù)使用它們習(xí)慣的方式，而不是嘗試使用大型語(yǔ)言模型來(lái)處理時(shí)間序列任務(wù)。

但是這并不意味著不做任何事情；在時(shí)間序列和大型語(yǔ)言模型的交叉領(lǐng)域，還有一些新的、可能值得探索的有趣方向。