大語(yǔ)言模型潛力被激發(fā)——

無(wú)需訓(xùn)練大語(yǔ)言模型就能實(shí)現(xiàn)高精度時(shí)序預(yù)測(cè)，超越一切傳統(tǒng)時(shí)序模型。

來(lái)自蒙納士大學(xué)、螞蟻、IBM研究院提出了一種通用框架，結(jié)果成功激活大語(yǔ)言模型跨模態(tài)處理時(shí)序數(shù)據(jù)的能力。

時(shí)序預(yù)測(cè)有益于城市、能源、交通、遙感等典型復(fù)雜系統(tǒng)的決策制定。

自此，大模型有望徹底改變時(shí)序/時(shí)空數(shù)據(jù)挖掘方式。

通用大語(yǔ)言模型重編程框架

簡(jiǎn)單來(lái)說(shuō)，研究團(tuán)隊(duì)提出了一個(gè)通用框架，將大語(yǔ)言模型輕松用于一般時(shí)間序列預(yù)測(cè)，而無(wú)需做任何訓(xùn)練。

主要提出兩大關(guān)鍵技術(shù)：時(shí)序輸入重編程；提示做前綴。

?

Time-LLM首先使用文本原型（Text Prototypes）對(duì)輸入的時(shí)序數(shù)據(jù)進(jìn)行重編程，通過(guò)使用自然語(yǔ)言表征來(lái)表示時(shí)序數(shù)據(jù)的語(yǔ)義信息，進(jìn)而對(duì)齊兩種不同的數(shù)據(jù)模態(tài)，使大語(yǔ)言模型無(wú)需任何修改即可理解另一個(gè)數(shù)據(jù)模態(tài)背后的信息。

為了進(jìn)一步增強(qiáng)LLM對(duì)輸入時(shí)序數(shù)據(jù)和對(duì)應(yīng)任務(wù)的理解，作者提出了提示做前綴（Prompt-as-Prefix，PaP）的范式，通過(guò)在時(shí)序數(shù)據(jù)表征前添加額外的上下文提示與任務(wù)指令，充分激活LLM在時(shí)序任務(wù)上的處理能力。

主要貢獻(xiàn)包括：

1、提出了通過(guò)重編程大型語(yǔ)言模型用于時(shí)序分析的全新概念，無(wú)需對(duì)主干語(yǔ)言模型做任何修改。

2、提出一個(gè)通用語(yǔ)言模型重編程框架Time-LLM，它包括將輸入時(shí)序數(shù)據(jù)重新編程為更自然的文本原型表示，并通過(guò)聲明性提示（例如領(lǐng)域?qū)＜抑R(shí)和任務(wù)說(shuō)明）來(lái)增強(qiáng)輸入上下文，以指導(dǎo)LLM進(jìn)行有效的跨域推理。

3、在主流預(yù)測(cè)任務(wù)中的表現(xiàn)始終超過(guò)現(xiàn)有最好的模型性能，尤其在少樣本和零樣本場(chǎng)景中。此外，Time-LLM在保持出色的模型重編程效率的同時(shí)，能夠?qū)崿F(xiàn)更高的性能。大大釋放LLM在時(shí)間序列和其他順序數(shù)據(jù)方面尚未開(kāi)發(fā)的潛力。

具體來(lái)看這一框架，首先，輸入時(shí)序數(shù)據(jù)先通過(guò)RevIN歸一化操作，然后被切分成不同patch并映射到隱空間。

時(shí)序數(shù)據(jù)和文本數(shù)據(jù)在表達(dá)方式上存在顯著差異，兩種屬于不同的模態(tài)。

時(shí)間序列既不能直接編輯，也不能無(wú)損地用自然語(yǔ)言描述。因此，我們需要將時(shí)序輸入特征對(duì)齊到自然語(yǔ)言文本域上。

而對(duì)齊不同模態(tài)的一個(gè)常見(jiàn)方式是cross-attention，但是LLM固有的詞匯表很大，因此無(wú)法有效直接將時(shí)序特征對(duì)齊到所有詞上，而且也并不是所有詞都和時(shí)間序列有對(duì)齊的語(yǔ)義關(guān)系。

為了解決這個(gè)問(wèn)題，這項(xiàng)工作對(duì)詞匯表進(jìn)行了線形組合來(lái)獲取文本原型，其中文本原型的數(shù)量遠(yuǎn)小于原始詞匯量，組合起來(lái)可以用于表示時(shí)序數(shù)據(jù)的變化特征。

而為了充分激活LLM在指定時(shí)序任務(wù)上的能力，這項(xiàng)工作提出了提示做前綴的范式。

通俗點(diǎn)說(shuō)，就是把時(shí)間序列數(shù)據(jù)集的一些先驗(yàn)信息，以自然語(yǔ)言的方式，作為前綴prompt，和對(duì)齊后的時(shí)序特征拼接喂給LLM，是不是能夠提升預(yù)測(cè)效果？

在實(shí)踐中，作者確定了構(gòu)建有效提示的三個(gè)關(guān)鍵組件：

（1）數(shù)據(jù)集上下文；（2）任務(wù)指令，讓LLM適配不同的下游任務(wù)；（3）統(tǒng)計(jì)描述，例如趨勢(shì)、時(shí)延等，讓LLM更好地理解時(shí)序數(shù)據(jù)的特性。

團(tuán)隊(duì)在長(zhǎng)程預(yù)測(cè)上經(jīng)典的8大公開(kāi)數(shù)據(jù)集上進(jìn)行了全面的測(cè)試。

結(jié)果Time-LLM在基準(zhǔn)比較中顯著超過(guò)此前領(lǐng)域最優(yōu)效果，比如對(duì)比直接使用GPT-2的GPT4TS，Time-LLM有明顯提升，表明了該方法的有效性。

此外，在zero-shot場(chǎng)景中也表現(xiàn)了很強(qiáng)的預(yù)測(cè)能力。

本項(xiàng)目獲得螞蟻集團(tuán)智能引擎事業(yè)部旗下AI創(chuàng)新研發(fā)部門NextEvo支持。

感興趣的小伙伴可戳下方鏈接了解論文詳情~

論文鏈接
????https://arxiv.org/abs/2310.01728??

本文轉(zhuǎn)自 量子位 ，作者：量子位

原文鏈接:??https://mp.weixin.qq.com/s/UL_Kl0PzgfYHOnq7d3vM8Q??