今天給大家介紹一篇華為最近發(fā)表的時間序列分類大模型工作，填補(bǔ)了專門用于時間序列分類的大模型工作空白，借鑒了Vision Transformer的訓(xùn)練方式和模型結(jié)構(gòu)，遷移到時間序列分類任務(wù)中，在多種類型的數(shù)據(jù)集上取得了不錯的效果。

推薦閱讀：???2024時序預(yù)測都有哪些經(jīng)典工作——匯總篇??，2024時間序列預(yù)測相關(guān)最新SOTA工作匯總，涉及模型結(jié)構(gòu)、表示學(xué)習(xí)、頻域信息、擴(kuò)散模型10余個專題。

論文標(biāo)題：Mantis: Lightweight Calibrated Foundation Model for User-Friendly Time Series Classification

下載地址：??https://arxiv.org/pdf/2502.15637v1??

1.研究背景

時間序列大模型的研究已經(jīng)非常廣泛，但是大多數(shù)都是針對時間序列預(yù)測任務(wù)，或者能夠解決時間序列預(yù)測、分類、填充等多種類型任務(wù)的通用模型，而缺少專門針對時間序列分類任務(wù)的時間序列基礎(chǔ)模型。相比針對分類的時序基礎(chǔ)模型，同時解決多種任務(wù)的模型可能在分類任務(wù)上的表現(xiàn)并不是最優(yōu)的。

華為發(fā)表的這篇文章，核心是構(gòu)建一個專門針對時間序列分類的時間序列基礎(chǔ)模型Mantis，能夠應(yīng)用到多種領(lǐng)域、多種輸入格式（單變量or多變量）的數(shù)據(jù)上。

2.建模方法

下面主要從輸入特征、模型結(jié)構(gòu)、訓(xùn)練方式、Adaptor等4個角度，介紹文本提出的Mantis時間序列分類大模型。

在輸入特征方面，主要分為patch、差分patch、統(tǒng)計值等3個部分。Patch采用正常的分patch操作，基于卷積+mean pooling實現(xiàn)。差分patch指的是對原始序列進(jìn)行差分（相鄰位置相減）后，再進(jìn)行分patch處理，實現(xiàn)對原始序列平穩(wěn)項的提取。統(tǒng)計值，指的是直接提取原始序列patch的均值、方差等，作為額外的特征，輸入模型。三種特征都將原始序列分成32個patch，每個patch的這三種類型的特征，拼接到一起，經(jīng)過一層Linear和一層Layer Normalization，生成32個token，作為后續(xù)模型的輸入。

在模型結(jié)構(gòu)方面，基本采用了Vision Transformer的結(jié)構(gòu)。用一個[CLASS] token拼接到輸入token前面，并引入position embedding，一起輸入到多層Transformer模型中，最終[CLASS] token輸出的embedding通過一個MLP映射到分類結(jié)果。

在訓(xùn)練方法上，核心是基于對比學(xué)習(xí)的預(yù)訓(xùn)練。從多種類型的數(shù)據(jù)集中，采樣一個時間序列，并使用數(shù)據(jù)增強(qiáng)方法生成其正樣本，隨機(jī)采樣負(fù)樣本，通過對比學(xué)習(xí)拉近正樣本對之間距離，推遠(yuǎn)負(fù)樣本對之間距離，提升模型的表征學(xué)習(xí)能力。在數(shù)據(jù)增強(qiáng)方法上，文中發(fā)現(xiàn)不同類型數(shù)據(jù)適用的數(shù)據(jù)增強(qiáng)方法不同，文中采用了一種叫做RandomCropResize的比較保險的增強(qiáng)方法。對原始數(shù)據(jù)隨機(jī)截取一段，然后再拉伸成原始的尺寸，作為數(shù)據(jù)增強(qiáng)結(jié)果。

為了讓訓(xùn)練好的時序基礎(chǔ)模型支持不同輸入channel維度的樣本，一種簡單的做法是把多元序列拆成多個單變量序列，獨(dú)立過預(yù)訓(xùn)練模型。這種方法當(dāng)序列維度較高時效率低，且無法考慮變量間關(guān)系。本文提出了Adaptor方法，讓多元時間序列適配時序基礎(chǔ)模型。核心是用降維的方法，將原始多元時間序列映射到更低的維度，再輸入時序基礎(chǔ)模型。降維過程針對每個時間步的各個變量進(jìn)行，不影響時序關(guān)系。另外，文中也提出了使用MLP進(jìn)行降維，讓MLP跟著模型進(jìn)行學(xué)習(xí)，達(dá)到有監(jiān)督的降維效果。

3.實驗效果

在實驗部分，文中從zero-shot表征抽取效果、finetune模型效果等角度對Mantis進(jìn)行驗證，并進(jìn)行了消融實驗、Adaptor類型效果差異影響的實驗。不論是zero-shot場景還是finetune場景，本文提出的方法都取得了優(yōu)于其他SOTA方法的效果。

本文轉(zhuǎn)載自??圓圓的算法筆記??