頻域Mask實(shí)現(xiàn)只需正樣本的時(shí)間序列表示學(xué)習(xí)
今天給大家介紹一篇時(shí)間序列表示學(xué)習(xí)的文章，這篇文章提出了一種和對比學(xué)習(xí)不同的表示學(xué)習(xí)方法，無需顯示構(gòu)造負(fù)樣本，避免了偽負(fù)樣本影響對比學(xué)習(xí)效果的問題。
論文標(biāo)題：Frequency-Masked Embedding Inference: A Non-Contrastive Approach for Time Series Representation Learning
下載地址：??https://arxiv.org/pdf/2412.20790v1??
1.研究背景?
表示學(xué)習(xí)可用來將原始數(shù)據(jù)轉(zhuǎn)換成向量，用于后續(xù)的深度學(xué)習(xí)任務(wù)?，F(xiàn)有的表示學(xué)習(xí)基本都采用對比學(xué)習(xí)的方法進(jìn)行建模，對于一個(gè)樣本使用不同的變換生成其增強(qiáng)樣本作為正樣本對，同時(shí)使用隨機(jī)負(fù)采樣的其他樣本作為負(fù)樣本對，拉近正樣本對距離，推遠(yuǎn)負(fù)樣本對距離，實(shí)現(xiàn)表征的學(xué)習(xí)。然而，在時(shí)間序列數(shù)據(jù)中，由于其連續(xù)性，正負(fù)樣本的界定并不像圖像等數(shù)據(jù)形式那么明顯，經(jīng)常會(huì)出現(xiàn)偽負(fù)樣本的問題，影響了表示學(xué)習(xí)的效果。
為了解決上述問題，本文提出了一種完全基于正樣本的表示學(xué)習(xí)方法，和BYOL的建模思路非常像，無需顯示構(gòu)造負(fù)樣本，產(chǎn)出的表征應(yīng)用到下游分類、回歸等任務(wù)都取得了比較好的效果。
2.建模方法
文中的整體建模過程如下圖所示。對于一個(gè)原始序列，使用頻域隨機(jī)mask的方式生成一個(gè)其可以視為正樣本的增強(qiáng)樣本。這兩個(gè)樣本都使用Encoder+MLP進(jìn)行表征生成。然后使用原始序列的embedding去預(yù)測被mask后序列的embedding，實(shí)現(xiàn)表示學(xué)習(xí)embedding的訓(xùn)練過程。下面展開介紹模型中的各個(gè)模塊，包括Encoder、Masking Block、優(yōu)化目標(biāo)3個(gè)部分。
Encoder：Encoder可以使用各種類型的模型，整體包括2個(gè)Encoder，一個(gè)Encoder用來對原始時(shí)間序列映射成表征，另一個(gè)Encoder用來對經(jīng)過Mask后的原始序列映射成表征。由于整體只有正樣本，為了避免表征坍縮，對于另一個(gè)Encoder使用Momentum Encoder的方式，衰減累加主Encoder的參數(shù)，讓兩個(gè)Encoder參數(shù)不一樣，以免表征都學(xué)到一個(gè)點(diǎn)上。
Mask Block：Mask Block部分用來對原始的時(shí)間序列在頻域做mask，生成一個(gè)可以視為和原始序列互為正樣本的序列。首先將原始的時(shí)間序列映射到頻域，然后隨機(jī)mask掉一部分主成分。這里面mask的比例是一個(gè)均勻分布，每次樣本mask的比例不同。Mask后的序列再映射回時(shí)域得到正樣本（文中叫做Target Series）。為了讓mask部分可學(xué)習(xí)，文中使用了一個(gè)mask生成網(wǎng)絡(luò)，去生成每個(gè)頻率成分是否mask。
優(yōu)化目標(biāo)：上述模型的優(yōu)化目標(biāo)包括2個(gè)部分。一方面，使用原始序列的表征以及mask結(jié)果去預(yù)測target series的表征；另一方面使用原始序列表征和target series表征預(yù)測mask的結(jié)果。公式如下，其中D是stop gradient，讓模型在梯度傳播的時(shí)候?qū)Ｗ⒂趯?yīng)表征的學(xué)習(xí)。
3.實(shí)驗(yàn)效果
在實(shí)驗(yàn)部分，作者在分類任務(wù)、回歸任務(wù)上驗(yàn)證了上述表示學(xué)習(xí)的效果。文中提出的方法相比其他的包括TS2Vec、TimeDRL等都有顯著的提升。
