作者簡介

doublering，攜程高級算法工程師，關(guān)注自然語言處理、LLMs、時(shí)序預(yù)測等領(lǐng)域。

一、背景

互聯(lián)網(wǎng)行業(yè)中，有許多關(guān)鍵指標(biāo)直接影響公司未來的規(guī)劃與決策，比如流量、訂單量、銷售額等。有效地預(yù)測這些關(guān)鍵指標(biāo)能夠輔助公司提前做出相應(yīng)的預(yù)算、規(guī)劃、決策，實(shí)現(xiàn)收益的最大化。

預(yù)測關(guān)鍵指標(biāo)實(shí)際上是個(gè)典型的時(shí)間序列預(yù)測問題，即基于指標(biāo)的歷史真實(shí)數(shù)據(jù)來預(yù)測未來一段時(shí)間的值。在攜程也有一些相關(guān)的業(yè)務(wù)場景，本文將以預(yù)測流量、訂單量、GMV為例，介紹我們在時(shí)間序列預(yù)測方面使用的一些方法與思考。

二、問題定義與難點(diǎn)

2.1 口徑定義

預(yù)測目標(biāo)值：流量、訂單量和GMV等關(guān)鍵指標(biāo)。

預(yù)測時(shí)長：未來30天。

重點(diǎn)關(guān)注節(jié)假日期間的預(yù)測，包括清明節(jié)、勞動(dòng)節(jié)等法定節(jié)假日以及法定節(jié)假日的前后一段時(shí)間，要求在法定節(jié)假日的提前一段時(shí)間進(jìn)行預(yù)報(bào)，為業(yè)務(wù)在關(guān)鍵時(shí)間節(jié)點(diǎn)的投放提供參考。

2.2 難點(diǎn)

在現(xiàn)實(shí)場景中，時(shí)間序列預(yù)測會受到宏觀政策、自然災(zāi)害、社會運(yùn)動(dòng)等多種因素的影響，而且這些因素難以量化，這集中表現(xiàn)為時(shí)序數(shù)據(jù)中的突變點(diǎn)和非周期性。再者，時(shí)序數(shù)據(jù)的周期通常以天為單位，一些歷史較短領(lǐng)域的訓(xùn)練樣本會不足。同時(shí)，時(shí)序模型需要支持多個(gè)特征輔助預(yù)測，如節(jié)假日特征、時(shí)間類特征以及各種協(xié)變量等。為了更早地布局，需要進(jìn)行長時(shí)預(yù)測，即預(yù)測未來一個(gè)月、半年、一年的值。

三、方案設(shè)計(jì)

3.1 數(shù)據(jù)選擇與特征構(gòu)建

選取近幾年的關(guān)鍵指標(biāo)的時(shí)序數(shù)據(jù)，時(shí)間粒度為“天”。我們畫出各項(xiàng)指標(biāo)的歷史數(shù)據(jù)，可以看到明顯的節(jié)假日效應(yīng)，每個(gè)尖峰都對應(yīng)著法定節(jié)假日或者寒暑假期間，數(shù)值的漲跌對應(yīng)著工作日與非工作日等。

由此，我們依據(jù)時(shí)序順序追溯構(gòu)造7個(gè)假期/時(shí)間型特征，分別為：預(yù)測日是否為假期、預(yù)測日是否為工作日、預(yù)測日在假期中是第幾天、預(yù)測日距離下一次假期的天數(shù)、預(yù)測日是周幾（周日為1）、預(yù)測日所處星期在一年中是第幾周、預(yù)測日所處的季節(jié)等。

同時(shí)，注意到各項(xiàng)指標(biāo)之間的總體趨勢是有關(guān)聯(lián)的，當(dāng)預(yù)測其中一項(xiàng)指標(biāo)時(shí)，其他指標(biāo)也可作為特征入模，以提高預(yù)測的準(zhǔn)確性，因此總共構(gòu)建了20個(gè)左右的特征。

3.2 模型介紹

通常來說，時(shí)間序列預(yù)測模型大致可分為三類：一是傳統(tǒng)時(shí)間序列預(yù)測模型，比如移動(dòng)平均、ARIMA、指數(shù)平滑法等，二是機(jī)器學(xué)習(xí)模型，比如線性回歸、樹模型、Prophet等，三是深度學(xué)習(xí)模型，比如時(shí)序卷積網(wǎng)絡(luò)（TCN）、LSTM、Transformer等。

目前工業(yè)實(shí)踐上，采用傳統(tǒng)時(shí)間序列預(yù)測模型進(jìn)行預(yù)估較為普遍。傳統(tǒng)時(shí)間序列預(yù)測模型具有可解釋性、簡單直觀、理論成熟等優(yōu)點(diǎn)，但其通常只能以單變量的方式進(jìn)行預(yù)測，而我們的任務(wù)涉及多個(gè)關(guān)鍵指標(biāo)的預(yù)估，有多個(gè)特征會影響這些指標(biāo)，而且這些指標(biāo)之間也互有影響。除此之外，傳統(tǒng)時(shí)間序列預(yù)測模型處理多步預(yù)測時(shí)，往往采用滾動(dòng)預(yù)測的策略，即使用前一期預(yù)測值作為實(shí)際值加入模型，從而得到下一期的預(yù)測，這種策略會導(dǎo)致預(yù)測誤差累計(jì)，從而使得多步預(yù)測的精準(zhǔn)性越來越差。

機(jī)器學(xué)習(xí)方法可以利用多變量進(jìn)行預(yù)測，學(xué)習(xí)到時(shí)間序列數(shù)據(jù)中的復(fù)雜模式和趨勢，但是其需要針對每一個(gè)指標(biāo)訓(xùn)練一個(gè)模型，并且涉及到多步預(yù)測時(shí)，也會存在誤差累積的缺點(diǎn)。

近年來，基于深度學(xué)習(xí)的方法也被廣泛地應(yīng)用于時(shí)序預(yù)測任務(wù)中，例如時(shí)序卷積網(wǎng)絡(luò)（TCN）、LSTM、Transformer等。這些方法克服了上述缺點(diǎn)，具有支持輸入多個(gè)變量，自適應(yīng)地提取特征，執(zhí)行多步預(yù)測，一次性輸出多個(gè)指標(biāo)的預(yù)測值等優(yōu)勢。因此，本文的實(shí)戰(zhàn)部分利用的是深度學(xué)習(xí)方法。下面簡要介紹實(shí)踐中涉及到的幾種模型或方法。

3.2.1 Prophet

Prophet是Facebook開發(fā)的時(shí)間序列預(yù)測模型，具有簡單易用、運(yùn)行效率高、可解釋性強(qiáng)等優(yōu)點(diǎn)。Prophet是將時(shí)間序列看成是一個(gè)關(guān)于t的函數(shù)，并將時(shí)間序列分解為趨勢項(xiàng)、季節(jié)項(xiàng)和節(jié)假日項(xiàng)等，有加法模型和乘法模型兩種模式，加法模型的核心公式如下：

y(t)=g(t)+s(t)+h(t)+?t

其中，g(t)代表趨勢項(xiàng)，s(t)代表季節(jié)項(xiàng)，h(t)代表節(jié)假日項(xiàng)（或者泛指外部變量）， ?t代表噪聲項(xiàng)。

趨勢項(xiàng)用于擬合時(shí)間序列非周期性的趨勢變化，例如：上升、下降趨勢。按照趨勢模式，可分為線性趨勢和非線性趨勢，線性趨勢的公式為：

g(t)=kt+m

非線性趨勢的公式為：

其中，C表示上限容量，即g(t)所能達(dá)到的上界；k表示增長率；m表示偏移參數(shù)，趨勢項(xiàng)斜率發(fā)生變化的轉(zhuǎn)折點(diǎn)。調(diào)整m可以對曲線進(jìn)行左右平移。在具體的實(shí)現(xiàn)中，C和k都是時(shí)間t的函數(shù)，且k的變化是不連續(xù)的，為了使g(t)連續(xù)會引入一系列復(fù)雜的變換，在此不贅述。

季節(jié)項(xiàng)用于擬合周、月、季等的周期性變化趨勢，使用傅里葉級數(shù)來逼近：

記

則，s(t)=X(t)β，β是需要學(xué)習(xí)的，服從正態(tài)分布N(0,σ2)。

其中，P表示周期（年用365.25，周用7），N表示使用的逼近項(xiàng)數(shù)目（年用10，周用3）。

節(jié)假日項(xiàng)用于表示潛在的跳變點(diǎn)對預(yù)測的影響，例如：節(jié)假日、突發(fā)事件等。由于每個(gè)節(jié)假日對時(shí)間序列的影響程度不一樣，因此，不同的節(jié)假日可以看成相互獨(dú)立的模型。并且可以為不同的節(jié)假日設(shè)置不同的前后窗口值，表示該節(jié)假日會影響前后一段時(shí)間的時(shí)間序列。假設(shè)現(xiàn)在有L種不同的節(jié)假日，Di表示節(jié)假日窗口的日期集合，節(jié)假日項(xiàng)可表示為：

Z(t)=[1(t∈D1,…,1(t∈DL)]

h(t)=Z(t)κ

其中，κ同樣服從正態(tài)分布N(0,ν2)，ν叫做holidays_prior_scale，默認(rèn)值是10，當(dāng)值越大時(shí)，表示節(jié)假日對模型的影響越大；當(dāng)值越小時(shí)，表示節(jié)假日對模型的效果越小。

最后，噪聲項(xiàng)用于表示未預(yù)測到的隨機(jī)波動(dòng)。

根據(jù)以上介紹，Prophet模型其實(shí)是在訓(xùn)練：趨勢項(xiàng)里的k,m；季節(jié)項(xiàng)里的β；節(jié)假日項(xiàng)里的κ；以及誤差項(xiàng)?t。Prophet模型適用于預(yù)測符合以下條件的時(shí)間序列數(shù)據(jù)：

• 訓(xùn)練數(shù)據(jù)：擁有至少一個(gè)完整周期的數(shù)據(jù)，讓模型完整學(xué)習(xí)規(guī)律；
• 數(shù)據(jù)趨勢：數(shù)據(jù)有一定正常的周期效應(yīng)，例如：周末效應(yīng)、季節(jié)效應(yīng)等；
• 跳變情況：明確可能發(fā)生跳變的時(shí)間點(diǎn)及窗口期，例如：雙十一、春節(jié)等；
• 缺失值情況：歷史數(shù)據(jù)的缺失值和異常值保持在合理范圍內(nèi)。

3.2.2 Informer

Informer是一種基于Transformer架構(gòu)的時(shí)間序列預(yù)測模型。Transformer由自注意力機(jī)制的編碼器和解碼器組成。Informer的設(shè)計(jì)目標(biāo)是解決傳統(tǒng)的時(shí)間序列預(yù)測模型在長序列和多尺度預(yù)測上的挑戰(zhàn)，以便模型能夠更好地捕捉序列中的長期依賴關(guān)系和全局上下文信息。

Informer的關(guān)鍵特點(diǎn)包括：

• 一種稀疏自注意力機(jī)制，在時(shí)間復(fù)雜度和內(nèi)存使用方面達(dá)到O(LlnL)。
• 自注意力蒸餾機(jī)制，通過對每個(gè)自注意力層結(jié)果上進(jìn)行一維卷積，再通過一個(gè)最大池化層，對每層輸出減半來突出主導(dǎo)注意力，并有效地處理過長的輸入序列。
• 并行生成式解碼器機(jī)制，對長時(shí)間序列進(jìn)行一次前向計(jì)算輸出所有預(yù)測結(jié)果而不是逐步的方式進(jìn)行預(yù)測，這大大提高了長序列預(yù)測的推理速度。
  

Informer在時(shí)間序列預(yù)測任務(wù)中取得了很好的性能，尤其在長序列和多尺度預(yù)測上表現(xiàn)出色。它已經(jīng)被廣泛應(yīng)用于氣象預(yù)測、交通流量預(yù)測、金融市場預(yù)測等領(lǐng)域。論文中提到模型在ETT（變壓器溫度）、ECL（電力消耗）、Weather（天氣）等標(biāo)準(zhǔn)數(shù)據(jù)集上達(dá)到SOTA。

3.2.3 Autoformer

之前基于Transformer的時(shí)間序列預(yù)測模型Informer，通過自注意力機(jī)制來捕捉時(shí)刻間的依賴，在時(shí)序預(yù)測上取得了一些進(jìn)展。但是在長期序列預(yù)測中，仍存在不足：

• 長序列中的復(fù)雜時(shí)間模式使得注意力機(jī)制難以發(fā)現(xiàn)可靠的時(shí)序依賴。
• Informer不得不使用稀疏形式的注意力機(jī)制來應(yīng)對二次復(fù)雜度的問題，但造成了信息利用的瓶頸。
  

為突破上述問題，作者提出了名為Autoformer的模型，主要包含以下創(chuàng)新：

• 突破將序列分解作為預(yù)處理的傳統(tǒng)方法，提出深度分解架構(gòu)（Decomposition Architecture），能夠從復(fù)雜時(shí)間模式中分解出可預(yù)測性更強(qiáng)的組分。
• 基于隨機(jī)過程理論，提出自相關(guān)機(jī)制（Auto-Correlation Mechanism），代替點(diǎn)向連接的注意力機(jī)制，實(shí)現(xiàn)序列級連接和O(LlnL)復(fù)雜度，打破信息利用瓶頸。
  

時(shí)間序列分解是指將時(shí)間序列分解為幾個(gè)組分，每個(gè)組分表示一類潛在的時(shí)間模式，如周期項(xiàng)，趨勢項(xiàng)。由于預(yù)測問題中未來的不可知性，通常先對過去序列進(jìn)行分解，再分別預(yù)測。但這會造成預(yù)測結(jié)果受限于分解效果，并且忽視了未來各個(gè)組分之間的相互作用。作者提出深度分解層，將序列分解作為Autoformer的一個(gè)內(nèi)部單元，嵌入到編碼器-解碼器中。在預(yù)測過程中，模型交替進(jìn)行預(yù)測結(jié)果優(yōu)化和序列分解，即從隱變量中逐步分離趨勢項(xiàng)與周期項(xiàng)，實(shí)現(xiàn)漸進(jìn)式分解。

序列分解單元基于滑動(dòng)平均思想，平滑周期項(xiàng)、突出趨勢項(xiàng)：

Xt= AvgPool(Padding(χ))

XS=X-Xt

其中，χ為待分解的隱變量，Xt,XS分別為趨勢項(xiàng)和周期項(xiàng)，將上述公式記為：Xt,XS=SeriesDecomp(χ)。

此外，Autoformer通過自相關(guān)機(jī)制來實(shí)現(xiàn)高效的序列級連接，從而擴(kuò)展信息效用。觀察到，不同周期的相似相位之間通常表現(xiàn)出相似的子過程，作者利用這種序列固有的周期性來設(shè)計(jì)自相關(guān)機(jī)制，包含基于周期的依賴發(fā)現(xiàn)和時(shí)延信息聚合。

最終，作者表示在長期預(yù)測問題中，Autoformer在能源、交通、經(jīng)濟(jì)、氣象、疾病五大時(shí)序領(lǐng)域大幅超越之前SOTA，實(shí)現(xiàn)38%的相對效果提升。

3.2.4 DLinear

DLinear的作者嘗試質(zhì)疑基于Transformer的模型進(jìn)行時(shí)間序列預(yù)測的有效性。作者認(rèn)為基于Transformer的模型忽略了有序的連續(xù)點(diǎn)之間的時(shí)間關(guān)系，時(shí)序上的位置信息在時(shí)序預(yù)測中時(shí)十分重要的，因此提出DLinear模型。

實(shí)際上，DLinear的結(jié)構(gòu)非常簡單，僅僅是在Autoformer 的分解層后面加上全連接層。模型使用分解層將輸入時(shí)間序列分解為殘差部分（季節(jié)性）和趨勢部分。隨后每個(gè)部分都被輸入到各自的線性層，輸出各自的結(jié)果。最終的輸出就是兩部分輸出的和。作者表示DLinear在能源、交通、經(jīng)濟(jì)、氣象、疾病等領(lǐng)域的數(shù)據(jù)集上超越了其他深度學(xué)習(xí)模型。

3.2.5 TimesNet

現(xiàn)實(shí)世界的時(shí)序數(shù)據(jù)往往是多種過程疊加，如交通數(shù)據(jù)的日變化和周變化，天氣數(shù)據(jù)的日變化和年變化等。這種內(nèi)在的多周期屬性使得時(shí)序變化極其復(fù)雜。

對于某一特定周期過程，其內(nèi)部每個(gè)時(shí)間點(diǎn)的時(shí)序變化不僅僅與臨近時(shí)刻有關(guān)，也與鄰近周期高度相關(guān)，即呈現(xiàn)周期內(nèi)與周期間兩種時(shí)序變化。其中周期內(nèi)變化對應(yīng)著一個(gè)周期內(nèi)的短期過程，周期間變化則可以反應(yīng)連續(xù)周期間的長期趨勢。

TimesNet嘗試從一個(gè)全新的多周期視角分析時(shí)序變化。一維時(shí)間序列通過快速傅里葉變換選取多個(gè)周期，基于多個(gè)周期對一維數(shù)據(jù)進(jìn)行折疊，得到多個(gè)二維張量，每個(gè)二維張量的列和行分別反應(yīng)了周期內(nèi)與周期間的時(shí)序變化。通過這種方式將一維時(shí)序數(shù)據(jù)擴(kuò)展至二維空間進(jìn)行分析。

TimesNet由堆疊的若干個(gè)TimesBlock組成，每個(gè)TimesBlock都有時(shí)序數(shù)據(jù)升維、2D卷積提取表征、中間結(jié)果降維、自適應(yīng)融合等步驟。輸入序列X首先經(jīng)過嵌入層得到深度特征。對于第l層時(shí)間塊，輸入為，經(jīng)過時(shí)間塊內(nèi)部的處理得到輸出：，注意到每一層時(shí)間塊之間都進(jìn)行了殘差連接。

時(shí)間塊的內(nèi)部的處理過程：

1）時(shí)序數(shù)據(jù)升維

首先通過快速傅里葉變換對輸入的一維時(shí)序特征提取周期，選取強(qiáng)度最大的k個(gè)頻率{f1,…,fk}，他們對應(yīng)著最顯著的k個(gè)周期{p1,…,pk}，然后將其轉(zhuǎn)化成二維張量。相關(guān)公式如下：

其中，代表每個(gè)頻率分量的強(qiáng)度，Period代表快速傅里葉變換以及選取topk個(gè)頻率和周期的過程。Reshape代表降一維結(jié)果轉(zhuǎn)換成二維張量的過程，Padding表示在卷積過程中的補(bǔ)零操作。

2）2D卷積提取表征

對于每個(gè)頻率分量的二維張量，使用2D卷積提取信息，此處使用Inception模型：

3）中間結(jié)果降維

將二維特征轉(zhuǎn)換至一維空間，繼續(xù)進(jìn)行信息聚合： 

其中，Trunc表示將步驟1）中Padding操作補(bǔ)充的零去除。

4）自適應(yīng)融合

將上一步中得到的一維表征，與其對應(yīng)的頻率強(qiáng)度進(jìn)行加權(quán)求和，得到一個(gè)時(shí)間塊的最終輸出。

通過時(shí)間塊的設(shè)計(jì)，模型完成了從多個(gè)周期分別提取二維時(shí)序變化，再進(jìn)行自適應(yīng)融合的時(shí)序建模過程。各個(gè)時(shí)間塊之間進(jìn)行殘差連接，便于梯度的直接回傳，可加速模型收斂、避免梯度消失。

最終TimesNet在能源、交通、經(jīng)濟(jì)、氣象、疾病等領(lǐng)域的數(shù)據(jù)集上達(dá)到最佳。

以上就是我們用于比較預(yù)測效果的模型，由于本文側(cè)重實(shí)踐，如果想要更深入地了解各個(gè)模型的具體細(xì)節(jié)，可以自行閱讀原論文，論文鏈接在參考文獻(xiàn)中給出。

四、實(shí)戰(zhàn)

4.1 數(shù)據(jù)預(yù)處理

經(jīng)過分析，自然狀態(tài)下的某頻道的流量、訂單量等指標(biāo)具有明顯的周期性和趨勢性，但這種周期性和趨勢性在疫情期間無法有效體現(xiàn)，如圖紅框所示，在疫情期間各項(xiàng)指標(biāo)的時(shí)序數(shù)值，較之疫情前后沒有明顯的周期性和趨勢性，受疫情政策的影響較大。而經(jīng)過22年底至23年初國內(nèi)對疫情的快速過峰，23年的各項(xiàng)指標(biāo)序列基本恢復(fù)了疫情前的周期性和趨勢性，我們的目標(biāo)是預(yù)測23年恢復(fù)自然狀態(tài)之后的指標(biāo)，因此考慮剔除疫情期間（2020/01/20~2023/01/19）的數(shù)據(jù)。

以某頻道流量為例，畫出去除疫情數(shù)據(jù)后的走勢圖，紅線是以年為尺度進(jìn)行分割，可以看出數(shù)據(jù)具有顯著的年周期性。

4.2 模型訓(xùn)練與評估

以各項(xiàng)指標(biāo)的歷史數(shù)據(jù)和其他特征作為數(shù)據(jù)集，利用3.2中介紹的模型進(jìn)行預(yù)測（Prophet模型只接受單輸入，故不作統(tǒng)一比較）。下面以某頻道流量為例進(jìn)行介紹。數(shù)據(jù)經(jīng)過脫敏處理。

經(jīng)測試：Informer的效果在絕大部分情況下均不及Autoformer，因此后續(xù)的對比在Autoformer、DLinear和TimesNet中進(jìn)行。

首先定義輸入數(shù)據(jù)的幾個(gè)參數(shù)：

• model_in：模型的輸入維度，設(shè)定為20；
• model_out：模型的輸出維度，設(shè)定為20；
• seq_len：訓(xùn)練模型時(shí)編碼器時(shí)間窗口的大小，可理解為模型回看的時(shí)間周期；
• label_len：訓(xùn)練模型時(shí)解碼器時(shí)間窗口的大小，label_len不要超過seq_len，一般設(shè)置為seq_len的一半；
• pred_len：預(yù)測窗口的大小，即對未來預(yù)測多少個(gè)時(shí)間步，本文中pred_len等于30。

評價(jià)指標(biāo)：MSE（均方誤差）和MAE（平均絕對誤差）。

* Autoformer                                

* DLinear

* TimesNet

我們分別對不同的seq_len和label_len組合進(jìn)行了對比實(shí)驗(yàn)，測試集的結(jié)果顯示，當(dāng)seq_len=180、label_len=90時(shí)，預(yù)測的結(jié)果最好。模型之間的橫向?qū)Ρ蕊@示，TimesNet的效果最好。

此外，針對可能發(fā)生的突變點(diǎn)，我們進(jìn)行了T=120的預(yù)測，結(jié)果如下：

圖像表明，TimesNet模型也無法捕捉到突變點(diǎn)的變化，這可能是訓(xùn)練數(shù)據(jù)太少導(dǎo)致的。為了能夠捕捉到突變點(diǎn)，通過集成Prophet等對突變點(diǎn)較為敏感的傳統(tǒng)模型，結(jié)果表明集成模型在保證預(yù)測精度的同時(shí)，還能較好地捕獲突變點(diǎn)的變化，且MSE和MAE均小于原模型，如下圖所示。

值得一提的是，以上方法的輸入輸出的維度是可以自己定義的，即可以單輸入單輸出、多輸入單輸出、多輸入多輸出等。

4.3 模型部署與回測

在離線訓(xùn)練模型完畢之后，我們將模型部署到了線上，每天更新T+30D的結(jié)果，流程如圖所示：

模型上線后需要一定的監(jiān)控機(jī)制，以便在模型預(yù)測的效果不好的時(shí)候及時(shí)修正模型。我們持續(xù)監(jiān)控預(yù)測值和真實(shí)值的T+3D、T+7D、T+14D、T+21D、T+30D偏差，并以報(bào)表的形式展現(xiàn)。

以某頻道為例，我們應(yīng)用模型預(yù)測五一節(jié)假日某頻道的流量，平均預(yù)測偏差率為+1.03%，峰值預(yù)測偏差率為+0.43%，模型達(dá)到了非常優(yōu)秀的效果。另外，選取五一假期的結(jié)束日期作為截止點(diǎn)，3天、7天、14天、21天、30天的平均預(yù)測偏差率分別為：+3.7%、+1.8%、+1.4%、+5.5%、-9.6%。

五、總結(jié)與展望

本文從預(yù)測關(guān)鍵指標(biāo)的任務(wù)出發(fā)，論述了時(shí)序預(yù)測的相關(guān)方法、模型的訓(xùn)練與評估、以及模型的在線部署與回測，其中部分內(nèi)容做了簡化處理。

總體而言，近幾年來基于深度學(xué)習(xí)的時(shí)序預(yù)測的方法是在蓬勃發(fā)展的。但是，深度學(xué)習(xí)的方法很大程度上依賴于數(shù)據(jù)量，訓(xùn)練數(shù)據(jù)越多，模型就更的容易從中發(fā)現(xiàn)時(shí)序潛在的模式。而在現(xiàn)實(shí)場景中，數(shù)據(jù)量并不總是充足的，因此會影響深度學(xué)習(xí)模型的效果，有時(shí)甚至不如傳統(tǒng)的方法。另一方面，由于時(shí)序數(shù)據(jù)本身帶有公式化的數(shù)學(xué)特性，深度學(xué)習(xí)方法能否提供形式化的表征也是一種未知數(shù)。

不過，隨著時(shí)間的發(fā)展，數(shù)據(jù)是會越來越多的，同時(shí)，目前越來越多的研究將傳統(tǒng)的時(shí)序預(yù)測方法融合進(jìn)深度學(xué)習(xí)時(shí)序預(yù)測模型中，這也是將數(shù)學(xué)特性融入深度學(xué)習(xí)方法的一種嘗試。

在今后我們還將繼續(xù)對基于深度學(xué)習(xí)的時(shí)序模型進(jìn)行優(yōu)化，如構(gòu)造更多特征和協(xié)變量、增加預(yù)測置信區(qū)間、完善模型的評判標(biāo)準(zhǔn)等。