一、庫(kù)存管理的抽象理解

一般來(lái)講，供應(yīng)鏈管理的基本目標(biāo)是為客戶提供高價(jià)值服務(wù)，同時(shí)做好成本控制。

為了解決這樣的問(wèn)題可以從客戶的大量歷史數(shù)據(jù)以及相關(guān)其它信息入手。在一個(gè)決策時(shí)刻，如下右圖T1，系統(tǒng)會(huì)根據(jù)對(duì)于當(dāng)前庫(kù)存狀態(tài)的觀測(cè)判斷是否需要做出補(bǔ)貨的策略，以及補(bǔ)多少的決策。在這個(gè)過(guò)程中隱含了一個(gè)中間步驟，每天的初始庫(kù)存計(jì)算會(huì)被消費(fèi)市場(chǎng)所消耗掉一部分。對(duì)這樣的需求做出準(zhǔn)確的預(yù)判或預(yù)測(cè)，是高質(zhì)量庫(kù)存的關(guān)鍵問(wèn)題之一。除此之外還會(huì)有其它一些因素影響庫(kù)存管理，比如當(dāng)前庫(kù)存管理狀態(tài)的觀測(cè)是否精準(zhǔn)，搜集到數(shù)據(jù)是來(lái)自單一場(chǎng)景還是多個(gè)場(chǎng)景的混合，是單商品還是多商品的庫(kù)存管理，特別是在需求預(yù)測(cè)出現(xiàn)相關(guān)性的時(shí)候就不得不考慮做一個(gè)中心化策略。

根據(jù)我們的調(diào)研和觀察，很多企業(yè)在庫(kù)存管理數(shù)字化轉(zhuǎn)型方面仍有很大空間可做。比如剛才提到庫(kù)存管理預(yù)測(cè)僅僅是基于過(guò)去經(jīng)驗(yàn)的一種方式，難以適應(yīng)日新月異的更新。更重要的，缺乏系統(tǒng)性的判斷，對(duì)于后期改進(jìn)是非常困難的。針對(duì)策略這一側(cè)，在補(bǔ)貨策略里，常用方法是在固定時(shí)間補(bǔ)充固定貨物量。稍微復(fù)雜一點(diǎn)的，比如圖中提到的（s,S）Policy——最小最大的補(bǔ)貨方式。問(wèn)題依舊是很難去捕捉一些真實(shí)情況，比如一些不確定性、倉(cāng)庫(kù)遷移等情況。

因果分析是一種把握和挖掘數(shù)據(jù)背后原因和結(jié)果的技術(shù)，因?yàn)樗泻芎玫哪Ｐ涂山忉屝?，所以?duì)于可視化以及復(fù)雜商業(yè)過(guò)程會(huì)有很大的幫助。

這里舉個(gè)例子，比如收集到一個(gè)demo的數(shù)據(jù)集，是對(duì)于價(jià)格、瀏覽量和訂單的時(shí)間序列數(shù)據(jù)。數(shù)據(jù)會(huì)有很多的觀測(cè)角度，比如從5次order來(lái)看，可以認(rèn)為是隨機(jī)變量的5次觀測(cè)，也可以看成是隨機(jī)變量的一次觀測(cè)。鑒于有不同視角看數(shù)據(jù)，在建立訂單關(guān)系的時(shí)候到底使用哪些feature，以及把哪些feature的時(shí)延信息作為額外特征。不同視角、不同方法會(huì)給我們帶來(lái)截然不同甚至對(duì)立的結(jié)果。我們對(duì)這一技術(shù)的期望是簡(jiǎn)單的，即利用因果分析及一些其它技術(shù)的融合，系統(tǒng)性地幫助我們找到合理實(shí)驗(yàn)的信息，并幫助我們確定影響某個(gè)目標(biāo)變量的最小集合。如果能得到上圖中右下角的動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)，就可以通過(guò)讀圖的方式找到可干預(yù)預(yù)測(cè)的嘗試，以及影響某個(gè)變量重要節(jié)點(diǎn)的排序。

從技術(shù)角度來(lái)講，庫(kù)存管理歸根結(jié)底要在每個(gè)決策時(shí)刻對(duì)于每個(gè)狀態(tài)去計(jì)算最優(yōu)的一個(gè)策略，使得管理可以可持續(xù)化的盈利，并且讓之最大化。在這個(gè)過(guò)程中我們認(rèn)為處理好對(duì)未來(lái)需求的預(yù)測(cè)，以及補(bǔ)貨策略隨著消費(fèi)習(xí)慣的改變進(jìn)行高效地調(diào)整，是解決庫(kù)存管理的關(guān)鍵問(wèn)題。由此產(chǎn)生兩條主線，其一是如何對(duì)需求做預(yù)測(cè)，其二是如何做補(bǔ)貨策略。

圍繞這個(gè)問(wèn)題開(kāi)發(fā)了很多相關(guān)技術(shù)，在此簡(jiǎn)要介紹其中幾個(gè)。

首先是關(guān)于預(yù)測(cè)的問(wèn)題。當(dāng)我們學(xué)到一個(gè)動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)之后，可以通過(guò)一些帶有時(shí)間的、或多變量的feature，對(duì)未來(lái)的多步進(jìn)行預(yù)測(cè)。第二、三個(gè)功能主要得益于我們有一個(gè)很好的模型可解釋性的工具，幫助我們來(lái)做根因發(fā)現(xiàn)、關(guān)鍵原因的排序，以及把觀測(cè)變量分解為多渠道貢獻(xiàn)等。第三個(gè)功能是當(dāng)有了可以導(dǎo)出可干預(yù)程式之后，當(dāng)觀察到影響某個(gè)變量可以實(shí)時(shí)、快速調(diào)整對(duì)于未來(lái)的預(yù)期。最后，當(dāng)我們從客戶歷史中學(xué)習(xí)到了某個(gè)需求并預(yù)測(cè)之后，如何搜索最優(yōu)策略，會(huì)根據(jù)顧客的實(shí)際問(wèn)題比如倉(cāng)儲(chǔ)規(guī)模、運(yùn)輸成本等約束來(lái)進(jìn)行控制。

二、相關(guān)技術(shù)概念回顧

在解決倉(cāng)儲(chǔ)問(wèn)題過(guò)程中，會(huì)遇到大量的序列數(shù)據(jù)，指的是數(shù)據(jù)集中的部分信息依賴(lài)于數(shù)據(jù)中其它信息這樣一種特性。時(shí)間序列是一種常見(jiàn)的例子，觀測(cè)是隨著時(shí)間的推移而進(jìn)行的。每次觀測(cè)都依賴(lài)于前一次或前幾次時(shí)間滯后的觀察去確定后面的觀測(cè)。另一種是和環(huán)境的交互數(shù)據(jù)，比如在怎樣的庫(kù)存狀態(tài)下做了多少補(bǔ)貨的補(bǔ)貨量，真實(shí)滿足多少需求以及reward反饋。在這樣的交互信息里可以看到當(dāng)前狀態(tài)信息是另一段交互的結(jié)果狀態(tài)信息。

關(guān)于時(shí)序數(shù)據(jù)，為了得到一些有意義的結(jié)果，通常情況下會(huì)有兩個(gè)假設(shè)，一個(gè)是弱平穩(wěn)，另一個(gè)是自相關(guān)，因?yàn)闀r(shí)序分析要發(fā)現(xiàn)歷史中的一些規(guī)律，然后去預(yù)測(cè)未來(lái)。

在因果分析中有兩大類(lèi)分析框架，我們主要集中在SCM框架下。這樣的模型可以近似描述出預(yù)產(chǎn)生過(guò)程，并提供一個(gè)外部可干預(yù)的形式化的數(shù)學(xué)語(yǔ)言。通過(guò)這樣的模型不僅可以識(shí)別因果關(guān)系的強(qiáng)弱方向性等等，也可以幫助我們?nèi)ビ?jì)算path的因果效應(yīng)等等。上圖展示的圖片來(lái)自Jonas Peters的一本書(shū)，概括了如果獲取到SCM的情況下，可以支撐的一些的工具。

第一，可以通過(guò)序列方程式獲取因果圖，并且可視化。第二，如左上所示，在高維時(shí)刻可以通過(guò)馬爾可夫性，把聯(lián)合分布拆分成多個(gè)簡(jiǎn)單的條件概率形式。第三是干預(yù)，在SCM中改變某個(gè)節(jié)點(diǎn)的分布，或者對(duì)于關(guān)系長(zhǎng)度進(jìn)行改變，改變之后會(huì)得到新的SCM。第四是反事實(shí)，在做干預(yù)之前首先都由當(dāng)前觀測(cè)去更新序列方程式里的變量信息，再在更新過(guò)后的SCM上做干預(yù)的更新措施。正因?yàn)橛辛诉@樣一個(gè)理論上的工具，可以支持在個(gè)性化的場(chǎng)景下做策略推薦或策略增強(qiáng)。

在動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)表示中有三個(gè)圖形化的表示。第一，可以把節(jié)點(diǎn)按時(shí)間從過(guò)去到未來(lái)的展開(kāi)。第二，用unit graph刻畫(huà)時(shí)序最小的一個(gè)完備的信息。最后，summary graph在unit graph中把時(shí)間信息累積掉就得到?jīng)]有時(shí)間信息的圖。

如何獲取這類(lèi)圖，大致有四類(lèi)方法。

• 第一，constraint-based基于條件概率的方式判定圖的邊，然后通過(guò)特殊結(jié)構(gòu)去定向。
• 第二，score-based方法定義了模型BIC，在某個(gè)class中去search。
• 第三，局限在某個(gè)特定的model class時(shí)候會(huì)去模型里做一些擬合。
• 最后是granger casual的方法。

三、因果推斷協(xié)助需求預(yù)測(cè)

回到我們要解決的主要問(wèn)題，也就是倉(cāng)儲(chǔ)問(wèn)題上面。第一個(gè)任務(wù)是如何用多元時(shí)序的方法做一些需求的預(yù)測(cè)，并通過(guò)模型的性質(zhì)給我們提供很好的可解釋性。

因?yàn)樵赟CM模型中有一些理論工具，以下三個(gè)方法都是可以用來(lái)處理時(shí)序分析。

在Casual discovery中，雖然表示出節(jié)點(diǎn)沒(méi)有顯示包含信息，如果知道實(shí)驗(yàn)信息可以對(duì)數(shù)據(jù)集做一些特征工程，比如把實(shí)驗(yàn)信息merge到數(shù)據(jù)集里面。第二，以ARIMA為代表的單元時(shí)序工具，主要對(duì)關(guān)心的目標(biāo)節(jié)點(diǎn)做自回歸和moving average的考慮。它的自然拓展是如何去考慮多元的時(shí)序分析。在多元時(shí)序分析里有兩個(gè)小的分類(lèi)，一種是未來(lái)去看現(xiàn)在，即沒(méi)有瞬時(shí)，另一種是處理帶有瞬時(shí)的時(shí)序發(fā)現(xiàn)。

我們對(duì)于多元時(shí)序方法的基本需求是要有較好的預(yù)測(cè)性能、以及良好的可解釋性。所以在模型選擇或算法使用時(shí)候集中在以貝葉斯網(wǎng)絡(luò)為代表的幾個(gè)方法中。

但是經(jīng)過(guò)測(cè)試發(fā)現(xiàn)，目前主流方法的性能都還有改進(jìn)空間。比如VAR或者VAR-LiNGAM，在進(jìn)行商業(yè)決策或判斷中，給到?jīng)Q策者100條甚至1000條對(duì)他來(lái)說(shuō)都是沒(méi)有信息量的。PCMCI方法在性能上還需進(jìn)一步改進(jìn)。上圖是一幅簡(jiǎn)單的before-after對(duì)比圖，我們?cè)谝粋€(gè)簡(jiǎn)單的ground truth模型上進(jìn)行了測(cè)試。

上面我們看到這樣的一種改進(jìn)的方法會(huì)極大減少余邊的信息。下一個(gè)問(wèn)題很自然的是雖然邊數(shù)少了回歸出來(lái)的邊的系數(shù)質(zhì)量是不是能夠有保證。這個(gè)對(duì)比圖在這方面進(jìn)行了測(cè)試。知道真實(shí)的系數(shù)值是多少，用WAPE衡量估計(jì)出來(lái)的系數(shù)誤差有多少。在做對(duì)比的時(shí)候稍微做了調(diào)整，先會(huì)對(duì)系數(shù)整體的重要性做一個(gè)排序，從1%，5%到100%所有邊準(zhǔn)確性或者平均誤差是多少。簡(jiǎn)單做了4個(gè)對(duì)比，通過(guò)這幾個(gè)例子給到我們比較正面的反饋，在很多時(shí)候能控制學(xué)出來(lái)邊的個(gè)數(shù)情況下，系數(shù)的精度得到了進(jìn)一步的提高。正因?yàn)橛羞@樣一個(gè)性能的保證，為后面的預(yù)測(cè)和干預(yù)提供了很重要的保障。

進(jìn)一步在實(shí)際數(shù)據(jù)中做了測(cè)試，并添加了更多擅長(zhǎng)做時(shí)序預(yù)測(cè)的方法，比如arima，varmax, rnn, lstm等等?？傮w從結(jié)果上來(lái)講，對(duì)于宏觀經(jīng)濟(jì)預(yù)測(cè)上來(lái)講總的表現(xiàn)還是不錯(cuò)的。下方截圖可以看到，除了提供package以外，開(kāi)發(fā)了相應(yīng)的web API，便于具體組合到應(yīng)用中去。大概流程是上傳時(shí)序數(shù)據(jù)，對(duì)時(shí)序數(shù)據(jù)做一系列可選的統(tǒng)計(jì)檢驗(yàn)，在一些情況下做一些轉(zhuǎn)換之后會(huì)學(xué)到一個(gè)圖。目前只用輸入數(shù)據(jù)集本身以及l(fā)ag，沒(méi)有額外的顯著性水平等等，極大減少了客戶的負(fù)擔(dān)。學(xué)完圖信息之后就可以利用圖上的feature信息做一些未來(lái)的預(yù)測(cè)。預(yù)測(cè)背后可以進(jìn)一步發(fā)現(xiàn)到底是哪一些預(yù)測(cè)變量信息更重要地影響了某個(gè)節(jié)點(diǎn)信息。之后可以使用一些歸因、仿真之類(lèi)的工具。

當(dāng)然我們的測(cè)試不僅如此，還有一些新能源、熱輻射與能源需求上的測(cè)試，價(jià)格promotion、訂單需求上的預(yù)測(cè)。這樣一些真實(shí)數(shù)據(jù)中都做一些對(duì)比。綜合來(lái)看在我們非常關(guān)心的預(yù)測(cè)、可解釋性和模擬三個(gè)主要功能需求上來(lái)講，我們目前提供的web API性能還是不錯(cuò)的。

功能已集成在技術(shù)平臺(tái)上，在內(nèi)部已經(jīng)實(shí)現(xiàn)了商業(yè)應(yīng)用，目前也在不斷擴(kuò)大應(yīng)用范圍到更多一線業(yè)務(wù)中去。

四、因果推斷協(xié)助策略實(shí)施

接下來(lái)介紹怎么去做策略。

如何做策略，不僅會(huì)影響當(dāng)前庫(kù)存狀態(tài)，而且會(huì)對(duì)未來(lái)產(chǎn)生影響。基本數(shù)學(xué)框架是通過(guò)一個(gè)馬爾可夫決策來(lái)刻畫(huà)長(zhǎng)期的序列決策問(wèn)題。當(dāng)環(huán)境發(fā)生改變時(shí)，如何高效地做出策略。

已知ground truth模型基礎(chǔ)上做了一個(gè)驗(yàn)證，在有混合遷移環(huán)境的基礎(chǔ)上，環(huán)境遷移會(huì)影響策略的質(zhì)量。最后是新的方法，基于因果模型學(xué)習(xí)或者結(jié)構(gòu)學(xué)習(xí)可以幫助我們一定程度上改善這樣的問(wèn)題。在倒立擺的例子里會(huì)關(guān)注桿的長(zhǎng)度，來(lái)影響決策朝左、朝右桿狀態(tài)的變化。

上面一個(gè)簡(jiǎn)單例子，當(dāng)我們環(huán)境不遷移，所有收集來(lái)的數(shù)據(jù)都是來(lái)自同一個(gè)桿的長(zhǎng)度，不同強(qiáng)化學(xué)習(xí)方法達(dá)到的效果都差不多。但是有趣的事情是，收集到的數(shù)據(jù)是來(lái)自混合環(huán)境的，比如桿的長(zhǎng)度是1m、2m、5m。通過(guò)對(duì)混合環(huán)境數(shù)據(jù)進(jìn)行學(xué)習(xí)之后，如果把桿的長(zhǎng)度遷移到10m，發(fā)現(xiàn)傳統(tǒng)的基于MLP的方法性能下降得非常厲害。我們的方法可以和model-free方法打個(gè)平手，但是對(duì)于樣本消耗上來(lái)講目前方法只用消耗1/10的model-free方法需要計(jì)算的成本。如果把該場(chǎng)景應(yīng)用在一些商業(yè)場(chǎng)景上的話，會(huì)顯著節(jié)省樣本收集量。

取得這樣效果背后設(shè)計(jì)了一個(gè)生成對(duì)抗式的因果網(wǎng)絡(luò)，對(duì)于當(dāng)前收集到的數(shù)據(jù)進(jìn)行因果網(wǎng)絡(luò)或者反事實(shí)的增強(qiáng)，來(lái)高效地訓(xùn)練策略的網(wǎng)絡(luò)。具體輸入到模型這塊來(lái)自于當(dāng)前的狀態(tài)、策略和環(huán)境的信息，給到圖，以GAN生成對(duì)抗網(wǎng)絡(luò)方式訓(xùn)練Generator。為了獲取或者推理出這樣一個(gè)滯后過(guò)程加了一個(gè)Encoder方式近似獲取到這樣信息，然后把信息給到Generator以后通過(guò)由Generator調(diào)整的方法類(lèi)似調(diào)整的SCM模型去做一些數(shù)據(jù)增強(qiáng)。在第二次迭代還會(huì)收集到新的數(shù)據(jù)以及通過(guò)上一波數(shù)據(jù)進(jìn)行反事實(shí)推理之后進(jìn)行數(shù)據(jù)聯(lián)合，在第二次訓(xùn)練時(shí)候可以幫助我們進(jìn)一步擴(kuò)大P1塊的數(shù)據(jù)來(lái)去訓(xùn)練它。

在倉(cāng)儲(chǔ)問(wèn)題上來(lái)講，我們抽象出一個(gè)模型來(lái)做一個(gè)測(cè)試，其他都是一些比較基本的定義方式。因?yàn)檫@是一個(gè)序列決策問(wèn)題總體來(lái)講要定義reward函數(shù)，實(shí)際滿足客戶的訂單的需求。右邊對(duì)比圖得到的結(jié)論和我們之前看到的場(chǎng)景遷移結(jié)果類(lèi)似。

另一個(gè)解決處理環(huán)境變化的方法，快速做replanning的方式。主要是replanning的成本開(kāi)銷(xiāo)，所花的時(shí)間是遠(yuǎn)遠(yuǎn)小于環(huán)境遷移時(shí)間，對(duì)于處理時(shí)間問(wèn)題都是可以接受的。具體來(lái)講采用在線規(guī)劃器的算法去對(duì)當(dāng)前狀態(tài)做一個(gè)局部狀態(tài)逼近。好處是針對(duì)目前會(huì)對(duì)整個(gè)狀態(tài)空間進(jìn)行遍歷如果狀態(tài)是離散的話。目前online的plan只關(guān)心當(dāng)前狀態(tài)，因?yàn)槟繕?biāo)有極大的減少會(huì)有更多的計(jì)算資源幫助我們對(duì)策略細(xì)化，以及策略樹(shù)的生長(zhǎng)。

當(dāng)環(huán)境或需求發(fā)生變化的時(shí)候，該方法在計(jì)算策略時(shí)都是會(huì)重新replan策略，所以可以很好的應(yīng)對(duì)這樣的變化過(guò)程。同樣地，目前計(jì)算的對(duì)象從一個(gè)空間變成一個(gè)狀態(tài)是遠(yuǎn)大于目前離線算法的性能。

最后是結(jié)果性能對(duì)比圖。第一、二張圖分別描述補(bǔ)貨策略觀測(cè)不確定性大小時(shí)和不同離線算法在不同規(guī)模和在線規(guī)劃時(shí)間下的計(jì)算結(jié)果值。第三張圖，倉(cāng)儲(chǔ)管理追求收益，來(lái)自多大程度上可以滿足消費(fèi)市場(chǎng)需求。為了使銷(xiāo)售額長(zhǎng)期最大化，在個(gè)別時(shí)間會(huì)出現(xiàn)少量缺貨情況。反映了收益和成本上的平衡，是在考慮了長(zhǎng)期的不確定性的基礎(chǔ)上得到的最優(yōu)解。增加庫(kù)存量雖然可以很大程度上滿足客戶的需求，但多出的管理費(fèi)可能反而會(huì)傷害長(zhǎng)期的收益情況。