一、多任務、多場景的背景和挑戰(zhàn)

首先來介紹一下華為多任務推薦的場景。

華為廣告分布在不同的媒體上，比如左圖展示的是瀏覽器信息流中的一個原聲廣告，右側(cè)是華為視頻頁下方的一個廣告卡片。這些廣告分為不同的類型，比如 APP 類型、表單類型或者商品類型，其中 APP 類型是我們主要的一個廣告類型。一個 APP 廣告出現(xiàn)在用戶的視野里，如果被用戶注意到了，可能觸發(fā)一個用戶的點擊進入詳情頁，如果用戶看到了詳情頁信息之后，還進一步產(chǎn)生興趣的話，就可能會產(chǎn)生進一步的下載行為，用戶下載 APP 之后，用戶可能會把這個 APP 放著不用了，也可能會產(chǎn)生進一步的轉(zhuǎn)化行為，比如激活、應用內(nèi)付費購買、次留等。

廣告主會根據(jù)自己的一些運營指標，為某一次點擊或者某一種轉(zhuǎn)化的類型進行付費，因此我們會針對轉(zhuǎn)化鏈路中的多個環(huán)節(jié)進行用戶行為的預估，比如點擊率、下載等轉(zhuǎn)化率。顯而易見，用戶的轉(zhuǎn)化行為會隨著這條鏈路的逐漸深入而逐漸變得更加稀疏，越來越深層次的轉(zhuǎn)化目標，其轉(zhuǎn)化稀疏性問題就會越來越來越嚴重，訓練起來的困難程度也會越來越高。

因此我們通過多任務聯(lián)合建模的方式來緩解樣本的稀疏性問題，同時也希望不同任務之間可以彼此協(xié)同提升。

華為廣告投放的媒體類型眾多，大致可以分為兩類：

• 自有媒體：華為視頻、華為瀏覽器、華為音樂、華為閱讀等。
• 三方媒體，新浪、網(wǎng)易和 UC 瀏覽器等。

以華為自有媒體為例，華為廣告可以投放在媒體內(nèi)部的不同位置，以不同的形式展示，比如應用圖標、開屏頁等。當用戶在不同媒體上的不同位置進行瀏覽的時候，會產(chǎn)生不同類型的行為，比如點擊廣告，而用戶點擊廣告時所處的場景不同，產(chǎn)生點擊的行為的背景也不一樣，也就是說在不同的場景下我們可以提取用戶不同的偏好行為。因此我們通過多場景聯(lián)合建模的方案，來更加全面地構(gòu)建用戶的偏好特征。另外，多場景聯(lián)合建模通常也可以帶來另外兩點好處：1）減少維護場景模型的數(shù)量；2）緩解冷啟動場景的稀疏性問題。

二、算法分類及介紹

1、多任務和多場景的對比 

首先建?？臻g主要可以分為兩部分，分別是目標空間和樣本空間。多任務的目標空間是不同的，比如有點擊率、激活率等，但是樣本都是來自于同一個空間，比如相同的樣本和特征空間。而多場景往往是相反的，其訓練數(shù)據(jù)來自于不同的場景，樣本空間也往往是不同的，會有著不同的數(shù)據(jù)分布和特征集合，但預測任務又都是同類型的，比如點擊率。當然最近也有一些多場景和多任務聯(lián)合優(yōu)化的場景和算法，這里就不具體展開了。

2、算法分類 

目前多任務推薦算法相關(guān)的工作，主要可以從兩個維度進行劃分：1）任務關(guān)系的維度；2）方法的維度。

任務關(guān)系維度主要分為三種，一種是平行式，也就是多個任務之間沒有比較明確的依賴關(guān)系，比如點擊、收藏、分享、喜歡等，這種多見于內(nèi)容分發(fā)的信息流推薦場景。第二種是級聯(lián)式，多任務的轉(zhuǎn)化處于同一鏈路中，彼此之間存在著一定的依賴關(guān)系，這種多見于廣告推薦場景。第三中是主任務加輔助任務的聯(lián)合優(yōu)化，主要是尋找一些輔助任務來優(yōu)化主任務的最終效果。

從方法維度也主要分為三類。第一類是參數(shù)共享，包括 hard sharing 和 soft sharing，比如 MOE 結(jié)構(gòu)。第二類是任務的優(yōu)化，主要針對負向遷移以及多目標的權(quán)衡，再進一步又可分為任務或者梯度的主導問題，以及負向關(guān)系的處理問題。第三類是建模的訓練機制，比如傳統(tǒng)的聯(lián)合建模的方式，就是多種任務一起直接聯(lián)合優(yōu)化。另外一種是基于強化學習的訓練機制。下面這篇文章就是我們多任務推薦系統(tǒng)的 survey，里面會系統(tǒng)地介紹一些相關(guān)的工作，感興趣的同學可以關(guān)注一下。

接下來我們對多場景相關(guān)的算法也做了一些不同維度的劃分，主要是從兩個維度，第一個是模型結(jié)構(gòu)的維度，第二個是方法的維度。

從模型結(jié)構(gòu)的維度分為兩種，分別是多塔和單塔的結(jié)構(gòu)。多塔就是為每一個場景會構(gòu)建一個預測網(wǎng)絡，一般這種是用在場景數(shù)量比較明確而且數(shù)量不是很多的情況下。另外一種是單塔，也就是所有場景的預測網(wǎng)絡是共享的，多數(shù)是在場景數(shù)量不夠明確，或者數(shù)量比較多的場景。在方法維度其實和多任務比較類似。第一個還是參數(shù)共享的方式，包括一些硬共享和軟共享。第二個就是場景聯(lián)合建模時負向信息遷移的一些處理。第三個是獲取和調(diào)節(jié)場景特性信息的一些動態(tài)權(quán)重網(wǎng)絡。我們也有一個聯(lián)合建模的論文，介紹了多場景相關(guān)的一些工作，也包含了一些多行為多模態(tài)，還有大語言模型做推薦的一些聯(lián)合建模的相關(guān)工作的介紹，感興趣的同學也可以關(guān)注一下。

3、算法介紹

接下來介紹華為廣告場景落地的一些多任務和多場景的推薦算法。

（1）多任務算法：TAML

第一篇是我們發(fā)表在 www2023 的一篇工作（TAML），這個工作主要是覆蓋分類中的級聯(lián)任務，還有聯(lián)合訓練以及一些訓練機制。

TAML 主要針對的挑戰(zhàn)有兩點，一點是轉(zhuǎn)化樣本稀疏，如果只是通過簡單的任務級的專家網(wǎng)絡融合，是無法提供足夠信息的，而且這些信息會存在一些偏差。另外一點是模型預估的魯棒性問題，我們表征以后的分類網(wǎng)絡存在訓練不夠充分的問題，就會導致最終訓練的預測結(jié)果不夠魯棒。

針對以上兩個問題，TAML 的框架主要包括兩個模塊，一個是多層級任務自適應表征提取模塊，主要是通過多層級的專家網(wǎng)絡提取多粒度的多任務知識表征；第二個模塊是蒸餾多學習器模塊，主要是通過構(gòu)建多學習器，并通過蒸餾實現(xiàn)多學習器之間的知識共享，提高預估網(wǎng)絡的穩(wěn)定性。

接下來對這兩個模塊分別做一些簡單的介紹。

第一個模塊，多層級任務自適應表征提取模塊，主要是用于底層表征的抽取。通過三種多級專家網(wǎng)絡來構(gòu)建，一種是共享的多專家網(wǎng)絡，另一種是任務級別的特有專家網(wǎng)絡，還有學習器級別的專家網(wǎng)絡。這里的學習器是為了緩解任務的稀疏性問題，并提高任務表征的穩(wěn)定性，為每個任務又單獨構(gòu)建了多個學習器，就可以從多個視角提取任務表征。最終三個表征會通過一個門控網(wǎng)絡進行融合，輸出最終的表征。

第二個是 MLSD 學習器模塊，主要用于預估網(wǎng)絡的優(yōu)化，多個學習器可以從不同的視角學習同一個任務不同的信息，最終我們會用不同的學習器的均值作為融合學習器的知識輸出。在此基礎之上，我們會構(gòu)建一個正則化的損失，約束每個學習器和融合學習器之間的距離，從而實現(xiàn)不同學習器之間的信息共享，也以此來提高預估網(wǎng)絡的魯棒性。

我們這個工作分別在公開數(shù)據(jù)集和華為的私有數(shù)據(jù)上做了一些驗證，相比 SOTA 都取得了比較顯著的效果增益。另外，從下圖中左下角的圖可以看到不同層級的專家網(wǎng)絡對最終表征的貢獻度，在不同任務以及不同的學習器中，三種專家網(wǎng)絡所提取出來的信息的重要性是有所不同的。比如，對于 CVR 任務，它學出來的學習器級別的參數(shù)網(wǎng)絡的權(quán)重會更重一些。

由于在離線的效果上比較好，所以我們在華為廣告場景上進行了一個線上的AB實驗。我們用基于點擊后的數(shù)據(jù)構(gòu)建了兩個任務，一個是下載率，另一個就是激活率?？梢钥吹皆?nbsp;CVR 和 eCPM 場景上，都取得了比較明顯的線上收益。因為這是一個轉(zhuǎn)化率的場景，所以我們更關(guān)注的是轉(zhuǎn)化率的效果以及最終廣告的收入效果。

（2）多場景算法：CausalInt

第二個工作是我們發(fā)表在 KDD2022 的一個工作(CausalInt)，這個工作主要覆蓋分類中多塔分類器以及軟共享，還有包含了一些負向信息遷移的梳理，以及動態(tài)權(quán)重網(wǎng)絡的場景自適應參數(shù)的調(diào)節(jié)。

 這里我們借助了因果圖來對多場景建模的問題進行了分析。首先我們從用戶的視角對多場景推薦進行一個描述。在圖(a)中，x_n 是用戶在場景 n 下的一個行為，y_n 是用戶在場景 n 下的一個操作，比如點擊。x表示與場景無關(guān)的一些用戶偏好，用戶在場景n下產(chǎn)生的操作 y_n 其實是受到用戶在該場景下的一些行為，以及用戶本身的一些偏好所共同作用的結(jié)果。

我們再從建模的視角來對多場景的建模過程進行一個描述，可以看出在場景數(shù)據(jù)混合在一起進行建模的時候，不同變量的關(guān)系就會變得更加復雜。

_X1 表示的是與場景無關(guān)的用戶表征，但是它受到了場景感知表征 D_n 和用戶在場景 n 下的表征的一些影響，表示的是模型對于用戶在場景下點擊行為的預估，但是它受到了其他場景感知信息的影響，還有其他場景的比如用戶行為的影響，在預估的時候存在一些偏差，并且無法取得比較好的推薦效果。也就是在建模的過程中，我們沒有考慮到一些偏差信息以及有效的信息遷移。

為了實現(xiàn)建模過程的視圖更和用戶視圖的因果圖更加匹配，也就是解決建模中的偏差問題，我們提取出了多場景聯(lián)合建模時的三個關(guān)鍵挑戰(zhàn)。第一個挑戰(zhàn)是如何有效的提取場景之間的共性。第二個挑戰(zhàn)是如何保留產(chǎn)品中的一些特定信息，同時消除其他場景引入的一些負向信息，主要是處理如何有效提取 x _n,第三個挑戰(zhàn)就是如何探索并遷移場景感知的一些信息。

為了解決這些挑戰(zhàn)，我們借助因果干預的策略。對這里的 D_n 對 X_n，還有 X_n 對 Y_n 實施干預。在我們真實的商業(yè)推薦系統(tǒng)中，其實我們很難從數(shù)據(jù)的角度或者實驗的角度來采取真實的干預策略，因此我們這里是考慮使用學習的方式來對這種干預進行一個模擬，切斷容易產(chǎn)生混淆的因果路徑。

我們提出了三個模塊。第一個模塊是共性提取模塊，也就是紅色部分。第二個模塊是中間的負向影響去除模塊，就是灰色的部分。第三個是場景信息的遷移模塊，就是黃色的這一部分。接下來對這三部分內(nèi)容分別做一個具體的介紹。

首先是共性提取模塊。我們主要是通過結(jié)構(gòu)表征的方式來把場景感知場景敏感的一些信息分離至獨立的分支網(wǎng)絡里，然后通過構(gòu)建4個不同的任務來提取場景特有表征或者場景不變表征。這4個任務中的第一個是最左邊的 general classifier，它主要是基于提取的場景無關(guān)的表征，剔除與場景敏感的一些信息后，所對應的一個統(tǒng)一分類器，也就是所有場景共享的一個 ctr 預估任務。第二個就是把場景敏感信息分離出來之后，用場景的敏感信息的表征去構(gòu)建一個場景的判別器，也就是判別樣本是來自于哪個場景。第三個任務就是將場景表征和場景感知表征聯(lián)合在一起，再去構(gòu)建一個ctr預估的 general classifier。最終為了有效地提取這兩個表征，并且讓這兩個表征做到盡量的正交，這里會有真正一個正則化的約束。通過這4種方式，進行無偏表征的提取，作為后續(xù)建模的基礎。

第二個模塊是負向影響去除模塊。可以進一步劃分為兩部分，第一部分是場景特有的一些表征以及場景共有的一些表征之間的梯度沖突問題。比如場景的特有的分類器和回傳的梯度，還有共有的分類器回傳梯度，對于共享表征的一些沖突問題。

第二個沖突就是不同的場景自有的一些分類器所回傳的梯度對于共有表征的一些影響。我們針對這兩個不同的沖突使用了兩種不同的策略。針對于第一種沖突，我們使用了 meta-learning 的 MAML 訓練方式來解決場景特性表征和共性表征之間的沖突問題。針對第二種沖突，自有的共享表征之間的梯度沖突問題是采用一個施密特正交化的過程，然后實現(xiàn)一個梯度的正交基，來約束他們之間的一個梯度方向，從而解決這個維度的梯度沖突問題。

第三個模塊是信息遷移模塊。這個部分模擬了實驗的干預策略，讓單個場景中出現(xiàn)的 user-item 表征分別和不同場景的信息進行一個交互。

我們模擬的是如果場景的 user- item 交互出現(xiàn)的場景j中，它會有一個什么樣的結(jié)果，這樣一個反事實的問題，并將多個場景的評分網(wǎng)絡，作為多個專家，對這一個交互進行打分。 最終會用第一個模塊學習到這個場景的表征所對應的場景的分類器，對當前樣本進行一個加權(quán)，也就是預測有多大的概率去相信當前這個場景所對應專家的一個打分結(jié)果，從而實現(xiàn)專家網(wǎng)絡輸出的分數(shù)的融合，從而實現(xiàn)不同場景之間的信息遷移。

我們把模型在一份公開數(shù)據(jù)集和華為私有數(shù)據(jù)集上做了一些離線的 AB 實驗，可以看到相比于單場景建模多任務模型，還有一些遷移學習的微調(diào)模型，包括多場景的一些基線模型，相對來說都會有比較明顯的效果增益。

我們對模型的各個模塊進行了一些消融分析。整體上看，各個子模塊都帶來了一些效果上的增量。比如表8中，我們進行了場景信息遷移模塊中不同注意力網(wǎng)絡的實現(xiàn)方式的對比，比如直接做 multiply、或者直接用 mmoe 類似的這種端到端訓練做一個 gate 網(wǎng)絡去做多專家分數(shù)的融合，可以看到，還是我們通過構(gòu)建判別模型訓練出來的 gate 網(wǎng)絡的效果會更好一些。

（3）多場景算法：DFFM

接下來第三個要介紹的是我們發(fā)表在今年 CIKM 的一個工作，叫 DFFM，這塊工作主要是面向單塔的多場景建模模型，利用動態(tài)權(quán)重網(wǎng)絡，對特征交互還有用戶行為進行場景自適應的學習。

特征交互和用戶行為，做推薦的同學應該都比較了解，是 CTR 模型中很重要的兩個概念。

特征交互是很多深度推薦學模型的基礎，比如我們通常會通過手動的方式或者設計神經(jīng)網(wǎng)絡的方式來實現(xiàn)二階、三階的交互構(gòu)建，或者直接通過MLP構(gòu)建更高階的隱式交互。

用戶在不同場景下會產(chǎn)生不同的行為，體現(xiàn)在特征交互上，會根據(jù)場景而有所差異，也就是說不同的特征交互在不同場景上應該會有不同的權(quán)重。其次，用戶行為可以反饋出用戶的一些興趣，用戶在不同場景下產(chǎn)生的歷史行為反映出用戶在當時場景下的一些特定偏好，因此我們在多場景聯(lián)合建模的時候也應該考慮這兩點，即多場景下的共性和特性。

因此我們提出了一個面向特征交互以及用戶行為場景感知的建模模型 DFFM。它主要包含兩個模塊。第一個 DFFI，是場景感知的特征交互模塊，第二個 DFUB，是場景感知的用戶行為模塊。

場景感知的特征交互模塊以內(nèi)積的交互方式為例，在不區(qū)分場景條件下，其實交互方式就是為兩個特征向量直接做內(nèi)積，在多場景下,我們會使用一些場景的表征，比如 domain id，然后把這種場景表征進行一個轉(zhuǎn)化和拆分，成立一個動態(tài)權(quán)重的網(wǎng)絡，對原始特征進行一個轉(zhuǎn)化。比如就是一個場景表征，通過轉(zhuǎn)化和拆分，把它分解成一個權(quán)重網(wǎng)絡和偏置，然后以此來對我們的一些原始特征，比如這里的 e_i 和 e_j 做一個轉(zhuǎn)化，在此基礎之上再進行二階或者多階的特征交互，最終和原始的向量 concat 到一起，獲得 DFFI 模塊的一個輸出表征。這里交互方式肯定是不局限于內(nèi)積，也可以是外積或者是 DCN、autint 的一些交互方式。 

第二個模塊，場景感知的用戶行為模塊。我們從用戶行為的粒度入手，利用場景相關(guān)的特征學習用戶行為之間的關(guān)聯(lián)，具體而言就是 DFUB 模塊使用的是多頭自注意力機制來處理用戶行為序列。相比于傳統(tǒng)的多頭自注意力機制只考慮序列內(nèi)部的一些 item 交互，我們將 target item 和場景的表征都同時考慮進來構(gòu)建多頭注意力網(wǎng)絡的 q-k-v 矩陣。它的轉(zhuǎn)換矩陣分為兩部分，一部分是它自身隨機初始化的一個旋轉(zhuǎn)矩陣，另一個就是由 target item 轉(zhuǎn)化而來的一個旋轉(zhuǎn)矩陣。通過這種方式，我們將 target item 和場景的信息，包含進注意力機制的 item 之間的交互中，最終多頭的輸出會 concat 到一起，作為 DFUB 模塊最終的表征輸出。

最終我們會綜合 DFFI 和 DFUB 兩個模塊的表征構(gòu)建一個分類器，這個分類器可以是一個簡單的 MLP，或者其他更高級的一些分類網(wǎng)絡，還可以再疊加一些交互網(wǎng)絡。

這里展示了 DFFM 在兩份公開數(shù)據(jù)上的一些離線效果評估，可以看到其相對于已有的一些 SOTA 模型，可以帶來比較明顯的效果增益。

同時我們把這個模型在三方媒體的場景上去做了落地，因為它的場景數(shù)量相對來說比較多，而且不是很確定，我們這里使用了一個單塔的模型進行上線和驗證?？梢钥吹街鸩缴暇€了 DFFI 模塊以及完整的 DFFM 模塊，效果上都是有著比較明顯的增益，這里展示的是 ecpm 收益。

三、相關(guān)工作

最后，我們整理了近期發(fā)表的一些多場景和多任務方面的工作。

前兩個是多任務方面的，第一個就是 TAML，基于多粒度的專家網(wǎng)絡和級聯(lián)學習的多任務優(yōu)化；第二個是面向多任務的特征選擇框架。

下面五篇主要面向的是多場景建模，比如 DFFM 面向特征層面，主要包括一些特征的交互和用戶行為的建模；HAMUR 是面向交互網(wǎng)絡的場景適配器網(wǎng)絡；Instance 主要是面向樣本層面的，也就是多場景中的樣本選擇算法；剛才介紹的 CausalInt，主要是面向多場景的訓練框架，著重解決負向信息的遷移問題；PLATE 是一個基于提示學習的遷移學習的新范式。

最后兩個是做多任務學習的聯(lián)合訓練。綜合了多任務、多場景，多模態(tài)、多行為、多興趣，以及語言模型輔助推薦系統(tǒng)去做推薦的聯(lián)合建模方案。

以上就是本次分享的內(nèi)容，謝謝大家。

四、問答環(huán)節(jié)

Q1： 模型離線全量訓練的時候，比如用90天樣本，實驗要比 base 好，但模型天級增量更新時實驗比 base 的效果變差了，了解一下可能是哪些原因？

A1：主要是工程和算法的影響，工程上增量訓練依賴實時特征獲取以及實時樣本回流，主要涉及到樣本的準確性；算法層面上，增量更新時，也會有一些策略影響模型更新的效果，比如學習率，樣本從一個 batch size 到一個小批量的增量訓練，學習率通常需要做一些調(diào)整，比如衰減或者更小的量級。然后是特征的準入和淘汰上也會影響模型效果。然后不同的算法在增量訓練過程中會有不同的策略，比如蒸餾模型的滾動蒸餾，這些也都會影響模型效果，具體問題需要具體排查了。

Q2： 多任務學習中有沒有一個額外的學習信號？就是通過什么方式來讓這三種不同類型的專家學到不同的知識？

A2： 現(xiàn)在很多包括我們像 MMOE，還有 PLE 這些基于多專家網(wǎng)絡，然后加上稀疏性門控網(wǎng)絡的這種模型，其實都會采用這種方式非常隱式的方式去學習他們權(quán)重之間的一個分布。一點是參數(shù)的初始化方式和隨機種子。第二點是專家權(quán)重網(wǎng)絡的輸出上增加一些擾動，擾動可以歲訓練過程逐漸減少。

Q3： 主場景可能樣本比較多，可能會支配整個學習過程，有沒有試過多個場景做一個自適應的規(guī)劃，就類似阿里 star 模型，類似的一些方式有沒有用過？

A3： 其實我們之前和他們作者有過一些交流，就是這種方式可能在同一個 batch 內(nèi)，如果是有不同的場景的數(shù)據(jù)，特別是場景數(shù)據(jù)比較多，然后你 batch 又比較小，這種情況下效果其實不是特別好。但是如果是像阿里這邊直接使用那種交替式訓練，比如說一個 batch 只有一個場景的數(shù)據(jù)，其實還是有一定的效果的。針對于這個之支配參數(shù)，其實剛才有介紹過一個梯度主導的問題，其實這篇這塊也有一些工作，然后我們其實之前也嘗試過，其實一個最簡單方法就是類似于 grandnorm，直接從梯度的量綱去做一對梯度做一些懲罰，對梯度大的，根據(jù)訓練的 step 去調(diào)節(jié)當前這個任務所對應 loss 的權(quán)重。