一、快手單列短視頻推薦場(chǎng)景

1、關(guān)于快手

*數(shù)據(jù)取自于2023年二季度

快手是一個(gè)國(guó)民級(jí)的短視頻和直播社區(qū)應(yīng)用，其 MAU 和 DAU 在今年第二季度創(chuàng)下了新高?？焓值暮诵睦砟钍怯^察并分享每個(gè)普通人的生活。在快手的 APP 中，短視頻場(chǎng)景主要有單列和雙列兩種。目前，單列的流量較大，其體驗(yàn)主要是沉浸式的上下滑動(dòng)。雙列的呈現(xiàn)形式與信息流類(lèi)似，用戶需要從屏幕上出現(xiàn)的幾個(gè)內(nèi)容中選擇感興趣的點(diǎn)擊觀看。推薦算法是快手業(yè)務(wù)生態(tài)中的核心，在流量分發(fā)和提升用戶體驗(yàn)方面發(fā)揮了重要作用。

2、快手單列短視頻推薦場(chǎng)景

快手短視頻推薦場(chǎng)景中，以單列為主要形式。用戶通過(guò)上下滑動(dòng)的行為模式瀏覽視頻，視頻一旦被滑到即自動(dòng)播放，無(wú)需用戶先選擇再點(diǎn)擊觸發(fā)播放。此外，用戶反饋形式非常豐富，包括關(guān)注、點(diǎn)贊、評(píng)論分享和進(jìn)度條拖動(dòng)等，隨著業(yè)務(wù)發(fā)展，互動(dòng)形式也日趨多樣化。優(yōu)化目標(biāo)包括長(zhǎng)期目標(biāo)和短期目標(biāo)，長(zhǎng)期目標(biāo)包括優(yōu)化用戶體驗(yàn)和留存 DAU 等，短期指標(biāo)則涵蓋了用戶的各種正向反饋。

推薦系統(tǒng)的建立基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)，日志主要來(lái)源于用戶實(shí)際行為產(chǎn)生的特征和反饋。然而，日志存在局限性，只能反映用戶當(dāng)前興趣的有限信息，而真實(shí)姓名、身高體重等隱私信息無(wú)法獲取。同時(shí)，推薦算法是基于以前的日志學(xué)習(xí)訓(xùn)練得到的，再去為用戶推薦，存在自循環(huán)的特點(diǎn)。此外，由于受眾廣泛且差異大，視頻數(shù)量龐大且更新頻繁，推薦系統(tǒng)容易出現(xiàn)各種偏差，如流行度偏差、長(zhǎng)短視頻曝光偏差等。在短視頻推薦中，利用因果推斷技術(shù)進(jìn)行偏差建模有助于糾偏并提升推薦效果。

二、因果推斷技術(shù)與模型表示

接下來(lái)分享我們與兄弟團(tuán)隊(duì)在因果推斷和模型表示方面的工作。

1、背景

推薦系統(tǒng)通常通過(guò)交互日志進(jìn)行模型學(xué)習(xí)。用戶的反饋可能來(lái)自于對(duì)內(nèi)容的喜好，但我們也注意到用戶存在從眾心理。例如，在選擇電影時(shí)，除了個(gè)人喜好，用戶還可能受到作品獲獎(jiǎng)情況或周?chē)说挠绊?。這種從眾心理在不同用戶之間存在差異，有的用戶比較有主見(jiàn)，而有的用戶可能更易受他人或熱度的影響。因此，在用戶交互歸因上，除了考慮用戶的興趣，還要考慮從眾心理。

現(xiàn)有工作大多將流行度視為靜態(tài)偏差，如電影的流行度僅與 item 相關(guān)，且在建模用戶與 item 評(píng)分時(shí)未考慮用戶間的偏差。流行度通常被作為一個(gè)單獨(dú)的評(píng)分項(xiàng)，與 item 的曝光次數(shù)相關(guān)，而對(duì)流行度較低的 item 偏差較少。這種建模方式是靜態(tài)的，并且與 item 相關(guān)。隨著因果推斷技術(shù)在推薦領(lǐng)域的應(yīng)用，一些研究嘗試通過(guò)解耦表示來(lái)處理這個(gè)問(wèn)題，考慮用戶選擇 item 時(shí)的從眾心理差異。與現(xiàn)有方法相比，我們的方法能夠更準(zhǔn)確地建模用戶的從眾心理差異，從而更有效地糾偏并提升推薦效果。

2、相關(guān)工作

在 Webconf2021 的一篇論文中，用戶交互被建模為既受用戶對(duì) item 的興趣影響，又受 item 對(duì)用戶在選擇 item 時(shí)的從眾心理程度影響。因果關(guān)系圖如左圖所示，關(guān)系相對(duì)簡(jiǎn)單。在具體建模時(shí)，user 和 item 的表示被拆分為興趣表示和從眾性表示。對(duì)于興趣表示，構(gòu)建了一個(gè)興趣 loss；對(duì)于從眾性表示，構(gòu)建了一個(gè) confirmation loss；針對(duì)反饋行為，構(gòu)建了一個(gè) click loss。由于表示結(jié)構(gòu)的拆分，interest loss 被用作監(jiān)督信號(hào)來(lái)學(xué)習(xí) interest 表示，而 confirmation loss 用于建模從眾心理表示。Click loss 與兩個(gè)因素相關(guān)，因此通過(guò)連接和交叉來(lái)構(gòu)建。整個(gè)處理方式既清晰又簡(jiǎn)單。

在構(gòu)建 interest loss 和 confirmation loss 時(shí)，該研究還運(yùn)用了因果推斷中的一些概念和技術(shù)。例如，如果一個(gè)不流行的視頻或商品獲得了正向交互，則很可能是由于用戶真正喜歡它。這可以通過(guò)反向驗(yàn)證來(lái)確認(rèn)：如果一個(gè)商品既不流行，同時(shí)用戶又對(duì)其不感興趣，則不太可能有正向交互。至于 click loss，則采用了一種常見(jiàn)的處理方式，即 pairwise loss。關(guān)于 colliding effect，感興趣的讀者可以查閱論文以獲取更詳細(xì)的構(gòu)建方式。

在解決推薦系統(tǒng)中的復(fù)雜性問(wèn)題時(shí)，有研究從模型表示入手，旨在區(qū)分用戶對(duì) item 的興趣和從眾心理。然而，實(shí)際應(yīng)用中存在一些問(wèn)題。推薦系統(tǒng)中的視頻數(shù)量龐大，曝光量分布不均，頭部視頻曝光次數(shù)多，長(zhǎng)尾視頻曝光次數(shù)少，導(dǎo)致數(shù)據(jù)稀疏。稀疏性給機(jī)器學(xué)習(xí)模型帶來(lái)學(xué)習(xí)困難。

為解決這一問(wèn)題，我們引入了對(duì)比學(xué)習(xí)進(jìn)行樣本增廣。具體而言，除了用戶與 item 的正向交互外，我們還選取了用戶行為范圍內(nèi)的其他視頻作為負(fù)樣本進(jìn)行擴(kuò)充。同時(shí)，我們沿用了因果圖來(lái)設(shè)計(jì)模型，將 user 和 item 側(cè)的 interest 和 conformity 表示拆分。該模型與傳統(tǒng)的 DICE 的主要區(qū)別在于學(xué)習(xí) interest 和 confirmation 的 loss 時(shí)采用了對(duì)比學(xué)習(xí)加樣本增廣的方法，并針對(duì) interest loss 和 confirmation loss 分別構(gòu)建了歸一化的 item popularity 的 ratio 指數(shù)項(xiàng)。通過(guò)這種方式，可以更好地處理數(shù)據(jù)稀疏問(wèn)題，并更準(zhǔn)確地建模用戶對(duì)不同流行度 item 的興趣和從眾心理。

3、總結(jié)

該工作基于短視頻交互中的興趣和從眾心理疊加作用，采用了因果推斷技術(shù)與 causal embedding 手段來(lái)實(shí)現(xiàn)結(jié)構(gòu)表示的解耦。同時(shí)，考慮到實(shí)際系統(tǒng)中長(zhǎng)尾視頻樣本稀疏問(wèn)題，采用對(duì)比學(xué)習(xí)和樣本增廣方法緩解稀疏性。該工作結(jié)合線上表示模型與因果推斷，實(shí)現(xiàn)了一定的 conformity 解耦效果。在離線和在線實(shí)驗(yàn)中，該方法表現(xiàn)良好，并成功應(yīng)用于快手推薦 LTR 實(shí)驗(yàn)，帶來(lái)了一定的效果提升。

三、觀看時(shí)長(zhǎng)預(yù)估與因果推斷技術(shù)

1、觀看時(shí)長(zhǎng)重要性

在短視頻推薦業(yè)務(wù)中，觀看時(shí)長(zhǎng)是一個(gè)重要的優(yōu)化目標(biāo)，它與用戶留存、DAU 和回訪率等長(zhǎng)期指標(biāo)密切相關(guān)。為了提升用戶體驗(yàn)，我們需要關(guān)注在給用戶推薦視頻時(shí)的中間行為指標(biāo)。經(jīng)驗(yàn)表明，觀看時(shí)長(zhǎng)是一個(gè)非常有價(jià)值的指標(biāo)，因?yàn)橛脩舻淖⒁饬τ邢?。通過(guò)觀察用戶觀看時(shí)長(zhǎng)的變化，可以更好地理解哪些因素影響了用戶的觀看體驗(yàn)。

視頻長(zhǎng)度是影響觀看時(shí)長(zhǎng)的重要因素之一。隨著視頻長(zhǎng)度的增加，用戶的觀看時(shí)長(zhǎng)也會(huì)相應(yīng)增加，但過(guò)長(zhǎng)的視頻可能會(huì)導(dǎo)致邊際效應(yīng)遞減，甚至觀看時(shí)長(zhǎng)會(huì)略有下降。因此，推薦系統(tǒng)需要找到一個(gè)平衡點(diǎn)，以推薦適合用戶需求的視頻長(zhǎng)度。

為了優(yōu)化觀看時(shí)長(zhǎng)，推薦系統(tǒng)需要預(yù)測(cè)用戶的觀看時(shí)長(zhǎng)。這涉及到回歸問(wèn)題，因?yàn)闀r(shí)長(zhǎng)是一個(gè)連續(xù)值。然而，時(shí)長(zhǎng)相關(guān)工作較少，可能是因?yàn)槎桃曨l推薦業(yè)務(wù)相對(duì)較新，而推薦系統(tǒng)研究的歷史較長(zhǎng)。

在解決觀看時(shí)長(zhǎng)預(yù)估問(wèn)題時(shí)，可以考慮視頻長(zhǎng)度以外的其他因素，例如用戶興趣、視頻內(nèi)容質(zhì)量等。通過(guò)綜合考慮這些因素提高預(yù)測(cè)的準(zhǔn)確性，并為用戶提供更好的推薦體驗(yàn)。同時(shí)，我們也需要不斷迭代和優(yōu)化推薦算法，以適應(yīng)市場(chǎng)的變化和用戶需求的變化。

2、D2Q

在 KDD212 會(huì)議上，我們提出了一種解決短視頻推薦中時(shí)長(zhǎng)預(yù)估問(wèn)題的新方法。該問(wèn)題主要源于因果推斷中的 duration bias 自我強(qiáng)化現(xiàn)象。為了解決這一問(wèn)題，我們引入了因果圖來(lái)描述用戶、視頻和觀看時(shí)長(zhǎng)之間的關(guān)系。

在因果圖中，U 和 V 分別代表用戶和視頻的特征表示，W 代表用戶觀看視頻的時(shí)長(zhǎng)，D 代表視頻的長(zhǎng)度。我們發(fā)現(xiàn)，由于推薦系統(tǒng)的自循環(huán)生成過(guò)程，duration 不僅與觀看時(shí)長(zhǎng)直接相關(guān)，還會(huì)影響視頻表示的學(xué)習(xí)。

為了消除 duration 對(duì)視頻表示的影響，我們運(yùn)用 do calculus 進(jìn)行了推導(dǎo)。最終的結(jié)論表明，為了通過(guò)后門(mén)調(diào)整解決這個(gè)問(wèn)題，最簡(jiǎn)單直接的方法是為每一種 duration 的視頻對(duì)應(yīng)的樣本單獨(dú)估計(jì)觀看時(shí)長(zhǎng)。這樣就能消除 duration 對(duì)觀看時(shí)長(zhǎng)的放大效應(yīng)，從而有效地解決因果推斷中的 duration bias 問(wèn)題。這種方法的核心思想是消除 d 到 v 的誤差，從而實(shí)現(xiàn)對(duì) bias amplification 的緩解。

在解決短視頻推薦中的時(shí)長(zhǎng)預(yù)估問(wèn)題時(shí)，我們采用了基于因果推斷的方法，以消除 d 到 v 的誤差并實(shí)現(xiàn)對(duì) bias amplification 的緩解。為了處理 duration 作為連續(xù)變量以及視頻數(shù)量分布的問(wèn)題，我們對(duì)推薦池中的視頻根據(jù) duration 進(jìn)行分組，并使用分位數(shù)進(jìn)行計(jì)算。每個(gè)分組內(nèi)的數(shù)據(jù)被拆分后，用于訓(xùn)練組內(nèi)的模型。在訓(xùn)練過(guò)程中，回歸的是每個(gè) duration 分組內(nèi)視頻時(shí)長(zhǎng)對(duì)應(yīng)的分位數(shù)，而不是直接回歸時(shí)長(zhǎng)。這樣可以降低數(shù)據(jù)的稀疏性并避免模型過(guò)擬合。在線上推理時(shí)，對(duì)于每個(gè)視頻，首先找到其對(duì)應(yīng)的分組，然后計(jì)算出對(duì)應(yīng)的時(shí)長(zhǎng)分位數(shù)。通過(guò)查表，可以根據(jù)分位數(shù)找到實(shí)際的觀看時(shí)長(zhǎng)。這種方法簡(jiǎn)化了線上推理過(guò)程，提升了時(shí)長(zhǎng)預(yù)估的準(zhǔn)確性。綜上所述，我們的方法通過(guò)消除 d 到 v 的誤差，有效解決了短視頻推薦中的時(shí)長(zhǎng)預(yù)估問(wèn)題，為優(yōu)化用戶體驗(yàn)提供了有力支持。

在解決短視頻推薦中的時(shí)長(zhǎng)預(yù)估問(wèn)題時(shí)，我們還引入了參數(shù)共享的方法來(lái)降低技術(shù)難度。在拆分訓(xùn)練過(guò)程中，一種理想的方式是實(shí)現(xiàn)數(shù)據(jù)、特征和模型的完全分離，但這樣會(huì)帶來(lái)部署成本的增加。因此，我們選擇了更為簡(jiǎn)便的方式，即共享底層特征的 embedding 和中間層的模型參數(shù)，僅在輸出層進(jìn)行拆分。為了進(jìn)一步擴(kuò)大 duration 對(duì)實(shí)際觀看時(shí)長(zhǎng)的影響，我們引入了一個(gè)殘差連接，將 duration 直接連接到輸出預(yù)估時(shí)長(zhǎng)的分位數(shù)的部分，從而增強(qiáng)了 duration 的影響力。這種方法降低了技術(shù)難度，并有效地解決了短視頻推薦中的時(shí)長(zhǎng)預(yù)估問(wèn)題。

在實(shí)驗(yàn)中，主要使用了快手發(fā)布的公開(kāi)數(shù)據(jù)集。通過(guò)對(duì)比幾種方法可以看到，直接回歸和時(shí)長(zhǎng)加權(quán)模型的表現(xiàn)各有千秋。時(shí)長(zhǎng)加權(quán)模型在推薦系統(tǒng)中并不陌生，其核心思想是將觀看時(shí)長(zhǎng)作為正樣本的權(quán)重納入模型中。而 D2Q 和 Res-D2Q 則是兩種基于因果推斷的模型結(jié)構(gòu)，其中 Res-D2Q 引入了殘差連接。通過(guò)實(shí)驗(yàn)，我們發(fā)現(xiàn)將視頻按照 duration 分組至 30 組時(shí)能達(dá)到最佳效果。與樸素的回歸模型相比，D2Q 方法有顯著提升，并能在一定程度上緩解 duration bias 自循環(huán)放大問(wèn)題。然而，從時(shí)長(zhǎng)預(yù)估問(wèn)題的角度來(lái)看，挑戰(zhàn)仍未完全解決。

3、TPM

時(shí)長(zhǎng)預(yù)估問(wèn)題作為推薦系統(tǒng)中的核心問(wèn)題，具有其獨(dú)特的特點(diǎn)和挑戰(zhàn)。首先，回歸模型無(wú)法反映推薦結(jié)果的順序關(guān)系，使得即使在回歸誤差相同的情況下，實(shí)際推薦結(jié)果也可能大相徑庭。此外，預(yù)估模型除了要保證預(yù)估值的準(zhǔn)確性，還需要考慮模型給出的預(yù)估值的置信度。一個(gè)值得信賴(lài)的模型不僅應(yīng)給出準(zhǔn)確的預(yù)估值，還應(yīng)以高概率給出該預(yù)估值。因此，在解決時(shí)長(zhǎng)預(yù)估問(wèn)題時(shí)，我們不僅要關(guān)注回歸的精準(zhǔn)度，還要考慮模型的置信度，以及預(yù)估值的順序關(guān)系。

在觀看行為中，用戶連續(xù)觀看視頻的行為存在條件依賴(lài)關(guān)系。具體來(lái)說(shuō)，如果觀看整個(gè)視頻是一個(gè)隨機(jī)事件，那么先看完 50% 的視頻也是一個(gè)隨機(jī)事件，它們之間存在嚴(yán)格的條件依賴(lài)關(guān)系。解決偏差放大問(wèn)題在觀看時(shí)長(zhǎng)預(yù)估中非常重要，而 D2Q 方法很好地解決了這一問(wèn)題。相比之下，我們提出的 TPM 方法旨在全面覆蓋所有時(shí)長(zhǎng)預(yù)估問(wèn)題。

TPM 方法的主要思想是將時(shí)長(zhǎng)預(yù)估問(wèn)題轉(zhuǎn)化為離散的搜索問(wèn)題。通過(guò)構(gòu)建一個(gè)完全的二叉樹(shù)，將時(shí)長(zhǎng)預(yù)估問(wèn)題轉(zhuǎn)化為若干個(gè)互相有條件依賴(lài)的分類(lèi)問(wèn)題，然后使用二分類(lèi)分類(lèi)器解決這些分類(lèi)問(wèn)題。通過(guò)不斷地向下進(jìn)行二分搜索，確定觀看時(shí)長(zhǎng)在每個(gè)有序區(qū)間內(nèi)的概率，最終形成觀看時(shí)長(zhǎng)的一個(gè)多項(xiàng)分布。這種方法能夠有效地解決不確定性建模問(wèn)題，使預(yù)估時(shí)長(zhǎng)的均值與真實(shí)值盡可能接近，同時(shí)減小預(yù)估時(shí)長(zhǎng)的方差。整個(gè)觀看時(shí)長(zhǎng)的問(wèn)題或者預(yù)估過(guò)程就可以逐漸通過(guò)不斷地解決互相依賴(lài)的二分類(lèi)問(wèn)題來(lái)求解。這種方法為解決時(shí)長(zhǎng)預(yù)估問(wèn)題提供了一種新的思路和框架，能夠提高預(yù)估準(zhǔn)確性和置信度。

在介紹 TPM 的建模關(guān)鍵時(shí)長(zhǎng)思路時(shí)，展示了 TPM 與 D2Q 的后門(mén)調(diào)整之間的無(wú)縫連接。這里通過(guò)一個(gè)簡(jiǎn)單的因果圖，將用戶和 item 側(cè)的特征與混雜因子進(jìn)行關(guān)聯(lián)。為了實(shí)現(xiàn) TPM 里面的后門(mén)調(diào)整，需要為每個(gè)混雜因子取值的樣本構(gòu)建一個(gè)對(duì)應(yīng)的模型，并為每個(gè)混雜因子構(gòu)建一個(gè)對(duì)應(yīng)的 TPM 樹(shù)。完成這兩個(gè)步驟后，TPM 就能與后門(mén)調(diào)整進(jìn)行無(wú)縫連接。這種連接方式使得模型能夠更好地處理混雜因子，提高預(yù)測(cè)準(zhǔn)確性和置信度。

具體的解決方法是，針對(duì)每個(gè)深層次的混雜因子構(gòu)建一個(gè)對(duì)應(yīng)的模型，與 D2Q 一樣，這也會(huì)帶來(lái)數(shù)據(jù)稀疏和模型參數(shù)過(guò)多的問(wèn)題，需要 share-bottom 的處理，將每個(gè)混雜因子的樣本都整合到一個(gè)相同的模型中，但模型的底層 embedding 表示、中間參數(shù)等都是共享的，只是在輸出層部分與實(shí)際的節(jié)點(diǎn)和干擾因子取值相關(guān)。在訓(xùn)練時(shí)，只需要找到每條訓(xùn)練樣本對(duì)應(yīng)的真實(shí)葉子節(jié)點(diǎn)即可進(jìn)行訓(xùn)練。而在預(yù)估時(shí)，由于不知道觀看時(shí)長(zhǎng)屬于哪個(gè)葉子節(jié)點(diǎn)，因此需要進(jìn)行從頂?shù)降椎谋闅v，將觀看時(shí)長(zhǎng)所處每個(gè)葉子節(jié)點(diǎn)的概率和對(duì)應(yīng)葉子節(jié)點(diǎn)的期望時(shí)長(zhǎng)進(jìn)行加權(quán)求和，以得到實(shí)際的觀看時(shí)長(zhǎng)。這種處理方式使得模型能夠更好地處理混雜因子，提高預(yù)測(cè)準(zhǔn)確性和置信度。

在快手公開(kāi)數(shù)據(jù)集和 CIKM16 關(guān)于停留時(shí)長(zhǎng)的數(shù)據(jù)集上，我們進(jìn)行了實(shí)驗(yàn)，對(duì)比了 WLR、D2Q 和 OR 等方法，結(jié)果顯示TPM具有顯著的優(yōu)勢(shì)。每個(gè)模塊都有其特定的作用，我們也進(jìn)行了缺省實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明每個(gè)模塊都發(fā)揮了作用。我們還在線上實(shí)驗(yàn)了 TPM，實(shí)驗(yàn)條件是將快手的精選流量均勻劃分為十組，20% 的流量作為基線和在線實(shí)驗(yàn)組進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果顯示，TPM 在排序階段能夠顯著提升用戶的觀看時(shí)長(zhǎng)，同時(shí)其他指標(biāo)基本持平。值得注意的是，負(fù)向指標(biāo)如用戶短波的數(shù)量也有所下降，我們認(rèn)為這與時(shí)長(zhǎng)預(yù)估的準(zhǔn)確性和預(yù)估不確定性降低有一定的關(guān)系。觀看時(shí)長(zhǎng)作為短視頻推薦平臺(tái)的核心指標(biāo)，TPM 的引入對(duì)于提升用戶體驗(yàn)和平臺(tái)指標(biāo)具有重要意義。

總結(jié)一下這部分的介紹。在短視頻推薦平臺(tái)中，觀看時(shí)長(zhǎng)是核心指標(biāo)。解決此問(wèn)題有兩個(gè)層面需要考慮：一是偏差問(wèn)題，包括 duration bias 和 popularity bias，這需要在整個(gè)系統(tǒng)鏈路日志到訓(xùn)練的自循環(huán)中解決；二是時(shí)長(zhǎng)預(yù)估問(wèn)題，這本身是一個(gè)連續(xù)值的預(yù)測(cè)問(wèn)題，通常對(duì)應(yīng)回歸問(wèn)題。然而，對(duì)于特殊的時(shí)長(zhǎng)預(yù)估回歸問(wèn)題，需要采用特定的方法處理。首先，針對(duì)偏差問(wèn)題，可以通過(guò)后門(mén)調(diào)整來(lái)緩解，具體做法是將 duration 進(jìn)行分組，為每個(gè)組設(shè)計(jì)對(duì)應(yīng)的模型進(jìn)行回歸。其次，處理時(shí)長(zhǎng)預(yù)估的回歸問(wèn)題，可以采用樹(shù)結(jié)構(gòu)分解時(shí)長(zhǎng)預(yù)估，將其分解成若干個(gè)層次化的有序區(qū)間，通過(guò)樹(shù)的遍歷過(guò)程，從頂?shù)饺~子節(jié)點(diǎn)的路徑進(jìn)行問(wèn)題的拆解和解決。在預(yù)估時(shí)，通過(guò)樹(shù)的遍歷來(lái)進(jìn)行時(shí)長(zhǎng)預(yù)估。這種處理方式能夠更有效地解決時(shí)長(zhǎng)預(yù)估的回歸問(wèn)題，提高預(yù)測(cè)準(zhǔn)確性和置信度。

四、未來(lái)展望

隨著技術(shù)發(fā)展的加速，我們所處的世界變得越來(lái)越復(fù)雜。在快手的短視頻推薦場(chǎng)景中，推薦系統(tǒng)的復(fù)雜性也日益凸顯。為了更好地進(jìn)行推薦，我們需要深入研究因果推斷在推薦系統(tǒng)中的應(yīng)用。首先，我們需要定義一個(gè)具有業(yè)務(wù)價(jià)值的問(wèn)題，例如觀看時(shí)長(zhǎng)預(yù)估。然后，我們可以從因果推斷的角度來(lái)認(rèn)識(shí)和建模這個(gè)問(wèn)題。通過(guò)因果調(diào)整或因果推斷的方法，我們可以更好地分析和解決偏差問(wèn)題，如 duration bias 和 popularity bias。此外，我們還可以利用技術(shù)手段，如機(jī)器學(xué)習(xí)和運(yùn)籌優(yōu)化，來(lái)解決系統(tǒng)復(fù)雜性和場(chǎng)景分布性等問(wèn)題。為了實(shí)現(xiàn)高效的解決方案，我們需要找到一個(gè)系統(tǒng)化、自動(dòng)化的方式去解決問(wèn)題。這樣不僅可以提高工作效率，還可以為業(yè)務(wù)帶來(lái)持續(xù)的價(jià)值。最后，我們需要關(guān)注技術(shù)的可擴(kuò)展性和成本效益，以確保解決方案的可行性和可持續(xù)性。

綜上所述，因果推斷在推薦系統(tǒng)中的應(yīng)用是一個(gè)具有挑戰(zhàn)性和潛力的研究方向。通過(guò)不斷探索和實(shí)踐，我們可以不斷提升推薦系統(tǒng)的效果，為用戶帶來(lái)更好的體驗(yàn)，并為業(yè)務(wù)創(chuàng)造更大的價(jià)值。

以上就是本次分享的內(nèi)容，謝謝大家。

五、問(wèn)答環(huán)節(jié)

Q1：TPM 相對(duì)于 D2Q，在回歸的時(shí)候做了一些改進(jìn)，能更好地利用時(shí)長(zhǎng)的依賴(lài)關(guān)系。想問(wèn)下這里的依賴(lài)關(guān)系是指什么？

A1：從頭節(jié)點(diǎn)走到葉子節(jié)點(diǎn)可以視為類(lèi)似 MDP 的持續(xù)決策過(guò)程。條件依賴(lài)意味著下一層的決策是基于上一層的結(jié)果。例如，為了達(dá)到葉子節(jié)點(diǎn)也就是區(qū)間[0,1]，必須先經(jīng)過(guò)中間節(jié)點(diǎn)，也就是區(qū)間[0,2]。這種依賴(lài)關(guān)系在實(shí)際上線預(yù)估時(shí)，通過(guò)每個(gè)只解決特定節(jié)點(diǎn)是否要走到下一個(gè)葉子節(jié)點(diǎn)的分類(lèi)器得以實(shí)現(xiàn)。這就像在猜年齡的例子中，首先詢問(wèn)年齡是否大于 50 歲，然后根據(jù)回答再問(wèn)是否大于 25 歲。這里隱含了一個(gè)條件依賴(lài)關(guān)系，即小于 50 歲是回答第二個(gè)問(wèn)題的前提。

Q2：采用樹(shù)模型，會(huì)給模型訓(xùn)練以及線上推斷的開(kāi)銷(xiāo)會(huì)帶來(lái)困難嗎？

A2：在 TPM 和 D2Q 的優(yōu)勢(shì)對(duì)比中，主要優(yōu)勢(shì)在于問(wèn)題的拆分。TPM 更好地利用了時(shí)序信息，并將問(wèn)題拆分為若干個(gè)樣本相對(duì)均衡的二分類(lèi)問(wèn)題，這有助于模型訓(xùn)練和學(xué)習(xí)的可學(xué)習(xí)性。相比之下，回歸問(wèn)題可能會(huì)受到離群點(diǎn)等異常值的影響，帶來(lái)較大的學(xué)習(xí)不穩(wěn)定性。在實(shí)際應(yīng)用中，我們進(jìn)行了大量的實(shí)踐工作，包括樣本構(gòu)造和 TF 圖節(jié)點(diǎn) label 的計(jì)算等。線上部署時(shí)，我們使用一個(gè)模型，但其輸出維度是中間節(jié)點(diǎn)分類(lèi)器的數(shù)量。對(duì)于每個(gè)視頻，我們只選擇 duration group 中的一個(gè)，并計(jì)算對(duì)應(yīng)的分類(lèi)器的輸出。然后通過(guò)循環(huán)計(jì)算葉子節(jié)點(diǎn)上的分布，最后進(jìn)行加權(quán)求和。雖然模型結(jié)構(gòu)相對(duì)簡(jiǎn)單，但每個(gè) duration group 和每個(gè)非葉子節(jié)點(diǎn)的分類(lèi)器可以共享底層 embedding 和中間層，因此在前向推理時(shí)，除了輸出層外，它與普通模型沒(méi)有太大差異。