今天這篇文章給大家介紹幾篇KDD2024中，大廠在推薦系統(tǒng)領(lǐng)域的優(yōu)化工作，論文來自愛彼迎、騰訊、快手、美團(tuán)等公司，設(shè)計(jì)多目標(biāo)建模、多樣性、搜索意圖建模、ranking loss等問題。

1.愛彼迎：多目標(biāo)建模和模型蒸餾

論文標(biāo)題：Multi-objective Learning to Rank by Model Distillation

下載地址：https://arxiv.org/pdf/2407.07181

多目標(biāo)建模轉(zhuǎn)換成模型蒸餾問題。多目標(biāo)的場(chǎng)景要求最小化一個(gè)目標(biāo)的預(yù)測(cè)誤差，同時(shí)其他目標(biāo)的預(yù)估誤差在一個(gè)約束內(nèi)。假設(shè)單獨(dú)訓(xùn)練的一個(gè)單目標(biāo)模型，效果一定比多目標(biāo)一起訓(xùn)練的這個(gè)目標(biāo)的預(yù)測(cè)誤差要小，上述問題就等價(jià)于一個(gè)模型蒸餾損失函數(shù)。這個(gè)損失函數(shù)一方面包括主目標(biāo)的hard label的優(yōu)化目標(biāo)，另一方面包括每個(gè)其他目標(biāo)下，多目標(biāo)蒸餾單目標(biāo)最優(yōu)模型soft label的優(yōu)化目標(biāo)。通過各個(gè)輔助目標(biāo)蒸餾損失的權(quán)重，以及主目標(biāo)hard label和輔助目標(biāo)soft label的權(quán)重，調(diào)節(jié)模型優(yōu)化過程。

2.Ranking Loss有效性分析

論文標(biāo)題：Understanding the Ranking Loss for Recommendation with Sparse User Feedback

下載地址：https://arxiv.org/pdf/2403.14144

推薦系統(tǒng)的預(yù)估模型一般采用Binary Cross Entropy訓(xùn)練，一些研究發(fā)現(xiàn)引入list-wise或者pair-wise的ranking loss可以顯著提升模型AUC。本文探索了ranking loss的引入帶來效果提升的原因。通過對(duì)比在BCE基礎(chǔ)上是否引入ranking loss，模型在梯度更新、訓(xùn)練超平面等角度的分析，本文發(fā)現(xiàn)ranking loss有效的核心原因是在正樣本稀疏的場(chǎng)景下，相比單獨(dú)BCE模型，引入ranking loss可以讓梯度變得更大，模型訓(xùn)練更容易收斂，負(fù)樣本優(yōu)化超平面更加陡峭，進(jìn)而帶來效果提升。

3.快手：上下文蒸餾提升精排多樣性

論文標(biāo)題：Contextual Distillation Model for Diversified Recommendation

下載地址：??https://arxiv.org/pdf/2406.09021??

本文提出了一種在精排階段提升推薦系統(tǒng)多樣性的建模方法。一般提升推薦系統(tǒng)多樣性都是在重排階段使用NMR算法實(shí)現(xiàn)，該算法每次將精排打分最高且和已經(jīng)選擇的候選相似度最低的樣本加入結(jié)果集，迭代該過程實(shí)現(xiàn)考慮推薦結(jié)果多樣性的重排。然而，如果精排階段沒有較好的考慮多樣性，會(huì)導(dǎo)致送入重排階段的多樣性較差，進(jìn)而影響了整體推薦系統(tǒng)的多樣性。

為了解決上述問題，本文提出了一種基于上下文信息的多樣性蒸餾方法。該方法在精排模型中，以NMR的排序結(jié)果作為Teacher，將多樣性信息蒸餾到精排模型中。由于NMR算法需要輸入上下文信息，文中將所有精排候選當(dāng)做上下文。同時(shí)，根據(jù)attention和anti-attention，從精排候選中采樣和當(dāng)前item相關(guān)及對(duì)抗的候選，豐富上下文信息，并通過對(duì)比學(xué)習(xí)獲取兩類item的embedding，輸入MLP網(wǎng)絡(luò)蒸餾NMR Teacher的多樣性預(yù)測(cè)結(jié)果。

4.美團(tuán)：搜索意圖引入推薦模型

論文標(biāo)題：Unified Dual-Intent Translation for Joint Modeling of Search and Recommendation

下載地址：https://arxiv.org/pdf/2407.00912v1

推薦系統(tǒng)相比搜索場(chǎng)景，一個(gè)核心難點(diǎn)是缺少像query那樣的顯示用戶意圖表達(dá)。本文提出利用搜索場(chǎng)景的用戶、item歷史搜索query，建模用戶的query意圖表征，相當(dāng)于學(xué)習(xí)一個(gè)虛擬的用戶query，再將其表征應(yīng)用到推薦系統(tǒng)中，提升推薦系統(tǒng)建模效果。

用戶意圖可以分為穩(wěn)定意圖和變化意圖。針對(duì)這兩類意圖信息，文中構(gòu)建了一個(gè)dual-intent轉(zhuǎn)化表征學(xué)習(xí)方法。首先基于用戶的歷史搜索query和點(diǎn)擊的item，構(gòu)建異構(gòu)圖，圖中節(jié)點(diǎn)是user或item，邊是用戶和item交互時(shí)搜索的query。對(duì)于query和user使用term embedding pooling以及引入user個(gè)性化門控等方式獲取query表征，并以用戶真實(shí)搜索query的表征作為進(jìn)行監(jiān)督學(xué)習(xí)，以此作為用戶的動(dòng)態(tài)意圖。同時(shí)，使用GNN融合圖上用戶的臨接節(jié)點(diǎn)信息，刻畫用戶的固有意圖。最后，結(jié)合用戶交互item=用戶靜態(tài)意圖+動(dòng)態(tài)意圖的轉(zhuǎn)化邏輯，建立表征優(yōu)化的訓(xùn)練目標(biāo)。這些搜索意圖表征信息最后輸入到推薦系統(tǒng)模型底層進(jìn)行最終目標(biāo)擬合。

本文轉(zhuǎn)載自 ??圓圓的算法筆記??，作者： Fareise