今天給大家介紹一篇阿里巴巴在WWW 2025上發(fā)表的搜索場景CTR預(yù)估模型的工作，將相關(guān)性和CTR預(yù)估聯(lián)合建模，提升搜索場景下的推薦效果。

論文標(biāo)題：PRECTR: A Synergistic Framework for Integrating Personalized Search Relevance Matching and CTR Prediction

下載地址：https://arxiv.org/pdf/2503.18395

1.研究背景

在搜索場景中，不僅需要做好如CTR等點(diǎn)擊率的預(yù)估，也需要做好相關(guān)性的預(yù)估，保證推薦出的結(jié)果和用戶搜索詞的相關(guān)性滿足要求，否則會(huì)造成用戶體驗(yàn)的下降。

現(xiàn)有的業(yè)內(nèi)應(yīng)用方法，大多數(shù)還是將點(diǎn)擊率和相關(guān)性分別建模。點(diǎn)擊率目標(biāo)在精排進(jìn)行預(yù)測，或作為優(yōu)化目標(biāo)引入召回、粗排等模塊，而相關(guān)性則作為一個(gè)單獨(dú)的目標(biāo)進(jìn)行建模。相關(guān)性和點(diǎn)擊率的融合方式，一般是相對獨(dú)立的交疊方式。例如，在召回、粗排、精排等模塊都建模不同粒度的相關(guān)性，進(jìn)行不同程度的管控；或者將相關(guān)性打分和點(diǎn)擊率打分進(jìn)行綜合排序，也有一些工作將相關(guān)性特征作為點(diǎn)擊率模型的輸入。但是這些方法都沒有實(shí)現(xiàn)點(diǎn)擊率和相關(guān)性的聯(lián)合建模。

阿里的這篇文章，就將點(diǎn)擊率和相關(guān)性融合到同一個(gè)模型中端到端建模，并引入了針對不同用戶個(gè)性化的相關(guān)性偏好，實(shí)現(xiàn)了離在線效果的提升。

2.建模方法

文中的場景將query和item的相關(guān)性分為4個(gè)檔位，將相關(guān)性與點(diǎn)擊率的聯(lián)合建模抽象成如下條件概率分布的形式，即候選item屬于每個(gè)相關(guān)性檔位的概率，以及當(dāng)前相關(guān)性檔位下的點(diǎn)擊率的乘積。

對應(yīng)上述條件概率形式，整體包括2個(gè)模型，一個(gè)模型用來預(yù)測點(diǎn)擊（Base Module），另一個(gè)模型用來預(yù)測相關(guān)性（Rsl Module），最后將二者的輸出相乘作為相關(guān)性&點(diǎn)擊率的預(yù)測結(jié)果。Base Module使用點(diǎn)擊率預(yù)估特征和相關(guān)性特征作為輸入，以點(diǎn)擊率為目標(biāo)進(jìn)行擬合；Rsl Module以相關(guān)性特征作為輸入，預(yù)測相關(guān)性屬于各個(gè)檔位的概率，做一個(gè)多分類任務(wù)。其中Rsl Module采用了2階段的訓(xùn)練方法，第一階段先用相關(guān)性數(shù)據(jù)訓(xùn)練，第二階段再以點(diǎn)擊率為目標(biāo)和Base Module一起端到端訓(xùn)練，且在第二階段的訓(xùn)練中將Rsl Module的梯度調(diào)小。這其中的主要目的是讓Rsl Module真正學(xué)到相關(guān)性的信息，如果最開始直接端到端學(xué)點(diǎn)擊率，2個(gè)模塊無法學(xué)到各自需要擬合的信息。

除了上述基礎(chǔ)結(jié)構(gòu)外，文中進(jìn)行了2個(gè)方面的優(yōu)化。首先提出了Semantic Consistency Regularization模塊，通過一個(gè)Listwise的任務(wù)，讓模型去學(xué)習(xí)點(diǎn)擊和相關(guān)性的綜合排序。這里使用一個(gè)加權(quán)求和對是否點(diǎn)擊、相關(guān)性檔位融合成一個(gè)分?jǐn)?shù)，按照這個(gè)排序作為Listwise的序擬合目標(biāo)。這相當(dāng)于額外引入了都沒有點(diǎn)擊或者都點(diǎn)擊的情況下，相關(guān)性好的打分應(yīng)該高于相關(guān)性不好的打分，如果只用點(diǎn)擊作為目標(biāo)學(xué)習(xí)的話，模型無法捕捉這部分信息。

另一方面，文中提出了Personalized Relevance Incentive，實(shí)現(xiàn)不同用戶的個(gè)性化相關(guān)性建模。不同用戶的相關(guān)性敏感度不同，有的用戶對相關(guān)性容忍度高，有的容忍度差。為了建模這個(gè)信息，文中將用戶歷史瀏覽的query-item序列過大模型得到歷史相關(guān)性偏好，然后用當(dāng)前query檢索歷史相似query（主要基于attention的結(jié)構(gòu)進(jìn)行建模），看在這些歷史相似query下用戶對于相關(guān)性的敏感度是什么樣的，得到一個(gè)個(gè)性化的相關(guān)性敏感分。這個(gè)分會(huì)和上述主模型的預(yù)估結(jié)果相乘，得到最終的預(yù)測結(jié)果。

3.實(shí)驗(yàn)效果

通過離線相關(guān)性、點(diǎn)擊率AUC的評(píng)估，以及在線AUC的評(píng)估，本文提出的方法都取得了一定的效果提升。

? 圖片 ?

本文轉(zhuǎn)載自?????圓圓的算法筆記????，作者：Fareise