編譯 | 汪昊
審校 | 重樓
推薦系統(tǒng)能夠給亞馬遜和 TikTok 每年帶來(lái) 30% - 40% 的流量或者銷(xiāo)售額增量，因此毫無(wú)疑問(wèn)，推薦系統(tǒng)是互聯(lián)網(wǎng)和科技公司的搖錢(qián)樹(shù)。許多懵懂青年在上大學(xué)或者剛工作的時(shí)候，非常向往從事互聯(lián)網(wǎng)推薦行業(yè)。一方面，趨之若鶩的人才極大地推動(dòng)了領(lǐng)域的發(fā)展；另一方面，該領(lǐng)域的發(fā)展給相關(guān)人才帶來(lái)了豐厚的回報(bào)。
在剛剛過(guò)去的2023 年的推薦系統(tǒng)領(lǐng)域權(quán)威會(huì)議 RecSys 2023 上，一篇題為 gSASRec: Reducing Overconfidence in Sequential Recommendation Trained with Negative Sampling 的論文（下載地址：https://arxiv.org/pdf/2308.07192.pdf）獲得了最佳論文獎(jiǎng)。
作者首先回顧了過(guò)度自信問(wèn)題的由來(lái)：在負(fù)采樣的過(guò)程中，推薦系統(tǒng)中的正樣本的比例通常會(huì)增加。這一現(xiàn)象，就是所謂的過(guò)度自信問(wèn)題。過(guò)度自信問(wèn)題會(huì)帶來(lái)如下隱患：1. 推薦系統(tǒng)偏重區(qū)分特別好和特別差的推薦，而差別不那么大的推薦結(jié)果得不到重視；2. 在某些情況下會(huì)導(dǎo)致嚴(yán)重的數(shù)值錯(cuò)誤。我們?cè)趯?shí)際中發(fā)現(xiàn)，SASRec 算法會(huì)出現(xiàn)過(guò)度自信問(wèn)題。并且常見(jiàn)的解決方案很難在深度學(xué)習(xí)的場(chǎng)景下適用。
基于 Transformer 的推薦算法通常在序列推薦的場(chǎng)景下表現(xiàn)更優(yōu)。在這一領(lǐng)域，BERT4rec 和 SASRec 是兩款經(jīng)典算法。
兩個(gè)最常用的序列推薦的損失函數(shù)是 BCE (Binary Cross Entropy) 和 Softmax Loss。BCE 的損失函數(shù)定義如下：
其中：
Softmax Loss 的定義如下：
其中：
Softmax Loss 不適合負(fù)采樣場(chǎng)景下的推薦系統(tǒng)。因此有學(xué)者提出了 Sampled Softmax Loss :
過(guò)度自信是指預(yù)測(cè)中物品出現(xiàn)的概率高于其先驗(yàn)分布。下圖對(duì)比了幾種算法的過(guò)度自信程度：
通過(guò)觀察，可以發(fā)現(xiàn) SASRec 算法有嚴(yán)重的過(guò)度自信問(wèn)題。
因?yàn)楦哳l率的物品會(huì)導(dǎo)致 BCE 數(shù)值計(jì)算發(fā)生錯(cuò)誤，因此作者定義了新的gBCE （generalized BCE）指標(biāo)：
作者證明了一列 gBCE 防止過(guò)度自信的定理，此處因?yàn)槠?，不再羅列相關(guān)的定理。感興趣的讀者可以自行查閱原始論文。作者基于新的損失函數(shù)設(shè)計(jì)了推薦系統(tǒng)，被命名為 gSASRec 算法。作者隨后進(jìn)行了對(duì)照實(shí)驗(yàn)，該算法取得了優(yōu)異的效果：
這篇論文的核心在于證明了利用新的損失函數(shù)，可以得到緩解過(guò)度自信問(wèn)題的若干定理，因此可以保證我們?cè)谑褂眯碌膿p失函數(shù)設(shè)計(jì)算法之后，取得了遠(yuǎn)遠(yuǎn)優(yōu)于先前推薦的效果。
這篇論文看似簡(jiǎn)單，但是作者在數(shù)學(xué)理論基礎(chǔ)推導(dǎo)方面下足了功夫，是難得一見(jiàn)的好文章。值得讀者認(rèn)真收藏，細(xì)細(xì)品味。
作者介紹
汪昊，前 Funplus 人工智能實(shí)驗(yàn)室負(fù)責(zé)人。曾在 ThoughtWorks、豆瓣、百度、新浪等公司擔(dān)任技術(shù)和技術(shù)高管職務(wù)。在互聯(lián)網(wǎng)公司和金融科技、游戲等公司任職 13 年，對(duì)于人工智能、計(jì)算機(jī)圖形學(xué)、區(qū)塊鏈和數(shù)字博物館等領(lǐng)域有著深刻的見(jiàn)解和豐富的經(jīng)驗(yàn)。在國(guó)際學(xué)術(shù)會(huì)議和期刊發(fā)表論文39 篇，獲得IEEE SMI 2008 最佳論文獎(jiǎng)、ICBDT 2020 / IEEE ICISCAE 2021 / AIBT 2023 / ICSIM 2024最佳論文報(bào)告獎(jiǎng)。
