偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

LLM推薦系統(tǒng)時(shí)代來(lái)了?2024大廠頂會(huì)工作總結(jié)

發(fā)布于 2024-12-16 10:05
瀏覽
0收藏

基于Large Language Model做推薦系統(tǒng)可以說(shuō)是最近2年推薦系統(tǒng)領(lǐng)域最火的研究點(diǎn)。一方面,LLM的理解能力、在各個(gè)領(lǐng)域的廣發(fā)應(yīng)用,使其自然而然衍生了和推薦系統(tǒng)結(jié)合的研究方向;另一方面,傳統(tǒng)的推薦模型優(yōu)化已逐漸進(jìn)入瓶頸,依然基于原有的建模思路進(jìn)一步優(yōu)化很難帶來(lái)顯著收益。因此無(wú)論是工業(yè)界還是學(xué)術(shù)界,都在LLM+推薦系統(tǒng)這個(gè)方向投入了很多的人力和資源

在2024年的推薦系統(tǒng)頂會(huì)工作中,大廠、學(xué)校合作的論文70%都是和大模型相關(guān)的,可見(jiàn)其火熱程度。這篇文章就給大家匯總一下2024年,大廠發(fā)布的基于LLM的推薦系統(tǒng)模型工作,涉及LLM和ID模型對(duì)齊、LLM解決長(zhǎng)尾推薦、LLM提供可解釋性和外部知識(shí)、直接用LLM進(jìn)行推薦等多個(gè)主題。

1.LLM和ID模型對(duì)齊

LLM應(yīng)用到推薦模型,一個(gè)很大的問(wèn)題是對(duì)齊問(wèn)題。推薦系統(tǒng)都是以ID為主的模型,包括user id、item id等,模型基于用戶行為等協(xié)同過(guò)濾信號(hào)學(xué)習(xí)這些id embedding。因此,如何對(duì)齊兩種模態(tài)非常重要。

FLIP: Towards Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction(華為)核心解決方法是通過(guò)預(yù)訓(xùn)練對(duì)齊ID模型和語(yǔ)言模型的表征。文中引入了類(lèi)似MLM的方法和對(duì)比學(xué)習(xí)的方法。在MLM中,對(duì)特征的文本表示和ID表示分別進(jìn)行mask,使用上下文兩種模態(tài)的信息進(jìn)行被mask部分的還原。在對(duì)比學(xué)習(xí)中,對(duì)于同一個(gè)樣本特征的ID和文本表示方法作為正樣本對(duì),使用對(duì)比學(xué)習(xí)拉近其距離。在預(yù)訓(xùn)練后,使用ID模型和大語(yǔ)言模型的預(yù)測(cè)結(jié)果做加權(quán)求和得到最終預(yù)測(cè)結(jié)果,使用下游數(shù)據(jù)進(jìn)行finetune。

LLM推薦系統(tǒng)時(shí)代來(lái)了?2024大廠頂會(huì)工作總結(jié)-AI.x社區(qū)

ClickPrompt: CTR Models are Strong Prompt Generators for Adapting Language Models to CTR Prediction(華為)提出了一種用ID模型和LLM對(duì)齊的方法,利用ID模型生成prompt,作為prefix拼接在transformer每一層,通過(guò)預(yù)訓(xùn)練任務(wù)實(shí)現(xiàn)ID模型和LLM模型的對(duì)齊。

首先,將CTR預(yù)估中每個(gè)樣本的特征轉(zhuǎn)換成文本描述的形式。接下來(lái),將原來(lái)的CTR模型中間層的embedding作為prompt,拼接到上述文本描述的前面。將拼接了prompt的文本描述輸入到LLM中,讓LLM生成影響的token序列,再基于token序列對(duì)預(yù)測(cè)結(jié)果進(jìn)行還原。通過(guò)這種用CTR預(yù)估模型embedding作為prompt的方式,實(shí)現(xiàn)ID的CTR模型和LLM的CTR模型對(duì)齊的目標(biāo)。在下游應(yīng)用部分,使用兩個(gè)模型的預(yù)測(cè)結(jié)果相融合,作為最終的預(yù)測(cè)結(jié)果,擬合相應(yīng)的Label。

LLM推薦系統(tǒng)時(shí)代來(lái)了?2024大廠頂會(huì)工作總結(jié)-AI.x社區(qū)

The Elephant in the Room: Rethinking the Usage of Pre-trained Language Model in Sequential Recommendation分析了基于純文本+預(yù)訓(xùn)練語(yǔ)言模型的推薦模型RecFormer,探索了能最大限度發(fā)揮語(yǔ)言模型在推薦系統(tǒng)中作用的方法。文中通過(guò)對(duì)RecFormer的attention分布、模型冗余性等的分析,發(fā)現(xiàn)現(xiàn)在的大模型應(yīng)用效率較低,存在比較多的參數(shù)冗余,效果也不是最優(yōu)的。文中基于上述發(fā)現(xiàn),以及后續(xù)的實(shí)驗(yàn)驗(yàn)證,提出了一種高效利用且能充分發(fā)揮大模型效果的方法:使用基于ID的序列建模模型進(jìn)行建模,同時(shí)使用經(jīng)過(guò)行為序列finetune過(guò)的預(yù)訓(xùn)練語(yǔ)言模型的item embedding作為其ID表征的初始化。

LLM推薦系統(tǒng)時(shí)代來(lái)了?2024大廠頂會(huì)工作總結(jié)-AI.x社區(qū)

2.LLM解決長(zhǎng)尾推薦

推薦系統(tǒng)基于純ID embedding訓(xùn)練模型,對(duì)于那些長(zhǎng)尾的user、item,數(shù)據(jù)量少,id embedding就學(xué)習(xí)不充分。這種場(chǎng)景下,LLM就展現(xiàn)了其特有的優(yōu)勢(shì),通過(guò)文本信息的輸入,將id表征解耦成泛化性更強(qiáng)的組件,提升長(zhǎng)尾推薦效果。

LLM-ESR: Large Language Models Enhancement for Long-tailed Sequential Recommendation(騰訊)就是借助大模型的文本建模能力解決長(zhǎng)尾推薦問(wèn)題。在本文的推薦場(chǎng)景中,80%的用戶只交互過(guò)10個(gè)以?xún)?nèi)的item,這種行為稀疏的用戶推薦模型的打分效果會(huì)顯著下降。為了解決這類(lèi)長(zhǎng)尾user的推薦問(wèn)題,本文采用了LLM的文本能力提升長(zhǎng)尾user表征的學(xué)習(xí)。核心包括dual-view modeling和retrieval-augmented self-distillation兩個(gè)部分。在dual-view modeling中,對(duì)于一個(gè)user,使用文本側(cè)和協(xié)同過(guò)濾側(cè)兩個(gè)encoder生成user表征。文本側(cè)使用大模型基于item的文本描述生成item表征存儲(chǔ)起來(lái),然后使用一個(gè)類(lèi)似Transformer的Encoder對(duì)用戶歷史行為的item文本embedding進(jìn)行建模;協(xié)同過(guò)濾測(cè)就是最基礎(chǔ)的基于id序列的Transformer序列建模。兩部分信息一方面使用cross-attention進(jìn)行融合,另一方面輸出結(jié)果頁(yè)直接拼接到一起融合。

在retrieval-augmented self-distillation部分,基于user的表征檢索出表征最相似的topK個(gè)其他用戶,讓當(dāng)前用戶的表征和這些檢索出來(lái)的用戶表征的L2距離盡可能小,作為指導(dǎo)目標(biāo),蒸餾其他user表征的知識(shí),讓長(zhǎng)尾user的表征學(xué)習(xí)的更充分。

LLM推薦系統(tǒng)時(shí)代來(lái)了?2024大廠頂會(huì)工作總結(jié)-AI.x社區(qū)

3.LLM讓推薦模型具備可解釋性

推薦模型都是黑盒的MLP,對(duì)于打分缺乏可解釋性。而LLM是文本模型,可以通過(guò)文本生成傳達(dá)信息。因此,文中通過(guò)LLM和推薦模型對(duì)齊,實(shí)現(xiàn)LLM的可解釋性。

RecExplainer: Aligning Large Language Models for Explaining Recommendation Models(微軟)使用LLM實(shí)現(xiàn)推薦系統(tǒng)的可解釋性。文中的一個(gè)核心假設(shè)是,如果能讓LLM產(chǎn)生和一個(gè)訓(xùn)練好的推薦模型具備相似的預(yù)測(cè)結(jié)果,LLM就能模擬推薦模型的計(jì)算邏輯,進(jìn)而就可以讓其生成文本解釋其預(yù)測(cè)邏輯,實(shí)現(xiàn)推薦模型的可解釋性。文中設(shè)計(jì)了6種任務(wù)對(duì)齊推薦模型和LLM,包括下一個(gè)item預(yù)測(cè)(注意這里是以推薦系統(tǒng)模型的預(yù)測(cè)結(jié)果為目標(biāo),而非下一個(gè)item的ground truth)、item排序、用戶興趣的二分類(lèi)預(yù)測(cè)、生成item的描述、使用GPT數(shù)據(jù)繼續(xù)訓(xùn)練防止災(zāi)難遺忘等。同時(shí),借助多模態(tài)領(lǐng)域的建模思路,在這些任務(wù)中獎(jiǎng)id隨機(jī)替換成推薦系統(tǒng)中的embedding,當(dāng)成另一個(gè)模態(tài)的信息,實(shí)現(xiàn)LLM對(duì)推薦系統(tǒng)embedding模態(tài)的理解。

LLM推薦系統(tǒng)時(shí)代來(lái)了?2024大廠頂會(huì)工作總結(jié)-AI.x社區(qū)

4.LLM提供外部知識(shí)

LLM中蘊(yùn)含著大量的世界知識(shí),將這些知識(shí)提取出來(lái)加入到推薦模型中,也是一種應(yīng)用方式。

Enhancing Sequential Recommenders with Augmented Knowledge from Aligned Large Language Models(螞蟻)通過(guò)從LLM中提取知識(shí)信息,增強(qiáng)推薦系統(tǒng)模型的訓(xùn)練。對(duì)于一個(gè)item,將其相關(guān)信息輸入構(gòu)建prompt輸入到LLM中,讓LLM生成一些數(shù)據(jù)集中沒(méi)有的知識(shí)信息,并通過(guò)一個(gè)文本Encoder編碼成item embedding。文本embedding和原始的id embedding融合到一起輸入到推薦系統(tǒng)模型中。由于LLM生成的文本信息可能包含很多和推薦無(wú)關(guān)的部分,并且由于是提前生成的,無(wú)法更新LLM參數(shù)。因此文中直接建模一個(gè)從LLM中采樣生成文本知識(shí)信息的分布,基于這個(gè)分布從LLM生成的文本中采樣對(duì)推薦有效的信息。

LLM推薦系統(tǒng)時(shí)代來(lái)了?2024大廠頂會(huì)工作總結(jié)-AI.x社區(qū)

5.直接用LLM進(jìn)行推薦

上述方法都是將LLM作為一個(gè)外部組件和推薦系統(tǒng)融合,另一些工作更加極端一些,直接使用LLM替代原先的推薦模型。

Adapting Large Language Models by Integrating Collaborative Semantics for Recommendation(微信)直接使用大模型進(jìn)行item的全庫(kù)生成推薦,不再需要item候選集,核心包括基于LLM的item ID生成以及LLM的推薦系統(tǒng)finetune兩個(gè)部分。文中基于item的文本標(biāo)題、描述等文本信息,使用LLM生成每個(gè)item的表征,再基于Vector Quantization等量化技術(shù),將每個(gè)item的表征進(jìn)行各個(gè)維度的離散化,得到每個(gè)item的ID作為索引。另一方面,引入了多種類(lèi)型的任務(wù)對(duì)LLM進(jìn)行finetune,讓LLM能夠適配這些item ID,并融合推薦領(lǐng)域的知識(shí)。在finetune階段,引入了包括next item預(yù)測(cè)、根據(jù)item的標(biāo)題或描述預(yù)測(cè)item的索引ID、根據(jù)item ID序列預(yù)測(cè)用戶的興趣偏好(數(shù)據(jù)從GPT3根據(jù)歷史item文本序列生成用戶的興趣偏好描述)、根據(jù)用戶搜索文本預(yù)測(cè)item ID等近10種任務(wù)進(jìn)行LLM的finetune,充分對(duì)齊新引入的item ID、推薦任務(wù)和文本含義。經(jīng)過(guò)finetune后,這些item ID直接作為單次加入到LLM的vocabulary中,基于LLM進(jìn)行下一個(gè)item推薦。

LLM推薦系統(tǒng)時(shí)代來(lái)了?2024大廠頂會(huì)工作總結(jié)-AI.x社區(qū)

本文轉(zhuǎn)載自??圓圓的算法筆記??,作者: Fareise ????

收藏
回復(fù)
舉報(bào)
回復(fù)
相關(guān)推薦