• 鏈接: https://arxiv.org/abs/2303.13835
• 代碼: https://github.com/westlake-repl/IDvs.MoRec

研究背景  [純 ID 推薦系統(tǒng) vs 純模態(tài)推薦系統(tǒng)] 

自矩陣分解問(wèn)世以來(lái)，使用 ID embedding 來(lái)建模物品的協(xié)同過(guò)濾算法已經(jīng)成為推薦系統(tǒng)最主流的范式，主導(dǎo)了整個(gè)推薦系統(tǒng)社區(qū)長(zhǎng)達(dá) 15 年。經(jīng)典的雙塔架構(gòu)、CTR 模型、會(huì)話和序列推薦、Graph 網(wǎng)絡(luò)無(wú)不采用 ID embedding 來(lái)對(duì)物品進(jìn)行建模，整個(gè)推薦系統(tǒng)現(xiàn)有的 SOTA 體系也幾乎都是采用基于 ID 特征的建模手段。

然而，近年來(lái) NLP、CV 和多模態(tài)預(yù)訓(xùn)練大模型技術(shù)蓬勃發(fā)展，取得了一系列革命性成果，預(yù)訓(xùn)練大模型（又稱為基礎(chǔ)模型）對(duì)多模態(tài)（文本和圖像）建模能力越來(lái)越強(qiáng)，知名的基礎(chǔ)模型包括 BERT，GPT,  Vision Transformer，CLIP 等。隨著基礎(chǔ)模型對(duì)物品的模態(tài)特征的建模和理解能力的增強(qiáng)，一個(gè)自然的問(wèn)題出現(xiàn)了：使用最先進(jìn)的模態(tài)編碼器表征物品是否能取代經(jīng)典的 itemID embedding 范式？論文稱此類模型為 MoRec，MoRec 是否能和經(jīng)典的純 ID 范式（IDRec）硬剛，超過(guò)或者取代 IDRec？

實(shí)際上這一問(wèn)題在 10 年前就被廣泛調(diào)查過(guò)，然而，當(dāng)時(shí)受制于 NLP 和 CV 技術(shù)不足，IDRec 在效率和效果上都可以輕松碾壓 MoRec。但是該結(jié)論在十年后的今天是否仍然成立？論文認(rèn)為需要重新思考這一問(wèn)題。其中一個(gè)重要原因是，論文認(rèn)為基于 ID 的經(jīng)典范式是與當(dāng)近大模型技術(shù)嚴(yán)重背離的。因?yàn)?ID 在不同的推薦業(yè)務(wù)無(wú)法共享，這一特性導(dǎo)致推薦系統(tǒng)模型難以在不同的業(yè)務(wù)進(jìn)行有效遷移，更無(wú)法實(shí)現(xiàn) NLP 和 CV 領(lǐng)域的 one model for all（one4all）范式。

值得注意的是，雖然近幾年有不少文獻(xiàn)嘗試將 NLP、CV 預(yù)訓(xùn)練模型引入推薦系統(tǒng)的領(lǐng)域，但這些文獻(xiàn)往往關(guān)注于冷啟動(dòng)和新物品場(chǎng)景，而這種場(chǎng)景下 IDRec 的效果自然是不理想的，這也是普遍接受的。但是對(duì)于常規(guī)場(chǎng)景，也就是非冷啟動(dòng)，甚至是熱 item 場(chǎng)景，IDRec 仍是非常強(qiáng)的基線，在這種場(chǎng)景下 MoRec 與 IDRec 哪個(gè)更好仍然是未知的。論文特別指出，現(xiàn)有的很多 MoRec 文獻(xiàn)雖然聲稱取得了 SOTA 結(jié)果，但是并沒(méi)有顯式地比較 IDRec 與 MoRec。這里作者認(rèn)為要做到公平比較是指：IDRec 與 MoRec 至少應(yīng)該采用相同的骨架推薦模型和實(shí)驗(yàn)設(shè)置（例如，采樣和損失函數(shù)保持一致）。也就是除了 item 的表示方式，其他部分都應(yīng)該保持一致或者公平。

論文認(rèn)為 MoRec 與 IDRec 的公平比較是非常重要的，如果在熱場(chǎng)景下 MoRec 也能打敗 IDRec，那么推薦系統(tǒng)將有望迎來(lái)經(jīng)典范式的變革。這一觀點(diǎn)來(lái)自于 MoRec 完全基于物品的模態(tài)信息，此類內(nèi)容信息天生具有遷移能力，這證明了 MoRec 有潛力實(shí)現(xiàn)通用大模型。因此，只要 MoRec 在各種場(chǎng)景下都能打敗 IDRec，或者只需要做到跟 IDRec 具有相當(dāng)?shù)耐扑]效果，那么 IDRec 就有望被推翻。換言之，one4all 推薦模型一旦實(shí)現(xiàn)，未來(lái)的推薦系統(tǒng)只需要在一個(gè)或者幾個(gè)通用大模型上進(jìn)行微調(diào)，甚至做零樣本遷移即可。如果實(shí)現(xiàn)這一理想，那么推薦系統(tǒng)領(lǐng)域無(wú)疑會(huì)發(fā)生近 10 年最大的變革，無(wú)數(shù)的推薦系統(tǒng)工程師重復(fù)性的勞動(dòng)都有望被釋放。

除此以外，文章還驗(yàn)證了 2 個(gè)重要的問(wèn)題：（1）對(duì)于 MoRec，現(xiàn)有的 NLP 和 CV 領(lǐng)域取得的進(jìn)展，也就是更強(qiáng)大的（多）模態(tài)編碼器能否能夠直接帶來(lái)推薦系統(tǒng)效果的直接提升；如果這個(gè)問(wèn)題得到肯定答案，那么 MoRec 范式無(wú)疑是更加有潛力的，隨著更強(qiáng)的 NLP 和 CV 表征模型的產(chǎn)生，MoRec 也將越強(qiáng)；（2）NLP 和 CV 預(yù)訓(xùn)練大模型，如 BERT 和 Vision Transformer，產(chǎn)生的物品表征應(yīng)該如何使用？工業(yè)界最常用的手段是直接將這些表征當(dāng)做離線特征來(lái)加入推薦或 CTR 模型，這種方法是不是最優(yōu)的；換言之，這種大模型產(chǎn)生的物品表征是否具有一定的通用性，是否必須要在推薦系統(tǒng)數(shù)據(jù)集上進(jìn)行重新適應(yīng)？最后論文提供 MoRec 發(fā)展的四個(gè)挑戰(zhàn)，這些問(wèn)題大多在現(xiàn)有的文獻(xiàn)沒(méi)有被明確提出。

論文也指出，想要徹調(diào)查清楚這一問(wèn)題，甚至是顛覆 IDRec，緊靠一篇文章是遠(yuǎn)遠(yuǎn)不夠的，將需要整個(gè)推薦系統(tǒng)社區(qū)一同努力。 

實(shí)驗(yàn)設(shè)置

網(wǎng)絡(luò)架構(gòu)

該文章為了驗(yàn)證設(shè)想，對(duì)推薦系統(tǒng)社區(qū)兩種最具有代表性的推薦架構(gòu)進(jìn)行了評(píng)估，分別是最經(jīng)典的雙塔 DSSM 模型（代表 CTR 范式）和 SASRec 模型（代表時(shí)序或者會(huì)話推薦）。SASRec 采用最為流行的 Transformer 架構(gòu)。

為了保證公平比較，MoRec 和 IDRec 唯一的不同之處是使用預(yù)訓(xùn)練的模態(tài)編碼器來(lái)替代 IDRec 中的 ID embedding 向量。考慮到相同推薦網(wǎng)絡(luò)架構(gòu)下的 MoRec 需要比 IDRec 多出一個(gè)參數(shù)量巨大的預(yù)訓(xùn)練模態(tài)編碼器網(wǎng)絡(luò)，在調(diào)參過(guò)程中很難極限地對(duì) MoRec 進(jìn)行超參數(shù)搜索。為此，本文只對(duì) IDRec 進(jìn)行較大范圍的網(wǎng)格參數(shù)搜索，定位 IDRec 的最優(yōu)參數(shù)后直接應(yīng)用到 MoRec，然后在對(duì)應(yīng)的較小調(diào)參空間做簡(jiǎn)單搜索。這樣的調(diào)參方式可以保證 IDRec 達(dá)到最優(yōu)，但 MoRec 可能沒(méi)有達(dá)到性能上限?？紤]到搜參的困難，作者認(rèn)為僅僅 MoRec 的調(diào)參就可以作為一個(gè)非常重要的研究方向，下文 MoRec 面臨的幾個(gè)挑戰(zhàn)也再次印證了超參數(shù)對(duì)于 MoRec 非常重要。

數(shù)據(jù)集

論文使用了 3 個(gè)數(shù)據(jù)集，用戶規(guī)模在 40-60 萬(wàn)，商品規(guī)模在 8-12 萬(wàn)，分別是文本信息主導(dǎo)的新聞推薦數(shù)據(jù)集 MIND，商品圖片信息主導(dǎo)的 HM 和視頻推薦數(shù)據(jù)集 Bili。這些數(shù)據(jù)集均含有商品的原始模態(tài)信息。MIND 和 HM 都是公開(kāi)數(shù)據(jù)集，作者已將實(shí)驗(yàn)所用數(shù)據(jù)集公布在 Github（鏈接見(jiàn)上），Bili 數(shù)據(jù)集來(lái)自于未發(fā)表的論文，可通過(guò)郵件獲取，詳情可見(jiàn) Github。

可以看出，Bili 和 HM 數(shù)據(jù)集中的圖片和 CV 領(lǐng)域用于預(yù)訓(xùn)練的數(shù)據(jù)集（ImageNet）存在一定差異，在 ImageNet 上預(yù)訓(xùn)練得到的圖片編碼器在推薦系統(tǒng)是否具有足夠的泛化能力仍然是一個(gè)未知的問(wèn)題。對(duì)于該問(wèn)題，論文在后面進(jìn)行了實(shí)驗(yàn)探究。

實(shí)驗(yàn)探究

問(wèn)題 1：MoRec 和 IDRec 性能對(duì)比，尤其是在常規(guī)場(chǎng)景和熱 item 場(chǎng)景。

論文在常規(guī)推薦、冷啟動(dòng)推薦、熱門物品推薦三個(gè)場(chǎng)景下，對(duì) MoRec 和 IDRec 的效果做了周全的對(duì)比，結(jié)果如下：

首先在常規(guī)推薦下，無(wú)論是 IDRec 還是 MoRec，DSSM 的性能總是大大低于 SASRec。這與之前的很多研究是一致的：使用用戶的交互的 item 序列來(lái)代表用戶，往往比把它們作為單獨(dú)的用戶 ID 來(lái)處理更有效 [1, 2]。同時(shí)，MoRec 與 IDRec 的對(duì)比在 DSSM 和 SASRec 之間也存在巨大的性能差異，論文發(fā)現(xiàn)在 DSSM 架構(gòu)下，MoRec 在所有三個(gè)數(shù)據(jù)集中的表現(xiàn)都比 IDRec 差很多。這種差距會(huì)讓人對(duì) MoRec 完全喪失信心，例如在 HM 和 Bili 數(shù)據(jù)集上，IDRec 比 MoRec 高出一倍以上。相比之下，在 SASRec 架構(gòu)下，MoRec 在文本推薦數(shù)據(jù)集 MIND 上使用三個(gè)文本編碼器中的任何一個(gè)都能取得比 IDRec 更好的結(jié)果，在圖像數(shù)據(jù)集 Bili 和 HM 上也基本做到了可比較的效果，例如，當(dāng)使用 Swin Transformer (Base) 版本，MoRec 甚至能比 IDRec 略好一些，當(dāng)使用 ResNet 時(shí)候，MoRec 仍然略遜于 IDRec。這種比較結(jié)果意味著 MoRec 需要一個(gè)強(qiáng)大的推薦骨干（SASRec 優(yōu)于 DSSM）和訓(xùn)練方法（seq2seq 優(yōu)于 <u,i> pair）才能激發(fā)基于模態(tài)的項(xiàng)目編碼器的優(yōu)勢(shì)，而 DSSM 范式似乎很難很好的激發(fā)模態(tài)編碼器的潛力。鑒于 MoRec 在 DSSM 的結(jié)果太不理想，論文后續(xù)主要關(guān)注 SASRec 的架構(gòu)。

MoRec 很自然地適用于冷物品推薦，因?yàn)樗鼈兊哪B(tài)編碼器是專門為物品的原始模式特征建模而開(kāi)發(fā)的，無(wú)論它們的流行度如何都可以進(jìn)行物品表征。MoRec 在所有三個(gè)數(shù)據(jù)集上對(duì)文本和視覺(jué)推薦的冷啟動(dòng)場(chǎng)景都有大幅度超過(guò) IDRec，該現(xiàn)象符合社區(qū)的廣泛認(rèn)知，因此論文把相應(yīng)的結(jié)果只放在附錄。

在熱門商品推薦方面，打敗 IDRec 無(wú)疑是非常困難的，論文展示了相應(yīng)的結(jié)果。通過(guò)選擇不同熱度的 item 進(jìn)行驗(yàn)證可以發(fā)現(xiàn)在熱門程度一般的 warm-20 數(shù)據(jù)集中，MoRec 還可以比 IDRec 略好，而在熱門程度劇烈的 warm-200 中（數(shù)據(jù)集所有物品均出現(xiàn) 200 次以上），MoRec 在文本和視覺(jué)推薦上效果都略差于 IDRec。這是因?yàn)?IDRec 在對(duì)流行項(xiàng)目進(jìn)行建模方面非常有優(yōu)勢(shì) [3, 4, 5]。但即使在這些熱啟動(dòng)設(shè)置中，MoRec 仍然可以與 IDRec 效果相當(dāng)。

結(jié)論 1：對(duì)于時(shí)序推薦架構(gòu) SASRec，在常規(guī)場(chǎng)景（既有熱 item 也有一部分冷 item），MoRec 在文本上明顯優(yōu)于 IDRec，而在圖片上則和 IDRec 效果相當(dāng)。在冷啟動(dòng)場(chǎng)景，MoRec 大幅優(yōu)于 IDRec，在熱門商品推薦場(chǎng)景，MoRec 和 IDRec 效果相當(dāng)。這些積極的特性很吸引人，因?yàn)檫@些特性表明，推薦系統(tǒng)很有可能采用 MoRec 替代 IDRec, 另外，考慮到 MoRec 在遷移學(xué)習(xí)或跨域推薦中具有天然的優(yōu)勢(shì)，一旦推薦系統(tǒng)由 IDRec 轉(zhuǎn)向 MoRec，那么大型 MoRec 模型很有可能成為一個(gè)像 BERT 和 ChatGPT 一樣的基礎(chǔ)推薦模型 [6, 7]，從而實(shí)現(xiàn) "一個(gè)模型適用于所有推薦場(chǎng)景" 的宏偉目標(biāo) [6, 8]。

問(wèn)題 2：NLP、CV 領(lǐng)域的技術(shù)進(jìn)展能否同步推動(dòng) MoRec 的發(fā)展？

論文進(jìn)行了大量實(shí)驗(yàn)，分別從更大參數(shù)量和更優(yōu)的編碼器兩方面調(diào)查了 NLP、CV 中預(yù)訓(xùn)練模型的進(jìn)展是否能同步提高 MoRec 推薦的準(zhǔn)確性。

如圖所示，一個(gè)較大的視覺(jué)項(xiàng)目編碼器一般總是能實(shí)現(xiàn)更好的視覺(jué)推薦準(zhǔn)確率。在文本方面基本結(jié)論也基本一致，唯一區(qū)別是基于 BERTbase 的 MoRec 并不優(yōu)于基于 BERT small 的 MoRec，盡管后者參數(shù)量小很多。論文的結(jié)論是，一般來(lái)說(shuō)來(lái)自 NLP 和 CV 的更大和更強(qiáng)大的模態(tài)編碼器往往會(huì)提高推薦的準(zhǔn)確性，但這可能并不嚴(yán)格適用于所有的情況。

同時(shí)，論文探究了更優(yōu)的編碼器網(wǎng)絡(luò)。例如，人們認(rèn)識(shí)到 RoBERTa 優(yōu)于 BERT，而 BERT 在大多數(shù) NLP 理解（但不是生成）任務(wù)，在相似的模型規(guī)模下，可能優(yōu)于 GPT。Swin Transformer 在許多 CV 任務(wù)中常常優(yōu)于 ResNet。此外，這些現(xiàn)代預(yù)訓(xùn)練文本大模型很容易超過(guò)大約十年前開(kāi)發(fā)的著名的輕量級(jí)模型 TexTCNN 和 GloVe，如圖所示，在更優(yōu)的模型架構(gòu)上，MoRec 的性能改變與 NLP 和 CV 的研究結(jié)果基本保持一致。

第三，論文研究了有預(yù)訓(xùn)練參數(shù)的模態(tài)編碼器是否比在推薦場(chǎng)景下從頭訓(xùn)練（即隨機(jī)初始化）的模態(tài)編碼器有更高的推薦精度。在較大規(guī)模的數(shù)據(jù)集，和較小規(guī)模的圖片數(shù)據(jù)集上，經(jīng)過(guò)預(yù)訓(xùn)練的 MoRec 獲得了明顯更好的最終結(jié)果，這也與 NLP 和 CV 領(lǐng)域的發(fā)現(xiàn)一致。

結(jié)論 2：MoRec 為推薦系統(tǒng)和 NLP、CV 等多模態(tài)社區(qū)建立了聯(lián)系，而且一般來(lái)說(shuō)，可以很好的繼承 NLP 和 CV 領(lǐng)域的最新進(jìn)展。這意味著一旦未來(lái)在相應(yīng)的研究領(lǐng)域有新的突破，MoRec 有更多的機(jī)會(huì)和更大的改進(jìn)空間。

問(wèn)題 3：對(duì)于推薦場(chǎng)景，NLP、CV 的預(yù)訓(xùn)練模型產(chǎn)生的表征有足夠的通用能力嗎？我們應(yīng)該怎樣使用預(yù)訓(xùn)練模型生成的表征？

NLP 和 CV 預(yù)訓(xùn)練大模型其中一個(gè)目標(biāo)是實(shí)現(xiàn)通用的文本或者視覺(jué)表征，可以直接在 zero-shot 設(shè)置下用于下游任務(wù)。然而，這些預(yù)訓(xùn)練編碼器只在一些傳統(tǒng) NLP 和 CV 任務(wù)中被評(píng)估，如圖像和文本分類。論文認(rèn)為，在推薦系統(tǒng)場(chǎng)景下預(yù)測(cè)主觀的用戶偏好比 NLP、CV 本身的下游任務(wù)更具挑戰(zhàn)性。

論文探究了兩種訓(xùn)練 MoRec 的方式：1. Two-stage：預(yù)先用模態(tài)編碼器提取離線模態(tài)特征，然后將其加入到推薦模型中。由于實(shí)際業(yè)務(wù)中推薦系統(tǒng)通常有數(shù)百萬(wàn)乃至千萬(wàn)的商品，Two-stage 在工業(yè)界特別受歡迎。2. 采用 End2end 的方式同時(shí)優(yōu)化用戶和物品編碼器（上述所有實(shí)驗(yàn)均匯報(bào)的是 End2end 的結(jié)果），這種方式會(huì)將預(yù)訓(xùn)練物品編碼器在推薦數(shù)據(jù)集上進(jìn)行重新適應(yīng)。

如表所示，與 IDRec 和基于 End2end 的 MoRec 相比，基于 Two-stage 的 MoRec 顯示出糟糕的結(jié)果，其效果比前兩者差很多，特別是對(duì)于視覺(jué)推薦能達(dá)到 50% 以上的差距。結(jié)果表明，由 NLP 和 CV 的預(yù)訓(xùn)練任務(wù)學(xué)習(xí)的模態(tài)表征對(duì)于推薦問(wèn)題來(lái)說(shuō)仍然不夠通用，與在新數(shù)據(jù)上 End2end 重新訓(xùn)練相比推薦結(jié)果差距較大。

結(jié)論 3：工業(yè)界流行的 Two-stage 離線特征提取推薦方式會(huì)導(dǎo)致 MoRec 性能顯著下降（特別是對(duì)于視覺(jué)推薦），這在實(shí)踐中不應(yīng)該被忽視。同時(shí)，盡管多模態(tài)領(lǐng)域的預(yù)訓(xùn)練模型在近年來(lái)取得了革命性的成功，但其表征還沒(méi)有做到通用性和泛化性，至少對(duì)于推薦系統(tǒng)是這樣。

主要挑戰(zhàn)

推薦系統(tǒng)社區(qū)基于 End2end 的 MoRec 研究比較少，特別是對(duì)于視覺(jué)推薦。論文提出了幾個(gè)關(guān)鍵的挑戰(zhàn)和一些社區(qū)可能不知道的發(fā)現(xiàn)。

訓(xùn)練成本

具有較大模態(tài)編碼器的 MoRec 往往表現(xiàn)更好，然而，訓(xùn)練的計(jì)算量、時(shí)間和 GPU 內(nèi)存消耗也會(huì)增加，特別是對(duì)于具有很長(zhǎng)交互序列的基于 seq2seq 的架構(gòu)。MoRec（用 SASRec 作為用戶編碼器，Swin-Base 作為商品編碼器）比 IDRec 需要 100 倍以上的計(jì)算和訓(xùn)練時(shí)間。這可能是之前沒(méi)有論文將 seq2seq 用戶編碼器和 End2end 訓(xùn)練的模態(tài)編碼器結(jié)合起來(lái)用于 MoRec 的原因，特別是用于視覺(jué)推薦。

額外的預(yù)訓(xùn)練

論文探究了使用下游數(shù)據(jù)集對(duì)模態(tài)編碼器進(jìn)行第二輪預(yù)訓(xùn)練的效果，這種技術(shù)經(jīng)常被應(yīng)用于 NLP 和 CV 領(lǐng)域。二次預(yù)訓(xùn)練將采用和預(yù)訓(xùn)練相同的訓(xùn)練策略，如 MLM。論文發(fā)現(xiàn)對(duì)于文本數(shù)據(jù)集來(lái)說(shuō)，二次預(yù)訓(xùn)練對(duì) Two-stage 和 End2end 兩種 MoRec 都有提升。但在視覺(jué)數(shù)據(jù)集上，則只提升了 HM 數(shù)據(jù)集中的 Two-stage，對(duì)于 HM 的 End2end 和 Bili 的 MoRec 都沒(méi)有提升。論文給出的結(jié)論是二次預(yù)訓(xùn)練的有效性取決于個(gè)別數(shù)據(jù)集。

結(jié)合 ID 和模態(tài)特征

鑒于 IDRec 和基于 E2E 的 MoRec 都運(yùn)作良好，一個(gè)自然的想法是在一個(gè)模型中結(jié)合這兩個(gè)特征（即 ID 和模態(tài)）。論文采用 2 種融合方法：add 和 concate 對(duì)此進(jìn)行了評(píng)估。

令人驚訝的是，論文發(fā)現(xiàn)通過(guò)添加 ID 特征，基于 End2end 的 MoRec 表現(xiàn)甚至比純 IDRec 和純 MoRec 更差。這里的結(jié)果與一些已發(fā)表的論文有些不一致。原因之一可能是在常規(guī)設(shè)置中，基于 End2end 的 MoRec 和 IDRec 都是從用戶 - 項(xiàng)目交互數(shù)據(jù)中學(xué)習(xí)用戶偏好，所以它們不能相互補(bǔ)充；而對(duì)于基于 Two-stage 的 MoRec，由于 ID 嵌入比凍結(jié)的模態(tài)特征好太多，它們的組合也不能改善結(jié)果。第二個(gè)原因可能是在結(jié)合 ID 和模態(tài)特征時(shí)需要更先進(jìn)的技術(shù)。

事實(shí)上，從另一個(gè)角度看，帶有 ID 特征的 MoRec 將失去 MoRec 的許多優(yōu)勢(shì)。例如，使用 ID 特征的 MoRec 不適合建立基礎(chǔ)推薦模型，因?yàn)橛捎陔[私和不同平臺(tái)間用戶、商品難以重疊的問(wèn)題，ID 不容易遷移。

模型崩潰

論文發(fā)現(xiàn)在沒(méi)有適當(dāng)?shù)某瑓?shù)（主要是學(xué)習(xí)率）的情況下訓(xùn)練 MoRec，很容易導(dǎo)致模型崩潰，有時(shí)需要為模態(tài)編碼器和其他模塊設(shè)置不同的學(xué)習(xí)率?？赡茉蚴且呀?jīng)預(yù)訓(xùn)練好的編碼器的學(xué)習(xí)步調(diào)需要與其他隨機(jī)初始化開(kāi)始訓(xùn)練的網(wǎng)絡(luò)保持不同。

總結(jié)

論文調(diào)查了一個(gè)富有潛力但未被充分探索的問(wèn)題，即 MoRec 是否有機(jī)會(huì)結(jié)束 IDRec 在推薦系統(tǒng)領(lǐng)域的主導(dǎo)地位。顯然，這個(gè)問(wèn)題不可能在一篇論文中得到完全的回答，它需要 Recsys 甚至 NLP 和 CV 社區(qū)的更多研究和努力。然而，這里的一個(gè)主要發(fā)現(xiàn)是，在 End2end 訓(xùn)練的 SOTA 模態(tài)編碼器的加持下，現(xiàn)代 MoRec 已經(jīng)可以在典型的推薦架構(gòu)（即 Transformer 骨干）下表現(xiàn)得與 IDRec 相當(dāng)或更好，即便是在非冷啟動(dòng)和熱 item 推薦的設(shè)置中。此外，MoRec 在很大程度上可以從 NLP 和 CV 領(lǐng)域的技術(shù)進(jìn)步中獲益，這意味著它在未來(lái)有更大的性能提升空間。

論文期待激發(fā)社區(qū)中更多關(guān)于 MoRec 的研究，例如，開(kāi)發(fā)更強(qiáng)大的推薦架構(gòu)，更有表現(xiàn)力和通用的模態(tài)編碼器，更好的物品表征和用戶表征的融合策略，以及更有效的優(yōu)化策略以減少計(jì)算和時(shí)間成本。論文拋出一個(gè)設(shè)想：從長(zhǎng)遠(yuǎn)來(lái)看，當(dāng)商品的模態(tài)信息可用時(shí)，推薦系統(tǒng)的主流范式可能有機(jī)會(huì)從 IDRec 轉(zhuǎn)向 MoRec，從而與 NLP、CV 緊密結(jié)合，互相促進(jìn)發(fā)展。

論文還提到了自身的局限性：（1）只考慮了文本和視覺(jué)的推薦場(chǎng)景，而 MoRec 在語(yǔ)音和視頻下的效果仍然是未知的；(2) 只考慮了單模態(tài)場(chǎng)景，多模態(tài)場(chǎng)景的效果是未知的；(3) 論文所用的數(shù)據(jù)集屬于中等規(guī)模，擴(kuò)展到 100 倍或 1000 倍的訓(xùn)練數(shù)據(jù)后（如在真實(shí)的工業(yè)系統(tǒng)中）論文關(guān)鍵的發(fā)現(xiàn)是否成立，仍是未知的。