在信息泛濫的時代，如何快速高效地萃取出有價值信息成為人們的當(dāng)務(wù)之急，傳統(tǒng)的推薦系統(tǒng)由此應(yīng)運(yùn)而生;而在諸多領(lǐng)域碩果累累的深度學(xué)習(xí)也被應(yīng)用于推薦系統(tǒng)，為后者注入新的動力。機(jī)器之心編譯的這篇論文，對深度學(xué)習(xí)在推薦系統(tǒng)中的應(yīng)用現(xiàn)狀作了綜述性調(diào)研，以期進(jìn)一步推動推薦系統(tǒng)研究的進(jìn)展;對于發(fā)現(xiàn)的新問題，文中也給出了潛在的解決方案。

原文鏈接：https://arxiv.org/pdf/1707.07435.pdf

摘要：隨著線上信息的體量、復(fù)雜度和動態(tài)性的不斷增長，推薦系統(tǒng)已經(jīng)成為了一種可以有效解決這種信息過載問題的關(guān)鍵性解決方案。近幾年，深度學(xué)習(xí)的革命性進(jìn)步在語音識別、圖像分析和自然語言處理方面都受到了廣泛關(guān)注。與此同時，近期的一些研究也說明了深度學(xué)習(xí)在處理信息檢索和推薦任務(wù)中的有效性。由于其***的性能表現(xiàn)和高質(zhì)量的推薦結(jié)果，將深度學(xué)習(xí)應(yīng)用于推薦系統(tǒng)已經(jīng)獲得了動力。與傳統(tǒng)推薦模型相比，深度學(xué)習(xí)可以更好的理解用戶需求、項目特征及其之間的歷史性互動。

本文旨在為近期推動推薦系統(tǒng)研究的基于深度學(xué)習(xí)的推薦方法提供一份綜述評論。同時提出一種基于深度學(xué)習(xí)推薦模型的分類體系(taxonomy)，用于對那些被調(diào)查的文章進(jìn)行分類。在分析回顧相關(guān)工作成果的基礎(chǔ)上我們發(fā)現(xiàn)了尚待解決的問題，潛在的解決方案也將被討論。

二維分類方法與定性分析：

圖 1：基于深度學(xué)習(xí)的推薦系統(tǒng)分類的二維體系，左側(cè)部分對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了說明，右側(cè)部分則說明了整合模型。

圖 2：(a)使用的數(shù)據(jù)集;(b)使用的評測指標(biāo);(c)最有影響力的工作。

表 2：年引用次數(shù)超過 10 次的***影響力論文。

應(yīng)用領(lǐng)域：

表 3：特定應(yīng)用領(lǐng)域的推薦模型。

1. 基于多層感知機(jī)(Multilayers Perception)的推薦系統(tǒng)

多層感知機(jī)是簡明且有效的模型。它廣泛應(yīng)用于很多領(lǐng)域，尤其是工業(yè)界。多層前饋網(wǎng)絡(luò)能夠讓任意的可測函數(shù)接近任意的期望精度。它也是很多高級模型的基礎(chǔ)。

圖 3：(a)神經(jīng)協(xié)同過濾;(b)CCCFNet;(c)寬度&深度學(xué)習(xí);(d)DeepFM。

2. 基于自編碼器(Autoencoders)的推薦系統(tǒng)

將自編碼器應(yīng)用于推薦系統(tǒng)一般有兩種常用方式：(1)使用自編碼器在瓶頸層(bottleneck layer)來學(xué)習(xí)低維度特征表征;或者(2)直接在重構(gòu)層填充評分矩陣的空白處。

圖 4：(a)I-AutoRec;(b)CFN;(c)ACF;(d)CDAE。

表 4：5 個基于自編碼器的推薦模型之間的對比。

圖 5：(a)協(xié)同深度學(xué)習(xí)(左)與協(xié)同深度排序(右)的圖模型;(b)深度協(xié)同過濾框架。

3. 基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的推薦系統(tǒng)

此種系統(tǒng)中的卷積神經(jīng)網(wǎng)絡(luò)大多是用于特征提取( feature extraction)的。

圖 6：(a)基于 Attention 的 CNN;(b)個性化 CNN 標(biāo)簽推薦;(c)DeepCoNN;(d)ConvMF。

4. 基于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的推薦系統(tǒng)

循環(huán)神經(jīng)網(wǎng)絡(luò)特別適用于處理推薦系統(tǒng)中的評級和序列特征的時序動態(tài)。

圖 7

圖 7：(a)借助 RNN 的 Session 推薦;(b)借助 RNN 的完善的 Session 推薦;(c)循環(huán)推薦網(wǎng)絡(luò);(d)用于標(biāo)簽推薦的基于 Attention 的 RNN。

5. 基于深度語義相似性模型(Deep Semantic Similarity Model)的推薦系統(tǒng)

深度語義相似性模型(DSSM)是一種廣泛應(yīng)用于信息檢索領(lǐng)域的深度神經(jīng)網(wǎng)絡(luò)。它非常適用于排行榜(top-n)推薦?；A(chǔ)型 DSSM 由 MLP 組成，更高級的神經(jīng)層比如卷積層和***池化(max-pooling )層可以被很容易地添加進(jìn)去。

圖 8：(a)基于深度語義相似性的個性化推薦;(b)多視角深度神經(jīng)網(wǎng)絡(luò)。

6. 基于受限玻爾茲曼機(jī)(Restricted Boltzmann machine)的推薦系統(tǒng)

圖 9

圖 9：(a)RBM-CF;(b)帶有隱式反饋的條件性 RBM-CF;(c)基于用戶和基于項目的 RBM-CF 的組合;(d)混合 RBM-CF。

7. 新興方法：NADE 和 GAN

NADE 提出了一種易于處理的方法，以對源數(shù)據(jù)的真實分布進(jìn)行近似計算，并且可以在幾個試驗性數(shù)據(jù)集中產(chǎn)生最***的推薦精度(與其它基于深度學(xué)習(xí)的推薦模型相比)。生成對抗網(wǎng)絡(luò)(GAN)能夠?qū)⑴袆e模型和生成模型相融合，并且充分利用二者的優(yōu)點。

圖 10：(a)基于神經(jīng)自回歸的推薦系統(tǒng);(b)IRGAN。

8. 用于推薦系統(tǒng)的深度復(fù)合網(wǎng)絡(luò)(Deep composite models)

圖 11：現(xiàn)有的深度復(fù)合模型。

圖 12

圖 12：(a)CNN 和 RNN 的引用推薦;(b)比較性深度學(xué)習(xí)模型;(c)NRT;(d)帶有 CNN 的深度語義相似性模型(DSSM)

【本文是51CTO專欄機(jī)構(gòu)“機(jī)器之心”的原創(chuàng)文章，微信公眾號“機(jī)器之心( id: almosthuman2014)”】

戳這里，看該作者更多好文