[[361223]]

【51CTO.com原創(chuàng)稿件】推薦系統(tǒng)是互聯(lián)網(wǎng)行業(yè)中隨處可見的產(chǎn)品形態(tài)。從今日頭條到抖音都有推薦系統(tǒng)的影子?？梢哉f推薦系統(tǒng)已經(jīng)完全融入了我們的生活之中。然而推薦系統(tǒng)本身有些難以解決的痼疾，例如推薦系統(tǒng)中的馬太效應和稀疏性問題。所謂推薦系統(tǒng)的馬太效應，是指推薦系統(tǒng)的物品輸入分布通常表現(xiàn)為馬太效應的形式，從而影響推薦系統(tǒng)的計算性能和推薦效果。

工業(yè)界對于推薦系統(tǒng)的馬太效應的問題有著豐富的經(jīng)驗，然而見著學術(shù)會議和期刊的內(nèi)容少之又少。僅有的少量的公開資料都是 2017 年以后在 RecSys, ICCCBDA, SIGIR 等會議的論文。本文向大家介紹 2020 年國際學術(shù)會議 ICBDT 2020 的一篇論文 MatRec : Matrix Factorization for Highly Skewed Dataset. 本文是世界上第一批提出解決馬太效應問題的矩陣分解算法，因為其獨到的見解獲得了 ICBDT 2020 的最佳論文報告獎。因為馬太效應和算法公平性有著千絲萬縷的聯(lián)系，MatRec 也是世界上首批基于公平性的推薦系統(tǒng)算法。

在解決推薦系統(tǒng)馬太效應的時候，我們面臨的第一個問題就是如何對推薦系統(tǒng)的馬太效應進行建模。對馬太效應建模的最經(jīng)典也是最簡單的概率統(tǒng)計分布是齊夫分布 (Zipf’s Distribution) , 也就是熱度排名第 i 位的物品出現(xiàn)的概率為 1/i。所以熱度特別高的物品出現(xiàn)的比率特別高，而熱度特別低的物品出現(xiàn)的比率特別低。從馬太效應的經(jīng)典模型中，我們了解到，影響推薦系統(tǒng)馬太效應的主要變量是用戶的熱度排名 user rank 和物品的熱度排名 item rank，因此我們對矩陣分解模型修正如下:

而矩陣分解的整體求解框架保持不變，為如下形式:

MatRec 的基本思路是在矩陣分解的用戶特征向量和物品特征向量中分別加入了用戶熱度排名和物品排名變量，然后用隨機梯度下降進行問題求解。

MatRec 算法思路簡單，并且實現(xiàn)難度不高，同時性能上可以與主流的經(jīng)典算法看齊。在與 ALS、BPR-MF、Deep Matrix Factorization 等算法進行對比的過程中，綜合性能出眾。

當在 LastFM 數(shù)據(jù)集合上進行測試時，ALS 的最優(yōu) MAE 為 0.05, MatRec 的最優(yōu) MAE 為 0.1771，BPR-MF 的 MAE 為 0.2+;當在 MovieLens 數(shù)據(jù)集合上進行測試時，ALS 的 MAE > 0.94，MatRec 的最優(yōu) MAE 為 0.8618，而 Deep Matrix Factorization 的 MAE 在 0.82 - 0.83，然而 Deep Matrix Factorization 的速度要比 MatRec 慢幾個數(shù)量級。

推薦系統(tǒng)的馬太效應和公平性近年來獲得了越來越多的關(guān)注。中國政府也在今年成立了人工智能倫理委員會，說明世界上已經(jīng)有越來越多的人意識到了人工智能算法帶來的各種社會問題。隨著越來越多的人加入到人工智能倫理的研究行列，人工智能帶來的各種社會問題也一定會消失在萌芽階段。技術(shù)和人文是相伴相生、相互促進的關(guān)系，人工智能會給社會法制和哲學帶來怎樣的變革，讓我們拭目以待。

本文介紹的 MatRec 算法鏈接：https://arxiv.org/pdf/2011.04395.pdf

作者介紹

汪昊，技術(shù)總監(jiān)/架構(gòu)師，美國猶他大學本科/碩士，對外經(jīng)貿(mào)大學在職MBA。曾在百度，新浪，網(wǎng)易，豆瓣等公司有多年的研發(fā)和技術(shù)管理經(jīng)驗，擅長機器學習，大數(shù)據(jù)，推薦系統(tǒng)，社交網(wǎng)絡分析等技術(shù)。在 TVCG 和 ASONAM 等國際會議和期刊發(fā)表論文 11 篇。國際學術(shù)會議 IEEE SMI 2008 和 ICBDT 2020 最佳論文獎。

【51CTO原創(chuàng)稿件，合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】