將傳統(tǒng)標(biāo)簽傳播方法與簡(jiǎn)單模型相結(jié)合即在某些數(shù)據(jù)集上超過了當(dāng)前最優(yōu) GNN 的性能，這是康奈爾大學(xué)與 Facebook 聯(lián)合提出的一項(xiàng)研究。這種新方法不僅能媲美當(dāng)前 SOTA GNN 的性能，而且參數(shù)量也少得多，運(yùn)行時(shí)更是快了幾個(gè)數(shù)量級(jí)。

圖神經(jīng)網(wǎng)絡(luò)(GNN)是圖學(xué)習(xí)方面的主要技術(shù)。但是我們對(duì) GNN 成功的奧秘以及它們對(duì)于優(yōu)秀性能是否必然知之甚少。近日，來自康奈爾大學(xué)和 Facebook 的一項(xiàng)研究提出了一種新方法，在很多標(biāo)準(zhǔn)直推式節(jié)點(diǎn)分類(transductive node classification)基準(zhǔn)上，該方法超過或媲美當(dāng)前最優(yōu) GNN 的性能。

這一方法將忽略圖結(jié)構(gòu)的淺層模型與兩項(xiàng)簡(jiǎn)單的后處理步驟相結(jié)合，后處理步利用標(biāo)簽結(jié)構(gòu)中的關(guān)聯(lián)性：(i) 「誤差關(guān)聯(lián)」：在訓(xùn)練數(shù)據(jù)中傳播殘差以糾正測(cè)試數(shù)據(jù)中的誤差;(ii) 「預(yù)測(cè)關(guān)聯(lián)」：平滑測(cè)試數(shù)據(jù)上的預(yù)測(cè)結(jié)果。研究人員將這一步驟稱作 Correct and Smooth (C&S)，后處理步驟通過對(duì)早期基于圖的半監(jiān)督學(xué)習(xí)方法中的標(biāo)準(zhǔn)標(biāo)簽傳播(LP)技術(shù)進(jìn)行簡(jiǎn)單修正來實(shí)現(xiàn)。

該方法在多個(gè)基準(zhǔn)上超過或接近當(dāng)前最優(yōu) GNN 的性能，而其參數(shù)量比后者小得多，運(yùn)行時(shí)也快了幾個(gè)數(shù)量級(jí)。例如，該方法在 OGB-Products 的性能超過 SOTA GNN，而其參數(shù)量是后者的 1/137，訓(xùn)練時(shí)間是后者的 1/100。該方法的性能表明，直接將標(biāo)簽信息納入學(xué)習(xí)算法可以輕松實(shí)現(xiàn)顯著的性能提升。這一方法還可以融入到大型 GNN 模型中。

論文地址

GitHub 地址

圖神經(jīng)網(wǎng)絡(luò)的缺陷

繼神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺和自然語言處理領(lǐng)域的巨大成功之后，圖神經(jīng)網(wǎng)絡(luò)被用來進(jìn)行關(guān)系數(shù)據(jù)的預(yù)測(cè)。這些模型取得了很大進(jìn)展，如 Open Graph Benchmark。新型 GNN 架構(gòu)的許多設(shè)計(jì)思想是從語言模型(如注意力)或視覺模型(如深度卷積神經(jīng)網(wǎng)絡(luò))中的新架構(gòu)改編而來。但是，隨著這些模型越來越復(fù)雜，理解其性能收益成為重要挑戰(zhàn)，并且將這些模型擴(kuò)展到大型數(shù)據(jù)集的難度有所增加。

新方法：標(biāo)簽信息 + 簡(jiǎn)單模型

而這篇論文研究了結(jié)合更簡(jiǎn)單的模型能夠達(dá)到怎樣的性能，并重點(diǎn)了解在圖學(xué)習(xí)特別是在直推式節(jié)點(diǎn)分類中，有哪些提高性能的機(jī)會(huì)。

研究者提出了一個(gè)簡(jiǎn)單的 pipeline(參見圖 1)，它包含 3 個(gè)主要部分：

• 基礎(chǔ)預(yù)測(cè)(base prediction)，使用忽略圖結(jié)構(gòu)(如 MLP 或線性模型)的節(jié)點(diǎn)特征完成;
• 校正步驟，這一步將訓(xùn)練數(shù)據(jù)的不確定性傳播到整個(gè)圖上，以校正基礎(chǔ)預(yù)測(cè);
• 平滑圖預(yù)測(cè)結(jié)果。

步驟 2 和 3 只是后處理步驟，它們使用經(jīng)典方法進(jìn)行基于圖的半監(jiān)督學(xué)習(xí)，即標(biāo)簽傳播。

通過對(duì)這些經(jīng)典 idea 進(jìn)行改進(jìn)和新的部署，該研究在多個(gè)節(jié)點(diǎn)分類任務(wù)上實(shí)現(xiàn)了 SOTA 性能，超過大型 GNN 模型。在該框架中，圖結(jié)構(gòu)不用于學(xué)習(xí)參數(shù)，而是用作后處理機(jī)制。這種簡(jiǎn)單性使模型參數(shù)和訓(xùn)練時(shí)間減少了幾個(gè)數(shù)量級(jí)，并且可以輕松擴(kuò)展到大型圖中。此外，該方法還可以與 SOTA GNN 結(jié)合，實(shí)現(xiàn)一定程度的性能提升。

該方法性能提升的主要來源是直接使用標(biāo)簽進(jìn)行預(yù)測(cè)。這并不是一個(gè)新想法，但很少用于 GNN。該研究發(fā)現(xiàn)，即使是簡(jiǎn)單的標(biāo)簽傳播(忽略特征)也能在許多基準(zhǔn)測(cè)試中取得出色的效果。這為結(jié)合以下兩種預(yù)測(cè)能力來源提供了動(dòng)力：一個(gè)來源于節(jié)點(diǎn)特征(忽略圖結(jié)構(gòu))，另一個(gè)來源于在預(yù)測(cè)中直接使用已知標(biāo)簽。

具體而言，該方法首先使用一個(gè)基于節(jié)點(diǎn)特征的基礎(chǔ)預(yù)測(cè)器，它不依賴于任何圖學(xué)習(xí)。然后，執(zhí)行兩種類型的標(biāo)簽傳播 (LP)：一種通過建模相關(guān)誤差來校正基礎(chǔ)預(yù)測(cè);一種用來平滑最終預(yù)測(cè)。研究人員將這兩種方法的結(jié)合稱作 Correct and Smooth(C&S，參見圖 1)。LP 只是后處理步驟，該 pipeline 并非端到端訓(xùn)練。此外，圖只在后處理步驟中使用，在前處理步驟中用于增強(qiáng)特征，但不用于基礎(chǔ)預(yù)測(cè)。這使得該方法相比標(biāo)準(zhǔn) GNN 模型訓(xùn)練更快速，且具備可擴(kuò)展性。

該研究還利用兩種 LP 和節(jié)點(diǎn)特征的優(yōu)勢(shì)，將這些互補(bǔ)信號(hào)結(jié)合起來可以獲得優(yōu)秀的預(yù)測(cè)結(jié)果。

實(shí)驗(yàn)

為了驗(yàn)證該方法的有效性，研究者使用了 Arxiv、Products、Cora、Citeseer、Pubmed、Email、Rice31、US County 和 wikiCS 九個(gè)數(shù)據(jù)集。

節(jié)點(diǎn)分類的初步結(jié)果

下表 2 給出了相關(guān)實(shí)驗(yàn)結(jié)果，研究者得出了以下幾點(diǎn)重要發(fā)現(xiàn)。首先，利用本文提出的 C&S 模型，LP 后處理步驟會(huì)帶來巨大增益(如在 Products 數(shù)據(jù)集上，MLP 的基礎(chǔ)預(yù)測(cè)準(zhǔn)確率由 63% 提升至 84%);其次，具有 C&S 框架的 Plain Linear 模型的性能在很多情況下優(yōu)于 plain GCN，并且無可學(xué)習(xí)參數(shù)的方法 LP 的性能通常也媲美于 GCN。這些結(jié)果表明，通過簡(jiǎn)單使用特征在圖中直接合并關(guān)聯(lián)往往是更好的做法;最后，C&S 模型變體在 Products、Cora、Email、Rice31 和 US County 等 5 個(gè)數(shù)據(jù)集上的性能通常顯著優(yōu)于 SOTA。在其他數(shù)據(jù)集上，表現(xiàn)最佳的 C&S 模型與 SOTA 性能之間沒有太大的差距。

使用更多標(biāo)簽進(jìn)一步提升性能

下表 4 展示了相關(guān)結(jié)果，強(qiáng)調(diào)了兩點(diǎn)重要發(fā)現(xiàn)。其一，對(duì)于想要在很多數(shù)據(jù)集上實(shí)現(xiàn)良好性能的直推式節(jié)點(diǎn)分類實(shí)驗(yàn)而言，實(shí)際上并不需要規(guī)模大且訓(xùn)練成本高的 GNN 模型;其二，結(jié)合傳統(tǒng)的標(biāo)簽傳播方法和簡(jiǎn)單的基礎(chǔ)預(yù)測(cè)器能夠在這些任務(wù)上優(yōu)于圖神經(jīng)網(wǎng)絡(luò)。

更快的訓(xùn)練速度，性能超過現(xiàn)有 GNN

與 GNN 或其他 SOTA 解決方案相比，本文中的 C&S 模型需要的參數(shù)量往往要少得多。如下圖 2 所示，研究者繪制了 OGB-Products 數(shù)據(jù)集上參數(shù)與性能(準(zhǔn)確率)的變化曲線圖。

除了參數(shù)量變少之外，真正的增益之處在于訓(xùn)練速度更快了。由于研究者在基礎(chǔ)預(yù)測(cè)中沒有使用圖結(jié)構(gòu)，與其他模型相比，C&S 模型在保持準(zhǔn)確率相當(dāng)?shù)耐瑫r(shí)往往實(shí)現(xiàn)了訓(xùn)練速度的數(shù)量級(jí)提升。

具體而言，與 OGB-Products 數(shù)據(jù)集上的 SOTA GNN 相比，具有線性基礎(chǔ)預(yù)測(cè)器的 C&S 框架表現(xiàn)出更高的準(zhǔn)確率，并且訓(xùn)練時(shí)長(zhǎng)減至 1/100，參數(shù)量降至 1/137。

性能可視化

為了更好地理解 C&S 模型的性能，研究者將 US County 數(shù)據(jù)集上的預(yù)測(cè)結(jié)果進(jìn)行了可視化操作，具體如下圖 3 所示。正如預(yù)期的一樣，對(duì)于相鄰 county 提供相關(guān)信息的節(jié)點(diǎn)而言，殘差關(guān)聯(lián)往往會(huì)予以糾正。