圖神經(jīng)網(wǎng)絡(luò)（GNN），是在機(jī)器學(xué)習(xí)中利用圖形結(jié)構(gòu)數(shù)據(jù)的強(qiáng)大工具。圖是一種靈活的數(shù)據(jù)結(jié)構(gòu)，可以對許多不同類型的關(guān)系進(jìn)行建模，并已被用于不同的應(yīng)用，如交通預(yù)測、謠言和假新聞檢測、疾病傳播建模等。

作為機(jī)器學(xué)習(xí)的標(biāo)準(zhǔn)之一，GNN假設(shè)訓(xùn)練樣本是均勻隨機(jī)選擇的（即獨(dú)立和相同分布樣本）。這個(gè)假設(shè)對于標(biāo)準(zhǔn)的學(xué)術(shù)數(shù)據(jù)集來說是很容易符合的，這些數(shù)據(jù)集專門為研究分析而創(chuàng)建，每個(gè)數(shù)據(jù)節(jié)點(diǎn)都已經(jīng)被標(biāo)記。

但是在許多現(xiàn)實(shí)世界的場景中，數(shù)據(jù)是沒有標(biāo)簽的，實(shí)際上，對數(shù)據(jù)的標(biāo)記往往是一個(gè)繁重的過程，需要熟練的真人審核和把關(guān)，所以，要標(biāo)記所有數(shù)據(jù)節(jié)點(diǎn)是一個(gè)非常困難的任務(wù)。

此外，訓(xùn)練數(shù)據(jù)的偏見也是一個(gè)常見問題，因?yàn)檫x擇節(jié)點(diǎn)進(jìn)行數(shù)據(jù)標(biāo)記的行為通常不是上文所說的「均勻隨機(jī)選擇」。

比如，有時(shí)會使用固定的啟發(fā)式方法來選擇一個(gè)數(shù)據(jù)子集（子集中的數(shù)據(jù)具備一些共同的特征）進(jìn)行標(biāo)注，還有的時(shí)候，人類分析員會利用復(fù)雜的領(lǐng)域知識，單獨(dú)選擇某些特定數(shù)據(jù)項(xiàng)進(jìn)行標(biāo)注。

為了量化訓(xùn)練集中存在的偏差量，我們可以使用一些方法來衡量兩個(gè)不同的概率分布之間的轉(zhuǎn)變有多大，轉(zhuǎn)變的大小可以被認(rèn)為是偏差量。

這種偏差量越大，機(jī)器學(xué)習(xí)模型從存在偏見的訓(xùn)練集中歸納出特征的難度就越大。可能會有顯著損害模型泛化能力。在學(xué)術(shù)數(shù)據(jù)集中，一些領(lǐng)域轉(zhuǎn)移會導(dǎo)致模型性能下降15-20%（以F1分?jǐn)?shù)為量度）。

論文鏈接：https://proceedings.neurips.cc/paper/2021/file/eb55e369affa90f77dd7dc9e2cd33b16-Paper.pdf

為了解決這個(gè)問題，谷歌在NeurIPS 2021上介紹了一種在有偏見的數(shù)據(jù)上使用GNN的解決方案。

這種方法被稱為Shift-Robust GNN（SR-GNN），從名字上不難看出，這個(gè)方法的目的就是要讓問題域發(fā)生變化和遷移時(shí)，模型依然保持高穩(wěn)健性，降低性能下降。

研究人員在半監(jiān)督學(xué)習(xí)的常見GNN基準(zhǔn)數(shù)據(jù)集上，用有偏見的訓(xùn)練數(shù)據(jù)集進(jìn)行的各種實(shí)驗(yàn)中，驗(yàn)證了SR-GNN的有效性，實(shí)驗(yàn)表明，SR-GNN在準(zhǔn)確性上優(yōu)于其他GNN基準(zhǔn)，將有偏見的訓(xùn)練數(shù)據(jù)的負(fù)面影響減少了30-40%。

數(shù)據(jù)分布偏移對GNN性能的影響

為了證明數(shù)據(jù)分布的偏移如何影響GNN的性能，首先為已知的學(xué)術(shù)數(shù)據(jù)集生成一些有偏見的訓(xùn)練集。然后，為了理解這種影響，將泛化（測試準(zhǔn)確率）與分布偏移的衡量標(biāo)準(zhǔn)（CMD）進(jìn)行對比。

例如，以著名的PubMed引文數(shù)據(jù)集為例，它可以被認(rèn)為是一個(gè)圖，圖的節(jié)點(diǎn)就是醫(yī)學(xué)研究論文，圖的「邊」就是這些論文之間的引用。如果為PubMed生成有偏見的訓(xùn)練數(shù)據(jù)，這個(gè)圖看起來像下面這樣。

可以看到，數(shù)據(jù)集的分布偏移與分類準(zhǔn)確率之間存在著強(qiáng)烈的負(fù)相關(guān)：隨著CMD的增加，性能（F1）顯著下降。也就是說，GNN可能難以泛化，因?yàn)橛?xùn)練數(shù)據(jù)看起來不太像測試數(shù)據(jù)集。

為了解決這個(gè)問題，研究人員提出了一個(gè)對泛化高穩(wěn)健性的正則化器，讓訓(xùn)練數(shù)據(jù)和來自未標(biāo)記數(shù)據(jù)的隨機(jī)均勻樣本之間的分布偏移實(shí)現(xiàn)最小化。

為了實(shí)現(xiàn)這一點(diǎn)，研究人員在模型訓(xùn)練時(shí)對域偏移進(jìn)行實(shí)時(shí)測量，并在此基礎(chǔ)上使用直接懲罰策略，迫使模型盡可能多地忽略訓(xùn)練偏差，讓模型為訓(xùn)練數(shù)據(jù)學(xué)習(xí)的特征編碼器對任何可能來自不同分布的未標(biāo)記數(shù)據(jù)也能有效工作。

下圖所示為SR-GNN與傳統(tǒng)GNN模型的對比。二者輸入相同，層數(shù)相同。將GNN的第（k）層的最終嵌入Zk與來自未標(biāo)記的數(shù)據(jù)點(diǎn)的嵌入進(jìn)行比較，驗(yàn)證該模型是否正確編碼。

把這個(gè)正則化寫成模型損失公式中的一個(gè)附加項(xiàng)，該公式基于訓(xùn)練數(shù)據(jù)的表征和真實(shí)數(shù)據(jù)的分布之間的距離制定。

實(shí)驗(yàn)證明，加入SR-GNN正則化后，在有偏見的訓(xùn)練數(shù)據(jù)標(biāo)簽的分類任務(wù)上，分類模型的性能實(shí)現(xiàn)了30-40%的提升。

另外，本文還研究了如何在有偏見的訓(xùn)練數(shù)據(jù)存在的情況下，讓模型更加可靠。

盡管由于結(jié)構(gòu)差異，相同的正則化機(jī)制不能直接應(yīng)用在不同模型上，但可以通過根據(jù)訓(xùn)練實(shí)例與近似的真實(shí)分布的距離重新加權(quán)來「糾正」訓(xùn)練偏見。這能夠糾正有偏見的訓(xùn)練數(shù)據(jù)的分布，無需通過模型來傳遞梯度。

這兩種正則化可以結(jié)合，形成一個(gè)廣義的損失正則化，結(jié)合了領(lǐng)域正則化和實(shí)例重權(quán)（細(xì)節(jié)，包括損失公式，可在論文中找到）。

結(jié)論

有偏見的訓(xùn)練數(shù)據(jù)在現(xiàn)實(shí)世界的場景中很常見，這些偏見可能是由于各種原因造成的，包括對大量數(shù)據(jù)進(jìn)行標(biāo)注的困難、用于選擇標(biāo)注節(jié)點(diǎn)的各種啟發(fā)式方法或不一致的技術(shù)、數(shù)據(jù)標(biāo)記分布延時(shí)等等。

這個(gè)通用框架（SR-GNN）可以減少有偏見的訓(xùn)練數(shù)據(jù)的影響，而且可以應(yīng)用于各種類型的GNN，包括更深層的GNN，以及這些模型的線性化淺層GNN上。