偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

GNN的基礎(chǔ)、前沿和應(yīng)用

人工智能 深度學(xué)習(xí)
本次分享的題目為《GNN的基礎(chǔ)、前沿和應(yīng)用》,主要介紹由吳凌飛、崔鵬、裴健、趙亮幾位學(xué)者牽頭編撰的綜合性書籍《圖神經(jīng)網(wǎng)絡(luò)基礎(chǔ)、前沿與應(yīng)用》中的大致內(nèi)容。

近年來,圖神經(jīng)網(wǎng)絡(luò)(GNN)取得了快速、令人難以置信的進展。圖神經(jīng)網(wǎng)絡(luò)又稱為圖深度學(xué)習(xí)、圖表征學(xué)習(xí)(圖表示學(xué)習(xí))或幾何深度學(xué)習(xí),是機器學(xué)習(xí)特別是深度學(xué)習(xí)領(lǐng)域增長最快的研究課題。本次分享的題目為《GNN的基礎(chǔ)、前沿和應(yīng)用》,主要介紹由吳凌飛、崔鵬、裴健、趙亮幾位學(xué)者牽頭編撰的綜合性書籍《圖神經(jīng)網(wǎng)絡(luò)基礎(chǔ)、前沿與應(yīng)用》中的大致內(nèi)容。

一、圖神經(jīng)網(wǎng)絡(luò)的介紹

1、為什么要研究圖?

圖片

圖是一種描述和建模復(fù)雜系統(tǒng)的通用語言。圖本身并不復(fù)雜,它主要由邊和結(jié)點構(gòu)成。我們可以用結(jié)點表示任何我們想要建模的物體,可以用邊表示兩個結(jié)點之間的關(guān)系或者相似度。我們常說的圖神經(jīng)網(wǎng)絡(luò)或者圖機器學(xué)習(xí),通常是將圖的結(jié)構(gòu)以及邊和結(jié)點的信息作為算法的輸入,輸出想要的結(jié)果。比如在搜索引擎中,當(dāng)我們輸入一個 query 時,引擎會根據(jù) query 的信息、用戶的信息以及一些上下文信息返回個性化的搜索結(jié)果,這些信息可以天然地以圖的方式進行組織。

圖片

2、圖結(jié)構(gòu)數(shù)據(jù)無處不在

圖片

圖結(jié)構(gòu)數(shù)據(jù)到處可見,比如 Internet、社交網(wǎng)絡(luò)等。除此之外,在如今非?;鸬牡鞍踪|(zhì)發(fā)現(xiàn)領(lǐng)域,人們會用圖來描述和建模已有的蛋白質(zhì)并生成新的圖,從而幫助人們?nèi)グl(fā)現(xiàn)新的藥物。我們也可以用圖去做一些復(fù)雜的程序分析,還可以在計算機視覺中去做一些 high-level 的推理。

3、圖機器學(xué)習(xí)的近期趨勢

圖片

圖機器學(xué)習(xí)并不是一個非常新的話題,近 20 年來一直都有這個研究方向,以前一直比較小眾。2016 年開始,隨著現(xiàn)代圖神經(jīng)網(wǎng)絡(luò)相關(guān)論文的出現(xiàn),圖機器學(xué)習(xí)成為了一個熱門的研究方向。人們發(fā)現(xiàn)這種新一代的圖機器學(xué)習(xí)方式可以更好地學(xué)習(xí)數(shù)據(jù)本身和數(shù)據(jù)之間的信息,從而能夠更好地得到數(shù)據(jù)表征,最終能夠更好地完成更重要的任務(wù)。

4、圖神經(jīng)網(wǎng)絡(luò)的簡單歷史

圖片

最早的圖神經(jīng)網(wǎng)絡(luò)相關(guān)論文出現(xiàn)在 2009 年,在深度學(xué)習(xí)流行之前?,F(xiàn)代圖神經(jīng)網(wǎng)絡(luò)相關(guān)論文出現(xiàn)在 2016 年,是對早期的圖神經(jīng)網(wǎng)絡(luò)的改進。之后,GCN 的出現(xiàn)推動了圖神經(jīng)網(wǎng)絡(luò)的快速發(fā)展,2017 年至今,有大量新的算法涌現(xiàn)出來。隨著圖神經(jīng)網(wǎng)絡(luò)的算法越來越成熟,2019 年至今,工業(yè)界嘗試用這些算法解決一些實際問題,同時也有很多開源的工具被開發(fā)出來去提升解決問題的效率。2021 年至今,很多圖神經(jīng)網(wǎng)絡(luò)相關(guān)的書籍被撰寫出來,當(dāng)然也包括這本《圖神經(jīng)網(wǎng)絡(luò)基礎(chǔ)、前沿與應(yīng)用》。

圖片

《圖神經(jīng)網(wǎng)絡(luò)基礎(chǔ)、前沿與應(yīng)用》一書系統(tǒng)地介紹了圖神經(jīng)網(wǎng)絡(luò)領(lǐng)域中最核心的概念和技術(shù),以及前沿的研究和開發(fā),并介紹了在不同領(lǐng)域的應(yīng)用。無論是學(xué)術(shù)界還是工業(yè)界的讀者,都能夠從中受益。

二、圖神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)

1、機器學(xué)習(xí)的生命周期

圖片

上圖體現(xiàn)了機器學(xué)習(xí)的生命周期,其中特征學(xué)習(xí)是非常重要的環(huán)節(jié),它的主要任務(wù)是將原始數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化的數(shù)據(jù)。在深度學(xué)習(xí)出現(xiàn)之前,大家主要是通過特征工程來完成這個任務(wù)。深度學(xué)習(xí)出現(xiàn)以后,這種端到端的機器學(xué)習(xí)方式開始成為主流。

2、圖中的特征學(xué)習(xí)

圖片

Feature Learning in Graphs 和深度學(xué)習(xí)的做法非常類似,目標(biāo)是設(shè)計有效的和任務(wù)相關(guān)或者和任務(wù)無關(guān)的特征學(xué)習(xí)方法將原始圖中的結(jié)點映射到高維空間中,從而得到結(jié)點的 embedding 表示,進而完成下游任務(wù)。

3、圖神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)

圖片

圖神經(jīng)網(wǎng)絡(luò)中有兩類需要學(xué)習(xí)的表征:

  • 圖結(jié)點的表征

需要一個 filter operation,將圖的矩陣和結(jié)點的向量表示作為輸入,不斷學(xué)習(xí),更新結(jié)點的向量表示。目前比較普遍的 filter operation 有 Spectral-based、Spatial-based、Attention-based、Recurrent-based。

  • 圖的表征

需要一個 pool operation,將圖的矩陣和結(jié)點的向量表示作為輸入,不斷學(xué)習(xí),得到包含更少的結(jié)點的圖的矩陣及其結(jié)點的向量表示,最終得到 graph-level 的向量表示來表征整張圖。目前比較常見的 pool operation 有 Flat Graph Pooling(比如 Max、Ave、Min),Hierarchical Graph Pooling(比如 Diffpool)。

4、圖神經(jīng)網(wǎng)絡(luò)的基本模型

圖片

在機器學(xué)習(xí)領(lǐng)域有一個 context learning 的概念。在圖神經(jīng)網(wǎng)絡(luò)中,一個結(jié)點的 context 就是它的鄰居結(jié)點,我們可以用一個結(jié)點的的鄰居結(jié)點來學(xué)習(xí)這個結(jié)點的向量表示。

圖片

通過這種方式,每個結(jié)點都可以定義一個計算圖。

圖片

我們可以將計算圖分層,第一層的就是最原始的信息,通過逐層傳遞和聚合信息來學(xué)到所有結(jié)點的向量表示。

圖片

圖片


圖片

上圖大致描述了圖神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)的主要步驟,主要有以下四個步驟:

  • 定義一個聚合函數(shù);
  • 根據(jù)任務(wù)定義損失函數(shù);
  • 訓(xùn)練一批結(jié)點,比如可以一次訓(xùn)練一批計算圖;
  • 為每個結(jié)點產(chǎn)出需要的向量表示,甚至是一些從來沒有訓(xùn)練過的結(jié)點(學(xué)習(xí)的是聚合函數(shù),可以用聚合函數(shù)和已經(jīng)訓(xùn)練過的向量表示得到新結(jié)點的向量表示)。

圖片

上圖是一個以平均作為聚合函數(shù)的例子,第 k 層結(jié)點 v 的向量表示依賴于上一層其鄰居結(jié)點的向量表示的平均和上一層其自己的向量表示。

圖片

對以上的內(nèi)容進行總結(jié),圖神經(jīng)網(wǎng)絡(luò)的要點就是通過聚合鄰居結(jié)點的信息生成目標(biāo)結(jié)點的向量表示,它考慮到了編碼器中的參數(shù)共享,也考慮到了推理學(xué)習(xí)。

5、圖神經(jīng)網(wǎng)絡(luò)的流行模型

圖片

圖神經(jīng)網(wǎng)絡(luò)經(jīng)典或者流行的算法本質(zhì)上是使用不同的 aggregation function 或者 filter function,可以分為有監(jiān)督的圖神經(jīng)網(wǎng)絡(luò)和無監(jiān)督的圖神經(jīng)網(wǎng)絡(luò)。

圖片

GCN 是最經(jīng)典的算法之一,它能夠直接作用于圖并且利用其結(jié)構(gòu)信息。圍繞提升模型速度、實用性以及穩(wěn)定性,如上圖所示,GCN 也經(jīng)歷了幾次迭代。GCN 的論文是具有劃時代意義的,為圖神經(jīng)網(wǎng)絡(luò)奠定了基礎(chǔ)。

圖片

MPNN 的核心要點是將圖卷積轉(zhuǎn)化為信息傳遞的過程,它定義兩個 function,分別是 aggregation function 和 update function。這個算法是一個簡單通用的算法,但是它并不高效。

GraphSage 是工業(yè)級別的算法,它使用采樣的方式來得到一定數(shù)量的鄰居結(jié)點從而學(xué)校結(jié)點的向量表示。

圖片

GAT 則是引入 attention 的思想,它的核心要點是動態(tài)地學(xué)習(xí)執(zhí)行信息傳遞過程中邊的權(quán)重。

圖片

除了以上介紹的算法以外,還有 GGNN,它的特點是輸出可以是多個結(jié)點,大家感興趣可以去看相關(guān)的論文。

在《圖神經(jīng)網(wǎng)絡(luò)基礎(chǔ)、前沿與應(yīng)用》這本書中的第五、六、七、八章還分別介紹了如何評估圖神經(jīng)網(wǎng)絡(luò)、圖神經(jīng)網(wǎng)絡(luò)的擴展性、圖神經(jīng)網(wǎng)絡(luò)的解釋性、圖神經(jīng)網(wǎng)絡(luò)的對抗穩(wěn)定性,大家感興趣可以去閱讀書中對應(yīng)的章節(jié)。

三、圖神經(jīng)網(wǎng)絡(luò)的前沿

1、Graph Structure Learning

圖片

圖神經(jīng)網(wǎng)絡(luò)是需要圖結(jié)構(gòu)數(shù)據(jù)的,但是給定的圖結(jié)構(gòu)是否是最優(yōu)的是存疑的,有的時候可能會有很多的噪聲,很多應(yīng)用可能沒有圖結(jié)構(gòu)的數(shù)據(jù),甚至僅僅只有原始的特征。

圖片

所以,我們需要利用圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到最優(yōu)的圖表示以及圖結(jié)點表征。

圖片

我們將圖的學(xué)習(xí)轉(zhuǎn)化為結(jié)點間相似的學(xué)習(xí),并通過正則化的方式控制平滑度、系屬性和連接性,通過迭代的方式去提煉圖的結(jié)構(gòu)和圖的向量表示。

圖片

圖片

圖片

實驗數(shù)據(jù)可以表現(xiàn)出這種方式的優(yōu)勢。

圖片

通過圖可視化的結(jié)果可以發(fā)現(xiàn),學(xué)出的圖傾向于將同類的對象聚在一起,有一定的可解釋性。

2、Other Frontiers

在《圖神經(jīng)網(wǎng)絡(luò)基礎(chǔ)、前沿與應(yīng)用》這本書中,還分別介紹了如下前沿研究,這些前沿研究在很多場景下都有很重要的應(yīng)用:

  • 圖分類;
  • Link Prediction;
  • 圖生成;
  • 圖轉(zhuǎn)換;
  • 圖匹配;
  • 動態(tài)圖神經(jīng)網(wǎng)絡(luò);
  • 異質(zhì)圖神經(jīng)網(wǎng)絡(luò);
  • 圖神經(jīng)網(wǎng)絡(luò)的 AutoML;
  • 圖神經(jīng)網(wǎng)絡(luò)的自監(jiān)督學(xué)習(xí)。

四、圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用

1、圖神經(jīng)網(wǎng)絡(luò)在推薦系統(tǒng)中的應(yīng)用

圖片

我們可以利用會話信息構(gòu)造異質(zhì)全局圖,然后通過圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到用戶或者物品的向量表示,利用這種向量表示去做個性化的推薦。

2、圖神經(jīng)網(wǎng)絡(luò)在計算機視覺中的應(yīng)用

圖片

我們可以跟蹤物體動態(tài)的變化過程,通過圖神經(jīng)網(wǎng)絡(luò)加深對視頻的理解。

3、圖神經(jīng)網(wǎng)絡(luò)在自然語言處理中的應(yīng)用

圖片

我們可以利用圖神經(jīng)網(wǎng)絡(luò)來理解自然語言的 high-level 的信息。

4、圖神經(jīng)網(wǎng)絡(luò)在程序分析中的應(yīng)用

圖片

5、圖神經(jīng)網(wǎng)絡(luò)在智慧城市中的應(yīng)用

圖片

五、問答環(huán)節(jié)

Q1:GNN 是下一代深度學(xué)習(xí)的重要方法嗎?

A1:圖神經(jīng)網(wǎng)絡(luò)是非常重要的分支,和圖神經(jīng)網(wǎng)絡(luò)并駕齊驅(qū)的是 Transformer。鑒于圖神經(jīng)網(wǎng)絡(luò)的靈活性,圖神經(jīng)網(wǎng)絡(luò)和 Transformer 相互結(jié)合,去發(fā)揮更大的優(yōu)勢。

Q2:GNN 和因果學(xué)習(xí)是否可以結(jié)合?如何結(jié)合?

A2:因果學(xué)習(xí)重要的環(huán)節(jié)是因果圖,因果圖和 GNN 可以天然地結(jié)合。因果學(xué)習(xí)的難點是它的數(shù)據(jù)量級很小,我們可以利用 GNN 的能力更好地去學(xué)習(xí)因果圖。

Q3:GNN 的可解釋性和傳統(tǒng)機器學(xué)習(xí)的可解釋性的區(qū)別和聯(lián)系是什么?

A3:在《圖神經(jīng)網(wǎng)絡(luò)基礎(chǔ)、前沿與應(yīng)用》這本書中會有詳細(xì)的介紹。

Q4:如何直接基于圖數(shù)據(jù)庫、利用圖計算的能力進行 GNN 的訓(xùn)練和推理?

A4:目前在統(tǒng)一圖計算平臺上還沒有很好的實踐,有一些創(chuàng)業(yè)公司和科研團隊在做相關(guān)方向的探索,這會是一個非常有價值且有挑戰(zhàn)的研究方向,比較可行的做法是分領(lǐng)域。

責(zé)任編輯:姜華 來源: DataFunTalk
相關(guān)推薦

2022-12-28 14:21:43

2012-10-23 11:24:09

網(wǎng)絡(luò)管理綜合布線網(wǎng)絡(luò)布線

2012-10-19 14:27:20

智能布線布線

2023-06-15 14:43:25

2009-06-26 14:29:03

2024-03-12 08:46:37

SignalR實時通信庫.NET

2014-08-08 15:36:39

Apdex

2022-07-25 20:43:28

Web

2021-09-02 18:47:02

redis存儲中間件Remote Dict

2024-07-05 14:06:44

2024-03-21 08:00:00

數(shù)字孿生智慧醫(yī)療人工智能

2020-12-21 14:23:11

機器學(xué)習(xí)深度學(xué)習(xí)技術(shù)

2021-01-24 13:04:56

AI 數(shù)據(jù)人工智能

2020-04-22 11:26:08

人工智能基礎(chǔ)設(shè)施AI

2024-11-25 08:50:24

2019-10-25 15:55:33

工業(yè)互聯(lián)網(wǎng)制造業(yè)生產(chǎn)

2015-11-02 16:41:08

應(yīng)用案例大數(shù)據(jù)

2022-04-06 10:58:16

神經(jīng)網(wǎng)絡(luò)架構(gòu)GNN

2022-04-27 20:28:59

智能駕駛大數(shù)據(jù)

2023-08-22 15:37:45

深度學(xué)習(xí)人工智能
點贊
收藏

51CTO技術(shù)棧公眾號