一個模型建模所有圖結(jié)構(gòu)關(guān)系——

香港大學(xué)數(shù)據(jù)智能實驗室最新圖結(jié)構(gòu)大模型來了。

它叫HiGPT，由GraphGPT原班人馬打造。

后者是將圖數(shù)據(jù)與大模型結(jié)合的代表方法之一：

通過用圖指令微調(diào)將圖數(shù)據(jù)與大模型對齊，在下游任務(wù)上一度彰顯了驚人的泛化性（Zero-Shot）。

不過，GraphGPT僅針對同質(zhì)圖進(jìn)行了驗證，對于生活中更常出現(xiàn)的異質(zhì)圖 “無能為力”。

簡而言之，也就是只擅長簡單的任務(wù)，復(fù)雜的還不行。

（異質(zhì)圖：即結(jié)點(diǎn)和邊的類型更多樣。例如社交網(wǎng)絡(luò)中用戶、帖子和評論之間的關(guān)系）

基于此，HiGPT誕生，專攻復(fù)雜的異質(zhì)圖學(xué)習(xí)任務(wù)，并真正做到了“一個模型，建模任意關(guān)系類型”。

由此，一個通用圖大模型就誕生了。

以后我們無論是用大模型做社交網(wǎng)絡(luò)分析、生物信息還是城市計算這些常見圖任務(wù)，都能hold更多有難度的case了。

Hi，異質(zhì)圖GPT

想要一個模型實現(xiàn)所有異質(zhì)結(jié)構(gòu)關(guān)系的泛化，面臨的挑戰(zhàn)有三：

C1. 關(guān)系類型異質(zhì)性偏移：

當(dāng)前幾乎所有的異質(zhì)圖神經(jīng)網(wǎng)絡(luò)在建模異質(zhì)關(guān)系是常常會為單個異質(zhì)圖的每個節(jié)點(diǎn)和關(guān)系類型定制參數(shù)，這使得當(dāng)不同異質(zhì)圖之間結(jié)點(diǎn)和關(guān)系類型發(fā)生改變時，即關(guān)系類型異質(zhì)性偏移，zero-shot的泛化將非常困難。

C2. 復(fù)雜異質(zhì)圖結(jié)構(gòu)：

由于異質(zhì)圖存在多種多樣的異質(zhì)結(jié)點(diǎn)和關(guān)系類型，如何讓大語言模型具有分辨不同異質(zhì)類型的能力，從而提取有用的異質(zhì)結(jié)構(gòu)信息，進(jìn)一步完成各種下游任務(wù)的泛化也是需要考慮的問題。

C3. 模型微調(diào)的數(shù)據(jù)稀缺：

在圖學(xué)習(xí)研究社區(qū)，數(shù)據(jù)不足或者數(shù)據(jù)確實問題是公認(rèn)的挑戰(zhàn)。如何在有限的監(jiān)督信號下學(xué)習(xí)得到更強(qiáng)泛化的模型也是不可避免的問題。

那么，具體來看看，HiGPT是如何實現(xiàn)的。

該方法的框架圖如下所示：

針對C1，C2，C3，作者分別提出S1，S2，S3對應(yīng)解決：

S1. 上下文異質(zhì)圖Tokenizer。

為了在具有不同節(jié)點(diǎn)和邊類型的各種異質(zhì)圖場景中實現(xiàn)泛化性，我們引入了上下文異質(zhì)圖Tokenizer。

這個Tokenizer捕捉到了不同異質(zhì)圖中存在的各種語義關(guān)系，提供了一個統(tǒng)一的建模方法。

它包括兩個重要組件：1）上下文參數(shù)化異質(zhì)性投影器：利用自然語言對不同的節(jié)點(diǎn)和邊類型進(jìn)行編碼；2）參數(shù)分配器：動態(tài)地為Tokenizer分配定制的參數(shù)。

為了優(yōu)化性能并將Tokenizer無縫集成到HiGPT框架中，作者采用了輕量級的文本-圖對比對齊范式來預(yù)訓(xùn)練Tokenizer。

預(yù)訓(xùn)練之后，直接將Tokenizer集成到HiGPT中，經(jīng)過預(yù)訓(xùn)練的Tokenizer提高了其語義建模能力，并確保了其在整個模型架構(gòu)中運(yùn)行平穩(wěn)。

S2. 異質(zhì)圖指令微調(diào)。 作者引入了一種新穎的異質(zhì)圖指令微調(diào)框架，該框架引入了跨類型和同類型token匹配任務(wù)來微調(diào)大語言模型。

框架專門針對提高大語言模型對異質(zhì)關(guān)系感知和同質(zhì)關(guān)系感知的理解。通過這些任務(wù)，作者的目標(biāo)是增強(qiáng)大語言模型在以下方面的能力：
（i）區(qū)分不同類型的圖tokens（異質(zhì)關(guān)系感知），（ii）區(qū)分相同類型的圖tokens直接的對應(yīng)關(guān)系（同質(zhì)關(guān)系感知），以及（iii）在下游任務(wù)中有效利用異質(zhì)關(guān)系感知和同質(zhì)關(guān)系感知能力。

設(shè)計的指令微調(diào)任務(wù)的指令模版如下表所示：

S3. Mixture-of-Thought指令增強(qiáng)。 為了解決異質(zhì)圖學(xué)習(xí)下游任務(wù)監(jiān)督信號不足的問題，作者引入了一種用于增強(qiáng)圖指令的新機(jī)制Mixture-of-Thought（MoT），即混合各種提示技術(shù)結(jié)合使用。

這種集成使我們能夠生成一組多樣化和全面的信息豐富的下游任務(wù)指令。

通過無縫地將這些增強(qiáng)的圖指令集成到框架中，將有效地解決數(shù)據(jù)稀疏性的挑戰(zhàn)。

具體地，作者結(jié)合了四種常見的提示技術(shù)，即Chain-of-Thought，Tree-of-Thought，PanelGPT和Generated Knowledge Prompting，通過ChatGPT模擬正確的推理結(jié)果，最后將多樣的推理結(jié)果作為下游任務(wù)指令微調(diào)的訓(xùn)練數(shù)據(jù)，做到不增加監(jiān)督信號的情況下增加（增強(qiáng)）了訓(xùn)練數(shù)據(jù)規(guī)模。

工作流程如下圖所示：

具體提示與增強(qiáng)指令模版如下圖所示：

HiGPT不僅在監(jiān)督學(xué)習(xí)（Supervised）和零樣本（Zero-shot）學(xué)習(xí)中超越了一眾主流模型：

同時，作者探索了用訓(xùn)練得到的HiGPT進(jìn)行圖上下文學(xué)習(xí)（Graph In-Context Learning），然后驚奇地發(fā)現(xiàn)，在不優(yōu)化模型參數(shù)，僅僅添加圖問答示例就可以使得在1 shot訓(xùn)練的模型打敗60 shot模型。

進(jìn)一步的案例分析作者發(fā)現(xiàn)HiGPT不僅可以根據(jù)問題靈活調(diào)整回答推理模式，甚至?xí)闹鲃訌膱D數(shù)據(jù)角度分析問題，有了一定的圖-意識（Graph-Awareness）。

研究團(tuán)隊

本項研究由港大數(shù)據(jù)智能實驗室的GraphGPT原班人馬以及百度等機(jī)構(gòu)的研究人員完成。

港大數(shù)據(jù)智能實驗室由黃超老師帶領(lǐng)，在圖學(xué)習(xí)，推薦系統(tǒng)，城市計算等諸多數(shù)據(jù)挖掘領(lǐng)域都有持續(xù)的探索，尤其是近期與大語言模型的諸多開源工作：GraphGPT，HiGPT，LLMRec，RLMRec，UrbanGPT，GraphEdit等。

歡迎大家來Github進(jìn)一步探索！

傳送門：
論文：https://arxiv.org/abs/2402.16024
代碼：https://github.com/HKUDS/HiGPT
項目網(wǎng)站：https://higpt-hku.github.io/
https://sites.google.com/view/chaoh/group-join-us
https://github.com/HKUDS