今天介紹香港科技大學（廣州）資料科學與分析學域李佳教授團隊發表的一篇關于圖預訓練（Graph Pretraining）的文章" All in One and One for All: A Simple yet Effective Method towards Cross-domain Graph Pretraining"，本文被KDD2024接收，代碼已開源。
論文位址：https://arxiv.org/abs/2402.09834
項目位址：https://github.com/cshhzhao/GCOPE
背景
大型基座模型在自然語言處理（NLP）和計算機視覺（CV）領域都獲得了矚目的成就。其最顯著的特點是能夠在大規模的多樣化的跨域資料集上進行預訓練（稱之為“All in One”），并将學習到的多樣化知識遷移到各種跨域跨任務的下遊資料集中（稱之為“One for All”），展現出卓越的泛化能力和适應能力。然而，将這個想法應用到圖領域仍然是一個巨大的挑戰，跨域預訓練往往會導緻負遷移（如圖1）。
具體而言，首先，不同領域圖資料之間多樣化的結構模式會直接影響跨域預訓練中學習到一種通用的結構模式用于下遊的遷移，尤其是當結構模式差異很大的時候（比如，同配和異配圖資料集）。其次，不同領域圖資料之間的語義（特征）不對齊會導緻跨域訓練過程中難以找到一個統一的空間對圖資料進行表示。這激發了本文的核心問題：相比傳統的單域圖預訓練架構，如何進一步提出一種跨域圖預訓練架構？核心的兩個難點是如何處理多樣化的結構模式以及保證語義（特征）空間上的對齊。
圖 1 單源跨域圖遷移場景下的負遷移現象
方法
本文提出了一種名為GCOPE的跨域圖預訓練方法，旨在解決不同圖資料集在結構和特征對齊方面的挑戰。該方法通過引入可學習的圖協調器（Graph Coordinators）子產品來增強圖之間的互聯性，并促進它們的特征和結構對齊，進而實作跨域預訓練。
具體而言，GCOPE架構分為以下幾個步驟：
- 特征投影：在預訓練階段，首先通過特征投影子產品将不同圖的特征次元統一。具體操作包括奇異值分解（SVD）和注意力機制等方法，用于将特征投影到一個共同的低維空間中。這樣，。
- 引入圖協調器：為了進一步解決結構和語義對齊的問題，。這些協調器通過以下兩種方式來增強圖的互聯性：
- 圖内連接配接：為每個圖配置設定一個協調器節點，該節點與圖中每個節點形成全連接配接子網絡，確定協調器能夠高效地傳遞資訊并協調圖内的互動。
- 跨圖連接配接：不同圖的協調器之間通過邊進行連接配接，建構跨圖的通信基礎，實作資訊流通和知識共享。，促進不同圖資料集之間的協作和知識共享。
- 生成圖批次進行訓練：通過協調器節點的互聯，本文實作了跨圖節點的聯合采樣。這種創新政策使得訓練過程能夠。這不僅提高了模型捕捉資料底層結構的能力，還促進了跨域的魯棒性和泛化能力。
- 預訓練與遷移：本文采用應用廣泛的圖預訓練政策（比如，GraphCL和SimGRACE）對聯合采樣後的跨域子圖進行預訓練。在。在遷移階段，GCOPE展示了出色的泛化能力，能夠靈活适應不同領域的下遊任務，相容傳統微調和圖提示架構。
通過上述方法，GCOPE不僅實作了跨域圖資料的有效預訓練，還通過圖協調器子產品解決了特征和結構對齊的問題，顯著提升了模型在不同跨域下遊任務中的表現。這樣，GCOPE方法實作了“All in One”和“One for All”的目标，在圖領域展現出卓越的泛化能力和适應能力。
實驗
1.小樣本下的跨域遷移
作者在同配和異配圖資料集上對有監督方法（supervised）、預訓練微調方法（IP + finetuning）和圖協調器預訓練微調架構（GCOPE + finetuning）進行了評估。下表展示了各種方法在小樣本場景下跨同配異配資料集的遷移效果。結果表明，GCOPE方法對比傳統單域預訓練政策具有卓越的遷移能力。
2.跨圖連接配接分析
跨圖連接配接作為跨域圖資料集在預訓練期間資訊互動的重要結構。作者研究了不同協調器之間的跨圖連接配接的邊對GCOPE有效性的影響。具體來說，作者比較了兩種變體：GCOPE/w（包括跨圖連接配接）和 GCOPE/wo（取消跨圖連接配接）。結果顯示，GCOPE/w的效果遠遠好于GCOPE/wo的效果，進一步驗證了跨圖連接配接的必要性和有效性。
3.GCOPE+圖提示
圖提示作為一種重要的下遊遷移技術。作者在4個常見的同配異配圖資料集上測試了圖提示的遷移效果（GCOPE + ProG）。實驗結果表明，與監督方法和傳統的預訓練微調方法相比，GCOPE + finetuning和 GCOPE + ProG都表現出更優越的性能。值得注意的是，盡管GCOPE + ProG的性能略低于GCOPE + finetuning，但在下遊節點分類任務中，GCOPE + ProG通過最少的可調參數實作了正遷移效果。與有監督方法相比，GCOPE + ProG的表現顯著提升，縮小了性能差距。
結論
在這項研究中，作者深入探讨了跨域圖學習中負遷移現象的複雜性。為解決這一問題，作者提出了一種名為GCOPE的創新跨域圖預訓練架構，有效地減輕了負遷移的影響。具體而言，GCOPE利用可學習的協調器對不同領域的圖進行無縫融合，建立互相連接配接并對齊其特征。實驗結果表明，GCOPE在各種同配、異配資料集上均表現出色，不僅提高了模型的跨領域遷移能力，還在少樣本學習場景中展現出顯著的優勢。通過成功利用多樣化跨域圖資料集的協同潛力，GCOPE将成為圖基礎模型領域中一項開創性的工作，為實作通用人工智能的目标邁出了重要一步。未來的研究将繼續優化該方法，探索其在更多實際應用中的潛力。
教授介紹 Prof. Jia Li
李佳博士，資料科學與分析學域助理教授，港科大廣州-創鄰圖資料實驗室聯合主任。博士畢業于香港中文大學。他在工業界有多年的資料挖掘工作經曆，曾供職于Google和騰訊。其研究目前主要為圖資料的大模型，異常檢測，圖神經網絡以及基于圖資料的藥物發現和醫療健康。他以第一作者或者通訊作者在人工智能與資料挖掘領域頂級會議與期刊發表三十多篇CCF-A論文，如Nature Communications, NeurIPS, SIGKDD, ICML, TPAMI等。獲得2023年資料挖掘頂會SIGKDD Best Research Paper Award.