項目位址：
https://github.com/gordicaleksa/pytorch-GAT在正式介紹項目之前，先提一下圖神經網絡（GNN）。GNN 是一類基于深度學習的處理圖域資訊的方法。由于其較好的性能和可解釋性，GNN 最近已成為一種廣泛應用的圖分析方法。現已廣泛應用于計算生物學、計算藥理學、推薦系統等。
GNN 把深度學習應用到圖結構 (Graph) 中，其中的圖卷積網絡 GCN 可以在 Graph 上進行卷積操作，但是 GCN 存在一些缺陷。是以，Bengio 團隊在三年前提出了
圖注意力網絡(GAT，Graph Attention Network)，旨在解決 GCN 存在的問題。
GAT 是空間（卷積）GNN 的代表。由于 CNNs 在計算機視覺領域取得了巨大的成功，研究人員決定将其推廣到圖形上，是以 GAT 應運而生。
現在，有人用 PyTorch 實作了 GAT 可視化。我們來看看該項目是如何實作的。
可視化
Cora 可視化
說到 GNN，就不得不介紹一下 Cora 資料集。Cora 資料集由許多機器學習論文組成，是近年來圖深度學習很喜歡使用的資料集。Cora 中的節點代表研究論文，連結是這些論文之間的引用。項目作者添加了一個用于可視化 Cora 和進行基本網絡分析的實用程式。Cora 如下圖所示：
節點大小對應于其等級（即進出邊的數量）。邊的粗細大緻對應于邊的「popular」或「連接配接」程度。以下是顯示 Cora 上等級（進出邊的數量）分布的圖：
進和出的等級圖是一樣的，因為處理的是無向圖。在底部的圖（等級分布）上，我們可以看到一個有趣的峰值發生在 [2，4] 範圍内。這意味着多數節點有少量的邊，但是有 1 個節點有 169 條邊（綠色大節點）。
注意力可視化
有了一個訓練好的 GAT 模型以後，我們就可以将某些節點所學的注意力可視化。節點利用注意力來決定如何聚合周圍的節點，如下圖所示：
這是 Cora 節點中邊數最多的節點之一(引用)。顔色表示同一類的節點。
熵直方圖
另一種了解 GAT 沒有在 Cora 上學習注意力模式 (即它在學習常量注意力) 的方法是，将節點鄰域的注意力權重視為機率分布，計算熵，并在每個節點鄰域積累資訊。
我們希望 GAT 的注意力分布有偏差。你可以看到橙色的直方圖是理想均勻分布的樣子，而淺藍色的是學習後的分布，它們是完全一樣的。
分析 Cora 嵌入空間 (t-SNE)
GAT 的輸出張量為 shape=（2708，7），其中 2708 是 Cora 中的節點數，7 是類數。用 t-SNE 把這些 7 維向量投影成 2D，得到：
使用方法
方法 1：Jupyter Notebook
隻需從 Anaconda 控制台運作 Jupyter Notebook，它将在你的預設浏覽器中打開 session。打開 The Annotated GAT.ipynb 即可開始。
注意，如果你得到了 DLL load failed while importing win32api: The specified module could not be found，隻需要 pip uninstall pywin32，或者 pip install pywin32、onda install pywin32。
方法 2：使用你選擇的 IDE
如果使用自己選擇的 IDE，隻需要将 Python 環境和設定部分連接配接起來。
訓練 GAT
在 Cora 上訓練 GAT 所需的一切都已經設定好了，運作時隻需調用 python training_script.py
此外，你還可以：
- 添加 --should_visualize - 以可視化你的圖形資料
- 在資料的測試部分添加 --should_test - 以評估 GAT
- 添加 --enable_tensorboard - 開始儲存度量标準（準确率、損失）
代碼部分的注釋很完善，是以你可以了解到訓練本身是如何運作的。
該腳本将：
- 将 checkpoint* .pth 模型轉儲到 models/checkpoints/
- 将 final* .pth 模型轉儲到 models/binaries/
- 将度量标準儲存到中 runs/，隻需 tensorboard --logdir=runs 在 Anaconda 中運作即可将其可視化
- 定期将一些訓練中繼資料寫入控制台
通過 tensorboard --logdir=runs 在控制台中調用，并将 http://localhost:6006/URL 粘貼到浏覽器中，可以在訓練過程中将度量标準可視化：
可視化工具
如果要可視化 t-SNE 嵌入，請注意或嵌入該 visualize_gat_properties 函數的注釋，并設定 visualization_type 為：
- VisualizationType.ATTENTION - 如果希望可視化節點附近的注意力
- VisualizationType.EMBEDDING - 如果希望可視化嵌入（通過 t-SNE）
- VisualizationType.ENTROPY - 如果想可視化熵直方圖
然後，你就得到了一張優秀的可視化效果圖（VisualizationType.ATTENTION 可選）：
硬體需求
GAT 不需要那種很強的硬體資源，尤其是如果你隻想運作 Cora 的話，有 2GB 以上的 GPU 就可以了。
- 在 RTX 2080 GPU 上訓練 GAT 大約需要 10 秒；
- 保留 1.5 GB 的 VRAM 記憶體（PyTorch 的緩存開銷，為實際張量配置設定的記憶體少得多）；
- 模型本身隻有 365 KB。
如果你想了解更多關于 GAT 的内容，請點選下方視訊：
點選檢視原視訊連結