Graph-level anomaly detection, GAD：圖級異常檢測
Deep support vector data description, Deep SVDD：深度單分類異常檢測模型
摘要：GAD是指與其他圖相比，檢測出結構和/或節點特征異常的圖。GAD的挑戰之一是設計出能夠檢測局部和全局異常的圖表示，即分别在其細粒度（節點級）或整體（圖級）屬性上異常的圖。為了解決這一問題，作者提出了一種新的深度異常檢測方法，該方法通過對圖和節點表示的聯合随機蒸餾來學習豐富的全局和局部正常模式資訊。随機蒸餾是通過訓練一個GNN來預測另一個具有随機初始化網絡權值的GNN。在來自不同領域的16個真實世界的圖資料集上進行的大量實驗表明，論文提出的模型顯著優于7個最先進的模型。
1 Introduction GAD的目标是檢測出在與集合中大多數圖顯著不同的圖。記錄不同實體之間複雜關系的能力使得圖成為現實世界中一種重要和廣泛使用的表示方式。是以，基于圖的異常檢測在識别有嚴重副作用的藥物、從化合物中識别有毒分子、破除毒品走私網絡等方面有着廣泛的應用。
盡管圖資料很普遍，其異常檢測也很重要，但與其他類型資料的異常檢測相比，GAD很少受到關注。GAD的一個主要挑戰是學習圖表示方法，即在圖結構以及屬性（如節點的描述性特征）中捕獲局部和全局模式。同時檢測與節點個體以及他們的鄰居節點相關的圖局部異常和與整體圖特征相關的圖全局異常是很有必要的。
一個相關的研究方向是從單個圖的時間演化序列中尋找圖結構異常變化，其中不同時間步長的大多數節點和結構都是不變的。而GAD則需要在沒有時間順序程序且結構和節點特征多樣化的情況下識别出圖異常，這類研究明顯較少。
深度學習在各種學習任務中取得了巨大的成功，包括最近出現的基于圖神經網絡GNN的方法。此外，深度異常檢測模型如基于自編碼器AE的方法，基于生成對抗網絡GAN的方法以及一類分類器，在不同類型的的資料集（如表格資料、圖像資料和視訊資料）上都表現出了良好的性能。然而很少有研究利用GNN探索GAD任務。許多機遇GNN的模型被用于圖資料的異常檢測，但它們大多關注的是單個大型圖中的異常節點/邊的檢測。
GAD中基于AE和GAN的檢測方法的一個挑戰是它們對基于重構誤差的異常度量的依賴。這是因為從潛在向量表示重構或生成圖仍然具有挑戰性。如基于一類分類器的Deep SVDD通過直接優化GNN圖表示頂層的SVDD對象可以應用于GAD，但它隻關注檢測圖全局異常。是以它的性能很大程度上收到SVDD一類超球面的限制，因為在真實資料集正常類中通常有更複雜的分布。
文章介紹了一種新的GAD深度異常檢測方法，該方法能通過對圖和節點表示的聯合随機蒸餾來同時學習全局和局部正常模式資訊。随機表示蒸餾是通過訓練一個GNN來預測另一個具有随機初始化固定的網絡權值的GNN，即預測器網絡學習産生與随機網絡相同的表示。為了準确預測這些固定的随機投影表示，預測器網絡被強制學習訓練資料中的所有主要模式。通過在圖和節點表示上應用這種随機蒸餾，模型在給定的訓練圖上學習全局局部圖模式。當訓練資料由完全（或大部分）正常圖組成時，學習到的模式是彙總的規則/正常的多尺度圖資訊。是以，當給定的圖中節點/圖級的模式顯示不規則/異常，模型無法準确預測其表示，導緻預測誤差比正常圖大得多。是以，這種預測誤差可以被定義為異常分數，用來檢測上述兩種圖異常類型。
據此，文章的主要貢獻如下：
（1）将GAD問題表述為檢測局部或全局異常圖的任務，并在真實資料集上驗證這兩種圖異常類型的存在。
（2）介紹了一種新的深度異常檢測架構，對全局局部圖規則模組化，并以端到端的方式學習圖異常分數，設計了第一種專門有效檢測兩種類型的異常圖的方法。
（3）從架構進一步執行個體化了一種新的GAD模型，即全局和局部知識蒸餾GLocalKD。通過最小化随機圖卷積神經網絡的圖級和節點級預測誤差，GLocalKD實作了圖和節點表示的聯合随機蒸餾。GLocalKD易于實作，不需要具有挑戰性的圖生成，在訓練資料較少的情況下，可以有效地學習多種全局局部正常模式。它對異常幹擾也表現出了顯著的魯棒性，表明它在無監督（異常幹擾的無标簽訓練資料）和半監督（完全正常的訓練資料）中都具有适用性。
在化學、醫學和社交網絡領域的16個真實資料集上的廣泛實證結果表明：1 GLocalKD顯著優于7種最先進的競争方法；2 與其他深層檢測器相比，GLocalKD具有更高的樣本效率，如它可以使用少于95%的訓練樣本來實作精度，仍然顯著優于競争方法；3 GLocalKD使用預設GNN架構，在不同的異常幹擾率和表示次元下都非常穩定。
2 Related Work 2.1 Graph-level Anomaly Detection 近年來，基于圖的異常檢測收到了廣泛的關注，尤其是最近出現的基于GNN的異常檢測方法，但大多數研究都集中在單個大圖上的異常（如異常節點或邊）。
Time-evolving Graphs：現有的GAD研究大多是在一系列的時間演化圖中識别異常圖的變化。然而這些方法被設計來處理具有相似結構的時間圖，很難推廣到結構和或描述特征有很大變化的圖。
Static Graphs：基于靜态圖的異常檢測研究很少。一個研究方向是利用強圖表示方法或圖核來實作GAD。最近一些研究通過應用現有的異常度量，如孤立森林（iForest）、局部異常因子LOF、一類支援向量機OCSVM在進階圖核（如Weisfeiler-Leman核和propagation kernel(PK) ）或圖表示學習方法（如Graph2Vec和InfoGraph）的基礎上學習的向量化圖表示。這些方法的關鍵問題都是圖表示是獨立于異常檢測學習的，導緻了表示的次優表現。另外也有關于GAD的圖級模式提取的研究。但是這些方法受到不同領域或應用場景中圖級模式的較大差別的限制。
Deep Learning-based Methods：盡管在不同類型的資料中深度異常檢測取得了很大的成功，但關于GAD的研究還比較少。深度圖學習技術如圖卷積網絡GCN以及圖同構網絡GIN，已經成為強大的圖表示學習工具，可以應用到不同的下遊任務。現有的深度異常檢測方法在很大程度上依賴于資料重構/生成模型。是以，圖的重構/生成的困難極大的阻礙了GAD深度方法的發展。Zhao等人對GAD進行了大量的評估研究，結果表明Deep SVDD可以應用于基于GNN的圖表示以實作GAD。然而，它隻關注高層次圖表示異常，其性能也受到了SVDD的限制。
2.2 Knowledge Distillation 知識蒸餾的初始目标是訓練一個簡單的模型，該模型提取大型模型知識的同時能保持與其相似的準确性，在許多研究中擴充到異常檢測。這些方法都訓練了一個更簡單的學生網絡，在大規模資料上提取預先訓練好的教師網絡的知識，如在ImageNet上預先訓練的ResNet/VGG網絡。但是對于圖級資料的學習任務，沒有這種經過訓練的通用教師網絡；此外不同領域的圖資料集之間存在顯著差異，阻礙了這種方法在GAD任務中的應用。随機知識蒸餾最初引入用于解決深度強化學習DRL中的稀疏獎勵問題。它使用随機蒸餾誤差來度量新狀态，作為額外的獎勵資訊鼓勵DRL代替在稀疏獎勵情況下的探索。受此啟發，文章設計了GLocalKD模型來共同學習全局局部敏感的圖正态性，這是第一種專門設計用于深度圖級異常檢測兩種類型圖異常的檢測方法。
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 3 Framework 3.1 Problem Statement 這項研究解決了端到端圖級異常檢測的問題。首先給定一組
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 個正常圖
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation ，目标是學習一個異常評分函數
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation ，參數化為
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation ，例如如果
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 比
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 更符合
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation ，則
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 。在
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 中，每個圖可以表示為
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation ，其中
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 表示向量/節點集，
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 表示邊集。每個圖
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 的圖結構可以用鄰接矩陣
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 表示，其中
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 為圖
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 的節點數。如果
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 為屬性圖，則每個節點關聯一個特征向量
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 。
圖集的異常圖可以分為兩類：
局部異常圖：圖
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 中存在某些異常節點
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 導緻不符合
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 中的圖，這些異常節點與
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 中相似節點有明顯的偏差。
全局異常圖：圖
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 的整體圖性質與
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 中的圖不一緻。
我們的目标是訓練一個檢測模型可以檢測這兩種類型的異常圖。檢測局部異常圖與檢測異常節點是不同的，前者是通過評估節點/邊在圖集中檢測圖，後者是在給定的一個圖中的節點和邊集中檢測節點/邊。
3.2 The Proposed Framework 為解決上述問題，文章提出了一種端到端的評分架構，綜合了兩個圖神經網絡并結合圖的節點表示随機知識蒸餾來訓練深度異常檢測器。該模型能夠有效檢測出這兩種類型的異常圖。
3.2.1 Overview of the Framework
文章提出的架構同時提取每個圖的圖級和節點級表示，以學習全局和局部的圖正常資訊。它由兩個完全相同結構的圖神經網絡（固定的随機初始化目标網絡和預測網絡）和兩個蒸餾損失組成。通過訓練預測網絡來預測随機目标網絡産生的圖（節點）級表示以學習整體（細粒度）圖的正常資訊。
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 和
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 分别表示由預測網絡和目标網絡輸出的圖
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 的表示，
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 和
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 分别是兩個網絡生成的圖
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 中節點
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 的表示。整體的目标函數可以表示為：
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 其中
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 是平衡圖級和節點級損失函數重要性的參數，
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 和
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 分别是圖級和節點級蒸餾損失函數。
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 是一個蒸餾函數，用于衡量兩個特征表示之間的差異，
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 為圖的數量。
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 整個架構訓練階段的總體流程如下：（1）首先随機初始化一個圖網絡
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 作為目标網絡，并固定其權重參數
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation ，對于每個給定的圖
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation ，它将為圖
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 生成一個圖級表示
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 和每個節點
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 一個節點級表示
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation ；（2）通過
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 對一個與
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 結構相同的預測網絡
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 進行參數化訓練，以預測目标網絡的輸出表示，也就是對于一個 圖
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation ，生成圖級表示
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 和節點級表示
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation ；（3）最終對于圖
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation ，将
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 、
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 、
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 、
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 整合到損失函數
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 中，最小化損失函數以訓練預測網絡
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 。
在評估階段，給定圖
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 的異常分數定義如下，其中
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 是預測網絡的可學習參數：
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 3.2.2 Key Intuition
圖的圖級和節點級表示是通過GNN來學習的，GNN具有捕捉圖結構和語義資訊的強大能力，在各種學習任務和應用中都得到了驗證。架構中的聯合随機蒸餾使得預測器網絡的圖表示和節點表示都盡可能接近于固定随機目标網絡在正常圖資料上的相應輸出。這類似于提取圖和節點随機表示中的不同模式（頻繁或不頻繁）。如果一個模式經常出現在随機表示空間中，那麼這個模式就會被更好的提煉出來。比如當樣本量較大時預測誤差較小，否則預測誤差較大。是以聯合随機蒸餾從圖表示和節點表示中學習這些規則性資訊。對于給定的測試圖
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation ，如果不符合圖或節點級嵌入在訓練圖集
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 中規則行資訊，其異常分數
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 會很大。
4 Joint Random Distillation of Graph and Node Representation 該架構執行個體化為GLocalKD方法，使用圖卷積網絡GCN學習節點和圖的表示，聯合蒸餾由兩個基于均方誤差的損失函數驅動。
4.1 Graph Neural Network Architecture 4.1.1 Random Target Network
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 是一個具有固定随機初始化權重
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 的GCN，
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 是圖
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 中的節點數量，
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 是節點表示的預定義次元大小。對于
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 中每個圖
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation ，鄰接矩陣
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 和特征矩陣
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 作為GCN的輸入，使用
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 映射每個節點
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 到表示空間。
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 表示節點
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 在第
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 層的表示:
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 其中
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 是ReLU激活函數，
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 表示節點
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 的一階鄰居集合，
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 是對角度矩陣，
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation ，
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation ，
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation （
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 是一個機關矩陣），
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 在第0層的輸入表示是其特征向量：
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 。是以節點
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 的輸出随機節點表示可以寫成：
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 其中
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 為
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 的層數。屬性圖的特征矩陣
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 由節點特征組成，對于沒有節點屬性特征的圖，使用節點度作為特征構造簡單的特征矩陣
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 。
然後，将READOUT操作應用到節點表示中以學習
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 的圖級表示：
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 4.1.2 Predictor Network
預測器網絡是一個用于預測目标網絡輸出表示的圖網絡，使用與目标網絡完全相同的GCN結構，表示為：
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation ，
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 為可學習權重參數。與目标網絡類似，預測網絡輸出的節點
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 表示可描述為：
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 通過與
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 相同的READOUT操作，圖表示通過下面公式計算：
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 是以随機目标網絡
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 和預測網絡
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 的唯一差別是
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 是随機初始化之後固定的，而
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 需要通過下面的全局和局部知識蒸餾來學習。
4.2 Glocal Regularity Distillation 通過最小化預測網絡和目标網絡産生的（圖級和節點級）表示之間的距離，進一步執行全局局部正則化蒸餾。具體來說，圖級和節點級蒸餾損失函數定義如下：
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 為了同時學習全局和局部圖正則化資訊，整合上述損失函數以優化：
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 4.3 Anomaly Detection of Using GLocalKD 通過聯合全局局部随機蒸餾，預測器網絡中學習的表示在圖級和節點級捕獲正則性資訊。給定一個測試圖樣本
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation ，它的異常分數定義為在圖和節點級表示的預測誤差，表明在文章的異常評分中，局部異常和全局異常圖同等重要：
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 5 Experiments and Results 5.1 Datasets 選擇了16個公開的來自不同領域的真實世界資料集。表中前六個資料集為屬性圖，即每個節點具有一定的描述特征，其它都是簡單的圖。HSE，MMP，p53和PPAR-gamma是有真實異常圖的資料，其餘12個資料集将少數類視為異常，轉換為異常檢測任務。
5.2 Competing Methods Two-step Methods：（iForest和LESINN）InfoGraph、WL、PK
End-to-end Methods：OCGCN
5.3 Implementation and Evaluation GLocalKD的目标網絡和預測器網絡具有相同的結構，即三層GCN網絡。隐層次元為512，輸出層有256個神經單元。通過網格搜尋選擇學習率，取值範圍為
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 。除HSE，MMP，p53和PPAR-gamma四個最大的資料集batch=2000，其餘資料集batch=300.
評價名額：AUC、标準偏差（四個最大的資料集基于5此不同随機種子，其餘5折交叉檢驗）
5.4 Comparison to State-of-the art Methods Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation GLocalKD模型在七個資料集上表現最優，在DD和COLLAB等其他資料集上，本文提出的模型性能非常接近最佳對比方法。同時現有預測方法隻能捕捉局部或全局資訊，而GLocalKD可以同時學習局部和全局圖的規律。如表2所示，如果隻學習局部/全局圖規律，則性能會大幅度下降。
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 5.5 Sample Efficiency 分别測試使用5%、25%、50%、75%和100%的原始訓練樣本對模型訓練，并在同一測試資料集上評估模型性能。比較結果表明GLocalKD可以在幾乎所有的測試中保持同樣良好的性能。
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 5.6 Robustness w.r.t. Anomaly Contamination 在實際應用中，收集的資料可能存在一些異常或資料噪聲的污染，文章還研究了不同異常污染水準下模型的魯棒性。實驗結果表明，GLocalKD幾乎不受污染的影響，在所有資料集上表現非常穩定，這主要是因為GLocalKD本質上是通過随機蒸餾來學習訓練資料中各種類型的表示，隻要異常表示在訓練資料中出現的頻率低于正常表示就可以檢測出異常，而比較方法OCGCN的異常度量方法對異常污染較為敏感。
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 5.7 Sensitivity Test 文章還測試表示次元和GCN深度對模型性能影響。在大多數資料集上，改變表示次元的大小，GLocalKD的性能始終保持穩定。此外在幾乎所有的資料集上，随着GCN深度的增加，GLocalKD獲得了更好的性能。當深度從3增加到5的時候，性能開始不再變化。此處使用網絡深度為3，因為更深層的GCN并不能實作更好的性能，同時計算成本更高。
Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 6 Conclusion 文章提出了一種新的檢測異常圖的架構GLocalKD。該方法也是第一個設計用來同時檢測全局和局部圖異常的模型。大量的實驗表明，本文提出的方法性能較優，與現有的模型相比，它可以更有效地進行訓練。同時，在訓練資料中有很大的異常污染時，GLocalKD也能實作很好的性能。
7 Appendix Implementation Details Dataset learning rate batch epochs PROTEIN_full Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 300 150 ENZYMES Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation 300 150
