【論文解讀 AAAI 2020 | Bi-GCN】Rumor Detection on Social Media with Bi-Directional GCN

論文題目：Rumor Detection on Social Media with Bi-Directional Graph Convolutional Networks

論文來源：AAAI 2020 清華大學, 騰訊AI

論文連結：https://arxiv.org/abs/2001.06362

代碼連結：https://github.com/TianBian95/BiGCN

關鍵詞：謠言檢測，社交媒體，GCN

文章目錄

• 1 摘要
• 2 引言
• 3 Preliminaries
• 4 Bi-GCN謠言檢測模型
• 5 實驗
• 6 總結
• 參考文獻

1 摘要

本文解決的是社交媒體上的謠言檢測問題。

已有一些研究使用深度學習的方法，通過謠言的傳播方式檢測出謠言。例如RvNN（Recursive Neural Network）。但是這些深度學習方法在謠言檢測中隻考慮到了傳播的深度，卻忽視了廣泛散布（wide dispersion）的結構。

實際上傳播（propagation）和散布（dispersion）是謠言的兩個關鍵特征。本文提出Bi-GCN（Bi-Directional Graph Convolutional Networks）圖模型，從謠言自頂向下（top-down）和自底向上（bottom-up）的傳播方向上發掘這兩個特征。模型中使用到了兩個GCN，一個GCN使用了謠言傳播的top-down的有向圖以學習到謠言的傳播模式；另一個GCN使用了相反的有向圖以捕獲到謠言的散布模式。此外，GCN的每一層中都利用到了源文章的資訊，以增強謠言根源的影響。

作者在一些benchmarks上進行實驗，結果顯示本文的方法實作了SOTA。

2 引言

（1）傳統的謠言檢測方法

傳統的檢測方法主要采用了人工設計的特征，例如使用者特征、本文内容和傳播模式，來訓練有監督的分類器，例如決策樹、随機森林、SVM。也有一些研究應用了更多的有效特征，例如使用者評論、時序結構特征、文章的情感屬性等。

但是，這些方法主要依賴于特征工程，耗時耗力。而且這些人為設計的特征通常缺乏從謠言傳播和散布中抽取出來的高階（high-level）表示。

（2）最近的研究

近期有的研究使用深度學習方法從傳播路徑/樹或者網絡中，挖掘出高階的表示以進行謠言的識别。通常使用到的模型都是可以捕獲到謠言随時間傳播的序列特征的模型，例如LSTM, GRU, RvNN。

但是這些模型有一定的局限性，因為時序結構特征隻關注到了謠言的傳播序列，而忽視了謠言散布的影響。謠言散布的結構也隐含了謠言傳播行為的資訊。

是以，一些研究嘗試通過使用基于CNN的方法，從謠言擴散的結構中獲得資訊。基于CNN的方法可以得到局部鄰域内的相關特征，但是不能處理圖或樹上的全局結構關聯。也就是說，基于CNN的方法忽視了謠言散布的全局結構特征。而且，實際上CNN的設計目的并不是為了從結構資料中學習到高階表示，但這是GCN的設計目的。

（3）本文提出

GCN已經在社交網絡、實體系統、化學制藥發現等領域取得了成功。本文使用GCN用于謠言檢測。

正如圖 1(a)所示，GCN也可稱為是無向的GCN（UD-GCN）。GCN隻依賴于相關文章間的關系進行資訊的聚合，但丢失了序列順序資訊。盡管UD-GCN可以處理謠言散布的全局結構特征，但是謠言傳播的方向也是謠言檢測的重要線索，仍需要考慮謠言傳播的方向。謠言的兩個主要特性是：沿着關系鍊的深層傳播和跨社交社群的寬度散布。好的方法應該同時考慮到這兩個特性。

為了處理謠言的傳播和散布特性，本文提出Bi-GCN方法，在謠言top-down和bottom-up傳播上進行操作。模型由兩部分組成，即TD-GCN（Top-Down graph convolutional Networks）和BU-GCN（Bottom-Up graph convolutional Networks），分别如圖 1(b)和圖 1©所示。TD-GCNH中資訊從父節點出發向外散布，正如謠言的傳播過程；BU-GCN中資訊從子節點向父節點聚合。然後通過全連接配接層将TD-GCN和BU-GCN的傳播和分散表示合并到一起，得到最終的結果。

此外，為了增強謠言根源的影響，作者在GCN每一層都将謠言樹根節點的特征和該層的隐層特征拼接起來。作者還在訓練時使用到了DropEdge以避免過拟合。

（4）本文主要貢獻

1）是第一個将GCN用于社交媒體上謠言檢測的工作；

2）提出了Bi-GCN模型，不僅考慮了謠言沿關系鍊自上而下傳播的因果特征，還通過自下而上的聚集得到了社群内謠言散布的結構特征。

3）将源文章的特征和GCN中每一層的其他文章的特征相拼接，以廣泛使用根特征的資訊，并且有助于在謠言檢測中實作較好的性能。

在三個真實世界的資料集上使用本文的Bi-GCN方法進行了實驗，并超越了幾個SOTA方法。

3 Preliminaries

介紹本文方法用到的重要概念和有關定義。

（1）定義

令 C = { c 1 , c 2 , . . . , c m } C={\{c_1, c_2, ..., c_m}\} C={c1​,c2​,...,cm​}表示謠言檢測資料集， m m m是事件總數。 c i = { r i , w 1 i , w 2 i , . . . , w n i − 1 i , G i } c_i = {\{r_i, w^i_1, w^i_2, ..., w^i_{n_i-1}, G_i}\} ci​={ri​,w1i​,w2i​,...,wni​−1i​,Gi​}， n i n_i ni​表示 c i c_i ci​中的文章數， r i r_i ri​表示源貼， w j i w^i_j wji​表示第 j j j個相關的響應貼， G i G_i Gi​表示傳播結構。

G i G_i Gi​定義為圖 < V i , E i > <V_i, E_i> <Vi​,Ei​>，其中 r i r_i ri​是根節點， V i = { r i , w 1 i , . . . , w n i − 1 i } V_i = {\{r_i, w^i_1, ..., w^i_{n_i-1}}\} Vi​={ri​,w1i​,...,wni​−1i​}， E i = { e s t i ∣ s , t = 0 , . . . , n i − 1 } E_i = {\{e^i_{st} | s, t=0,..., n_i-1}\} Ei​={esti​∣s,t=0,...,ni​−1}表示已回複的文章到已轉發的文章或已回複的文章的邊的集合，如**圖 1(b)**所示。例如若 w 2 i w^i_2 w2i​有針對 w 1 i w^i_1 w1i​的回應，則就存在有向邊 w 1 i → w 2 i w^i_1 \rightarrow w^i_2 w1i​→w2i​，即 e 12 i e^i_{12} e12i​。若 w 1 i w^i_1 w1i​有針對 r r r的回應，則存在有向邊 r i → w 1 i r_i \rightarrow w^i_1 ri​→w1i​，即 e 01 i e^i_{01} e01i​。定義 A i ∈ { 0 , 1 } n i × n i \mathbf{A_i}\in {\{0, 1}\}^{n_i\times n_i} Ai​∈{0,1}ni​×ni​為鄰接矩陣，其中：

定義 X i = [ x 0 i T , x 1 i T , . . . , x n i − 1 i T ] T \mathbf{X_i} = [\mathbf{x^i_0}^T, \mathbf{x^i_1}^T, ..., \mathbf{x^i_{n_i-1}}^T]^T Xi​=[x0i​T,x1i​T,...,xni​−1i​T]T為從 c i c_i ci​中的文章中抽取出的特征矩陣，其中 x 0 i T \mathbf{x^i_0}^T x0i​T表示 r i r_i ri​的特征向量，矩陣的每一行 x j i T \mathbf{x^i_j}^T xji​T表示 w j i w^i_j wji​的特征向量。

此外，每個事件 c i c_i ci​都有ground truth标簽 y i ∈ { F , T } y_i \in {\{F, T}\} yi​∈{F,T}，表明其是否是謠言。在某些情況下， y i ∈ { N , F , T , U } y_i\in {\{N, F, T, U}\} yi​∈{N,F,T,U}，分别表示Non-rumor, False Rumor, True Rumor, Unverified Rumor。

給定資料集後，謠言檢測的目标是學習到分類器 f f f。基于本文内容、使用者資訊以及從事件中建構出來的相關文章組成的傳播結構，對事件的标簽進行預測。

其中 C , Y C, Y C,Y分别表示事件集合和标簽集合。

（2）GCN

将卷積應用到圖領域中引起了學者們的關注，其中GCN是最有效的卷積方法之一，GCN的卷積操作可以看成是消息傳遞結構：

其中 H k ∈ R n × v k \mathbf{H_k}\in \mathbb{R}^{n\times v_k} Hk​∈Rn×vk​是第 k k k個圖卷積層計算出的隐層特征矩陣， M M M是消息傳播函數，鄰接矩陣 A \mathbf{A} A、隐層特征矩陣 H k − 1 \mathbf{H_{k-1}} Hk−1​以及參數 W k − 1 \mathbf{W_{k-1}} Wk−1​都是 M M M的參數。

有許多種用于GCN的消息傳遞函數 M M M，其中定義在一階近似的ChebNet（1stChebNet）中的消息傳播函數如下：

其中 A ^ = D ~ − 1 2 A ~ D ~ − 1 2 \hat{\mathbf{A}} = \tilde{\mathbf{D}}^{-\frac{1}{2}} \tilde{\mathbf{A}} \tilde{\mathbf{D}}^{-\frac{1}{2}} A^=D~−21​A~D~−21​是歸一化的鄰接矩陣，其中 A ~ = A + I N \tilde{\mathbf{A}} = \mathbf{A} + \mathbf{I}_N A~=A+IN​，也就是添加了自環。

（3）DropEdge

DropEdge是發表在ICLR 2020上的文章[1]，用于緩解基于GCN的模型的過拟合問題。在每次訓練epoch中，将會以一定的比率随機地從原始圖中删除掉一些邊。這一方法可以增強輸入資料的随機性和多樣性，就想對圖檔的随機旋轉和翻轉一樣。

假定圖 A \mathbf{A} A中的邊總數是 N e N_e Ne​，随機删除率是 p p p，則DropEdge之後的鄰接矩陣 A ′ \mathbf{A}^{'} A′計算如下，其中 A d r o p \mathbf{A}_{drop} Adrop​是從原始邊集中随機采樣 N e × p N_e\times p Ne​×p條邊建構出來的。

4 Bi-GCN謠言檢測模型

Bi-GCN的核心思想是從謠言傳播和謠言散布中學習得到高階的表示。Bi-GCN模型中使用到了兩層的1stChebNet作為基本的GCN元件。如圖 2所示，我們将Bi-GCN模型的執行流程分為4步。

我們首先将讨論如何将Bi-GCN模型應用到一個事件上。

（1）建構傳播和散布圖(Construct Propagation and Dispersion Graphs)

基于回複和轉發關系，我們為謠言事件 c i c_i ci​建構傳播結構 < V . E > <V. E> <V.E>。令 A ∈ R n i × n i \mathbf{A}\in \mathbb{R}^{n_i\times n_i} A∈Rni​×ni​為其鄰接矩陣， X \mathbf{X} X為謠言事件 c i c_i ci​基于謠言傳播樹的特征矩陣。其中，如**圖 1(b)**所示， A \mathbf{A} A隻包括從上部節點到下部節點的連邊。

在每次訓練epoch中，有 p p p比例的邊根據式（3）從原始圖中删除以形成 A ′ \mathbf{A}^{'} A′，進而避免過拟合。基于 A ′ \mathbf{A}^{'} A′和 X \mathbf{X} X，我們可以建構Bi-GCN模型。

Bi-GCN模型由TD-GCN和BU-GCN組成。這兩個元件使用的鄰接矩陣是不同的。對于TD-GCN來說，鄰接矩陣為 A T D = A ′ \mathbf{A}^{TD}=\mathbf{A}^{'} ATD=A′；對于BU-GCN來說，鄰接矩陣為 A B U = A ′ T \mathbf{A}^{BU}=\mathbf{A}^{'T} ABU=A′T。TD-GCN和BU-GCN使用相同的特征矩陣 X \mathbf{X} X。

（2）計算高階的節點表示

在DropEdge操作之後，可以使用TD-GCN和BU-GCN分别得到top-down傳播特征和bottom-up傳播特征。

對式（2）進行更改，得到TD-GCN兩層的隐層表示：

其中 H 1 T D ∈ R n × v 1 \mathbf{H}^{TD}_1\in \mathbb{R}^{n\times v_1} H1TD​∈Rn×v1​和 H 2 T D ∈ R n × v 3 \mathbf{H}^{TD}_2\in \mathbb{R}^{n\times v_3} H2TD​∈Rn×v3​是TD-GCN兩層的隐層特征表示， W 0 T D ∈ R d × v 1 \mathbf{W}^{TD}_0\in \mathbb{R}^{d\times v_1} W0TD​∈Rd×v1​和 W 1 T D ∈ R v 1 × v 2 \mathbf{W}^{TD}_1\in \mathbb{R}^{v_1\times v_2} W1TD​∈Rv1​×v2​是TD-GCN的卷積核參數矩陣。作者使用ReLU函數作為激活函數。

和式（4）式（5）中的計算類似，可以得到BU-GCN的隐層特征 H 1 B U \mathbf{H}^{BU}_1 H1BU​和 H 2 B U \mathbf{H}^{BU}_2 H2BU​。

（3）謠言根源特征的增強

謠言事件的根源文章總是包含足夠的資訊以産生更廣範圍的影響。

處了TD-GCN和BU-GCN的隐層特征之外，我們還提出了使用根源特征的增強以提高模型進行謠言檢測的性能。

針對TD-GCN的第 k k k層GCL，我們将每個節點的隐層特征向量和第 ( k − 1 ) (k-1) (k−1)層GCL的根節點的隐層特征向量拼接起來，構成一個新的特征矩陣：

其中 H 0 T D = X \mathbf{H}^{TD}_0 = \mathbf{X} H0TD​=X。我們用根節點特征增強後的隐層特征 H ~ 1 T D \tilde{\mathbf{H}}^{TD}_1 H~1TD​替換式（5）中的 H 1 T D \mathbf{H}^{TD}_1 H1TD​。于是得到 H ~ 2 T D \tilde{\mathbf{H}}^{TD}_2 H~2TD​:

和式（4）式（5）中的計算類似，可以得到BU-GCN的隐層特征 H ~ 1 B U \tilde{\mathbf{H}}^{BU}_1 H~1BU​和 H ~ 2 B U \tilde{\mathbf{H}}^{BU}_2 H~2BU​。

（4）用于謠言分類的傳播和擴散的表示

分别對TD-GCN和BU-GCN中的節點表示進行聚合，就可以得到傳播和擴散的表示。

作者使用了mean-pooling操作以聚合這兩組節點表示，形式如下：

然後，我們将傳播和擴散的表示進行拼接來将兩者的資訊融合：

最後，使用一些全連接配接層和softmax層，得到事件的預測标簽 y ^ \hat{\mathbf{y}} y^​。其中 y ^ ∈ R 1 × C \hat{\mathbf{y}}\in \mathbb{R}^{1\times C} y^​∈R1×C是所有标簽類别對應的機率組成的向量。

使用交叉熵作為訓練過程中的損失函數。

5 實驗

（1）資料集

• Weibo[2]
• Twitter15[3]
• Twitter16[3]

其中，節點代表使用者，邊代表轉發和回複關系，特征是根據TF-IDF值抽取的top-5000個單詞。

Weibo資料集的标簽是二進制的，分為False Rumor(F)和True Rumor(T)。Twitter15和Twitter16資料集包括4個标簽：Non-rumor (N), False Rumor (F), True Rumor (T), 和Unverified Rumor (U)。

表 1展示了三個資料集的統計資料：

（2）對比方法

• DTC：基于多樣的人工特征使用決策樹分類進行謠言檢測的方法；
• SVM-RBF：使用RBF核的基于SVM的模型，使用了基于文章的所有統計特征設計的人工特征；
• SVM-TS：線性SVM分類器，利用了人工特征以建構時間連續（time-series）的模型；
• SVM-TK：基于謠言傳播結構，使用傳播樹核的SVM分類器；
• RvNN：使用樹結構的帶有GRU單元的RNN進行謠言的檢測，通過傳播結構學習到謠言的表示；
• PPC_RNN+CNN：結合了RNN和CNN的謠言檢測模型，通過謠言傳播路徑上的使用者特性，學習到了謠言的表示；
• Bi-GCN：本文的基于GCN的謠言檢測模型，使用到了雙向的傳播結構。

（3）實驗結果

表 2和表 3展示了不同方法在三個資料集上的對比結果。

1）首先，可以看出基于深度學習的方法普遍比其他的使用人工特征的方法效果好。深度學習方法可以捕獲到有效的特征，學習到謠言的高階表示。

2）其次，本文提出的Bi-GCN在所有名額上都超越了PPC-RNN+CNN方法，這展現了合并謠言擴散結構對于謠言檢測的有效性。RNN和CNN方法不能處理圖結構的資料，是以忽視了謠言擴散中重要的結構特征。

3）最後，Bi-GCN由于RvNN模型。因為RvNN隻用到了所有葉子節點的隐層特征向量，是以受最後的文章的影響較大。然而，最後的文章往往缺少資訊（例如 評論資訊），并且僅僅跟随于先前的文章。本文提出的Bi-GCN模型使用了根節點特征的增強，給與了根源文章更多的關注，有助于提高模型的性能。

（4）消融實驗

為了分析Bi-GCN每個變形的影響，我們将其和TD-GCN, BU-GCNhe UD-GCN以及不使用根節點特征增強的變形進行了比較。實驗結果如圖 3所示。

（5）謠言早期檢測

目的是在謠言傳播的早期将其檢測出來，這也是度量謠言檢測方法一種名額。為了建構謠言早期檢測任務，作者建立了一系列檢測deadlines并隻使用deadlines前釋出的文章，進而評估本文的方法和baselines方法的準确性。

由于PPC_RNN+CNN不能處理變長的資料，是以沒有将其應用到這個實驗中。

圖 4展示了不同方法的結果。可以看出，本文提出的Bi-GCN方法在源初始廣播後的很早期就達到了較高的精度。

6 總結

本文提出了基于GCN的模型Bi-GCN，用于社交媒體上的謠言檢測。

GCN使得模型有處理圖/樹結構資料的能力，并且可以學習到更有助于謠言檢測的高階的表示。此外，作者還在GCN的每層GCL中将根源文章的特征和該層的隐層特征拼接起來，加強了根源文章的影響。同時，作者還建構了Bi-GCN的變型以模組化傳播模式，例如UD-GCN, TD-GCN, BU-GCN。

在三個資料集上進行了實驗，證明了基于GCN的方法優于SOTA baselines。

Bi-GCN模型實作了最好的效果，是因為考慮到了自頂向下的謠言傳播模式中關系鍊的因果特征，以及自底向上的不同社群聚合來的謠言散布的結構特征。

本文解決的問題是謠言檢測，提出了Bi-GCN模型，模型簡單清晰。并且實驗結果顯示該模型在謠言的早期檢測中也起到了很好的效果。

本文的亮點和要點在于：

（1）第一個使用基于GCN的方法進行了謠言檢測任務。

（2）和以往方法不同的是，模型考慮到了自頂向下的謠言傳播（propagation）結構，和自底向上的來自不同社群的謠言散布（dispersion）結構。具體表現為Bi-GCN由TD-GCN（top-down GCN）和BU-GCN（bottom-up GCN）兩個元件所構成。以往的方法大多隻使用到了自頂向下的謠言傳播結構。有基于CNN的方法考慮到了散布結構，但是由于其不能處理圖結構的資料，是以不能捕獲全局的結構資訊。

（3）模型還使用到了根源文章特征的增強。具體來說是在GCN每層GCL中，對于每個節點，将根源文章在上一層的隐層特征表示和節點在該層的隐層特征表示向拼接起來，作為節點在該層的最終隐層特征表示。這種方法增強了謠言根源文章對于學習到其他文章節點表示的影響力，可幫助模型學習得到更有助于謠言檢測的節點表示。

（4）還使用到了較新的DropEdge方法[1]，以緩解基于GCN的模型的過拟合問題。

參考文獻

[1] Rong Y, Huang W, Xu T, et al. Dropedge: Towards deep graph convolutional networks on node classification[C]//International Conference on Learning Representations. https://openreview. net/forum. 2020.

[2] Ma, J.; Gao, W.; Mitra, P.; Kwon, S.; Jansen, B. J.; Wong, K.-F.; and Cha, M. 2016. Detecting rumors from microblogs with recurrent neural networks. In Ijcai, 3818–3824.

[3] Ma, J.; Gao, W.; and Wong, K.-F. 2017. Detect rumors in microblog posts using propagation structure via kernel learning. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 708–717.