【論文解讀 KDD 2018 | HEER】Easing Embedding Learning by Comprehensive Transcription of HIN

論文連結：https://dl.acm.org/doi/10.1145/3219819.3220006

代碼連結：https://github.com/GentleZhu/HEER

會議：KDD 2018

目錄

1 摘要

2 介紹

2.1 動機

2.2 作者分析了現有的一些方法

2.3 挑戰

2.4 貢獻

3 HEER

3.1 一些定義

3.2 The HEER Model

4 總結

參考文獻

1 摘要

HIN在引入豐富的資訊的同時，也引入了潛在的不相容性。為了保留網絡中豐富但潛在不相容的資訊，作者研究了對HIN的綜合轉錄問題。本文提出了HEER算法，通過結合邊的表示和恰當的異質度量，學習HIN的嵌入表示。（實驗任務是edge reconstruction task）

2 介紹

HIN不僅引入了豐富的語義資訊，還引入了潛在不相容的語義資訊，這為HIN的嵌入學習帶來了挑戰。例如下圖所示，Stan喜歡musical類型的電影，也喜歡Ang Lee導演的電影。但是Ang Lee沒有導演過musical類型的電影，是以若這些節點都被映射到同一個度量空間的話，Ang Lee和musical的距離會很遠，因為它們不相似。是以，在同一個度量空間中，Stan不可能同時和這兩個節點距離近。為了緩解這一問題，作者引入邊的表示并且針對不同類型的邊使用不同的度量空間。這樣Stan節點可以在兩個度量空間中分别于Ang Lee和musical距離近。

2.1 動機

（1）研究HIN的綜合轉錄問題，目标是在嵌入表示中融入HIN中豐富且有着潛在不相容性的語義資訊，并且不涉及額外的專家知識、特征工程以及監督。

（2）提供易于使用的方法，充分發揮HIN中的資訊，以實作多種多樣的應用。

2.2 作者分析了現有的一些方法

（1）解決同質資訊網絡的方法通常是基于元路徑的，這不能解決HIN的綜合轉錄問題。因為元路徑的選擇很麻煩，而且選取出來的元路徑隻針對特定任務或者隻能反映出HIN的部分資訊。

（2）還有一些針對HIN的方法，隻對特定種類的HIN或添加了副資訊的HIN進行了表示學習。這些方法不能應用到一般的HIN。并且大多數針對HIN的嵌入表示方法隻為表示學習提供了一個度量空間，這可以處理HIN中部分可相容語義資訊，但是若對HIN整體記性綜合轉錄則會帶來資訊損失。

（3）最近的研究[1]提出了一個方法，通過在嵌入學習前将HIN分解成多個領域的，實作了在避免資訊損失的條件下（如：豐富的異質資訊、潛在沖突的語義資訊）獲得高品質的HIN表示。但是這種方法獨立地擷取到了不同領域的資訊，但是完全禁止了跨領域的聯合學習。本文提出的方法允許不同相容性的網絡元件，在聯合學習過程中進行不同程度的協作。

2.3 挑戰

（1）對複雜且不相容的異質資訊進行編碼；

（2）在無監督的情況下捕獲HIN的機構資訊，并且能辨識出潛在不相容的語義資訊。

作者提出HEER算法，在節點表示的基礎上建立邊的表示，并且為不同類型的邊采用不同的異構度量。同時，不同類型的邊上的資訊也被利用，反過來更新節點表示和邊表示。

2.4 貢獻

（1）研究了HIN嵌入學習中的綜合轉錄問題，保留了HIN豐富的語義資訊，并且易于在下遊任務中使用。

（2）提出現實世界中的HIN存在不可相容的語義資訊，這為HIN的綜合轉錄帶來了挑戰。

（3）提出算法HEER，利用邊的表示和異構度量，解決HIN的綜合轉錄問題。

（4）實驗證明了HEER的有效性。

3 HEER

3.1 一些定義

（1）異質資訊網絡

• 有向圖

  

  ，節點類型映射

  

  ，邊類型映射

  

  ，

  

  或

  

  。
• 對于邊類型

  

  ，定義

  

  ，其中

  

  表示節點類型對

  

  由類型為r的邊連接配接。

• 

  表示從節點u到節點v的類型為r的連邊e的權重。

• 

  分别代表節點u的連邊類型為r的出度和入度。

（2）節點和邊的表示

• 節點嵌入映射為

  

  ，邊嵌入映射為

  

  。
• 節點嵌入為

  

  ，節點對(u,v)由邊嵌入

  

  表示。

（3）HIN的綜合轉錄

學習到盡可能多的HIN中的豐富資訊用于表示，并且不需要額外的專家知識、特征工程，也不需要監督。

3.2 The HEER Model

學習到的HIN的嵌入表示應該對語義資訊進行了有效的編碼，是以應有重構HIN的能力。HEER模型使用邊的表示，不僅能夠預測兩節點間是否有邊，還能推斷出邊的類型。

為了讓HEER能夠處理無向圖和有向圖，節點嵌入根據出入度被分成了兩部分：

。基于節點嵌入的邊嵌入表示如下：

已知邊的嵌入表示

的條件下，定義節點對(u, v)的typed closeness如下，其中

表示類型為r的邊向量：

為了衡量嵌入表示重構HIN的能力，需要針對邊類型r最小化權重和typed closeness的差異：

将式（1）帶入式（2），最終的目标函數如下：

模型如下圖所示：

該模型結構，輸入是一個異質網絡，之後網絡中的節點使用index表示，通過F網絡學習出node embedding，之後通過g函數來學習出邊的embedding，最後通過type之間的相似度，也就是定義的相似度函數和原始連接配接關系共同作為ground truth，最後訓練出網絡參數，進而能夠學到網絡的嵌入模型。

由于式（1）的分母計算複雜。是以采用負采樣的方法縮短計算時間。每次(u, v)之間類型為r的邊，都以正比于權重的機率從HIN中采樣。得到K個負樣本節點對

和K個負樣本節點對

。損失函數計算如下：

作者使用mini-batch随機下降最小化帶有負采樣的損失函數，并且使用LINE預訓練的節點嵌入初始化為HEER中的節點嵌入，μr

初始化為值全為1的向量。

4 總結

HEER模型提出了HIN中由于類型不同而導緻的語義不相容性，使用邊的表示和不同的度量空間表示解決了這一問題，想法很有新意。

HEER不光學習到了節點的表示，還學習到了邊的表示。

但是HEER模型也有一定的局限性，沒有充分利用HIN的複雜結構資訊，隻考慮到了節點對（節點的一階鄰居）來生成嵌入表示。要想利用更複雜的資訊，可能還需要基于元路徑的方法或者是其他新方法。

實驗隻進行了邊重構這一個任務，有些單一，不知道在其他典型的任務上效果如何。

參考文獻

[1]   Yu Shi, Huan Gui, Qi Zhu, Lance Kaplan, and Jiawei Han. 2018. AspEm: Embedding Learning by Aspects in Heterogeneous Information Networks.. In SDM.