【論文解讀 WSDM 2018 | SHINE】Signed HIN Embedding for Sentiment Link Prediction

論文連結：https://arxiv.org/abs/1712.00732

代碼連結：https://github.com/boom85423/hello_SHINE

會議：WSDM 2018

這位大佬介紹得很清楚明了：https://boom85423.github.io/hello_SHINE/SHINE.slides.html

目錄

1 摘要

2 介紹

2.1 動機

2.2 挑戰

2.3 已有的方法

2.4 作者提出

3 資料集的建立

3.1 資料采集

3.2 情感抽取

4 方法

4.1 問題定義

4.2 SHINE

4.2.1 整體架構

4.2.2 Sentiment Network Embedding

4.2.3 Social Network Embedding

4.2.4 Profile Network Embedding

4.2.5 表示的聚合和情感預測

4.2.6 優化

4.2.7 分析

5 實驗

6 總結

1 摘要

在社交網絡中人們經常表達對彼此的看法，使用者之間也就産生了大量的情感連接配接（sentiment links）。情感連接配接的預測在許多領域都是一項基本任務，例如個人廣告以及公共輿論分析。先前的許多工作主要關注于基于文本的情感分類，忽略了使用者的社會關系以及使用者畫像中包含的大量資訊。為了解決這一問題，本文提出了如何在異質資訊中，預測可能存在的情感連接配接。

首先，由于主流的社交網絡缺少明确的情感連接配接資訊，作者使用實體級别的情感抽取方法，建立了一個帶标注的異質情感資料集，包含有使用者的情感關聯、社交關聯以及使用者畫像知識。然後提出了端到端的模型SHINE，從異質網中抽取出使用者的隐層表示，并用于情感連接配接的預測。SHINE使用了多個深度自編碼器，在保留網絡結構的同時，将每個使用者節點映射到低維的特征空間。

作者在兩個真實存在的資料集上，進行了連結預測和節點推薦任務，效果均優于state-of-the-art。同時實驗結果還表明了SHINE在冷啟動場景的功效。

2 介紹

社交網絡中的情感連接配接和使用者發表内容的語義資訊有關，積極的情感連接配接例如“信任”或“支援”，消極的例如“讨厭”或“反對”。對于一個給定的情感連接配接，如何判斷它是積極的還是消極的？這要根據從連接配接的發出者到接受者，相關的内容表達出了積極的還是消極的态度。像這樣的情感連接配接組成的網絡拓撲，被稱作情感網絡（sentiment network）。

2.1 動機

以往的工作主要是基于使用者發表的具體内容進行情感分類，這種方法不能在沒有先驗的内容資訊的情況下，發現情感連接配接，這會導緻大量的可能存在的情感連接配接不能被發現。

如果沒有先驗的内容資訊，該怎麼預測情感連接配接？這類問題可以應用于個人廣告、新朋友發現、輿論分析、民意調查等方面。

2.2 挑戰

（1）情感标簽的缺乏使得預測連接配接很難；

（2）情感生成的複雜性以及情感連接配接的稀疏性，使得算法很難實作較好的效果。

2.3 已有的方法

（1）過度依賴于人為設計特征，不能用于真實世界的資料中。

（2）一些network embedding的方法：IsoMap、拉普拉斯特征映射、DeepWalk、LINE、Node2vec、SDNE，可自動學習到使用者的特征，但是隻能用于有正權重的網絡（unsigned），或者同質網絡（邊類型單一）。不适用于情感連接配接預測任務。

（3）還有一些針對異質網絡的表示學習方法,屬性網的表示學習、符号網（signed network）的表示學習（如SNE）。這些方法隻能針對特定類型的網絡，不能用于解決現實世界中異質網的情感預測問題。

2.4 作者提出

本文的工作旨在解決，在沒有和情感有關的文本内容的條件下，預測社交網絡中的情感連接配接。分為兩步：

（1）由于缺少相關的标注資料，是以作者使用state-of-the-art的實體級别的情感抽取方法，從微網誌發帖中抽取出情感，以建構有标注的情感資料集。

為了解決稀疏性的問題，作者還收集了兩種附加資訊：使用者之間的社會關系、使用者畫像的知識。

（2）提出端到端的SHINE模型（Signed Heterogeneous Information Network Embedding），可以學習到使用者節點的表示，還能預測異質網絡中的情感連接配接。SHINE使用了多個深度自編碼器，分别從情感網絡、社交網絡、畫像網絡中抽取使用者高度非線性的表示資訊。然後通過聚合函數融合這三種表示，用于情感預測。

SHINE還友善附加資訊子產品（如社會關系、使用者畫像）的添加或删除。

3 資料集的建立

3.1 資料采集

（1）擷取微網誌的文章資料，使用Jieba分詞标記推文中每個詞的詞性，選擇含有标記為person name的單詞所屬的推文。根據作者建立的名人資料集，在分詞時判斷單詞是否應被标記為person name。獲得這些推文後，對每個推文計算其對所提到的名人的情感值（-1~+1），選擇出打分的絕對值高的推文。最終的資料集由三元組(a, b, s)組成，a為發表推文的使用者，b為推文中提到的名人，

為使用者a對名人b的情感值。如何計算情感值在後面介紹。

（2）社交關系資料集由二進制組(a, b)組成，表示a關注了b。

（3）普通使用者畫像：抽取了性别和位置兩個屬性，表示成one-hot向量。

（4）名人使用者畫像：使用微軟Satori3知識庫并結合在微網誌中出現的頻次，來提取名人的資訊。抽取了9個屬性（離散值）：出生地、出生日期、種族、國籍、專業、性别、身高、體重和星座。用one-hot向量表示。

3.2 情感抽取

為了抽取出推文中使用者對名人的情感資訊，首先建立一個情感詞典。詞典由單詞和其對應的情感（sentiment orientation: SO）分數組成。

為了建立詞典，首先作者人為建構了“表情符号-情感”映射檔案。推文中出現的表情符号，就可以映射成積極的或消極的情感。

但是表情符号不能直接看成情感，因為有大量不比對的例子，例如：“Miss you Taylor Swift [cry][cry]”。根據文獻[2]采用的方法，情感分數計算如下：

其中

，pos和neg分别代表推文中的正類（積極）和負類（消極）。SO值随後會被歸一化到[-1, 1]。

得到詞典後，使用SentiCircle進行情感計算。給定一個提及名人的推文，将名人上下文的語義資訊表示在極坐标空間中，代表名人的點位于原點，推文中的其他項表示為散點，分布在其周圍。對于名人項c，項

的坐标為

。其中

是使用LTP計算c和

在句法依存樹上的距離的倒數。

。

推文表達的對于名人c的情感，可以用所有項

的幾何中心表示。将幾何中心映射到y軸上，相應的值作為對改名人的最終情感值。

4 方法

4.1 問題定義

作者将問題形式化為在異質資訊網絡中預測情感連接配接，并将原始的異質網絡分成如下三種單類型（隻有一種類型的邊）的網絡：

（1）Sentiment network：

，其中

表示使用者集合，

表示使用者之間的情感連接配接。

 可取值為+1、-1或0，分别表示使用者i對使用者j的情感是正向的、負向的、中立的。

（2）Social network：

，其中

表示使用者間的社交關系，

取值為1或0，代表使用者i是否關注了使用者j。

（3）Profile network：

表示使用者屬性的集合，

表示屬性

的第l個可能的取值。将屬性的所有可能值組合起來，可表示成

。則無向的bitpartite profile network可以定義成

，其中

表示使用者節點和屬性值的連接配接，

取值為1或0，表示有無連接配接。

最終任務形式化為給定

三個網絡，在

中進行情感連接配接預測。

三個網絡如下圖所示：

4.2 SHINE

4.2.1 整體架構

SHINE整體架構如下圖所示：

模型由三部分組成：（1）情感的抽取以及異質網的建構；（2）使用者表示的抽取：（3）表示的聚合以及情感預測。

對于每個提及某一名人的推文，首先計算與之相關聯的情感，并通過使用來自三個網絡的使用者和名人的鄰居資訊，來表示這條情感連接配接中的使用者和名人（即使用節點的鄰域資訊來表示節點）。接着設計三個不同的自編碼器，分别從稀疏的基于鄰域的表示中，抽取短小稠密的節點表示。然後聚合這三種類型的表示，形成最終的異質網絡節點表示。對兩個節點嵌入，使用特定的相似度衡量函數（如：内積、logistic regression）就可以實作情感連接配接預測。基于預測結果和預測目标（情感抽取時獲得的ground truth），就可以進行整個模型的訓練。

4.2.2 Sentiment Network Embedding

給定情感網絡

，使用者i的情感鄰接向量定義為

。不能用

直接作為使用者i的情感表示，因為這個鄰接向量非常稀疏而且次元很大。已有的工作表明，深度自編碼器可以捕獲高度非線性的網絡結構，生成低維的節點向量表示。自編碼器由編碼器和解碼器兩部分組成，編碼器是将輸入資料映射到表示空間，解碼器從表示中重構出原始輸入。SHINE就是使用自編碼器，高效地進行使用者節點的表示學習。為情感網絡的嵌入學習設計的自編碼器如下圖所示：

給定輸入

，每層的隐層表示計算如下：

其中

和

 是第k層的權重和偏移參數，

是非線性激活函數，

是自編碼器的層數，

，定義

為

的重構。使用者i的情感嵌入表示在第

層獲得。

自編碼器的目标就是最小化輸入和輸出的重構損失，損失函數定義如下：

其中

表示哈達馬乘積，

是重構的情感權重向量：

也就是說，為非零元素施加更多的懲罰，因為非零元素和零元素相比，含有更确切的情感資訊。

4.2.3 Social Network Embedding

和情感網絡嵌入相似，給定社交網絡

，使用者i的情感鄰接向量定義為

。使用自編碼器從社交網絡中抽取出節點表示。每層的隐層表示計算如下：

重構損失函數如下：

4.2.4 Profile Network Embedding

使用者畫像網絡

是一個無向bitpartite graph，由兩個不相交的集合，使用者集合和屬性值集合組成。對于使用者i，其profile adjacency vector定義為

。使用者i在每層的隐層表示計算如下：

重構損失函數如下：

4.2.5 表示的聚合和情感預測

使用聚合函數

将

三個表示聚合為

。一些可用的聚合函數列舉如下：

給定使用者i和j的表示

，使用

進行相似度計算，進而進行情感預測。可用的相似度計算函數舉例如下：

4.2.6 優化

SHINE模型最終的目标函數如下所示：

第4項是有監督的損失項，根據預測結果和實際值計算而得。最後一項是正則項，以避免過拟合，計算如下：

4.2.7 分析

（1）不對稱性

SHINE可用于有向圖，即邊(i, j)和(j, i)的值不對稱。選擇合适的相似度計算函數f可以解決這個問題，即

，例如logistic regression。若選擇了對稱的相似度計算函數（如内積或歐氏距離），仍然可以将原始的SHINE模型擴充成非對稱感覺的版本。具體方法是，設定兩組不同的自編碼器分别提取源節點和目标節點的表示。

可以看出，在基本的SHINE模型中，為了緩解過拟合的問題，源節點和目标節點的自編碼器參數是共享的。由于不對稱的原因，可以明确地區分開兩個自編碼器。

（2）冷啟動問題

大多數方法不能解決冷啟動問題，是因為它們僅僅使用了目标網絡中的資訊（如：本文的情感網絡），而新來的節點在目标網絡中幾乎沒有互動資訊。SHINE可以解決這一問題，因為它充分利用了副資訊，且自然地結合了目标網絡，以學習到使用者節點表示。【在實驗中進一步說明了效果】

（3）靈活性

SHINE有高度的靈活性，對于新的使用者的副資訊（如：使用者浏覽曆史），可以設計一個并行的元件，并将其插入到原始的SHINE架構中，以更好地進行表示學習。相反，若沒有副資訊，也可以從SHINE架構中撤出社交自編碼器或者畫像自編碼器。

另外聚合函數和相似度計算函數，也可以靈活選擇。

5 實驗

資料集：Weibo-STC（作者建立）、Wiki-RfA。

實驗任務：連結預測、節點推薦任務。

對比方法：

（1）LINE、Node2vec、SDNE：不适用于異質網，分别用于三個網絡的節點表示學習；

（2）FxG：a signed link prediction approach，不能處理微網誌資料集中的副資訊；

（3）LIBFM：分類模型。

實驗結果：

（1）連結預測實驗結果

（2）節點推薦實驗結果

（3）冷啟動問題實驗結果

6 總結

本文提出SHINE模型，解決了在未知社交網絡中情感相關内容的前提下，進行情感連接配接的預測問題。使用深度自編碼器，在保留網絡結構的同時，抽取出了使用者節點高度非線性的表示。

在實驗中和多個表現強勁的baseline比較，展現出了SHINE模型的競争力。還闡釋了使用社交關系資訊和使用者畫像資訊的有效性，尤其是在冷啟動問題上表現出了較好的效果。