論文解讀：（TransR）Learning Entity and Relation Embeddings for Knowledge Graph Completion
TransH在TransE基礎上做出的改進，提高了知識表示的效果，在一定程度上解決了複雜關系的處理，同時在連結預測、三元組分類和關系抽取任務上相比傳統的方法（距離模型、非結構模型、單層神經網絡、雙線性模型等）達到最優，然而TransH也存在一定的問題。TransR作者發現TransH模型雖然有效的處理了複雜語義關系表示，但兩個實體仍然處于相同的語義空間，是以不能夠充分表示實體與關系的語義聯系。
一、簡要資訊
| 序号 | 屬性 | 值 |
|---|---|---|
| 1 | 模型名稱 | TransH |
| 2 | 所屬領域 | 自然語言處理 |
| 3 | 研究内容 | 知識表示 |
| 4 | 核心内容 | knowledge embedding |
| 5 | GitHub源碼 | https://github.com/mrlyk423/relation_extraction 或 https://github.com/thunlp/KB2E |
| 6 | 論文PDF | http://nlp.csai.tsinghua.edu.cn/~lyk/publications/aaai2015_transr.pdf) |
二、摘要與引言
知識圖譜的完成可以實作目标實體之間的連結預測。本文我們研究了知識圖譜表征的方法。最近TransE和TransH模型通過将關系視為一種從頭實體到尾實體的翻譯機制來獲得實體和關系的表征。事實上一個實體可能有多個不同方面（特征），關系可能關注實體不同方面的特征，公共的實體特征空間不足以表征。本文，我們提出TransR模型建構實體和關系表征，将實體空間和關系空間相分離。然後我們以這種方式訓練表征向量：首先通過将實體映射到關系空間中，其次在兩個投影實體之間建構翻譯關系。實驗中，我們在三個任務上完成了驗證，分别是連結預測、三元組分類和關系抽取。實驗效果表明相比之前的基線模型，包括TransE和TransR，得到了一定的提升。
完善的知識圖譜旨在預測給定兩個實體對的關系，即連結預測，期現如今面臨的挑戰包括（1）圖譜中的結點包含不同類型和屬性的實體、（2）邊表示不同類型的關系。對于知識補全，我們不僅僅隻是判斷實體對是否存在關系，也需要預測具體的關系類。基于此，傳統的連結預測方法則無法實作連結預測。最近一種新提出的表示學習是指将實體和關系嵌入到連續的向量空間中。
TransE和TransH模型是基于這種表示學習。TransE在word2vec的啟發之下，通過建構簡單的語義表示 h + r ≈ t h+r\approx t h+r≈t 實作訓練，TransH則基于TransE基礎上能夠對複雜關系進行表示。不過這兩個模型均是假定實體和關系是在同一個語義空間中。作者提出一種新的政策，将實體和關系分别映射到不同的語義空間中，分别為entity space（實體空間）和relation space（關系空間）。
TransR的主要思路如圖所示：
假設實體對 ( h , r , t ) (h,r,t) (h,r,t) ，首先根據目前的關系 r r r 将頭尾實體分别映射到關系空間中 h r , t r h_r,t_r hr,tr ，然後在關系空間中模組化 h r + r ≈ t r h_r+r\approx t_r hr+r≈tr 。
另外，在特定的關系下，實體對通常表現出不同的模式，是以不能單純的将關系直接與實體對進行操作。我們通過将不同的頭尾實體對聚類成組，并為每個組學習不同的關系向量來擴充TransR，稱為基于聚類的TransR (CTransR)。
三、相關工作與主要貢獻
相關工作部分由于和TransH文章一樣，請直接閱讀【TransH】的相關工作部分。
四、算法模型詳解（TransR）
TransR模型：設實體對 ( h , r , t ) (h,r,t) (h,r,t) 的表征分别為 h , t ∈ R k \mathbf{h},\mathbf{t}\in\mathbb{R}^k h,t∈Rk， r ∈ R d \mathbf{r}\in\mathbb{R}^d r∈Rd，其中 k ≠ d k\ne d k=d。對于每個關系 r r r 給定映射矩陣 M ∈ R k × d \mathbf{M}\in\mathbb{R}^{k\times d} M∈Rk×d ，則有： h r = h M r \mathbf{h}_r=\mathbf{h}\mathbf{M}_r hr=hMr ， t r = t M r \mathbf{t}_r=\mathbf{t}\mathbf{M}_r tr=tMr。得分函數定義為 f r ( h , t ) = ∣ ∣ h r + r − t r ∣ ∣ 2 2 f_r(h,t)=||\mathbf{h}_r+\mathbf{r}-\mathbf{t}_r||_2^2 fr(h,t)=∣∣hr+r−tr∣∣22 。限制條件為 ∣ ∣ h ∣ ∣ 2 ≤ 1 ||\mathbf{h}||_2\leq1 ∣∣h∣∣2≤1， ∣ ∣ r ∣ ∣ 2 ≤ 1 ||\mathbf{r}||_2\leq1 ∣∣r∣∣2≤1， ∣ ∣ t ∣ ∣ 2 ≤ 1 ||\mathbf{t}||_2\leq1 ∣∣t∣∣2≤1， ∣ ∣ h M r ∣ ∣ 2 ≤ 1 ||\mathbf{h}\mathbf{M}_r||_2\leq1 ∣∣hMr∣∣2≤1， ∣ ∣ t M r ∣ ∣ 2 ≤ 1 ||\mathbf{t}\mathbf{M}_r||_2\leq1 ∣∣tMr∣∣2≤1。
CTransR模型：受到piecewise linear regression（分段線性回歸）的啟發。
（1）首先将輸入示例分為多個組。對于特定的關系 r r r ，所有的實體對 ( h , t ) (h,t) (h,t) 可被聚類到多個簇中，每個簇中的實體對可被認為與關系 r r r 有關。
（2）為每個簇對應的關系向量 r c \mathbf{r}_c rc表征，并得到對應的 M r \mathbf{M}_r Mr ，然後将每個簇中的頭實體和尾實體映射到對應關系空間中 h r , c = h M r \mathbf{h}_{r,c}=\mathbf{h}\mathbf{M}_r hr,c=hMr， t r , c = t M r \mathbf{t}_{r,c}=\mathbf{t}\mathbf{M}_r tr,c=tMr。得分函數定義為 f r ( h , t ) = ∣ ∣ h r , c + r c − t r , c ∣ ∣ 2 2 + α ∣ ∣ r c − r ∣ ∣ 2 2 f_r(h,t)=||\mathbf{h}_{r,c}+\mathbf{r}_c-\mathbf{t}_{r,c}||_2^2+\alpha ||\mathbf{r}_c-\mathbf{r}||_2^2 fr(h,t)=∣∣hr,c+rc−tr,c∣∣22+α∣∣rc−r∣∣22
TransR和CTransR的差別在于兩者的關系空間不同，前者隻有一個關系空間，亦即對所有的關系都在同一個空間中；後者則是根據不同的關系，對屬于同一個關系的所喲實體對聚集在一個簇中，每個關系代表不同的空間。
損失函數：損失函數與之前的一樣：
L = ∑ ( h , r , t ) ∈ S ∑ ( h ′ , r , t ′ ) ∈ S ′ [ γ + f r ( h , t ) − f r ( h ′ , t ′ ) ] + L=\sum_{(h,r,t)\in S}\sum_{(h',r,t')\in S'}[\gamma + f_r(h,t)-f_r(h',t')]_+ L=(h,r,t)∈S∑(h′,r,t′)∈S′∑[γ+fr(h,t)−fr(h′,t′)]+
作者指出訓練政策與負樣本建構則與TransH一樣，是以在此不做詳細講解。
五、實驗及分析
實驗主要包括三個任務，實驗的具體細節與TransH相同 ，不做詳細介紹。
（1）連結預測：
（2）三元組分類：
（3）關系抽取：
六、論文總結與評價
本文作者提出的TransR和CTransR模型可以将相同關系的三元組映射到對應關系的空間中，有效的對三元組進行語義表示，在包括連結預測、三元組分類和關系抽取任務上均實作最好效果。作者提出三個未來工作，包括（1）利用推理資訊增強圖譜的表征；（2）探究文本與圖譜的表示模型；（3）基于CTransR，研究更複雜的模型。
TransR模型巧妙的借鑒了TransH模型的空間投影想法，更細緻的将不同的關系作為不同的投影空間，試想一下，每個三元組中的兩個實體之是以在同一個三元組，很大程度上是因為兩個實體的某些特性符合目前的關系，而這些特性在這個關系所在的語義空間中滿足一定的規律，亦即 h r + r ≈ t r h_r+r\approx t_r hr+r≈tr。
TransR還有一些缺點。例如引入的空間投影政策增加了計算量、頭尾實體一同投影到關系空間，而未考慮到頭尾實體的不同語義類型、僅将實體投影到關系空間中還不夠完全提高語義表能力等。TransD模型試圖改進這些不足之處。