幹貨 | ACL 2019 知識圖譜的全方位總結

來源：AI科技評論

文章來源：微信公衆号資料派THU

----

ACL 2019已經結束，但其空前的規模仍然震撼人心：2900多篇送出論文，660篇被接收，3000多名會議注冊人員，以及4個超過400人的研讨會（比一些國際CS會議都大）。

值得一提的是，在本屆ACL中熱門話題（例如BERT系列、Transformers、機器翻譯等）受到熱烈關注，但除此之外還有一些新的趨勢，例如對抗學習、自然語言生成、知識圖譜等。以知識圖譜為例，本次會議中共有30篇接收論文，大約占了所有接收論文的5%。

會後總結是優秀學者的必要行動。随着ACL會議的結束，在網上已經先後出現了多篇關于ACL大會上各細分領域的總結文章。

例如來自德國Fraunhofer IAIS的研究科學家Michael Galkin近日便在Medium上發表了一篇關于知識圖譜@ACL2019的總結文。

文章則圍繞ACL大會上關于知識圖譜（KG）的研究進行了詳細且完整的探讨的内容，共包含五個部分，分别為：

基于知識圖譜的對話系統

知識圖譜事實的自然語言生成

基于知識圖譜的問答

基于知識圖譜的NER和關系連結

知識圖譜嵌入和圖表示

一、基于知識圖譜的對話系統

對話系統，傳統上分為目标導向agent和閑聊agent兩種。所謂目标導向agent，即幫助使用者去完成某項任務，例如幫忙預定餐桌或安排代駕等。閑聊agent即智能對話，具有互動性、娛樂性和話題性。

近來，我們可能聽到太多關于深度神經網絡建構端到端（不需要特定通道）對話系統的工作。然而，現在越來越明顯的一個趨勢就是，無論在目标導向還是閑聊的agent中都需要擁有一些知識，前者需要領域知識，後者需要常識知識。

1. 關于內建知識的趨勢，ACL主席周明在大會主旨演講中已經表達的很清楚了。

演講中，他強調了将知識圖譜、推理和背景納入對話系統的重要性。我想補充的一點是，知識圖譜也将同時提高agent對話的可解釋性。

圖1：ACL主席周明演講中提到知識圖譜的重要性

2. 在NLP forConversational AI 研讨會[1]中讨論了更多此類細節問題。

華盛頓大學的 Yejin Choi[2]提出了一種在對話中整合基于知識種子的常識推理（knowledge-seeded commonsense reasoning）的方法。

圖2：YejinChoi on COMET

3. 亞馬遜的RuhiSarikaya[3]證明，Alexa有一部分仍需要在帶有從結構源（例如圖）中提取知識的通道模式下執行。

4. 微軟研究院的JianfengGao[4]闡釋了小冰是如何利用結構化資訊與使用者互動的。

值得注意的是，小冰目前為止仍然保持着最長人機對話的記錄（23輪）。

5. Facebook AI的Moon等人[5]在2019年推出了OpenDialKG，這是一個新的開放式對話知識圖譜并行語料庫，有15K的标注對話、91K輪（基于1M三元組、100k實體和1358個關系的Freebase子集）。

這在建構基于知識圖譜的對話系統上邁出了巨大的一步，希望Facebook的工作也會鼓勵到其他人。此外，作者提出了一種新穎的DialKG Walk架構，能夠利用帶有一個基于注意力圖譜路徑解碼的E2E方式的知識圖譜。

圖3：ACL上FacebookAI 對OpenDialKG的報告

唯一值得擔心的是標明的圖（Freebase）從2014年起就正式停用了，并且很長時間裡都沒有支援了。或許是時候該将社群資料切換到維基資料了？

二、知識圖譜事實的自然語言生成

生成連貫的自然語言話語（例如從結構化資料）是一個熱門的新興話題。純粹的神經端到端 NLG模型試圖解決的是生成“非常枯燥”的文本的問題，而結構化資料的NLG在表達自然語言的固有結構方面則更具有挑戰性。知識圖譜難以用語言表述。例如，你可以從一個三元組（Berlin, capitalOf,Germany）生成多個不同的句子，但當你有一組連接配接的三元組時（Berlin, capitalOf,Germany）（World_Cup_2006, hostedBy, Germany）時，以下哪個選項更有效呢？

“Berlin is the capital ofGermany which hosted the World Cup 2006”
“Berlin is the capital of thecountry where World Cup 2006 took place”

令人驚訝的是，ACL會議中展示了相當多關于知識圖譜三元組描述（verbalizing triples in KGs）的内容。

首先，我要提一下由IBM研究院組織的關于storytelling研讨會[6]，在這個研讨會上提出了大量解決三元組描述問題的比賽和可行的方案。（可以去看相關的slides）。

在Logan等人展示的論文[7]和poster中，他們建議應當将語言模型（例如OpenAI GPT）與知識圖譜嵌入結合使用。作者還介紹了一個新的資料集Linked WikiText-2[8]，資料集中訓練集包含了從Wikidata中标注的41K個實體和1.5K個關系。

圖4：Taken from Logan et al.

事實上并僅僅是在ACL 2019上有這些文章，在最近的NAACL 2019中，Moryossef等人的一項工作[9]也于此相關，他們提出一種基于三元組的自然語言生成雙重模型Chimera（two-fold model for NLG over triples）。首先，在給定三元組的情況下，他們生成如圖（graph）一樣的文本方案，其中保留了給定三元組的組合型；然後對這些文本方案進行打分排序；最後，運作一個典型的具有複制機制的神經機器翻譯（NMT）來生成文本句子。其實驗評估是就WebNLG資料集，有意思的是這個資料集也使用了Wikidata實體和謂詞ID。

三、基于知識圖譜的回答

問答（作為一個閱讀了解任務）是追蹤類似BERT這樣大型模型進展的流行基準之一。

“基于知識圖譜的問答（KGQA）旨在為使用者提供一個界面，讓使用者能夠用自然語言提問，且能使用他們自己的術語，然後通過查詢知識圖譜來得到簡明的答案。”

以上的定義我引用了Chakraborty等人[10]的定義。在QA任務中，知識圖譜為使用者提供了可解釋的結果（實際上，一個圖模式可以/不可以在目标圖中找到）。此外，它還可以執行閱讀了解系統無法實作的複雜推理。在這方面，ACL 2019有許多state-of-art的研究，你可以去查一查。

Saha等人的工作[11]是複雜序列問答（ComplexSequential Question Answering，CSQA）資料集（帶有WikidataID），這個資料集目前包含了基于知識圖譜的最困難的問題，例如：

聚合：“Which people are the patron saint of around the same number ofoccupations as Hildegard of Bingen?”

驗證：“Is that administrative territory sister town of Samatice andShamsi, Iran?”

以及更多組織為帶有“基于實體和關系的指代消除”的對話。

沒有記憶的方法及時在簡單問題上訓練也會表現出非常差的性能，現在看來你需要某種格式化語言或文法來執行邏輯動作和聚合。Saha等人介紹了一種包含幾個動作（例如交集、知識圖譜嵌入查找等）的文法，強化學習用它來推導出能夠在對話環境中回答以上複雜問題的邏輯程式。

圖5：Taken from Saha et al.

Weber等人[12]研究的是神經Prolog，這是一個可微邏輯方法（differentiable logic approach），它将符号推理和基于句子嵌入的規則學習方法結合了起來，可以位元組應用到自然語言文本中，而不需要将文本轉化為邏輯形式，且可以使用Prolog形式的推理來進行邏輯查詢。是以，這個架構事實上是建立在模糊邏輯和預訓練句子嵌入模型之上的。

我認為神經邏輯方法目前在社群中是一個被嚴重低估的領域，這篇文章以及上篇文章都為它們是如何推理出特定答案提供了一個非常基礎的可解釋的機制；是以當研究人員想要在真實可解釋性方面開辟戰場時，我希望這個領域能夠得到足夠的重視。

圖6：Taken from Weber et al.

針對處理起來相對簡單的KGQA資料集，Xiong等人[13]提出了一種基于不完整知識圖譜的QA，在這裡需要進行一些連結預測；Sydorova等人[14]在TextKBQA任務（有兩個知識源：圖和文本段落）上獲得了不錯的結果。另外一種方法是Yang等人[15]提出的，他們使用了帶有KG（本例中使用的是wordNet和NELL）的BERT形式的閱讀了解模型。截止2019年3月，他們的KT-NET在SQuAD1.1和ReCoRD上的表現優于純粹的MRC系統，這說明這是一個有前景的研究方法。

基于閱讀了解的QA系統目前仍然是比較火熱的領域，在本次會議中有多個oral和poster的session都是關于這一方面的，是以我敢肯定随後會有一些關于這個方面更詳細的解讀。。簡而言之，類似WikiHop或HotpotQA這樣的新資料集是針對整個 Wikipedia文章進行multi-hopQA，您需要結合幾篇文章中方法來回答一個問題。CommensenseQA包含了從搜尋引擎日志中擷取的真實問題，是以系統需要建立莫衷類型的常識推理。如果你想從一堆完全無意義的樣本中區分出有意義的部分，那麼你就需要使用對抗訓練了，今年ACL也提供了幾篇文章（Zhu等人[16]和Wu等人[17]），他們的對抗訓練還不錯。

最後，要為了克服訓練資料集較小的問題，Alberti等人[18]提供了一種改寫資料增強方案（paraphrasing data augmentation schema），能夠生成多達50M額外的問題來訓練他們的系統，結果顯示F1值有+2到+3的提升。

四、基于知識圖譜的NER和關系連結

今年的ACL大會中，“資訊抽取”毫無疑問是最受歡迎和最引人注目的一個方向。而KG在資訊提取的命名實體識别、實體連結、關系抽取、關系連結等方面也展現出了真正的優勢。此外，在本次會議上也出現了許多新的（帶有Wikidata IDs的）資料集和方法。

Bosselut等人[19]寫的文章是在本次會議中我最喜歡的文章Top-3之一，在這篇文章中他們介紹了一種常識transformer架構：COMET。

圖7：Taken from Bosselut et al.

在COMET中，他們将語言模型（例如GPT-2）與種子知識圖譜（例如ATOMIC）結合在了一起。給COMET輸入圖的種子元組，COMET便能學到圖的結構和關系。此外，這個語言模型是用圖表示建構而成，而不是傳統的生成結點和邊然後把它們加入到種子圖中。更酷的是，你還可以得到一個表示為自然文本元組（例如(take a nap, CAUSES, have energy)）的圖。用這個架構在大型資料集（例如Wikidata）上測試應該是一件非常有意思的事情。

新資料集和關系提取的基線模型（它們都是基于Wikidata實體和謂詞，很好！）Yao和Ye等人[20]提出了一個大型資料集DocRED，其中共102K個文檔，包含了6個實體類型、96個關系、2.5M個實體（沒有WikidataIDs），828K個句子。Trisedya等人[21]提出了一個包含255K文本三元對、280K個實體和158個謂詞的資料集，基于這個資料集還提出了一個任務（從給定自然語言句子中建構知識圖譜）和一個基準模型。此外，Chen等人[22]提出了一個關系相似性的資料集，包含426K三元組、112K個實體和188個關系。

在對資訊提取的深入研究方面，Zhu等人[23]利用圖注意力網絡在關系連結方面取得不錯的結果。他們将句子中的實體和關系組合模組化為一個圖，并使用能夠識别多重關系（multi-hop relations）的GNN。結果在SOTA有重大的提升。

Soares等人[24]提出了一個關系學習的新方法——預訓練一個大型模型（例如BERT），将句子輸入它的編碼器獲得關系的抽象概念，然後在例如Wikidata、TACRED或DBpedia等特定模式中進行微調來獲得一個帶有相應ID的真實的謂詞。這種方法具有很大的現實意義。通常基于KG的資訊抽取方法都是為特定的本體（ontology）而設定的，是以你有多少本體你就需要有多少任務。這裡作者從所有方案中提取了一些普适性的關系，這些關系你可以加入到你自己的方案中，進而減少大量重複性工作。這種方法在zero-shot和few-shot任務特别管用，在訓練資料非常有限的情況下使用這種方式可以顯著地提高你的模型的精确度。

圖8：Taken from Soares et al.

在實體連結上，Logeswaran等人[25]提出使用類BERT的預訓練閱讀了解模型來将實體連結推廣到未知領域的未知實體上。為此，他們引入了一個域自适應預訓練（DAP）政策，以及在未知領域zero-shot實體連結的新任務。盡管目前他們的資料集僅包含了Wikia的文章，不過我認為将他們的架構應用到包含多語言标注和同義詞或定義明确的特定領域本體的知識圖譜上應該不會有太大問題。

Hosseini等人[26]的工作研究了從自然語言文本中直接提取關系圖的問題，他們在多個評估資料集上獲得了顯著的改善。Shaw等人[27]也完成了一個類似的工作，他們用圖網絡（GNN這些天确實比較火）來獲得帶有實體的邏輯形式。

Wu等人[28]研究了KG中的關系表示，并提出一種表示适配模型（Representation Adapter model），這個模型可以推廣到基于已有KG嵌入的未知關系當中。作者在文章中還将SimpleQuestion（SQ）資料集調整為SimpleQuestions-Balance（SQB）資料集，使得訓練/測試拆分中實體與虛拟的謂詞的分布更加平衡。

在命名實體識别（Named Entity Recognition，NER）上，我強烈推薦Lopez等人的文章“Fine-grained Entity Typing in Hyperbolic Space”[29]。使用可能涉及的實體&實體類型的二維清單（flat list），作者建構了一個雙曲嵌入空間，來推斷涉及的上下文，并将一個實體類型賦予給一個實體。例如，給定一個句子“A list of novels by Agatha Christie published in …”，其中“Agatha Christie”将不僅被标記為“human”，同時在更細粒度上會被标記為“writer”類中。實際中，這個架構在UltraFine資料集上的訓練可以劃分三級；在OntoNotes上，結果與SOTA方法旗鼓相當。

圖9：Taken from Lopez et al.

五、知識圖譜嵌入和圖表示

可能有人會認為NLP的會議不是一個學習關于圖表示的最佳場所，但在ACL這次會議上确實出現了許多有見解的論壇，它們嘗試從結構和語義兩方面對知識圖譜進行編碼。

Nathani等人[30]介紹了一種基于圖譜注意力網絡（graph attention networks，GAT）的知識圖譜嵌入方法，該方法在注意力機制中考慮了結點（node）和邊緣（edge）的特征。作者采用了多頭注意力架構（multi-head attention architecture），并重點強調了學習關系表示。論文中對四個資料集（WN18RR、FB15k-237、NELL-995、Kinship）進行的基準測試中顯著提高了SOTA性能。實際上，這種方法要比ACL會議上同一天展示的（下面介紹的）另外一個方法要更好。

圖10：Taken from Nathani et al.

Bansal等人[31]提出了A2N的方法，這是一種帶有近鄰注意力（neighbourhood attention）的知識圖譜嵌入技術。作者在評估中證明，從近鄰中擷取資訊可以更好地表示多重關系（multi-hop relation）。在關系預測的基準測試中，A2N的表現與ConvEx相當，有時候甚至更好。不過與前面提到的方法比起來要稍顯遜色一些。我建議，作者可以比較一下訓練時間和記憶體消耗。

圖11：A2N，Google提出一種新穎的知識圖嵌入方法，關注鄰居結點

Xu和Li的工作[32]和前兩篇工作有些不一樣，他們使用二面體群（不懂的同學請翻翻群論的書）來給KG嵌入的關系模組化。要想讀懂這篇論文就需要堅實的數學基礎了（可以嘗試挑戰一下自己，），簡單來說就是，二面體群可以為謂詞的非阿貝爾成分（譯者注：所謂非阿貝爾即，AB!= BA）模組化，例如parent_of spouse_of != spouse_of parent_of（這裡*表示矩陣乘積）。此外，這種方法也能夠對謂詞見的對稱和反對稱關系進行模組化。這種方法在傳統基準測試中的表現并不比ConvE好多少（這主要是因為傳統基準包含了大量的阿貝爾元素成分），不過在作者建構的更側重于非阿貝爾元素的資料集FAMILY上它們能夠取得優秀的成績。需要強調的是，這篇文章絕對值得一看，不過确實需要一些數學基礎。

Kutuzov等人[33]提出了一種建構知識嵌入的新架構，在這個架構中他們不再使用基于向量的距離函數，而是采用基于圖的最優測度（類似于最短路徑），并插入了自定義結點相似度函數（例如Leacock-Chodorow）。不過，雖然這種方法能夠提高推理速度，但卻沒有充分利用結點和邊的特征。作者表示将在未來的工作中進一步完善，期待ing！

Stadelmeier和Pado兩人[34]提出了一個上下文路徑模型（context path model，CPM），目的是在傳統KG嵌入方法的基礎上提供一個可解釋層。作者在文章中建議使用兩個優化分數：1）路徑校正分數；2）三元組和路徑之間的相關性分數。

Wang等人[35]在他們的論文“On Evaluating Embedding Models for Knowledge BaseCompletion”中提出了KG嵌入評估中反複出現的一個問題：KG嵌入預測在邏輯上是否一緻？例如在圖中我們會有一些規則，像：

“Roger can’t befriends with David” (instance level)；

“Humans can’t be made of Wood” (class level)

這意味着應該考慮KG嵌入，并降低此類陳述出現的可能性。但作者發現現在大部分KG嵌入模型都會給相當不切實際的三元組配置設定一個非零的機率值。