EMNLP 2019 精彩會議論文解讀大全

EMNLP 自然語言處理實證方法會議（Conferenceon Empirical Methods in Natural Language Processing）由ACL當中對語言資料和經驗方法有特殊興趣的團體主辦，始于1996年。2019年EMNLP會議于11月3日到7日于香港亞洲世博會舉辦。以下是本場會議的精彩論文解讀，歡迎收藏！

一、面向任務型對話的異構記憶網絡

摘要：人類通過語言将大腦裡的知識表達出來，通過對話互相傳遞知識。機器通過學習大量的語料可以一定程度學會流暢的語句表達，但如果沒有知識，則生成的隻會是漂亮而無内涵的回複。傳統的子產品化的對話模型可以通過資料庫查詢等方式将關鍵資訊填入回答的模版中，但是端到端的對話生成模型則要更複雜一些。

為了解決這個問題，記憶網絡（Memory Networks）通常是一個不錯的技術方法。但是現有的記憶網絡結合對話系統隻是提供了如何引入知識的一個方法，并不能很好的處理多種來源和結構的知識。是以在這篇文章中，我們提出了一個異構記憶網絡（Heterogeneous Memory Networks, HMNs）來同步處理使用者語句，對話曆史以及背景知識庫。

HMNs由上下文無關（context-free memory）記憶網絡和我們提出的上下文敏感（context-aware memory）記憶網絡組成，分别用于編碼、儲存結構化的知識元組（knolwdge tuples）和序列化的使用者語句、曆史對話，并生成兩個小詞表分布（知識詞表和曆史對話詞表）以及一個大詞表（所有訓練的詞彙分布）供回複語句生成的選詞。在三個資料集上的實驗結果表明，HMNs超過了現有的SOTA模型，能夠較顯著的提高端到端任務型對話模型的表現。

》》檢視詳情 》》

二、基于歸納網絡的少樣本文本分類

摘要：深度學習方法在資料稀缺的場景下往往表現很差，在這種挑戰性的場景下，近期的工作往往使用meta-learning的方法來模拟少樣本學習任務，通過在樣本級别把query和支撐集進行比較來完成分類。但是這種樣本級别的比較往往會被同一個類中各種不同的表述方式所幹擾，是以我們需要為支撐集中的每個類别學習一種泛化的表示，然後去和query進行度量。

在本工作中，我們提出了一個新的歸納網絡（Induction Networks）來學習這樣的一般化的類别表示，通過在meta learning的過程中引入動态路由算法（dynamic routing），我們的模型對于未見過的類别有良好的适應能力。我們在一個通用的英文基準資料集和一個真實場景的中文意圖分類資料集上驗證我們的模型，均取得了state-of-the-art的結果，證明了在少樣本學習場景下學習類級别表示的有效性。

三、基于注意力機制優化的生成式文檔摘要模型

摘要：在網際網路時代，各個領域場景産生越來越多的文本資料，文本摘要作為文本“降維”處理的重要手段，旨在将文本或者文本集合轉換成包含關鍵資訊的簡短摘要。該任務方法主要分為兩大類：抽取式摘要和生成式摘要。抽取式摘要方法從源文檔中抽取關鍵句或者關鍵詞組成摘要，摘要内容全部來自原文，這種方法比較簡單直接，但是做法和人類總結概括文章的方法技巧相差甚遠，同時也面臨coherence等問題。

随着sequence2sequence模型的出現和發展，生成式摘要模型相關研究也吸引了衆多學者的目光。生成式摘要模型顧名思義，就是從源文檔生成摘要，摘要中的詞可能在原文中并不存在。這一大類方法更接近于人類的摘要方法，得到的摘要一般較為通順，但是也存在諸多問題，如repetition、saliency、incorrect fact等。當然文本生成任務本身就具有較大難度，我們期待未來有一天計算機能夠像人類一樣會寫作表達，可以寫出高品質的自然語言文本。