IJCAI 2018：中科院計算所：增強對話生成一緻性的序列到序列模型
文章來源： 企鵝号 - 讀芯術
你和“懂AI”之間，隻差了一篇論文
号外！又一撥頂會論文幹貨來襲！
2018年6月9-10日，代表學術界和工業界的頂級交流盛會——由中國中文資訊學會青年工作委員會和百度公司聯合舉辦的【“ALS2018（ACL、IJCAI、AIGIR）論文預講會”】在北京盛大舉行。兩天時間内，來自“情感分析”“推薦系統”“機器問答”“對話系統”等不同主題的頂級會議論文報告彙聚一堂，英雄相惜，華山論劍。
據芯君了解，本次預講會在學術圈的火爆程度完全超出了主辦方的想象，開放報名的短短幾天就全面滿額了，以至于主辦方不得不設定條件篩選參會者。
讀芯君作為本次預講會的活動媒體，将全程跟随大會，為大家全程紀錄活動中最前沿的觀點，最有價值的成果，并特邀預講會論文報告者聯合為讀者朋友們推出預講會系列組文，向你展示頂會最新論文成果。
讀芯術讀者論文交流群，請加小編微信号：zhizhizhuji。等你。
這是讀芯術解讀的第56篇論文
作者：張海楠，蘭豔豔，郭嘉豐，徐君，程學旗IJCAI 2018增強對話生成一緻性的序列到序列模型Reinforcing Coherence for Sequence to Sequence Model in Dialogue Generation中國科學院計算所Institute of Computing Technology，Chinese Academy of Sciences【摘要】序列到序列模型（Seq2Seq）的方法在對話生成領域獲得了高度關注。但目前存在一個嚴重的問題就是大多數現有的基于Seq2Seq的模型傾向于産生缺乏具體含義的通用回複。我們分析主要是因為Seq2Seq相當于優化Kullback-Leibler（KL）距離，是以它不懲罰那些生成機率高、真實機率低的句子。然而，真實的機率是未知的，構成了解決這個問題的挑戰。我們考慮可以使用post和response一緻性（即相似性）來近似真實機率，并統計了一緻性分數與人工打分的關系，發現二者呈正比關系。是以我們将一緻性分數作為獎勵，加入到強化學習架構中，懲罰那些生成機率高但是真實機率低的句子。本文提出了三種不同類型的一緻性函數，包括unlearned的相似性函數，預訓練的語義比對函數，以及端到端的對偶學習模型。實驗在中文的微網誌資料集和英文的電影字幕資料集上均顯示本文的模型可以産生更具體和更有意義的回複，無論在自動評價名額和人工評價兩方面，本文的模型均好于Seq2Seq模型及其變種。
1 介紹本文重點讨論單輪對話生成問題，根據Post，可以自動生成适當的回複Response。大多數現有的神經對話模型都是基于Seq2Seq架構[Sutskever et al., 2014]的架構。遞歸神經網絡（RNN）編碼器首先将輸入Post編碼為固定長度的向量，然後将該向量輸入到另一個RNN解碼器，用該解碼器進行回複生成。模型使用最大似然估計的方法進行參數學習，期望真實的機率可以通過生成的機率進行估計。
盡管Seq2Seq能夠産生流暢的回複，但是這類模型經常生成通用回複，比如“我不知道”，“這是什麼意思？”和“哈哈”。顯然，這些回複缺乏具體的含義，使用者的體驗不好。通過我們的分析，主要原因是Seq2Seq的目标是等價于最小化KL距離。
但是，KL距離是不對稱的，是以它不會懲罰生成機率高但真實機率低的句子。我們統計了生成句子在真實資料中的命中率：
統計結果如表1所示。
Exactly matching
Semantic matching
HitR
0.285561
0.426222
HitP
0.02419
0.03583
表1 生成語句在真實資料中的命中率和命中機率根據我們對對話資料STC的統計，Seq2Seq的完全命中率和完全命中機率分别為0.004239和0.00091。是以，我們得出一下結論：大多數生成的回複都不是真實的回複，這些回複的真實機率可能非常低。由于統計完全命中太過嚴格，我們還統計了語義層面的結果，當兩個句子的餘弦相似度足夠大（本文設定0.9），就認為兩個句子命中。在這種情況下的統計結果為命中率0.1449和命中機率0.01255。是以，即使我們考慮了語義層面，生成回複的真實機率仍然非常低。
在本文中，我們利用生成回複與Post的一緻性分數作為對真實機率的估計，我們統計了一緻性分數與人工評分（評分細則見實驗）的關系，發現二者呈正相關，如圖1所示。
圖1 post-generation的一緻性與人工評分的關系
2 模型我們提出了三種類型的一緻性函數：
1.unlearned相似度函數，如餘弦相似度(如圖2所示)，可以直接用為相關性模型。
圖2 post與generation的餘弦相似度一緻性分數2.語義層面的文本比對模型可被視為衡量Post和生成回複的一緻性的函數。在本文中，我們使用兩個預訓練的語義比對函數，即GRU雙線性模型[Socher et al.，2013]（如圖3）和MatchPyramid [Pang et al.，2016]（如圖4），這是代表兩種不同類型的深度語義比對模型，即表示重點突出的方法和着重于互動的方法。
圖3 GRU雙線性模型
圖4 MatchPyramid一緻性模型3.端到端的對偶學習架構[Xia et al.，2016]，它可以用來同時學習生成模型和一緻性模型。對偶學習的過程如下：
1）agent1(第一個seq2seq模型)了解post，并生成G1，并把G1發送給agent2(第一個seq2seq模型)。
2）agent2是一個Response->post的模型，它收到G1，并通過自己的模型計算G1條件下生成X的機率，作為對agent1的獎賞。
3）agent1根據agent2給出的獎賞，調整自己的生成政策。
4）以上三個步驟從agent2開始，對稱的重複一遍。
它的計算如下：
3 優化使用一緻性分數作為獎勵，融入到強化學習的架構中。學習過程将懲罰那些生成機率高但真實機率低的例子。強化學習架構如下圖所示（左圖是unlearned和預訓練的學習架構，右圖是對偶學習的學習架構）：
左圖的優化公式為：
右圖的優化公式為：
4 實驗我們在兩個公開資料集上進行了實驗，即中文微網誌資料集和英文電影字幕資料集。實驗結果顯示我們的模型在自動評價和人工評價下，均明顯好于baselines。在表2顯示了自動評價的結果，我們提出的一緻性模型比baseline模型獲得更高的BLUE和distinct, 更低的PPL。對偶學習模型獲得了最優的效果。
人工評價的評分規則如下：
1分表示邏輯錯誤
2分表示不相關
3分表示通用回複
4分表示相關
5分表示像人的回複
表3展示了人工評價的結果，從結果中可以看到本文的一緻性模型提高了4和5分的比例，生成更相關的回複，并且對偶學習模型的人工評價得分最高。
表4展示了一些生成的case，可以看出一緻性模型可以生成更多的有趣和具體的回複。
留言 點贊 發個朋友圈我們一起探讨AI落地的最後一公裡
- 發表于: 2018-06-112018-06-11 22:14:14
- 原文連結： https://kuaibao.qq.com/s/20180611A1YJUO00?refer=cp_1026
- 騰訊「雲+社群」是騰訊内容開放平台帳号（企鵝号）傳播管道之一，根據《騰訊内容開放平台服務協定》轉載釋出内容。
coherence Forcing post長度 中文對話文本資料集 餘弦比對 0 分享
- 分享快訊到朋友圈
IJCAI 2018：中科院計算所：增強對話生成一緻性的序列到序列模型IJCAI 2018：中科院計算所：增強對話生成一緻性的序列到序列模型 - 分享快訊到 QQ
- 分享快訊到微網誌
- 複制快訊連結到剪貼闆
掃描二維碼
掃碼關注雲+社群