CopyNet 閱讀筆記

Incorporating copying mechanism in sequence-to-sequence learning

• Jiatao GU et al.
• ACL2016
• using LCSTS Dataset
• Models
  • 整體:

    

  • Prediction: 相比上一個有個開關的方式，這篇論文則将機率相加再softmax得到輸出。對于V中的每個詞，計算generation模式的機率，對于X中的每個詞，計算copy模式的機率，最後進行歸一化，得到輸出。

    

  • Decoder State Update: s_t=f(s_t-1, y_t-1, c_t)這個和正常的是一樣的，但是這裡的y_t-1=[e(y_t-1), C(y_t-1)]T，e就是y_t-1的embedding，C是輸入單詞的權重，對跟y_t-1相同的詞進行計算，不相同的詞直接置0，然後歸一化。
• Code: https://github.com/MultiPath/CopyNet
• 性能:
  • LCSTS(Word Level): Rouge-1:35.0/Rouge-2:22.3/Rouge-L:32.0

Sequential Copying Networks

• Qingyu Zhouy, Nan Yang, Furu Wei, Ming Zhou; HIT & MSRA
• AAAI2018
• 原先的CopyNet每次copy一個詞，這篇文章一次可以copy多個詞（詞組），通過給每個copy的詞打标簽來判斷是否結束
• 性能
  • Gigaword: Rouge-1:35.93/Rouge-2:17.51/Rouge-L:33.35