論文解讀：From Pixels to Objects: Cubic Visual Attention for Visual Question Answering

這是關于VQA問題的第十一篇系列文章。本篇文章将介紹論文：主要思想；模型方法；主要貢獻。有興趣可以檢視原文：From Pixels to Objects: Cubic Visual Attention for Visual Question Answering

1，主要思想

作者提出一般的Spatial visual attention隻是選出了最關注的視覺對象，在通道上采用的相同的權重，這不符合attention的思路。基于此，作者提出cubic visual attention，在通道和空間上同時進行選擇重要的。具體的差別見下圖：

2，模型結構

• 首先對圖像進行目辨別别，提取視覺特征；同時對問題采用GRU編碼
• 進行channel-wise attention
• 進行spatial attention
• 預測輸出

  

a.Input Representations

• 對圖像采用Faster R-CNN模型，提取k個主要的對象，并特權特征，每個對象特征次元D.

  

• Encoding Question Features:對詞向量采用GRU進行編碼。

b.Channel Attention（通道）

cnn的通道代表了不同粒度的特征，低次元的邊緣特征和高粒度的語義特征。這篇論文對last conv feature map進行池化，這樣每個通道代表着對象的屬性特征。也就是說通道上的attention選擇了視覺對象重要的語義屬性。過程如下：

• 先對視覺特征V進行reshape：

  

• 對通道進行池化：

  

• attention權重計算部分：

  

  可以簡寫成：

  

• attention結果：

  

c.Object Region-based Spatial Attention

就是對區域對象進行attention，選擇重要的對象。

• 權重計算：

  

  可以簡寫成：

  

• attention結果：

  

d.預測輸出

e.A Variant of CVA

• 上面的步驟可以總結為：

  

• 為了對比，可以變化為：

  

3， 主要貢獻

• 提出了基于cubic visual attention，在通道和區域上進行關注。