論文筆記：GSNN: The More You Know: Using Knowledge Graphs for Image Classification

Paper, CMU, CVPR 2017

• 人類有從世界中擷取資訊并進行推理的能力，可以通過了解物體的特征以及特征之間的的關系來從少量的樣本中學習視覺概念。
• 通過結構化的先驗知識以知識圖譜的形式來優化image的分類：recognizing, recalling knowledge, reasoning。不再從整體上識别一個物體，而是識别部分特征，通過推理的方式了解物體的類别
• 方法：
  • propagation network：學習一個鄰接矩陣以及每個節點的狀态表示
  • Importance network：因為一次性在整個圖上進行學習的代價太高，是以從傳播通過Faster RCNN提取出來的visual node的資訊來進行學習。通過向原始節點的active set添加鄰接節點并且傳播原始節點的beliefs來對節點的重要性進行判定，在每一個時間步中以特定的方式決定鄰接節點是否繼續傳播（這個鄰接關系是否足夠重要）
  • Classification net：在最後一個時間步中将每個節點的輸出重新排序，并加入zero-pad傳給分類網絡