論文閱讀筆記《Distribution Consistency Based Covariance Metric Networks for Few-Shot Learning》

小樣本學習&元學習經典論文整理||持續更新

核心思想

  本文提出一種基于度量學習的小樣本學習算法（CovaMNet），其從二階統計量（協方差）的角度出發，通過建構各個樣本的特征向量之間的協方差矩陣實作類别表征與距離度量。該算法的實作過程如下圖所示

如圖所示，查詢集和支援集樣本分别經過CNN提取特征，得到對應的特征圖 X i ∈ R h × w × d X_i\in \mathbb{R}^{h\times w\times d} Xi​∈Rh×w×d，然後計算同一類别下每個樣本特征圖之間的協方差矩陣 Σ c \Sigma_c Σc​，因為每個類别下的樣本數量有限，是以在樣本次元上計算協方差矩陣很難保證協方差矩陣的非奇異性，是以作者提出一種局部協方差表征的方法，具體而言就是把特征圖中每個位置對應的特征向量都看作一個局部特征描述子，然後計算每個特征描述子之間的協方差矩陣，每個特征圖都有 M = h × w M=h\times w M=h×w個局部特征描述子，局部協方差矩陣計算方法如下

式中 τ ∈ R d × M \tau\in \mathbb{R}^{d\times M} τ∈Rd×M表示局部特征描述子的均值向量。得到的局部協方差矩陣 Σ c l o c a l \Sigma_c^{local} Σclocal​就可以看作是類别 c c c對應的類别表征，接着作者又提出了基于局部協方差矩陣的距離度量方法

如果 x x x的方向與協方差矩陣中前 k k k個向量的方向一緻，則 f ( x , Σ ) f(x,\Sigma) f(x,Σ)函數可以取得最大值，否則 f ( x , Σ ) f(x,\Sigma) f(x,Σ)則會取到較小值，作者對該過程做了證明，此處略去。對計算得到的相似性度量矩陣進行對角化處理

z z z中包含 M M M個局部特征描述子之間的相似性，最後利用一個全連接配接層将其轉化為全局的相似性度量

實作過程

網絡結構

  特征提取網絡采用4-Conv結構

損失函數

  交叉熵損失函數

創新點

• 使用二階統計量協方差來作為類别表征，并建構了局部協方差矩陣
• 基于協方差矩陣提出了相似性度量方法用于樣本分類

算法評價

  之前解讀過一篇文章《Power Normalizing Second-order Similarity Network for Few-shot Learning》也是使用二階統計量取代常用的一階統計量來進行特征描述。本文采用的協方差矩陣相比起來要更容易計算，其表征的意義也更加的直覺。

如果大家對于深度學習與計算機視覺領域感興趣，希望獲得更多的知識分享與最新的論文解讀，歡迎關注我的個人公衆号“深視”。