天天看點

目标檢測:SmartDet、Miti-DETR和Few-Shot Object Detection

作者:計算機視覺研究院

關注并星标

從此不迷路

計算機視覺研究院

目标檢測:SmartDet、Miti-DETR和Few-Shot Object Detection

公衆号ID|ComputerVisionGzq

論文位址:

SmartDet:https://arxiv.org/pdf/2201.04235.pdf

Miti-DETR:https://arxiv.org/pdf/2112.13310.pdf

Few-Shot Object Detection:https://arxiv.org/pdf/2201.02052.pdf

計算機視覺研究院專欄

作者:Edison_G

最近閱讀了幾篇額外的檢測paper,自己小小總結了下,在此也和大家分享,有興趣的同學可以下載下傳論文在深入解讀!
目标檢測:SmartDet、Miti-DETR和Few-Shot Object Detection

連結: https://pan.baidu.com/s/1hyLejH0ewBLxo3QnJJ776Q 密碼: 8r4n

目标檢測:SmartDet、Miti-DETR和Few-Shot Object Detection

移動裝置越來越依賴于通過深度神經網絡(DNN)進行目标檢測(OD)來執行關鍵任務。由于它們的高度複雜性,這些DNN的執行需要過多的時間和精力。低複雜度目标跟蹤(OT)可與OD一起使用,後者定期應用以生成用于跟蹤的“新”參考。但是,使用OD處理的幀會産生較大的延遲,這可能會使參考過時并降低跟蹤品質。

在這裡,研究者建議在這種情況下使用邊緣計算,并建立并行的OT(在移動裝置上)和OD(在邊緣伺服器上)程序,以适應大的OD延遲。提出了Katch-Up,這是一種新穎的跟蹤機制,可以提高系統對過度OD延遲的恢複能力。然而,Katch-Up在顯着提高性能的同時,也增加了移動裝置的計算負載。是以,研究者設計了SmartDet,這是一種基于深度強化學習(DRL)的低複雜度控制器,可以學習控制資源使用率和OD性能之間的權衡。SmartDet将與目前視訊内容和目前網絡狀況相關的上下文相關資訊作為輸入,以優化OD offloading的頻率和類型,以及Katch-Up使用率。

在由作為移動裝置的JetSon Nano和作為邊緣伺服器的GTX 980 Ti組成的真實測試平台上廣泛評估SmartDet,通過Wi-Fi連結連接配接。實驗結果表明,SmartDet在跟蹤性能——mAR和資源使用之間取得了最佳平衡。對于具有完全Katch-Up使用和最大通道使用的基線,研究者仍然将mAR增加4%,同時使用與Katch-Up相關的50%的通道和30%的電源資源。對于使用最少資源的固定政策,研究者在1/3的幀上使用Katch-Up時将mAR提高了20%。

目标檢測:SmartDet、Miti-DETR和Few-Shot Object Detection

連結: https://pan.baidu.com/s/1P86IGv2jBgL-jnJp6iy0IA 密碼: w0mi

目标檢測:SmartDet、Miti-DETR和Few-Shot Object Detection

使用Transformers進行目标檢測(DETR)和相關工作達到甚至超過了高度優化的FasterRCNN基線以及自注意網絡架構。受純self-attention具有強烈的歸納偏差的證據的啟發,這會導緻Transformer在網絡深度方面失去表達能力,研究者通過在Transformer中應用可能的直接映射連接配接,提出了一種具有緩解self-attention機制的Transformer架構減輕等級崩潰的架構,以抵消特征表達損失并增強模型性能。

目标檢測:SmartDet、Miti-DETR和Few-Shot Object Detection

研究者将此提議應用于目标檢測任務,并開發了一個名為Miti-DETR的模型。MitiDETR将每個注意力層的輸入保留到該層的輸出中,以便“非注意力”資訊參與任何注意力傳播。形成的殘差自注意力網絡解決了兩個關鍵問題:

  1. 最大程度地阻止自注意力網絡退化到rank-1
  2. 進一步多樣化參數更新的路徑分布,以便更容易地學習注意力
目标檢測:SmartDet、Miti-DETR和Few-Shot Object Detection

Miti-DETR在具有挑戰性的COCO目标檢測資料集上顯着提高了現有基于DETR模型的平均檢測精度和收斂速度。此外,所提出的帶有殘差自注意力網絡的轉換器可以很容易地推廣或插入其他相關的任務模型,而無需特定的定制。

目标檢測:SmartDet、Miti-DETR和Few-Shot Object Detection

連結: https://pan.baidu.com/s/15i6cfrPXNv4AwVXB-jLu-g 密碼: u9ro

目标檢測:SmartDet、Miti-DETR和Few-Shot Object Detection

attention-based FSOD method

Few-Shot Object Detection(FSOD)是計算機視覺中一個快速發展的領域。它包括查找給定類集的所有出現,每個類隻有幾個帶注釋的示例。已經提出了許多方法來應對這一挑戰,其中大多數是基于注意力機制的。然而,種類繁多的經典目标檢測架構和訓練政策使得方法之間的性能比較變得困難。

目标檢測:SmartDet、Miti-DETR和Few-Shot Object Detection

Alignment Attention Fusion (AAF) module

特别是,對于基于注意力的FSOD方法,比較不同注意力機制對性能的影響是很費力的。該paper旨在彌補這一不足。為此,提出了一個靈活的架構,以允許實施文獻中可用的大多數注意力技術。為了正确引入這樣的架構,首先提供了對現有FSOD方法的詳細回顧。然後在架構内重新實作一些不同的注意力機制,并與所有其他固定參數進行比較。

!下面的投票,請同學們積極參加,為了給大家帶來更好的知識分享!

投票

目标檢測:SmartDet、Miti-DETR和Few-Shot Object Detection
目标檢測:SmartDet、Miti-DETR和Few-Shot Object Detection
目标檢測:SmartDet、Miti-DETR和Few-Shot Object Detection

© The Ending

轉載請聯系本公衆号獲得授權

目标檢測:SmartDet、Miti-DETR和Few-Shot Object Detection

計算機視覺研究院學習群等你加入!

計算機視覺研究院主要涉及深度學習領域,主要緻力于人臉檢測、人臉識别,多目标檢測、目标跟蹤、圖像分割等研究方向。研究院接下來會不斷分享最新的論文算法新架構,我們這次改革不同點就是,我們要着重”研究“。之後我們會針對相應領域分享實踐過程,讓大家真正體會擺脫理論的真實場景,培養愛動手程式設計愛動腦思考的習慣!

計算機視覺研究院

公衆号ID|ComputerVisionGzq

🔗

繼續閱讀